Вести из киберпространства

Він був листоношею в Амстердамі

2012-01-09T08:30:00.000-08:00

Как радио Шансон меня достало и что из этого получилось

2011-12-18T14:49:00.000-08:00

Я часто пользуюсь такси, и почти всегда в машине играет радио. Вот вчера едем, водитель слушает радио шансон, какой-то пропито-прокуренный голос исполняет незатейливую песню про жизнь урки (или орка), можно назвать этот жанр "Оркские народные песни", да простит меня профессор Толкиен который не мог подумать что орки и гоблины не только сочиняют и поют песни, но даже имеют собственную радиостанцию которая круглосуточно вещает из Мордора.

Я вежливо попросил убрать шансон, таксист переключил на другую волну. Мне от этого не стало легче, потому что то что я услышал по радио было не намного лучше шансона, новости гламура :) Но не все так плохо, нашел в интернете чудесный ресурс, жаль что в такси про него не знают.

Итак, решил разобраться как создавать интернет-радио. Выяснил что для Linux уже есть готовый солюшен, называется icecast2. Установил на свой Ubuntu сервер пакет icecast2, но этого оказалось не достаточно. Надо поставить еще один пакет, называется ices2. Ices2 служит источником данных для icecast2. Icecast2 может транслировать звук из разных источников, например, изаудио-файлов на диске, также можно подключить микрофон к компьютеру, тогда icecast2 будет передавать звук из микрофона.

Создаем конфиг файл /etc/ices.xml из шаблона /usr/share/doc/ices2/examples/ices-playlist.xml. Теперь нужно указать где лежит папка с файлами в формате ogg которые будут проигрываться на нашем радио. Добавляем в /etc/ices.xml элемент:

...
<input>
<module>playlist</module>
<param name="type">basic</param>
<param name="file">/var/music/playlist.txt</param>
<param name="random">1</param>
<param name="restart-after-reread">0</param>
<param name="once">0</param>
</input>
...

Теперь ices2 будет отдавать на сервер iceсast2 файлы которые перечислены в текстовом файле /var/music/playlist.txt. Теперь возникает вопрос: а кто же будет заполнять это файл ? Я решил что будет папка в которой я буду выкладывать аудио файлы, /var/music. Теперь надо написать скрипт который генерит плейлист из содержимого папки /var/music:

/usr/local/bin/update-playlist.sh
#!/bin/bash
find /var/music -name '*ogg' > /var/music/playlist.txt
chmod g+r -R /var/music

Дальше нужно сделать чтобы ices2 стартовал как сервис Unix. Пишем скрипт

/etc/init.d/ices
#!/bin/bash

PIDFILE=/var/run/ices/ices.pid

case "$1" in
start)
echo "Starting ices"
start-stop-daemon -b -c icecast2 -m -p $PIDFILE --exec /usr/bin/ices2 -S /etc/ices.xml
;;
stop)
echo "Stopping ices"
start-stop-daemon -p $PIDFILE -K
;;
*)
echo "Usage: /etc/init.d/ices {start|stop}"
exit 1
;;
esac

exit 0

Генерим плейлист:

generate-playlist.sh

Теперь включаем сервис ices2:

sudo update-rc.d ices defaults
sudo service ices start

Все, можно слушать радио.

Пока я возился с радио, сделал удивительное открытие: оказалось что формат MP3 не лучший выбор для хранения музыки, формат OGG намного лучше передает звук, особенно на высоких частотах. Ices2 не поддерживает MP3, зато поддерживает OGG, и слава богу. Я сравнил как звучит MP3 и OGG на одинаковом битрейте 192 Кb/s, оказалось что OGG намного ближе к оригиналу.
Есть плейер который умеет играть OGG стрим, называется ffmp3, его можно легко встроить в блог.

В заключение публикую редкое видео - как работает радио шансон, взгляд изнутри :)

Плаваем не напрягаясь

2011-12-08T14:27:00.000-08:00

Недавно я обнаружил что можно плавать не напрягаясь как угодно долго. Эта техника называется total immersion, смотрим видео. Делаем только один удар ногой на один гребок рукой, и большую часть времени тело просто скользит по воде.

Gnome 3, Unity - катастрофа на десктопе

2011-11-10T13:11:00.000-08:00

Прошел почти месяц как я обновил свой Убунту до версии 11.10. То что творится у меня на десктопе это катастрофа. Я много лет использовал Gnome 2, не было никаких проблем. Теперь Canonical навязывает мне уродливые и глючные Gnome 3 и Unity. Я не понимаю зачем вообще нужен Gnome 3, лучше бы девелоперы применили энергию в мирных целях. Твердо решил снести Ubuntu и попробовать Mint.

JavaScript MVC: идея Ruby on Rails живет и побеждает

2011-10-29T13:29:00.000-07:00

В последнее время пришлось работать с языком JavaScript. За 10 лет я не писал на JavaScript, но в последний год пришлось его изучить и даже полюбить. Первым делом прочитал книгу "JavaScript, the good parts". Автор утверждает что JavaScript самый распространенный и самый малоизученный язык программирования, наверное это так. Потом прочитал книгу "jQuery in Action", и вдруг пришло понимание что на JavaScript действительно можно писать легко и красиво, и все же были сомнения как поддерживать JavaScript код если нету тестов. Я думал что единственный способ тестирования это Selenium, но оказалось что все интереснее. На прошлой неделе я нашел JavaScript MVC и понял что это то что надо. JavaScript MVC очень похож на Ruby on Rails, Grails и Django, только он написан на JavaScript. Контроллер в отличие от RoR находится не на веб сервере а на клиенте и реализован на JavaScript, view тоже. Сервером может быть все что угодно, лишь бы оно поддерживало json и REST. А самое приятное это возможность писать фунциональные тесты которые выполняются в браузере или движке javascript, например rhino. Итак, можно быстро писать на JavaScript код который покрывается тестами и легко поддерживается.

Моя презентация на Ciklum Software Architecture Practice Leaders Group

2011-06-03T09:44:00.000-07:00

Выкладываю мое первое публичное выступление на тему Distributed Version Control.

Часть 1

Часть 2

Angelic Upstarts - Solidarity

2011-05-17T12:22:00.000-07:00

Удивительно красивая музыка и слова.

DCVS is becoming mainstream

2011-05-03T02:08:00.001-07:00

For the last two years I have been observing how popularity of distributed version control systems is increasing. Now is the time to admit that distributed version control systems are not exotic animals anymore, and more and more people realize advantages of DCVS. In a recent year when interviewing job seekers for Java developer's position I noticed growing number of candidates who tell that they use a DCVS at work. When I was looking for a job I've been interviewed several times, and I always asked my interviewers which VCS they use. Big companies use a kind of centralized version control, but many small and mid-sized companies have switched or are switching to a DCVS.

Ubuntu 11.04 - неприятно удивлен

2011-04-30T01:21:00.001-07:00

Вчера обновил Ubuntu до версии 11.04 и сразу же пожалел об этом. Вместо Gnome теперь будет Unity. Unity выглядит ужасно, к тому же еще и глючит не по детски. Спасением стала возможность выбрать "Ubuntu Classic" сессию, то есть Gnome.
Я считаю что Canonical сделала большую ошибку. Возможно прийдется менять дистрибутив Linux на другой, а этого не хотелось бы делать.

My 6 tips for designing Java-based solutions

2011-04-03T06:46:00.000-07:00

Database choice

The common mistake is to use MySQL in areas where PostgreSQL is a better choice. I mean enterprise applications with hundreds of tables and complicated normalized database structure used by intra-net users. I think it happens because MySQL is easier to set up and administrate, and more people familiar with it. While using MySQL is the right choice for high-load apps with denormalized database structure, and for projects with simple database structure, MySQL's query planner is not as good as PostgreSQL at the moment of writing this article. In addition, PostgreSQL has much stronger support for stored procedures, it implements wider set of ANSI SQL standard than MySQL. Nowadays almost every enterprise-application needs GIS functionality, and Postgresql has GIS support. Another advantage of PostgreSQL is that its date/time types include timezone information, and that will save you a lot of time by avoiding conversions from one timezone to another if you have users who operate in different timezones, for example, schedule service. I am not saying that it is impossible to use MySQL in this area, it is certainly possible, but the cost of development would be higher. If you need to import large bulks of data,it is likely that you will have to use stored procedures to import data in a reasonable time frame, and stored procedures in PostgreSQL exist for decades while MySQL adopted them 1 year ago.

Of course, it is possible to write a query which will be executing very slow on PostgreSQL, but in general, the chances to produce a good query plan are higher when using PostgreSQL, particularly for sub-queries.

Web framework choice

Ironically, in many cases decision to use Java for web development is a mistake. There are two cases here. Case 1, we can avoid using Java language, but still use Java platform, for example, with Grails. Case 2, we can avoid using Java platform at all, and use Apache plus some scripting language like PHP, Python or Ruby. My favorite is Python.

The problem with Java language for web is long development cycle. For example, when you add a method or variable to a Spring MVC controller, you have to re-compile the re-start web server. People who use scripting languages like PHP, Python or Groovy just save file on the disk and refresh the page, and that is much faster. So I suggest considering implementing web layer in Django, Ruby on Rails or Grails, and that can speed up web development from 2 to 5 times.

Templating

Let's assume that you decided to use Java for web developement. My advice is : avoid using JSP in any form, including JSTL! I suggest using FreeMarker which is a fantastic templating engine with clear and elegant syntax. Velocity is also a good choice. If your system sends emails, then use FreeMarker or Velocity for message body.

Configuration

Often people write classes which provide access to applications configuration. It is better to spend that time on something useful because commons configuration is an excellent library for configuring your application.

Tests

If you have functional tests, then TestNG is a better choice than JUnit. Functional tests are scenarios which are executed in an environment which is close to production environment, I mean real database, JMS server, probably mail server. For functional tests you will want to control the order of execution, for example, first you call your public API to enter some information into the system, then call API to update it, then call API to remove it. The order of operations is clear: first create, then update, then remove. In TestNG you can define the order with annotations. Of course, you can use JUnit, but TestNG is a more elegant solution for functional tests.

Temporal types

When designing API avoid using java.util.Calendar, use Joda Time instead. It will save you the time you would spend on writing unnecessary code for timezones, periods, intervals, time calculations.

Layla - Eric Clapton

2011-03-18T17:38:00.000-07:00

Прекрасная аранжировка для акустической гитары.

PostgreSQL 9.0 is out

2010-11-02T13:51:00.000-07:00

Наконец вышла долгожданная девятая версия PostgreSQL !

Книга: Enterprise Software Without the BS

2010-10-05T12:31:00.000-07:00

Что за бойкое перо! Господи Боже! как пишет этот человек!

Н.В. Гоголь, Миргород

Прочитал на одном дыхании книгу широко известного в узких кругах специалистов по Java и Adobe Flex Якова Файна. Это книга больше про жизнь, чем про софтвер. Как наниматься на работу и как правильно уйти из компании, что нужно говорить и о чем лучше молчать, как строить карьеру - обо всем этом поведал автор c присущим ему чувством юмора.

Мартин Фаулер жжот

2010-10-04T03:09:00.000-07:00

Я всегда читаю Мартина Фаулера с удовольствием, вот нашел его статью о системах контроля версий. Рекомендую всем.

Build Adobe Flex projects with Apache Maven and Groovy

2010-09-23T10:37:00.000-07:00

I have released the first version of GMF. GMF stands for Groovy Maven Flex. This is an Apache Maven plugin to build Adobe Flex projects. I developed it for my needs, hoping that someone will find it useful. Why to develop another plugin when there are already 2 or 3 available ? While working on Flex projects, I felt that using Flex SDK as Maven dependency is not handy. I have also found that using external swc libraries with Maven is also not handy, because most of them are not available in public Maven repositories.
I think that people should not write Maven plugins in Java, because Groovy fits better for small projects. Another reason is that I don't think that we have to use XML to configure Maven plugins. So I have implemented GMF in Groovy, and it is configured with a Groovy-based domain-specific language. Finally, I discovered that Plexus which is dependency-injection container in Maven is very out-of-date compared to modern DI containers, so I used Guice instead of Plexus.

Tagging successful builds with Mercurial

2010-09-21T14:27:00.000-07:00

I have shared a script which tags successful builds.

This is configuration for Hudson:

Apache Maven - взгляд изнутри

2010-09-14T09:08:00.000-07:00

Хочу поделиться опытом написания плагина для Apache Maven. Хотя 99 процентов плагинов написаны на java, я убедился что лучше писать плагины для Maven на языке Groovy. Так получается быстрее и меньше кода. Второе открытие - Maven использует устаревший и неуклюжий dependency injection container который называется Plexus. Работать с ним можно, но противно. Поэтому я отказался от Plexus и использовал Guice.

В поисках e-mail клиента для Linux

2010-08-24T11:11:00.000-07:00

Наконец, я нашел себе e-mail клиент по душе. За 10 лет пробовал их много, Pine, Evolution, Thunderbird, KMail... Но вот недавно установил Claws Mail и эта програмулина мне очень понравилась. Доступ по IMAP в Сlaws Mail реализован лучше, чем у других клиентов, интуитивно понятный и удобный интерфейс , работает очень шустро. Отлично конектится к GMail.
Да и это не удивительно, потому что Сlaws Mail очень похож на лучший email client всех времен и народов - The Bat. Мне удалось запустить The Bat под wine, но все-таки отдал предпочтение Сlaws Mail.

Книги В.В. Ершова

2010-08-14T14:14:00.000-07:00

Открыл для себя замечательного писателя - ходи сюда.
В.В. Ершов - русский Экзюпери.

Что такое NIO и как с ним бороться

2010-08-08T07:31:00.000-07:00

Коротко физику природного явления NIO можно выразить формулой:

NIO = IO + select + E

Кликните в браузере поочередно на первые три переменные. Четвертая переменная, E, является энергией еквивалентной усилиям потраченным на синхронизацию между selecting thread и worker thread, а также протокол обмена в не-блокирующем режиме, в том числе учитывая дефрагментацию TCP пакетов.

Мне нужно было написать простой java server который принимает сообщения от Adobe Flash Player по протоколу XmlSocket. Задача выглядела очень простой - получай запросы и отсылай ответы, поэтому решил не прикручивать готовый application server типа томката, а написать свой маленький сервер. За день я сделал реализацию на блокирующих сокетах. Дальше решил сделать эксперимент и переписать на не-блокирующих сокетах, тоесть NIO.

Оказалось что c NIO все намного сложнее, сразу стало ясно что Е совсем не маленькая величина. Остановился на самоой простой реализации с единственным selecting thread, это заняло в два раза больше времени чем блокирующие сокеты. Последняя стадия эксперимента: безжалостно убил материализцию темной енергии Е в коде и и использовал Apache Mina. И тут я понял насколько полезна Mina для написания распределенных систем, и что нет смысла реализовывать взамодействие между частями системы на сокетах с нуля. Mina создает уровень абстракции который сводит E к минимуму. После того как прикрутил Mina, количество кода уменьшилось в три раза: было 6 классов, осталось 2.

Поэтому, если надо работать с сокетами, то лучше делать это используя Mina, это будет быстрее и надежнее.

Вот пример Mina сервиса на Groovy:

Гитарные гуру

2010-07-11T15:54:00.000-07:00

Что это я все о работе да о работе. Давно не писал о музыке. Представляю вашему вниманию троих гитарных гуру.

Самодокументируемый код - миф или реальность ?

2010-07-10T12:25:00.000-07:00

Для каждого проекта важно иметь документацию. Существует два уровня документации.
Уровень первый или базовый уровень - это комментарии в коде. Также существует документация в виде Wiki, это-следующий уровень. Есть люди которые убеждены что самодокументируемый код не нуждается в комментариях. Идея самодокументируемого кода в том чтобы давать названия переменным и функциям таким образом, чтобы при взгляде на код было понятно как он работает, то есть комментарии как бы не нужны. На своем опыте я убедился что эта идея не работает. Комментарии обязательно нужны. В чем-то защитники самодокументируемого кода правы - автор кода может понять как работает его код. Но другой человек все равно не поймет. Не поймет потому что самодокументируемый код может дать ответ как этот кусок работает. но не даст ответ зачем чем этот кусок был написан, какие ограничения на параметры, поэтому полной картины в голове не будет. Должен быть самодокументируемый код плюс комментарии к нему :)

Написание комментариев - это избыточное действие. От программиста требуется некоторое дополнительное усилие чтобы написать комментарии. Поддержку документации в Wiki можно считать сверхусилием. Ведь документация пишется не для себя, она для коллег. Поэтому если человек не хочет или не способен к малому усилию - написанию качественных комментариев, то не стоит ожидать что он будет тратить свое время на написание или поддержку других форм документации.

Поэтому проверка наличия комментариев должна быть частью code review. Если нет комментариев значит, на этапе code review код должен быть забракован.

Кстати, по тому как программисты пишут комментарии можно определить отношение к работе. Мой опыт подтверждает что люди которые не хотят писать комментарии и агрессивно доказывающие что самодокументируемый код рулит, не являются командными игроками, и наоборот, тот кто пишет комменты работает в первую очередь на команду. Поэтому на собеседовании я спрашиваю как кандидат относится к написанию комментариев.

Линукс, Open Source и патриотизм

2010-07-09T10:11:00.000-07:00

Три года назад на мероприятии организованном компанией Sun в Киеве выступали докладчики из Китая. В перерыве я подошел к одному китайцу и спросил, правда ли что в Китае существует государственная ОС, называется Red Flag ? Китайский специалист подтвердил что у них закон обязывает использовать Red Flag Linux в государственных учреждениях. В России тоже занимаются созданием национальной OC. Нужна ли национальная ОС государству ? Я считаю что национальная ОС необходима, потому что это гарантия суверенитета государства, такая же как и вооруженные силы. Стратегия развития государственных компьютерных сетей должна основываться на использовании государственной ОС и open source software. Почему я так считаю ? Допустим, у государства XXX все компьютеры работают под ОС W, все программное обеспечение в министерстве образования, министерстве обороны написано под W. В один прекрасный момент фирма-производитель OC W, назовем ее M, говорит что у нас уже вышла новая версия W, поддержка старой версии заканчивается через 3 года. Государство уже подсело на иглу W и через 3 года будет вынуждено заплатить M сумму денег чтобы проапгрейдить W. Далее, Государственная Налоговая Инспекция использует формат файла .PUK, который является закрытым форматом и принадлежит компании M. то есть государство попадает на деньги по схеме vendor lock-in. Значит государство будет покупать X-Office у компании M. за бюджетные. тоесть наши с тобой, читатель, денежки. Это еще цветочки. Давайте представим что у государства XXX возник конфликт с государством в котором находится компания М, назовем его YYY. До столкновения вооруженных сил пока что дело не дошло, стороны используют не боевые методы, а именно, каждый день производятся атаки на сервера. Через некоторое время все компьютеры в государстве XXX перестают работать, хакеры из министерства обороны YYY нашли уязвимость в ОС W. Возникает совершенно дикая ситуация, теперь министерство обороны страны XXX обращается в компанию M с просьбой чтобы уязвимость в OC W была устранена. Но компания M находится в государстве YYY, то есть в стране противника. В результате компьютерные системы страны XXX выведены из строя, деятельность госучреждений парализована, информация о конфликте в интернете представлена исключительно с точки зрения YYY. Все, война проиграна. Вот к каким ужасным последствиям может привести отсутствие национальной ОС. Война в киберпространстве уже стала реальностью. О современных специальных операциях как форме геополитического противоборства можно почитать тут, очень познавательно.

Хто сломал билд ?!

2010-05-19T11:55:00.000-07:00

Иногда бывает что автор коммита который поломал билд не доступен, например, заболел, и вам нужно определить почему завалился билд. Как же это сделать если вы ничего не знаете о подсистеме в которой завалился тест ? Можно использовать метод бинарного поиска.

В Subversion есть команда svn-bisect из пакета subversion-tools, инсталируется так:
sudo apt-get install subversion-tools

Счастливые пользователи Hg или Git используют hg bisect и git bisect.

Выражаю соболезнования пользователям CVS, бинарный поиск не работает.

from CVS to Hg

2010-05-03T23:14:00.000-07:00

Два месяца назад наша компания отказалась от CVS и перешла на Mercurial.
Давно было понятно что продолжать использовать CVS не имеет смысла. Как жестко сказал Linus Torvalds "If you like using СVS, you should be in some kind of mental institution or somewhere else". Было два варианта: Subversion или DCVS. Провели анализ, оказалось что действительно cовременные DCVS такие как Mercurial или Git превосходят Subversion, особенно в branching и merging. В некоторых экзотических случаях Subversion лучше подходит, например если нужно делать sparse checkouts потому что размер репозитория настолько огромен что он не помещается на диске, или если нужно скрыть папки от одних юзеров и наоборот, дать доступ другим юзерам. На практике такое случается редко, у нас размер CVS репозитория был 800 Mb, понятно что sparse checkouts никому не нужны. Дальше, у нас кросс-функциональная команда, каждый девелопер имеет право записи в любую папку,поэтому вторая мега-фича Subversion - ограничение доступа тоже для нас не актуальна. Зато для нас очень важно иметь хороший branching и merging, а здесь DCVS рулят.

Еще один важный момент, интеграция VCS с другими тулзами. Есть Mercurial плагин для Eclipse, он работает медленно при апдейтах на больших проектах (35 000+ файлов). Поэтому лучше использовать черепаху для коммитов и апдейтов, а Mercurial плагин юзать для просмотра истории изменений файла или аннотации. CruiseControl и Hudson интегрируются отлично. Сode Review tool тоже поддерживает Mercurial. Интеграция с JIRA есть, но для нас не имеет значения, потому что Mercurial имеет команду поиска , и если надо найти коммиты по номеру тикета то это всегда можно сделать через веб морду или с командной строки.

При конверсии репозитория СVS в HG главная ветка (head) сконвертилась нормально, остальные 3 ветки сконвертировались не совсем правильно, пришлось их фиксить руками. Проблема с ветками в том, что в СVS невозможно определить время создания бранча, можно только определить время первого коммита в бранч. Поэтому после конверсии в бранчах не хватало файлов которые не были изменены в бранчах. Проблему решил так: после конверсии нашел старые СVS теги которые тегают код непосредственно перед созданием бранча и смерджил бранчи с этими тегами. После этого в бранчах появились все файлы.

Затраты на миграцию. Вечером в конце рабочего дня мы закрыли СVS репозиторий на запись. На следующий день девелоперы потратили пол-дня чтобы настроить environment, после обеда пошли первые коммиты в новый репозиторий. Можно сказать что процесс прошел без потерь. У некоторых девелоперов будет культурный шок, потому что они пытаются применить навыки работы с CVS которые не работают в HG, но после первых коммитов и мерджей это пройдет.

HG дает возможность делать сode review до того как код попадет в сentral repository. Мы коммитим локально, создаем соde review topic на review board, только после того как коммит одобрен, мы пушим в сentral repository. Такой подход трудно реализовать в Subversion, надо возиться с патчами, практически это не реально.

Если вы используете СVS, то я бы советовал перейти на Git или Mercurial, ни в коем случае не Subversion.
Если вы уже используете Subversion, то вопрос миграции не так актуален как с СVS. Если сильно хочется работать с DCVS, то можно не ждать пока компания перейдет на DCVS (мне пришлось ждать полтора года) и использовать две системы одновременно, делать всю работу в DCVS а потом заливать результат в Subversion.

И все же TestNG лучше чем JUnit

2010-04-02T13:08:00.000-07:00

Сегодня я скачал последнюю версию JUnit, а именно 4.8.1 и еще раз убедился что JUnit не догнал TestNG. Есть 4 причины почему TestNG лучше:

Parameterized tests

DataProviders в TestNG удобнее чем статические методы с аннотацией @Parameters в JUnit. Мне не нравится что JUnit требует чтобы метод, который создает параметры для теста, был статическим, также в TestNG есть возожность задавать параметры в файле.

Concurrent tests

В JUnit аннотация Test не позволяет указать что тест должен высполняться в разных потоках одновременно.

Dependency between tests

В JUnit фича отсутствует.

Документация

Сравните http://junit.sourceforge.net/doc/cookbook/cookbook.htm и http://testng.org/documentation-main.html.

Самый популярный != лучший

2010-03-13T23:23:00.001-08:00

Не всегда самый популярная технология есть лучший выбор. Например, в мире Java самый популярный фреймворк для тестов был и есть JUnit. Но до четвертой версии JUnit'а c 2004 по 2006 год лучшим однозначно был другой фреймворк, а именно TestNG. Четвертый JUnit, кажется, догнал TestNG позаимствовав у него много идей, можно выразить это такой формулой: JUnit 4.x = TestNG + Junit 3.8 . TestNG как минимум не хуже JUnit, и я выбираю TestNG.

Какая опен сорс база данных является самой популярной ? Правильно, MySQL. Я никогда не буду использовать MySQL, только PostgreSQL. Мне не нужна база данных которая не может построить правильный план для запроса с subqueries.

Какая самая популярная система контроля версий ? Конечно, это Subversion. Я спрыгнул с Subversion на Mercurial в 2009 году и ни разу об этом не пожалел, надеюсь, что больше никогда не буду работать с Subversion.

Самый популярный continuous integration server это CruiseControl. Я не понимаю как это случилось, потому что Hudson намного лучше.

Picture Driven Computing, Java и Python

2010-02-21T12:26:00.000-08:00

Мне стало интересно какая ситуация в проекте Jython, когда я заглядывал на их сайт год назад он был скорее мертв, чем жив. Но не все так плохо, проект ожил и развивается ! На cайте Jython вы можете увидеть ссылку на проект Sikuli который меня просто поразил. Sikuli применяет концепцию Picture Driven Computing для программирования скриптов.

Допустим, нам нужно написать скрипт который реализует какой-то сценарий тестирования для GUI приложения под Windows. Традиционный подход - запустить тулзу которая записывает наши действия а потом воспризводит их посылая на GUI элементы такие события как клик мышью, перевод фокуса, ввод текста, нажатие на кнопку, выбор меню и т.д. Чтобы правильно воспроизвести сценарий тулза запоминает координаты контролов, значения которые вы вводите в контролы, последовательность операций. Например , "кликнуть на пятую иконку в третьем ряду таблицы". Вместо того чтобы запоминать позицию иконки, Sikuli использует распознавание образов, запоминает образ иконки которая была нажата, снимает скриншот с экрана. Когда вы воспроизводите сценарий, Sikuli найдет на окне иконку по ее образу и кликнет.

Еще одна приятная новость - можно запускать Django на Jython! Можно использовать Django на платформе Java, Django это отличный web framework, аналог Ruby реализован на Питоне.

Нужна ли Java на веб-морде или зачем зайцу пятая нога

2010-01-22T23:50:00.000-08:00

Я пришел к выводу что язык Java не есть лучший выбор для web интерфейса.

Причины:

Внесение изменений в контроллеры требует перезагрузки приложения в аппликейшен сервере (кроме простых случаев когда достаточно java hot swap ).

Сам язык Java является представителем семейства C++ подобных языков и плохо подходит для Web, нужно делать слишком много лишний движений сравнительно со скриптовыми языками. На ruby, python или groovy получается в два-три раза меньше строк кода чем на Java, работа с коллекциями, мапами на скриптовых языках намного приятнее, операции с строками тоже лучше, а нам для веба больше ничего и не нужно потому что вся логика вынесена в business logic layer (BLL)
По вышеуказанным причинам продуктивность работы web девелопера ухудшается. Когда я стал программировать на grails, то скорость разработки возросла примерно в полтора-два раза.

Поэтому есть смысл использовать

Grails (проверено опытом)
Spring MVC c контроллерами на cкриптовых языках (проверено опытом)
Wicket Groovy (нужно еще разобраться)

Чак Норрис и Continuos Integration

2009-10-04T06:37:00.000-07:00

Что общего может быть у Чака Норриса и Continuos Integration ?
Я тоже думал что ничего общего нет, пока не открыл для себя Hudson. Hudson - это open source continuos integration and build management server, аналог Cruise Control и Apache Continuum. Для него написано много плагинов, один из них - Чак Норрис плагин. Этот плагин рисует Чака Норриса в разных эмоциональных состояниях в зависимости от статуса билда. Если билд прошел - то Чак улыбается, иначе Чак стоит в боевой стойке готов надавать звиздюлей тому, кто поломал билд.

До Гудзона я работал с CruiseControl и Apache Continuum. Cruise Control это наверное самый популярный CI Server, если его правильно настроить то работает как часы. Я был разочарован Apache Continuum, это сырой продукт, версия 1.2.3 по качеству скорее beta чем release, хотя можно его настроить и тоже будет работать.

Я считаю что Hudson лучший из этой тройки потому что:

удобный GUI интерфейс для администрирования
система аутентификации пользователей может использовать как свою базу данных ролей и юзеров, так и аккаунты Linux или Windows
Можно создать кластер и распределять билды по нодам
Много разных плагинов
Уникальная фича - можно по артефакту найти номер билда в котором он был создан
Инкрементальный билд для многомодульных билдов Maven'а
Hudson отслеживает выход новых версий (в том числе плагинов) и сам предлагает обновиться через GUI
Распространяется как war
Чак Норрис плагин :)

Новая фича в Apache Maven - инкрементальный билд

2009-09-17T11:17:00.000-07:00

В новой версии 2.2.1 Мавена появилась возможность делать инкрементальный билд. Инкрементальный билд - это когда при изменении одного модуля мы пересобираем не весь проект, а только те модули, которые используют код измененного модуля.

Например, зависимости выглядят так:

A
/ \
B C
/ \
D E

Модуль A зависит от B и С, а B зависит от D и E.

Допустим, в код модуля D внесли изменения.

набираем mvn -amd -pl D сlean install

В результате будут пересобраны три модуля - D, B и A. Модули C и E не будут собраны потому что они не зависят от D напрямую или косвенно.

Локальный SMTP и POP3 сервер для development mode

2009-08-27T12:34:00.000-07:00

Сейчас я работаю над системой одной из функций которой является рассылка пользователям e-mail'ов (aka мыла), серверную часть мы пишем на java. Когда система работает в production mode, она отсылает мыло на реальные адреса пользователей. В процессе разработки мы все запускаем наш java сервер на воркстейшенах, и конечно, нужен SMTP сервер на который система отсылала бы мыло в development mode, и нужен POP3 cервер чтобы читать это мыло. К счастью, в Ubuntu Jaunty появился новый пакет - dovecot-postfix. Он содержит POP3 и SMTP сервер. При инсталляции спрашивает тип установки - я выбрал local. После установки на воркстейшене появляются SMTP и POP3 серверы готовые к использованию. В настройках java сервера указываю что SMTP сервер находится на localhost. Теперь нужно поправить конфиг файл для SMTP сервера (Postfix) чтобы он редиректил всю почту на мой аккаунт на локальном POP3 сервере. Для этого нужно прописать в файле /etc/postfix/virtual-regexp правило
# Rewrite all addresses to sgr@localhost
/.+@.+/ sgr@localhost

и добавить в /etc/postfix/main.cf строку
virtual_maps = regexp:/etc/postfix/virtual-regexp

Готово. Перезапускаем Postfix чтобы он перечитал конфиг файл.
Теперь вся почта, которая посылается java сервером, редиректится на мой аккаунт. Осталось настроить почтовый клиент ( я использую evolution) чтобы он забирал почту с локального аккаунта на POP3 сервере, логин и пароль тот же что и для входа в Ubuntu.

Как смотреть прогресс восстановления базы данных MySQL из дампа

2009-08-14T13:25:00.000-07:00

Недавно открыл для себя чрезвычайно полезную утилиту pv. Раньше я импортировал дамп базы данных MySQL так:

mysql my_database < dump.sql

Я не указываю для команды mysql хост, логин и пароль, потому что эти настройки хранятся в файле my.cnf. Если дамп достаточно большой, он может импортироваться несколько часов. Чтобы увидеть прогресс импорта нужно сделать так:

pv dump.sql | mysql my_database

Как работает Ubuntu Support Team

2009-08-08T12:10:00.000-07:00

У меня возникла проблема, впервые за два года использования Ubuntu я не смог найти решение в интернете, пришлось писать на форум Ubuntu. Я запостил вопрос и думал что мне ответят на следующий день в лучшем случае. Я был приятно удивлен когда через 10 минут после того, как я запостил мой вопрос, я получил на e-mail нотификацию про ответ. Возвращаюсь на форум, там написано что у меня есть новое личное сообщение. Читаю (вольный перевод с английского)

Дорогой юзер,

Для вашей проблемы существует решение, но мы не рекомендуем так делать потому что это рисковано с точки зрения безопасности. Поэтому отвечаем вам не на форуме, а в личном сообщении.
Но если вы все таки хотите так сделать, то смотрите этот линк.

Дальше ссылка на топик форума как решить проблему.

Что тут можно еще добавить? 10 минут это отличный результат.

YAML is XML for human beings

2009-08-08T10:51:00.000-07:00

Недавно я скачал себе Google App Engine SDK для питона, и один из конфиг файлов назывался config.yaml. Я заинтересовался, что за YAML, и оказалось что YAML это такой язык, альтернатива XML. Как и XML, YAML создан для описания данных, но предназначен для чтения людьми, а XML как мы знаем, предназначен для чтения компьютерами. Действительно, YAML визуально воспринимается намного лучше чем XML. В этом читатель может легко убедиться, зайдите на Official YAML Web Site, главная страница написана на YAML.

Я предпочитаю использовать YAML для конфиг файлов вместо XML. Еще одно возможное применение - данные для юнит тестов.

Mercurial для сисадмина

2009-07-25T04:28:00.000-07:00

Я уже пол-года как спрыгнул с Subversion и использую Mercurial для разработки, оказывается что эта чудесная система контроля версий может быть использована не только программистами, но и сисадминами. Очень удобно ( и полезно) положить конфиг - файлы в Mercurial. К примеру, мне приходится править конфиг файл для Cruise Control, и хочется иметь возможность отслеживать историю изменений файла. Задача решается просто. Заходим в папку где лежит конфиг файл для Cruise Control

hg init // создаем репозиторий
hg add config.xml // добавляем в репозиторий конфиг файл для Cruise Control
hg ci -m 'initial commit' // коммитим конфиг файл

Теперь наш конфиг файл в репозитории Mercurial

Допустим, я (или другой человек) внес измненения в конфиг файл.

Делаем hg ci -m 'Added e-mail notification for nighty build'

Новая версия файла попадает в репозиторий.

Чтобы посмотреть историю изменений в файле набираеем hg log

Можно трекать изменения в папке /etc

cd /etc
sudo hg init // создаем репозиторий для папки etc
cd X11
sudo hg add xorg.conf // трекаем изменения в файле xorg.conf
sudo hg ci -m 'initial commit'

В этом случае я использую Mercurial как своеобразное расширение функциональности файловой системы которое позволяет трекать историю изменения файлов в папке.

Еще одна причина почему Linux рулит

2009-07-25T03:39:00.000-07:00

Я занимался разработкой на Java под Linux два года на моем прошлом месте работы, в октябре 2008 года перешел в другой проект, cменив OS на Windows. Поработав пару месяцев я понял что на Windows мне работается хуже чем на Linux, не потому что Windows плохой а Linux хороший, а потому что я принадлежу к Unix culture, и мне многие вещи быстрее и проще делать в командной строке. Поэтому я поставил себе Ubuntu и вроде бы все хорошо, но free -m
показывает что в системе только 3.2 гигабайта RAM, хотя физически установлено 2 модуля по 2 GB, тоесть 800 MB не доступно.
Оказывается что обычный kernel в 32- разрядном ядре, которое инсталируется при установке Ubuntu, не может адресовать больше чем 3.2 GB, но можно (и нужно) поставить server kernel который скомпилирован таким образом что видит больше чем 3.2 GB памяти. Теперь 32- разрядное ядро Ubuntu видит 4 GB памяти и все в порядке :)

Практическое применение Ubuntu One в разработке

2009-07-17T16:02:00.000-07:00

Ubuntu One это бесплатный online storage service который предоставляет Сanonical. После инсталляции клиента на Убунту у вас появляется папка содержимое которой синхронизируется с сервером. Бесплатно дают 2 GB. Также есть доступ к файлам через web интерфейс. В Википедии написано что Ubuntu One использует Amazone S3. Это очень удобная вещь если вы работаете с разных компьютеров над одним проектом. Мне часто приходится переключаться с ноутбука на workstation и обратно (на обоих стоит Ubuntu), поэтому я храню конфиг файлы для приложений в папке которая синхронизируется с сервером. Например, я работаю над web application которое читает конфиги из папки ${CATALINA_HOME}/data. Есть папка ${HOME}/Cloud_Storage на воркстейшене и ноутбуке которая шарится через Ubuntu One.

На воркстейшене делаю

mv ${CATALINA_HOME}/data ${HOME}/Cloud_Storage
ln -s ${HOME}/Cloud_Storage/data {CATALINA_HOME}/data

теперь кликаю мышей на меню "сonnect" Ubuntu One, файлы записываются на сервер

на ноутбуке
ln -s ${HOME}/Cloud_Storage/data ${CATALINA_HOME}/data

теперь конфиг файлы на ноутбуке и воркстейшене одинаковы. Закончил работать с ноутбуком, опять кликаю мышей на меню "сonnect" Ubuntu One. Потом прихожу на работу, синхронизирую папку и вижу последние измненения в конфигах.

Билдим Flex используя Maven

2009-07-05T12:55:00.000-07:00

Год назад я начал работать над RIA, клиент - flex, сервер - java. Решил использовать maven для билда, java билдилась без проблем, а вот с flex пришлось повозиться. Тогда я нашел единственный maven плагин для flex, Israfil Mojo. С ним были проблемы, потому что плагин не поддерживает все опции для компилятора, поэтому часть опций я вынес в конфиг файл, и указал плагину что нужно использовать конфиг файл. Вторая задача которую нужно было решать - это запаковать flex приложение в war. Задача решилась просто, Israfil Mojo позволяет копировать flex-артефакты из репозитория maven в указанную папку.

Месяц назад случайно нашел еще один maven плагин для flex, mvnflexplugin. Этот плагин мне нравится намного больше, потому что он поддерживает больше опций компилятора и поддерживает rsl, поэтому я перевел мой проект на этот плагин. Mvnflexplugin не копирует flex-артефакты из репозитория в war, но эта задача решается с помощью maven-dependency-plugin.

Вышел Review Board 1.0

2009-07-04T06:38:00.001-07:00

Недавно вышел Review Board 1.0. Это замечательный code review tool, я использую на работе beta версию и очень доволен. Рекомендую всем кто хочет улучшить code review процесс. Review Board намного лучше чем Codestriker о котором я писал раньше.

книга "My Job Went to India: 52 Ways to Save Your Job"

2008-09-26T12:53:00.000-07:00

Cейчас я читаю замечательную книгу, и чем дальше, тем веселее. На обложке изображен программист c обьявлением "Кодирую за еду" в руках :) Цитирую текст который меня повеселил:

How would you write a program, in pure Java, that would make the Java Virtual
Machine crash? Dead silence. Hello?
I’m sorry. I’m not getting you. Could you repeat the question, please? The voice
sounded desperate. I knew from experience that repeating the question
wasn’t going to help. So, I repeated the question, slowly and more loudly.
How would you write a program, in pure Java, that would cause the Java Virtual
Machine to crash?
Uh...I’m sorry. I’ve never done this before.
I’m sure you haven’t. How about this question: how would you write a program
that would NOT cause the JVM to crash? I was looking for really good Java
programmers. To start the interview, I asked this person (and all the others
I had interviewed that week) to rate himself on a scale of one to ten. He
said nine. I’m expecting a star here. If this guy rates himself so high, why can’t
he think of a single abusive programming trick that would cause a JVM to crash?

И таких ярких моментов в книге много :)

Книга о том, как выжить программистам в США в условиях когда все больше заказов уходит на аутсорсинг и количество рабочих мест сокращается. Лучшая из книг прочитанных мной в этом году. Автор анализирует сильные и слабые стороны американских программистов и их конкурентов в Индии и дает советы как правильно построить карьеру. Во многом его мысли совпадают с моими, например, он рекомендует изучать несколько языков программирования чтобы стать универсальным специалистом способным принимать архитектурные решения. Рекомендую почитать. Книга написана живым языком , автор обладает отличным чувством юмора, в то же время пишет о серьезных вещах. Читается легко.

Энвер Измайлов

2008-08-02T11:22:00.000-07:00

В прошлом году я с друзьями отдыхал в Коктебеле. Увидел обьявление про концерт Энвера Измайлова и решил пойти. Я раньше слышал про него много хорошего, но действительность превзошла все ожидания.
Выступление Энвера было частью большого джаз концерта. До появления Измайлова на сцене неискушенная в джазе публика, в том числе я с другом откровенно скучали. Все ждали появления Маэстро, а он все не выходил на сцену. Я даже спросил у него - "Вы будете играть сегодня ?" Cказал что будет.
И наконец дождались. Сразу стало ясно что это музыкант мирового уровня, на голову выше чем многие раскрученные западные и наши звезды рока. Публика была в восторге. Выкладываю видеоролик.

Making code review easier with Codestriker

2008-07-28T00:35:00.000-07:00

The big brother is watching you
George Orwell

Introduction

Everybody agrees that code review is crucial for any software project. I don't believe that it is possible to do good code reviews on a regular basis without a code review tool. I you are not using a code review tool, the following scenarios might happen:

You have just finished with your task and want the code to be reviewed. The reviewer and you work in the same office. Unfortunately, the reviewer is not available at the moment. There are many reasons why it can happen. The reviewer might have flexible working schedule which differs from your working schedule, he might be ill, he might be at a meeting, visiting the dentist, stuck in a traffic jam. Of course, you can't wait until the reviewer appears in the office, you switch to another task instead. It is easy to forget about code review.
You have a distributed team. One or two developers work in one office, the rest of developers work in another office which might be located in another country. We had this situation at my last place of work. In this case the only way to send a code review request is an email with an attached patch file which contains your changes to code. The reviewer is supposed to read your email, save the attached patch to a folder, then apply the patch to the right version, examine your code. It is time-consuming and not efficient.

Without a code review tool the team leader doesn't have the whole picture of what is going on with code reviews. How many code review requests are pending ? Which topics are the most discussed ? These questions need to be addressed, and a code review tool helps.

There are many code review tools available, most of them are commercial, some are free. The one I introduced in my team was Codestriker. It's a free tool written in Perl. Although its functionality has minimum features, it can be successfully used. Basically, it is a web appplication running on Apache. Although Codestriker has no built-in security support, you can secure Codestriker with Apache's auth module.

Learning and setting up Codestriker took me one day. Configuration is simple but requires knowledge of Linux or Unix. You tell Codestriker what database to use and where is the code repository. We used MySQL and Subversion.

Features of Codestiker

The creator of a topic gets notifications by e-mail when reviewers post comments.
You can have multiple reviewers
All the members of the team can post comments on any topic
You can browse changes to code through Codestriker's web interface
You can add comments to a single line of code and to a whole topic.

Conclusion

Even though we were using the simpliest code review tool, the quality of code reviews increased dramatically. The code became controlled better by the team lead. More members became involved in code review. Intreraction between offices improved. It turned out that it is possible to misuse code review tool. If the team lead is a dictator and willing to blame and critisize everyone, he can abuse the code review tool. Other members would feel like "the big brother is watching you".The programmers would feel that their every step is under attack, they would loose motivation or leave the company. So be careful with code review tools. Small teams with limited budget who don't want to spend money on commercial code review tools can use Codestiker fine.

Wonderful Wicket

2008-07-25T23:15:00.000-07:00

All ingenious is simple

First, I'm going to tell you how I came across Wicket. A year ago I was working for Ciklum on a project that was basically a Java web application. The application consisted of hundreds of web pages. Although we were using Spring MVC, I didn't feel quite happy, do you know why ? The answer is "reusing a single component in different web pages is not perfect with Spring MVC". This is not weakness of Spring MVC, it's weakness of all workflow-oriented web frameworks. If you need to reuse a component with Spring MVC you need to

Create a reusable tag which contains shared HTML code

Create a reusable method which handles HTTP requests from the tag. It is not easy when you have many nested components on a single web page

Call the method from an MVC controller for every page containing the tag

If you are intensively reusing components on GUI level , then a component framework would better suit your needs.

So I started my research on component web frameworks for Java. My first candidate was JSF. After I had read a book on JSF, I had impression that JSF is overcomplicated technology. Nevertheless I downloaded the latest release of ICEFaces and tried to write a simple "hello world" application with a singe button and a message area. I've spent two hours configuring it and six hours figuring out how to eliminate an exception. I can't remember the exact error, it was something about "invalid JSF context". I came to conclusion that I don't need such a framework. Developing GUI is probably the easiest task and definitely shouldn't be that complicated. Developing custom components for JSF is a nightmare. You would have to write three or four classes for a single component. One of the reasons why JSF is so complicated is that JSF has been designed to support different renderers' families. For example, you can switch from HTML to WML by changing a line in the config file. But I believe that in a couple of years WML will not be widely used, because the number of mobile phones capable of displaying HTML increases every year. Eventually I decided that I can't spend my precious time on mastering JSF.

So I said "No" to JSF. The two other candidates were Tapestry and Wicket. So I downloaded Wicket and started reading documentation. I was really impressed by the framework's simplicity. Configuration is very easy. All you have to do is to add Wicket's servlet to the web.xml.

Another concept I like in Wicket is separation of HTML and Java code, in other words separation of concerns. Imagine your technology is JSP and you have a team consisting of programmers and a web designer. In most cases the web designer has his own copy of GUI consisting of static HTML pages, so-called "prototype of GUI". If any changes to HTML code are required, then the web designer updates his web site and sends the new version of modified HTML files to a programmer. The programmer finds a single JSP or multiple JSP's to be modified according to the modified prototype. The programmer modifies JSP's. I believe that this approach is completely wrong. If you are using Wicket, forget about this slow and ugly way of modifying HTML. Just let the web designer to modify HTML, that's all. No programmer's assistance is needed to modify HTML, and I believe it's great !

If you are familiar with Swing, then mastering Wicket will be very easy for you. Spring and Wicket are very similar. Swing JPanel is like Wicket Panel, Swing Button is like Wicket JButton. Very simple. If you want to handle a form's submission, just add an event listener to the form's button, just like in Swing. Working example is available at http://www.wicketstuff.org/wicket13/echo

Wicket is different from javascript - oriented frameworks like GWT or Echo. GWT components are rendered with javascript, while Wicket's components are mainly pure HTML. Web pages built with Wicket components can be indexed by search engines while GWT pages can't.

Wicket integrates with Spring, has support for internationalization and security. If I were to start a new web project now, I would definitely choose Wicket.