Итоги голосования для комментария:

Джек

Ясно, спасибо. Ну я не знаю как другие делают, но по моему принцип вполне годный. Мелкие детали не так важны, они, конечно, могут различаться.
Скорее всего буду делать так же, если решусь реализовать какие-то свои идеи по хекскраулеру.