TINY робот

Если вы в интернете не первый год, а тем более если вы занимаетесь разработкой веб, то наверняка слышали про роботов что есть у яндекса и гугла и у любой поисковой системы.
Моя система не исключения :) Мой поисковик конечно пародия на существующие гиганты отрасли ну да ладно...
Суть каждого робота/паука проста - лазий целый день по интернету и добавляй сайты в базу. Так моя программа и действует. Может она конечно действует немного варварски и не продуманно, собсно алгоритм:

1) Приходим на сайт (открываем/ скачиваем страницу)
2) Индексируем содержимое страницы (добавляем в базу)
3) Ищем все ссылки которые есть в документе и добавляем их в список ссылок по которым переходим.

Вот скрин где видно как программа собирает ссылки, по которым в итоге она и совершает прогулки по интернету:

Вот такой нехилый список набегает в первые минуты работы программы. Естественно нужно откидыватьссылки где вы уже были... Пока фсё.