Много времени убил на производство скрипта, который бы скачивал нужную часть каталогов (а не весь сайт).

Проблемы были следующие:
- часть сайтов требует авторизации.
- часть сайтов используют редирект (с которым class snoopy.php не дружит)
- часть сайтов имеют ограничения на количество обращений с конкретного IP

Скачивать некоторые сайты Reget – или Teleport – расстраивать себя. Телепорт может такого накачать, что потом с бутылкой не разберешь.

Решил сделать качальщик на Delphi.

Теперь можно залогиниться в Эксплоере и Delphi программа подхватит зарегистрированного пользователя.

Борьба со всякими редиректами решается очень просто. После того, как страница «загружена», включается 30 секундный таймер. Все редиректы за это время выполняются и открывается правильная страница, которую можно сохранить.

Кстати, из Дельфи можно запускать PHP скрипты на localhost. Например, выделение нужной информации я делаю помощи PHP regexp.

Скачивать страницы индекса каталога можно по заранее данному шаблону, например, так

www.site/keyword/page/nn/ , где n – число от 1, до 500.

Что делать дальше с каталогами? Объединить несколько их. Создать собственную классификацию разделов добавить свой текст. Переписать тексты.

Некоторые весьма посещаемые ресурсы не утруждаются четкой классификацией и собирают в одном разделе тысячи элементов. Если разбить эти выборку на 100 подразделов, то получится существенный выигрыш и пользователям будет гораздо проще найти нужную информацию.

Статьи о SEO SEO SM100

This entry was posted on Среда, Апрель 23rd, 2008 at 09:55 and is filed under SEO, Программирование, шареваре. You can follow any responses to this entry through the RSS 2.0 feed. You can leave a response, or trackback from your own site.