Попробуем решить задачу в стиле ТРИЗ ….
Как найти закрытый для поисковика форум? (зачем SEO-щнику закрытые форумы? чтобы извлекать уникальную информацию для своих проектов)
Сформулируем противоречие:
— сайт не виден поисковику.
— сайт виден зарегистрированному пользователю.
Как поисковой робот узнает о запрете?
Решение 1:
inurl:robots .txt intext:»Disallow: /*/»
Какие еще могут быть решения?
Может, анализировать адреса на количество пунктов в выдаче поисковика = 0?
Это был открытый вопрос. Я не знаю ответа. 🙂
—
Можно анализировать данные Alexa и site:domain.com
Ну так это и было предложением. Потому как индексирование может быть запрещено не только в robots.txt. А анализ выдачи — это проверка конечного результата: видится или не видится сайт поисковыми системами
согласен.
Выводим принцип: сравниваем отображения системы в разных плоскостях и делаем суждения.
А по моему Гуглу пофик на запреты. Он и в закрытые области сайта пролазит. А вообще раньше тырили конетент с блогспот.ком, специально для Яндекса, т.к. он его не индексировал.
в некоторые форумы и сети доступ по паролю. Индексировать такие ресурсы поисковик не сможет.
> блогспот.ком
согласен. Яндекс не спешит индексировать и выдвавать страницы в com (net …)
Кстати, а вот интересно: бывает, ищешь какую-нибудь информацию в поисковике и попадаешь на закрытые форумы: «Чтобы видеть страницу, Вам надо зарегистрироваться». А как туда роботы пролазят? У них «проездной»?
Хороший вопрос!!!
Я думаю, что где то находится индекс, через который роботы пролазят. Человек не знает о существовании этого индекса.
Вариант 2. Если рефер — страница поисковика, то выдать капчу. Если рефер — робот поисковика — пропустить без задержки.