Попробуем решить задачу в стиле ТРИЗ ….
Как найти закрытый для поисковика форум? (зачем SEO-щнику закрытые форумы? чтобы извлекать уникальную информацию для своих проектов)
Сформулируем противоречие:
- сайт не виден поисковику.
- сайт виден зарегистрированному пользователю.
Как поисковой робот узнает о запрете?
Решение 1:
inurl:robots .txt intext:”Disallow: /*/”
Какие еще могут быть решения?
Автор Сергей Михайлов SM100
| Пн | Вт | Ср | Чт | Пт | Сб | Вс |
|---|---|---|---|---|---|---|
| « Июль | ||||||
| 1 | ||||||
| 2 | 3 | 4 | 5 | 6 | 7 | 8 |
| 9 | 10 | 11 | 12 | 13 | 14 | 15 |
| 16 | 17 | 18 | 19 | 20 | 21 | 22 |
| 23 | 24 | 25 | 26 | 27 | 28 | 29 |
| 30 | 31 | |||||
Страницы: 1| 2| 3| 4| 5| 6| 7| 8| 9| 10| 11| 12| 13| 14| 15| 16| 17| 18| 19| 20| 21| 22| 23| 24| 25| 26| 27| 28| 29| 30| 31| 32| 33| 34| 35| 36| 37| 38| 39| 40| 41| 42| 43| 44| 45| 46| 47| 48| 49| 50| 51| 52| 53| 54| 55| 56| 57| 58| 59|
слуховые аппараты продажа москва. .
получить потребительский кредит дорогой магазин россия. .
стиральные машины с вертикальной загрузкой описание.
Сентябрь 5th, 2008 10:03
Может, анализировать адреса на количество пунктов в выдаче поисковика = 0?
Сентябрь 5th, 2008 10:12
Это был открытый вопрос. Я не знаю ответа. :)
—
Можно анализировать данные Alexa и site:domain.com
Сентябрь 5th, 2008 10:18
Ну так это и было предложением. Потому как индексирование может быть запрещено не только в robots.txt. А анализ выдачи — это проверка конечного результата: видится или не видится сайт поисковыми системами
Сентябрь 5th, 2008 10:24
согласен.
Выводим принцип: сравниваем отображения системы в разных плоскостях и делаем суждения.
Сентябрь 7th, 2008 08:22
А по моему Гуглу пофик на запреты. Он и в закрытые области сайта пролазит. А вообще раньше тырили конетент с блогспот.ком, специально для Яндекса, т.к. он его не индексировал.
Сентябрь 7th, 2008 08:51
в некоторые форумы и сети доступ по паролю. Индексировать такие ресурсы поисковик не сможет.
> блогспот.ком
согласен. Яндекс не спешит индексировать и выдвавать страницы в com (net …)
Сентябрь 9th, 2008 14:14
Кстати, а вот интересно: бывает, ищешь какую-нибудь информацию в поисковике и попадаешь на закрытые форумы: “Чтобы видеть страницу, Вам надо зарегистрироваться”. А как туда роботы пролазят? У них “проездной”?
Сентябрь 9th, 2008 14:29
Хороший вопрос!!!
Я думаю, что где то находится индекс, через который роботы пролазят. Человек не знает о существовании этого индекса.
Вариант 2. Если рефер - страница поисковика, то выдать капчу. Если рефер - робот поисковика - пропустить без задержки.