ТРИЗ и поиск закрытых форумов

Попробуем решить задачу в стиле ТРИЗ ….

Как найти закрытый для поисковика форум? (зачем SEO-щнику закрытые форумы? чтобы извлекать уникальную информацию для своих проектов)

Сформулируем противоречие:
— сайт не виден поисковику.
— сайт виден зарегистрированному пользователю.

Как поисковой робот узнает о запрете?

Решение 1:

inurl:robots .txt intext:»Disallow: /*/»

Какие еще могут быть решения?

ТРИЗ и поиск закрытых форумов: 8 комментариев

  1. Flycat

    Ну так это и было предложением. Потому как индексирование может быть запрещено не только в robots.txt. А анализ выдачи — это проверка конечного результата: видится или не видится сайт поисковыми системами

  2. RuSeFun

    А по моему Гуглу пофик на запреты. Он и в закрытые области сайта пролазит. А вообще раньше тырили конетент с блогспот.ком, специально для Яндекса, т.к. он его не индексировал.

  3. serge_mikhailov Автор записи

    в некоторые форумы и сети доступ по паролю. Индексировать такие ресурсы поисковик не сможет.

    > блогспот.ком

    согласен. Яндекс не спешит индексировать и выдвавать страницы в com (net …)

  4. Flycat

    Кстати, а вот интересно: бывает, ищешь какую-нибудь информацию в поисковике и попадаешь на закрытые форумы: «Чтобы видеть страницу, Вам надо зарегистрироваться». А как туда роботы пролазят? У них «проездной»?

  5. serge_mikhailov Автор записи

    Хороший вопрос!!!

    Я думаю, что где то находится индекс, через который роботы пролазят. Человек не знает о существовании этого индекса.

    Вариант 2. Если рефер — страница поисковика, то выдать капчу. Если рефер — робот поисковика — пропустить без задержки.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>