Пользуясь специальной инструкцией Crawl-delay в файле robots.txt, веб-мастеры могут менять продолжительность перерывов, которые делает поисковый робот "Яндекса" между запросами к серверу. Это может оказаться полезным в том случае, если "паук" создает чрезмерную нагрузку на сайт, и его необходимо как-то "утихомирить".

Crawl-delay позволяет задать поисковому роботу минимальное время (в секундах) между окончанием сканирования одной страницы сайта и началом индексации следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке файла robots.txt, директиву Crawl-delay необходимо добавлять к группе, начинающейся с записи User-agent, непосредственно после строки Disallow (Allow).

Например, для того чтобы заставить робота обходить каждую страницу веб-ресурса с тайм-аутом в три секунды, необходимо прописать в robots.txt следующие инструкции:

User-agent: Yandex

Crawl-delay: 3

или

User-agent: Yandex

Disallow: /administrator

Crawl-delay: 3

В последнем примере яндексовский "паук" будет не только строго выдерживать трёхсекундную паузу перед скачиванием каждой страницы сайта, но и будет игнорировать директорию Administrator.

"Яндекс" поддерживает дробные значения Crawl-delay - например, 0.5 или 4.5. Это значит, что при желании можно управлять настройками поискового робота и регулировать скорость, с которой он индексирует сайты, с точностью до десятых долей секунд.

И последнее. Директиву Crawl-delay можно применить ко всем поисковым роботам, используя в инструкции User-agent символ подстановки "*".

Благодаря новому аналитическому сервису Google Trends for Websites, не так давно запущенному создателем "поисковика номер один", каждый желающий может сравнить статистику посещаемости практически любых веб-площадок. Всё, что необходимо для работы с онлайновым инструментом, это в поле для ввода текста перечислить через запятую адреса сравниваемых ресурсов и, нажав клавишу Search Trends, дождаться результатов обработки запроса.

Google Trends for Websites демонстрирует количество уникальных посетителей каждого, вызвавшего интерес ресурса, отображает пересечение аудитории и её распределение по странам, а также определяет используемые интернет-пользователями поисковые запросы. Сведения о посещаемости сайтов сервис агрегирует из самых различных источников, как находящихся в ведении компании Google, так и принадлежащих сторонним организациям. В настоящий момент интерфейс инструмента представлен исключительно на английском языке. В недалёком будущем разработчики обещают расширить возможности онлайновой службы и перевести её интерфейс на множество других языков.

Веб-мастера давно ищут способы сделать свои сайты легко читаемыми не только для людей, но и для поисковых систем. Информация о механизмах обхода сайта и индексации обычно держится хозяевами поисковиков в строжайшем секрете, так что любое приглашение к сотрудничеству с их стороны должно вызывать живейший интерес у борцов за позиции в поисковой выдаче.

Именно такое приглашение и прозвучало недавно со стороны трёх поисковых систем - Google, Yahoo и Microsoft Live. Все они будут поддерживать новый стандарт, позволяющий веб-мастерам самостоятельно предлагать ссылки со своих сайтов для индексации. Стандарт называется SiteMap и основан на XML. Файл в этом формате содержит полный список страниц сайта, которые должны быть проиндексированы.

Помимо собственно ссылок можно указывать приоритет ссылки (важность относительно других страниц сайта), дату последнего обновления и примерную частоту обновлений ("daily", "monthly" и так далее). Конечный файл должен называться sitemap.xml. Размещать его рекомендуется в корневом каталоге или в каталоге максимально к нему близком.

Если страниц много, то создавать карту вручную окажется довольно обременительно. Чтобы не делать этого, можно попробовать добавить в систему управления контентом (если таковая имеется) специальный скрипт, генерирующий SiteMap, или воспользоваться готовой программой от Google. Написана она на Python и требует наличия на сервере интерпретатора этого языка.

После того, как sitemap.xml создан или изменён, его можно самостоятельно предложить поисковым системам. В случае с Google это делается при помощи сервиса Webmaster Tools. Зарегистрировавшись (или зайдя под уже существующим гугловским аккаунтом), следует сперва добавить адрес своего сайта, а потом указать ссылку на файл с картой. Если требуется автоматизировать процесс, то можно воспользоваться специальным интерфейсом (он стандартен для всех поисковиков, поддерживающих SiteMap), запросив ссылку вида "<адрес_поисковика>/ping?sitemap=адрес_карты".