Данный файл служит для управления индексацией страниц сайта поисковыми роботами. Основная функция - закрытие от индексации страниц, попадание которых в индекс поисковых систем нежелательно (в том числе дублей страниц сайта).
Для России основной поисковой системой является Яндекс, который имеет свои особенности индексирования (например, директива Host), и мы рекомендуем время от времени просматривать страничку с помощью, чтобы не просмотреть обновления.
Одно из последних обновлений директив для файла robots.txt - добавление директивы Clean-param, которая позволяет показать поисковой машине, что страницы, в адресе которых формируются указанные динамические параметры, не стоит индексировать (например, id сессии, о котором подробнее рассказывается при описании
оптимизации форума phpbb3).
Т.е. в файл robots.txt можно добавить несколько строк (для каждого User-Agent!)
Clean-param: sid /index.php
Clean-param: sid /viewforum.php
Clean-param: sid /viewtopic.php
Copyright © 2009 "Программирование на PHP для начинающих"