Понятие robots.txt на слуху. Наверняка вы хотя бы раз слышали об этом файле, но не знаете, что это и зачем он нужен. А это важный элемент в поисковой оптимизации. Файл robots.txt регулирует ваши отношения с поисковым роботом. Точнее, отношения между вашим сайтом и поисковым роботом.
Это текстовый файл, который содержит инструкции для индексации конкретного сайта. Он указывает поисковиками, какие страницы веб-ресурса нужно проиндексировать, а какие не стоит отображать в поиске.