Коротко: Текстовий файл у корені сайту, що містить директиви для роботів пошукових систем щодо правил сканування сторінок.
Що таке Robots.txt?
Використовує команди User-agent, Disallow та Allow, а також вказує шлях до карти сайту Sitemap XML.
Ключові особливості та переваги
- Заборона сканування технічних сторінок (кошик, адмінка, системні файли)
- Запобігання витоку конфіденційної інформації в індекс Google
- Оптимізація та збереження краулінгового бюджету робота
Сфери застосування та практичне значення
Перший файл, який перевіряє будь-який пошуковий павук перед початком індексації сайту.