# robots.txt нового статического jugglers.ru (положить в public/robots.txt)
#
# Удалённые разделы (/forum, /comment, /user, /users, /draggable-captcha,
# /sites/files/pictures …) и старые /node, /taxonomy, /search (301) намеренно НЕ закрыты Disallow:
# роботы должны их перезапросить и получить 410 Gone, иначе страницы с персональными
# данными дольше остаются в индексе. Через 3–6 месяцев после переезда можно добавить Disallow.
# Crawl-delay: 10 из старого robots.txt убран — он только замедляет переобход.

User-agent: *
Allow: /

# Яндекс: не плодить дубли из-за меток (поддерживает Clean-param)
User-agent: Yandex
Allow: /
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term

Sitemap: https://jugglers.ru/sitemap-index.xml