# KotKit
# Только приватная инфраструктура. Все остальные маршруты закрыты либо
# серверным секретным гейтом (404 для краулеров), либо per-page noindex —
# и то, и другое требует, чтобы страницу можно было ОБХОДИТЬ. Поэтому серые
# и маркетинговые маршруты сюда НЕ выносятся: перечислить их в robots = только
# раскрыть их URL и при этом помешать noindex сработать.
User-agent: *
Disallow: /dashboard/
Disallow: /auth/
Disallow: /api/
Disallow: /settings/
Disallow: /downloads/
Disallow: /preview/
Disallow: /dev/

# ── AI-краулеры ───────────────────────────────────────────────────────────
# Политика осознанная, а не по умолчанию: раньше эти боты проходили под общим
# `User-agent: *`, то есть доступ был, но никем не выбирался.
#
# Решение: разрешаем ИНДЕКСАЦИЮ ДЛЯ ОТВЕТОВ С ЦИТИРОВАНИЕМ и закрываем ботов,
# которые собирают корпус для ОБУЧЕНИЯ и ссылку назад не дают. Логика простая:
# первые приводят людей, вторые забирают текст. Приватные разделы закрыты и
# здесь тоже — блок `*` на отдельные User-agent НЕ распространяется, правила
# для каждого бота надо повторять целиком.

# Поисковые/ответные боты — пускаем: они цитируют источник. Явного `Allow: /`
# здесь нет намеренно: отсутствие запрета уже означает «можно», а `Allow: /`
# матчится длиной в один символ и в части парсеров перебивает `Disallow`
# приватных путей — то есть открыл бы им /dashboard/ и /api/.
User-agent: OAI-SearchBot
Disallow: /dashboard/
Disallow: /auth/
Disallow: /api/
Disallow: /settings/
Disallow: /downloads/
Disallow: /preview/
Disallow: /dev/

User-agent: ChatGPT-User
Disallow: /dashboard/
Disallow: /auth/
Disallow: /api/
Disallow: /settings/
Disallow: /downloads/
Disallow: /preview/
Disallow: /dev/

User-agent: PerplexityBot
Disallow: /dashboard/
Disallow: /auth/
Disallow: /api/
Disallow: /settings/
Disallow: /downloads/
Disallow: /preview/
Disallow: /dev/

User-agent: Claude-User
Disallow: /dashboard/
Disallow: /auth/
Disallow: /api/
Disallow: /settings/
Disallow: /downloads/
Disallow: /preview/
Disallow: /dev/

User-agent: Claude-SearchBot
Disallow: /dashboard/
Disallow: /auth/
Disallow: /api/
Disallow: /settings/
Disallow: /downloads/
Disallow: /preview/
Disallow: /dev/

# Яндекс: Нейро и Алиса ходят основным YandexBot, отдельного агента нет —
# он уже покрыт блоком `*` выше. YandexAdditional отвечает за расширенные
# сервисы; закрывать его смысла нет, для РФ это основной канал.
User-agent: YandexAdditional
Disallow: /dashboard/
Disallow: /auth/
Disallow: /api/
Disallow: /settings/
Disallow: /downloads/
Disallow: /preview/
Disallow: /dev/

# Сбор корпуса для обучения без ссылки назад — закрываем.
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

Sitemap: https://kotkit.pro/sitemap-index.xml