Добавить ai_block/robots.txt

ai_block/robots.txt

@@ -0,0 +1,51 @@
+# Запрет сбора данных для OpenAI (ChatGPT)
+User-agent: GPTBot
+Disallow: /
+
+User-agent: ChatGPT-User
+Disallow: /
+
+# Запрет обучения моделей Google (Gemini, Vertex AI). 
+# Обычный поисковик Googlebot при этом продолжит индексировать сайт!
+User-agent: Google-Extended
+Disallow: /
+
+# Запрет для Anthropic (Claude)
+User-agent: anthropic-ai
+Disallow: /
+
+User-agent: Claude-Web
+Disallow: /
+
+# Запрет для Common Crawl (огромная база, откуда берут данные почти ВСЕ открытые ИИ)
+User-agent: CCBot
+Disallow: /
+
+# Запрет для Apple (Apple Intelligence)
+User-agent: Applebot-Extended
+Disallow: /
+
+# Запрет для Meta (Llama)
+User-agent: FacebookBot
+Disallow: /
+
+User-agent: Meta-ExternalAgent
+Disallow: /
+
+# Запрет для ByteDance (TikTok / Doubao)
+User-agent: Bytespider
+Disallow: /
+
+# Запрет для Perplexity AI
+User-agent: PerplexityBot
+Disallow: /
+
+# Другие известные боты для сбора ИИ-датасетов
+User-agent: Diffbot
+Disallow: /
+
+User-agent: Cohere-ai
+Disallow: /
+
+User-agent: Omgilibot
+Disallow: /