Российские сайты и ИИ-ассистенты: кто закрывается от ChatGPT и кто помогает ему себя найти
Замер robots.txt, llms.txt и разметки Organization на 1 292 крупнейших российских сайтах. Цифры, метод и открытые данные под лицензией CC BY 4.0.
Содержание · 6
Что мы измеряли
Для каждого сайта — три вещи:
- robots.txt. Закрыт ли сайт для восьми ИИ-ботов: GPTBot и OAI-SearchBot (OpenAI), ChatGPT-User, ClaudeBot (Anthropic), PerplexityBot, Google-Extended, CCBot (Common Crawl), Bytespider. Для сравнения — YandexBot и Googlebot.
- llms.txt. Есть ли файл, который описывает сайт для языковых моделей.
- Разметка на главной. Есть ли JSON-LD и тип Organization (или его подтип), то есть сообщает ли сайт поисковикам и ИИ, какая компания за ним стоит.
Результаты
Таблица 1. Крупнейшие российские сайты и ИИ-ассистенты, замер 25.09.2026
| Показатель | Сайтов | Доля |
|---|---|---|
| Закрывают GPTBot | 48 из 1 258 | 3,8% |
| Закрывают ClaudeBot | 22 из 1 258 | 1,7% |
| Закрывают PerplexityBot | 9 из 1 258 | 0,7% |
| Закрывают OAI-SearchBot | 8 из 1 258 | 0,6% |
| Закрывают хотя бы одного ИИ-бота | 70 из 1 258 | 5,6% |
| Закрывают всех восемь | 6 из 1 258 | 0,5% |
| Есть llms.txt | 106 из 1 292 | 8,2% |
| Есть любой JSON-LD на главной | 342 из 1 292 | 26,5% |
| Есть разметка Organization на главной | 237 из 1 292 | 18,3% |
Доли по ботам посчитаны среди 1 258 сайтов, которые не закрыты для Яндекса и Google. Остальные 34 закрыты для всех роботов подряд, и с ними цифры по ИИ были бы завышены.
Что из этого следует
Российские сайты почти не закрываются от ИИ. Закрыть GPTBot решили 3,8% сайтов. Ботов, которые ищут ответы для пользователя в реальном времени (OAI-SearchBot, PerplexityBot), закрывают меньше 1%.
Но и помогать себя найти почти никто не стал. Открыть сайт для ботов — это половина дела. Чтобы ИИ-ассистент назвал компанию в ответе, ему нужно понять, кто она, чем занимается и где находится. Это и делают разметка Organization и llms.txt. Разметку организации на главной имеют меньше пятой части сайтов, llms.txt — меньше десятой.
Как проверить свой сайт за минуту
- Откройте
ваш-сайт.ru/robots.txtи найдите строкиUser-agent: GPTBot,ClaudeBot,PerplexityBot. Если под ними стоитDisallow: /, этот бот сайт не читает. - Откройте
ваш-сайт.ru/llms.txt. Если страница не найдена, файла нет. - Вставьте адрес главной в валидатор разметки schema.org и поищите тип Organization.
Метод и ограничения
Список доменов — 2 000 крупнейших доменов .ru и .рф рейтинга Tranco (top-1M, ID K9PXW). Домены без HTML-главной с ответом 200 (CDN, API, технические) исключены, осталось 1 292 сайта.
Бот считается закрытым, если в группе, которая к нему относится (своя группа User-agent, иначе *), есть Disallow: / и нет ни одного правила Allow. Частичный доступ (всё закрыто, кроме отдельных разделов) считается как «не закрыт». Блокировку на уровне файрвола или CDN этот метод не видит. Замер однократный, 25.09.2026.
Данные
Данные распространяются по лицензии CC BY 4.0: можно использовать с указанием источника — SKY INCOM и ссылки на эту страницу.
- CSV по каждому сайту — 1 292 строки, 61 КБ
- JSON с цифрами и методом — 2 КБ
- График в PNG — 70 КБ, в SVG — 6 КБ
Хотите, чтобы ИИ-ассистенты понимали и называли вашу компанию? Посмотрите, как мы делаем внедрение ИИ и SEO и AEO-оптимизацию, или начните с SEO-аудита сайта.
FAQ
Вопросы и ответы
Сколько российских сайтов закрывают GPTBot?
3,8%: 48 из 1 258 крупнейших российских сайтов, открытых для Яндекса и Google, запрещают GPTBot в robots.txt. Хотя бы одного из восьми ИИ-ботов закрывают 5,6% сайтов, всех восьми сразу — 0,5%. Замер SKY INCOM от 25 сентября 2026 года.
Сколько сайтов публикуют llms.txt?
8,2%: файл llms.txt нашёлся у 106 из 1 292 проверенных сайтов. В формате Markdown, как предполагает стандарт (файл начинается с «#»), — у 99 сайтов, то есть у 7,7%.
Как проверить свой сайт?
Откройте адрес ваш-сайт.ru/robots.txt и посмотрите, есть ли «Disallow: /» в группах GPTBot, ClaudeBot и PerplexityBot. Затем откройте ваш-сайт.ru/llms.txt: если страница не найдена, файла нет. Разметку организации проверяет валидатор schema.org: вставьте адрес главной и найдите тип Organization.
Можно ли использовать данные исследования?
Да. Данные распространяются по лицензии CC BY 4.0: их можно использовать и публиковать с указанием источника — SKY INCOM и ссылки на эту страницу. CSV по каждому сайту, JSON с методом и график доступны для скачивания в разделе «Данные».
Читайте также
Все статьи: SEO и AEOВаш сайт уникален? Почему копипаст вредит продвижению
Почему скопированные тексты мешают сайту в поиске и в ответах ИИ-ассистентов, как проверить уникальность контента и что делать, если ваши тексты копируют другие.
Запустили сервис онлайн-тренировок SculptOnline
Создали и запустили SculptOnline — сервис онлайн-видеотренировок по подписке.
SKY INCOM в списке лучших компаний Clutch Global
Компания SKY INCOM вошла в Clutch Global 1000 — тысячу самых авторитетных IT-компаний мира по версии рейтингового агентства Clutch.