Как создать и разместить robots.txt в Чатиум
Данное руководство описывает процесс создания и размещения файла robots.txt в аккаунте Чатиум с использованием нейросети для управления индексацией страниц поисковыми системами.
Предварительные требования
Перед началом работы убедитесь, что выполнены следующие условия:
1️⃣ Подключен собственный домен → инструкция по подключению домена.
2️⃣ Создан Workspace, назначенный стартовой страницей для подключенного домена → инструкция по установке стартовой страницы.
1️⃣ Подключен собственный домен → инструкция по подключению домена.
2️⃣ Создан Workspace, назначенный стартовой страницей для подключенного домена → инструкция по установке стартовой страницы.
Пошаговая инструкция
Зайдите в Workspace, который назначен стартовым для домена.
Шаг 1: Подготовка запроса
Шаг 2: Формирование запроса
Создайте запрос для нейросети по следующему шаблону:
Создай файл robots.txt и разреши индексировать [указать страницы], кроме [указать исключения]. Прочти имеющуюся документацию для корректного выполнения задачи.
Пример запроса:
Создай файл robots.txt и разреши индексировать все, кроме /app/ и /s/. Прочти имеющуюся документацию для корректного выполнения задачи.
Рекомендуется закрыть от индексации следующие системные адреса:
🔸 /app/ — административный раздел (все разделы в личном админском кабинете).
🔸 /s/ — системные страницы (логи, страница входа и т.д.).
⚠️ Важно: адреса должны быть закрыты слэшами с двух сторон.
🔸 /app/ — административный раздел (все разделы в личном админском кабинете).
🔸 /s/ — системные страницы (логи, страница входа и т.д.).
⚠️ Важно: адреса должны быть закрыты слэшами с двух сторон.
Шаг 3: Адреса для исключения из индексации
Отправьте запрос нейросети и дождитесь выполнения задачи.
Шаг 4: Отправка запроса
Для проверки правильности создания файла:
- Перейдите по адресу: ваш-домен.com/robots.txt.
- Убедитесь, что файл содержит корректные правила.
Шаг 5: Проверка результата
Пример запроса:
User-agent: *
Allow: /
Disallow: /app/
Disallow: /s/
User-agent: * — правила применяются ко всем поисковым системам.
Allow: / — разрешена индексация всех страниц.
Disallow: — указываются папки и страницы, запрещенные для индексации.
Allow: / — разрешена индексация всех страниц.
Disallow: — указываются папки и страницы, запрещенные для индексации.
Структура файла robots.txt
Часто встречающиеся вопросы
Да, вместо "все" укажите конкретные адреса страниц в запросе к нейросети
Обновляйте файл при добавлении новых разделов, которые нужно исключить из индексации
