# Инструкция по обновлению robots.txt

## 📝 Что нужно добавить в robots.txt

После установки и активации плагина **ContentZavod Proxy v1.1.0**, добавьте следующую строку в ваш файл `robots.txt`:

```
Sitemap: https://lifeexpert.top/contentzavod-sitemap.xml
```

## 📄 Полный пример robots.txt

Ваш обновленный файл `robots.txt` должен выглядеть так:

```
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://lifeexpert.top/sitemap.xml
Sitemap: https://lifeexpert.top/sitemap.html
Sitemap: https://lifeexpert.top/contentzavod-sitemap.xml
```

## 🔧 Как это работает

1. **URL sitemap:** `https://lifeexpert.top/contentzavod-sitemap.xml`
2. **Проксирует на:** `https://fittin.ru/contentzavod/sitemap.xml`
3. **Обработка:** Все URL в sitemap автоматически заменяются с `fittin.ru` на `lifeexpert.top`

### Пример трансформации URL в sitemap

**Исходный URL в sitemap fittin.ru:**

```xml
<loc>https://fittin.ru/contentzavod/view/article-name</loc>
```

**Преобразуется в:**

```xml
<loc>https://lifeexpert.top/contentzavod/view/article-name</loc>
```

## 📋 Шаги по обновлению robots.txt

### Способ 1: Через FTP/SFTP

1. Подключитесь к серверу через FTP-клиент
2. Найдите файл `robots.txt` в корневой директории сайта
3. Откройте файл для редактирования
4. Добавьте строку:

   ```
   Sitemap: https://lifeexpert.top/contentzavod-sitemap.xml
   ```

5. Сохраните файл

### Способ 2: Через SSH

```bash
# Подключитесь к серверу
ssh user@your-server.com

# Перейдите в корневую директорию WordPress
cd /path/to/wordpress/

# Откройте файл для редактирования
nano robots.txt

# Добавьте строку с sitemap
# Сохраните: Ctrl+O, Enter, Ctrl+X
```

### Способ 3: Через плагин WordPress

Если вы используете плагин для управления robots.txt (например, Yoast SEO):

1. Перейдите в настройки плагина
2. Найдите раздел редактирования robots.txt
3. Добавьте строку с sitemap
4. Сохраните изменения

## ✅ Проверка работы

### 1. Проверьте доступность sitemap

Откройте в браузере:

```
https://lifeexpert.top/contentzavod-sitemap.xml
```

Вы должны увидеть XML-файл с URL-адресами, которые начинаются с `https://lifeexpert.top/contentzavod/`

### 2. Проверьте robots.txt

Откройте в браузере:

```
https://lifeexpert.top/robots.txt
```

Убедитесь, что там есть строка:

```
Sitemap: https://lifeexpert.top/contentzavod-sitemap.xml
```

### 3. Проверьте в Google Search Console

1. Войдите в Google Search Console
2. Перейдите в раздел **Файлы Sitemap**
3. Добавьте новый sitemap: `contentzavod-sitemap.xml`
4. Дождитесь обработки (может занять несколько дней)

## 🔍 Проверка через инструменты

### Проверка robots.txt онлайн

Используйте любой из инструментов:

- <https://www.google.com/webmasters/tools/robots-testing-tool>
- <https://technicalseo.com/tools/robots-txt/>

### Проверка sitemap онлайн

- <https://www.xml-sitemaps.com/validate-xml-sitemap.html>
- <https://www.websiteplanet.com/webtools/sitemap-validator/>

## ⚠️ Важные замечания

1. **Обновите постоянные ссылки** после установки плагина:
   - WordPress админ → Настройки → Постоянные ссылки → Сохранить

2. **Очистите кэш** если используете плагины кэширования:
   - WP Super Cache
   - W3 Total Cache
   - LiteSpeed Cache
   - и т.д.

3. **Проверьте доступность** sitemap перед добавлением в robots.txt

4. **Подождите индексацию** - Google может занять от нескольких дней до недель для полной индексации нового sitemap

## 🆘 Решение проблем

### ❌ Проблема: "404 Not Found" при открытии sitemap

**Решение:**

1. Убедитесь, что плагин активирован
2. Перейдите в **Настройки → Постоянные ссылки → Сохранить**
3. Очистите кэш браузера и WordPress
4. Попробуйте снова

### ❌ Проблема: "В sitemap отображаются URL с fittin.ru"

**Решение:**

1. Убедитесь, что установлена версия плагина **1.1.0** или выше
2. Проверьте, что функция `home_url()` возвращает правильный URL вашего сайта
3. Очистите кэш

### ❌ Проблема: "Sitemap пустой или содержит ошибки"

**Решение:**

1. Проверьте, что исходный sitemap доступен: `https://fittin.ru/contentzavod/sitemap.xml`
2. Убедитесь, что сервер может делать исходящие HTTPS запросы
3. Проверьте логи ошибок WordPress

## 📊 Мониторинг

После добавления sitemap в robots.txt рекомендуется отслеживать:

1. **Google Search Console**
   - Количество проиндексированных страниц
   - Ошибки индексации
   - Покрытие sitemap

2. **Логи сервера**
   - Частота обращений поисковых ботов к sitemap
   - Ошибки при запросах к sitemap

3. **Позиции в поиске**
   - Отслеживайте появление страниц contentzavod в результатах поиска

## 📚 Дополнительная информация

- Плагин автоматически устанавливает заголовок `X-Robots-Tag: noindex, follow` для sitemap
- Content-Type устанавливается как `application/xml; charset=utf-8`
- Таймаут запроса к источнику: 30 секунд

---

**Версия плагина:** 1.1.0  
**Дата обновления:** 2025-10-24

