Для корректной работы требуется PHP версии не ниже 7.4 и установленный продукт «1С-Битрикс: Управление сайтом».
После установки модуль необходимо включить вручную.
Чтобы включить модуль:
Перейдите в раздел: Вебтактика → Метатег Robots и X-Robots-Tag → Настройки.
Включите опцию «Включить модуль».
Сохраните изменения.
После сохранения настроек модуль начнет работу.
«Метатег Robots и X-Robots-Tag» — модуль для управления индексацией и отображением страниц сайта в поисковых системах через HTML-метатеги robots и HTTP-заголовок X-Robots-Tag без правок шаблонов, компонентов и участия разработчика.
Зачем нужен модуль
На сайтах с каталогами, фильтрами и сложной структурой URL появляются технические страницы и дубли. Они попадают в индекс поисковых систем Яндекса, Google и Bing, конкурируют с важными страницами сайта, создают дубли в выдаче и мешают SEO-продвижению.
Модуль позволяет управлять не только индексацией страниц, но и тем, как поисковые системы обрабатывают и показывают их в выдаче: переходами по ссылкам, сниппетами, сохранёнными копиями, индексацией изображений и сроком показа страницы.
SEO-специалист или администратор сайта через административную панель создаёт правило, указывает URL или условие, выбирает нужные директивы — и модуль автоматически выводит их на подходящих страницах через метатег robots или HTTP-заголовок X-Robots-Tag.
Основные возможности
1. Управление robots-директивами для любых страниц
Вы можете задавать правила индексирования:
- для конкретной страницы;
- для раздела сайта;
- по маске URL, например /catalog/*;
- по регулярному выражению, например #^/catalog/.*/filter/#;
Это позволяет управлять индексацией как обычных страниц, так и технических URL, которые не должны попадать в поисковую выдачу.
2. Два способа вывода директив
Модуль поддерживает два способа передачи директив поисковым роботам:
- через HTML-метатег robots;
- через HTTP-заголовок X-Robots-Tag;
- одновременно обоими способами.
Для каждого правила можно выбрать подходящий способ вывода: использовать стандартный метатег или передавать директивы на уровне HTTP-ответа через X-Robots-Tag.
3. Правила для разных поисковых систем
Модуль позволяет задавать директивы для разных поисковых роботов:
- robots — общие правила для поисковых роботов;
- yandex — отдельные правила для Яндекса;
- googlebot — отдельные правила для Google;
- bingbot — отдельные правила для Bing.
Можно задать общее правило для всех роботов или отдельные директивы для Яндекса, Google и Bing.
4. Поддержка популярных SEO-директив
В модуле реализованы директивы, которые чаще всего используются в техническом SEO:
- index / noindex — разрешить или запретить индексацию страницы;
- follow / nofollow — разрешить или запретить переход по ссылкам;
- noarchive — запретить показ сохранённой копии страницы в результатах поиска;
- nosnippet — запретить показ текстового фрагмента страницы в поисковой выдаче;
- noimageindex — запретить индексацию изображений на странице;
- notranslate — запретить предложение перевода страницы;
- unavailable_after — указать дату, после которой страницу не нужно показывать в поиске.
5. Работа с GET-параметрами
Модуль позволяет учитывать или не учитывать GET-параметры при применении правил.
Это помогает управлять индексацией страниц фильтрации, сортировки, поиска, пагинации и других URL с параметрами, которые часто создают дубли и попадают в индекс поисковых систем.
Вы можете задавать правила с учётом конкретных GET-параметров: одни URL с параметрами оставлять открытыми для индексации, а другие закрывать от поисковых систем.
6. Импорт и экспорт правил
Модуль поддерживает импорт и экспорт правил в форматах CSV и XLSX. Это удобно для крупных сайтов, SEO-аудитов и проектов, где нужно быстро настроить большое количество правил.
Импорт и экспорт помогают:
- массово создавать правила;
- переносить настройки между сайтами;
- готовить правила в таблице;
- внедрять рекомендации после SEO-аудита;
- делать резервную копию настроек;
- анализировать правила вне административной панели.
SEO-специалист может подготовить таблицу с правилами и загрузить её в модуль, не создавая каждое правило вручную.
7. Работа без изменения шаблонов сайта
Модуль подключается через системные события 1С-Битрикс и не требует изменения:
- шаблонов сайта;
- компонентов;
- серверных конфигов для типовых сценариев.
После установки можно сразу создавать и менять правила через административную панель. SEO-специалист или администратор сам управляет индексацией страниц, не ставит отдельную задачу разработчику на каждое изменение и экономит бюджет на мелких технических доработках.
8. Поддержка многосайтовости
Модуль поддерживает режим многосайтовости 1С-Битрикс. Можно использовать:
- общие настройки модуля;
- отдельные настройки для каждого сайта;
- правила, привязанные к конкретному сайту.
Это удобно для проектов с несколькими доменами, региональными версиями или разными сайтами на одной установке 1С-Битрикс.
Важно: отличие от robots.txt
Модуль управляет директивами HTML-метатега robots и HTTP-заголовка X-Robots-Tag.
Файл robots.txt управляет доступом поисковых роботов к URL: он сообщает, можно ли сканировать страницу.
Метатег robots и заголовок X-Robots-Tag управляют индексированием и отображением уже просканированной страницы: можно ли показывать её в поиске, переходить по ссылкам, показывать сниппет, сохранять копию и применять другие правила.
Если страница запрещена в robots.txt, поисковик может не увидеть директивы мета-тега robots или X-Robots-Tag. Поэтому для применения таких директив страница должна быть доступна для сканирования.
Поддержка и совместимость
- Поддержка PHP 8.x;
- Работает на актуальных версиях 1С-Битрикс;
- Поддерживает многосайтовость;
- Совместим с композитным режимом;
- Корректно работает с готовыми шаблонами и индивидуальным дизайном.
Закажите любой модуль у нас на сайте с бесплатной установкой и гарантией 14 дней
Мы работаем с физическими и юридическими лицами. И предоставляем сразу два варианта оплаты.
- Наличные. Вы подписываете товаросопроводительные документы, расплачиваетесь денежными средствами, получаете товар и чек.
- Безналичный расчет. Принимаем карты Visa и MasterCard. Доступен при курьерской доставке.
Ваш заказ можем доставить собственными ресурсами, при условии вашего нахождения в городе. Либо через 4 варианта доставки:
- Курьерская доставка. Курьерская доставка работает с 9:00 до 19:00. Когда товар поступит на склад, курьерская служба свяжется для уточнения деталей. Специалист предложит выбрать удобное время доставки и уточнит адрес.
- Самовывоз из магазина. Для получения заказа обратитесь к сотруднику в кассовой зоне и назовите номер.
- Сотрудничаем с постаматами. Срок хранения — 3 дня.
- Предоставляем почтовую доставку через почту России. Когда заказ придет в отделение, на ваш адрес придет извещение о посылке. Вскрывать коробку самостоятельно вы можете только после оплаты заказа.
Дополнительная вкладка для размещения информации о товарах, доставке или любого другого важного контента. Поможет вам ответить на интересующие покупателя вопросы и развеять его сомнения в покупке. Используйте её по своему усмотрению.
Вы можете убрать её или вернуть обратно, изменив одну галочку в настройках компонента. Очень удобно.
- Комментарии
- ВКонтакте