Проверить настройки Skip to content

Закрыть сайт от индексации Поисковой системой

При разработке сайтов, интернет магазинов на CMS Magento (Мадженто) и других CMS, часто используются сервера для разработки. И сервера разработки обычно доступны для поисковых роботов. Иногда поисковики «заходят» на сервера разработки, сканируют контент (сайты). И это может иметь ОЧЕНЬ плохие результаты для продвижения в поисковых системах готового сайта (продакшн).

Как закрыть сайт от индексации?

Можно добавить файл robot.txt — но как показывает опыт, такой способ «закрытия сайта» не совсем хорош, поисковые роботы все равно сканируют сайты разработки.

Можно закрыть от индексации сайт с помощью МЕТА-тэгов, в Magento выключить индексацию можно в админ панели System -> Comfiguration -> Design и вкладка Default Robots

Возможно хорошим решением будет «закрыть сайт» через .htaccess , закрыть через пароль. Поисковые роботы точно не смогут просканировать сайт, также будет дополнительная защита от «чужих глаз».

Если возникли проблемы с правильным созданием .htaccess, на помощь может прийти удобный сервис http://www.msurf.ru/htaccess.php .

 

Magento 1.*
  • Adrian

    «Возможно хорошым решением будет «закрыть сайт» через .htaccess…»

    Исправьте ошибку в слове «хорошИм»

    • admin

      Исправлено :)

  • Adrian

    А как можно закрыть сайт паролем через .htaccess?

    Как прописывать пароль? Очень интересует! Спасибо!