При разработке сайтов, интернет магазинов на CMS Magento (Мадженто) и других CMS, часто используются сервера для разработки. И сервера разработки обычно доступны для поисковых роботов. Иногда поисковики «заходят» на сервера разработки, сканируют контент (сайты). И это может иметь ОЧЕНЬ плохие результаты для продвижения в поисковых системах готового сайта (продакшн).
Как закрыть сайт от индексации?
Можно добавить файл robot.txt — но как показывает опыт, такой способ «закрытия сайта» не совсем хорош, поисковые роботы все равно сканируют сайты разработки.
Можно закрыть от индексации сайт с помощью МЕТА-тэгов, в Magento выключить индексацию можно в админ панели System -> Comfiguration -> Design и вкладка Default Robots
Возможно хорошим решением будет «закрыть сайт» через .htaccess , закрыть через пароль. Поисковые роботы точно не смогут просканировать сайт, также будет дополнительная защита от «чужих глаз».
Если возникли проблемы с правильным созданием .htaccess, на помощь может прийти удобный сервис .