В рамках недавнего представитель поисковика Джон Мюллер рассказал о разнице мета-тега noindex и команды disallow. Оба инструмента предназначены для закрытия контента страницы от индексации, но работают они по-разному. В рамках ответа на вопрос одного из участников вебинара о том, насколько эффективно использование команды disallow в robots.txt, сотрудник поиска дал понять, что такой подход не обеспечивает полное закрытие страницы от индексации.
А вот мета-тег noindex обеспечивает полноценное закрытие страницы от поисковых роботов. Если они попадают на такой веб-документ, перейдя по внешней ссылке, то не будут его индексировать. Так будет продолжаться до того времени, пока мета-тег не уберут.
Поэтому в плане эффективности при закрытии страницы от индексации лучше использовать noindex, а не disallow.
Напомним, недавно Google также рассказал об особенностях . Поисковик порекомендовал не дублировать текст этих мета-тегов, хотя он в этом не видит ничего плохого.