Примеры ошибки
Частая ситуация: у вас стоит мета <meta name=”robots” content=”noindex, follow” />, но страницы попадают в индексацию Google Search Console.
Объясню простым языком, почему так происходит.
Робот Google Search Console собирается изучить (вручную проверить ответ можно тут) страницу, получает от robotx.txt ответ, что страница к индексу запрещена, и не видит вашего тега с запретом на индексацию.
Как исправить?
Из-за того что у вас страница закрыта в robots.txt, бот не может ее просканировать и увидеть noindex. Уберите данные запреты
Disallow: /*?sort= Disallow: /*&sort=
И сами увидите как страницы быстро уйдут из индекса
Если хотите ускорить данный процесс, сформируйте отдельную карту сайта (xml) и отправьте её на переобход в Search Console.
Ответы вебмастеров
Как исправить ошибку в Robots.txt в Битрикс?
В данном случае необходимо удалить из файла Robots.txt директивы: Disallow: /?s= Disallow: /*?
А на всех мусорных страницах, которые Вы закрывали при помощи данной директивы прописать мета тег
meta name=”robots” content=”noindex, follow”.
