О вреде включения индексации на основе обхода по счётчикам
Есть в Яндекс.Вебмастере такая функция как индексация на основе обхода по счётчикам Метрики. На первый взгляд, достаточно безобидная, и Вебмастер активно уговаривает её включить. Но, на самом деле для качественно сделанного сайта она скорее вредна, чем полезна.
Во-первых, из-за неё может проиндексироваться то, что для индексации вовсе не предназначено, если забыть закрыть это в robots.txt. Например, на этом сайте таким объектом могли бы стать прикреплённые в закрытых разделах форума файлы, так как доступ к ним осуществляется по URL с секретной частью.
Во-вторых, сегодня обнаружил, что несколько дней назад в Яндекс добавилось большое количество новых страниц, которые затем из поиска были выброшены как дубли. Стал разбираться, в чём дело, и обнаружилось, что добавилось большое количество страниц со странными параметрами в URL вроде ?aazw46f13t=aazw46f13t. Судя по всему, кто-то прогнал сайт через сканер безопасности, а Метрика отследила все такие заходы и отправила такие страницы на индексацию, что с точки зрения SEO никакой пользы не несёт. Конечно, от этого можно защититься через указание правильного адреса страницы через canonical-адрес (тег <link rel="canonical" href="URL">).
При этом если сайт сделан качественно, то есть все ссылки доступны поисковому роботу либо на страницах самого сайта, либо через sitemap.xml, индексация по Метрике никакой пользы не даёт. Поэтому, видимо, у себя на сайтах буду держать её выключенной.
Во-первых, из-за неё может проиндексироваться то, что для индексации вовсе не предназначено, если забыть закрыть это в robots.txt. Например, на этом сайте таким объектом могли бы стать прикреплённые в закрытых разделах форума файлы, так как доступ к ним осуществляется по URL с секретной частью.
Во-вторых, сегодня обнаружил, что несколько дней назад в Яндекс добавилось большое количество новых страниц, которые затем из поиска были выброшены как дубли. Стал разбираться, в чём дело, и обнаружилось, что добавилось большое количество страниц со странными параметрами в URL вроде ?aazw46f13t=aazw46f13t. Судя по всему, кто-то прогнал сайт через сканер безопасности, а Метрика отследила все такие заходы и отправила такие страницы на индексацию, что с точки зрения SEO никакой пользы не несёт. Конечно, от этого можно защититься через указание правильного адреса страницы через canonical-адрес (тег <link rel="canonical" href="URL">).
При этом если сайт сделан качественно, то есть все ссылки доступны поисковому роботу либо на страницах самого сайта, либо через sitemap.xml, индексация по Метрике никакой пользы не даёт. Поэтому, видимо, у себя на сайтах буду держать её выключенной.