Влияние дубликатов страниц на поисковую оптимизацию сайта.
Сегодня мы обсудим важный вопрос дубликатов страниц в рамках одного домена.
Поисковые системы постоянно совершенствуют свои алгоритмы с целью давать релевантные ответы на поисковые запросы. Совершенствуются и фильтры, применяемые поисковыми системами. Поисковики анализируют содержимое каждой страницы по множествам факторов. Проверяют, на сколько страницы вашего сайта интересны пользователям, на сколько, они читабельны, на сколько, они посещаемы.
Также поисковые системы борются за чистоту индексной базы. Документов огромное количество, и миллионы новых документов появляются и должны быть проиндексированы каждый день. Для того, чтобы облегчить работу, поисковые системы разрабатывают алгоритмы для выявления и маркировки мало значимых страниц. Сайтов и страниц, которые созданы не для посетителей, а для роботов поисковых систем. Страниц, которые мешают качественно ранжировать результаты. Страниц, которые являются дубликатами.
Много споров можно найти об использовании дополнительного индекса поисковыми системами. Мы не пытаемся оспорить чье-то мнение, лишь поясним его суть.
Дополнительный индекс создается поисковой системой для маркировки слабо информационных страниц специальной меткой. В дополнительный индекс попадают технические страницы, страницы регистрации, могут попасть страницы карточек пользователей, страницы для печати, страницы различных вариантов сортировки, страницы фото галереи, страницы видео галереи, т.е. все страницы которые содержат мало уникального материала для однозначного выделения этой страницы из общей массы страниц сайта.
Функциональное назначение дополнительного индекса ясно. Для того чтобы не сравнивать релевантность множества страниц их проще не брать в расчет. Используя дополнительный индекс, или какой либо иной алгоритм позволяющий сократить количество анализируемых результатов, поисковые системы в значительной степени ускоряют процесс нахождения лучшего ответа на запрос пользователя.
Дополнительно Yandex разработал и использует ряд фильтров под названием АГС-17, АГС-30. Которые производят анализ сайта по множеству факторов и выявляют его общую актуальность и полезность для посетителей. В случае многократного обнаружения нарушения лицензии на поиск, на страницах сайта, сайт попадет под фильтр. В результате работы фильтра у больших но мало информативных порталов, которые занимались перепечатыванием чужих материалов, либо не следили за появлением дубликатов страниц в рамках своего сайта, в индексе поисковой системы остается около 10 страниц. Остальные страницы исключены из поиска. В следствии чего, сайт теряет низкочастотный поисковый трафик.
Создавая и наполняя свой сайт материалами, следует следить не только за происхождением материалов, нельзя копировать чужие материалы, но также пристальное внимание следует уделить правильности расположения страниц на вашем ресурсе.
Поисковые системы рекомендуют закрывать от индексации:
- страницы с результатами поиска
- страницы с различными вариантами сортировки каталога
- технические страницы, страницы входа в систему
- страницы для печати
Дополнительно следует ограничивать или запрещать индексацию:
- профили пользователей (если они не представляют основной контент сайта, и не являются информационно насыщенной единицей сайта)
- тщательно надо следить за появлением дубликата главной страницы, к сожалению, разные системы управления позволяют получить доступ к содержимому страницы по разным URLадресам.
- доступ к любой странице сайта должен быть открыт только по одному уникальному URLадресу, за этим надо следить и все дубли должны быть запрещены для индексации.
- следует также предотвращать возможные XSS атаки, когда с помощью GET запроса создается некая страница с содержимым злоумышленника(чаще всего исходящими ссылками)
- для страниц фото и видео галерей следует либо наполнять их нужным количеством текста либо также закрывать от индексации.
На вашем сайте должен быть порядок, вы отвечаете за содержание вашего интернет представительства. Лучше вы запретите индексировать часть материалов вашего сайта, чем робот поисковой системы в автоматическом режиме зафильтрует ваш ресурс.
На этом и закончим наш урок, будьте внимательны.
Как писал Гёте:
Большое множество простых умов живет постройкой карточных домов, хотя при жизни даже самый стойкий доводит редко до конца свою постройку.
