Как бороться с дублями страниц?03 июля 2012

Автор: Салихов Ф.Н.
Автор: Салихов Ф.Н.

Довольно часто на одном и том же сайте существуют копии страниц, причем его владелец об этом может и не догадываться. При их открытии все отображается правильно, но если вы бросите взгляд на адрес сайта, тогда сможете заметить, что одному и тому же содержанию могут соответствовать различные адреса.

Что это означает? Для простых пользователей в Москве ничего, поскольку они пришли на ваш сайт не на названия страниц смотреть, а потому что их заинтересовал контент. А вот о поисковых машинах этого сказать нельзя, поскольку они такое положение вещей воспринимают совсем в другом свете – они видят отличные друг от друга страницы с одинаковым содержанием.

Если обычные пользователи могут и не заметить на сайте продублированные страницы, от внимания поисковиков это точно не ускользнет. К чему это может привести? Поисковые роботы определят копии как разные страницы, в результате они перестанут воспринимать их контент как уникальный. Если вас интересует продвижение сайта, то знайте, что на ранжировании это непременно отразится. К тому же наличие дублей снизит ссылочный вес, появившийся в результате немалых усилий оптимизатора, который пытался выделить целевую страницу. Дублирование страниц может привести к тому, что будет выделена совершенно иная часть сайта. А это может в разы снизить эффективность внешних ссылок и внутренней перелинковки.

Могут ли дубли страниц принести вред?

Зачастую виновником появления дублей является CMS, неправильные настройки которых или недостаток внимания оптимизатора может привести к генерированию четких копий. Такие системы по управлению сайтами, как Joomla часто этим грешат. Сразу отметим, что универсального средства для борьбы с этим явлением просто не существует, но можно установить один из плагинов, предназначенный для поиска и удаления копий. Однако могут появиться нечеткие дубли, содержимое которых не полностью совпадает. Это чаще всего случается из-за недоработок вебмастера. Нередко такие страницы можно найти в интернет-магазинах, в которых карточки товаров отличаются только несколькими предложениями описания, остальной же контент, который состоит из различных элементов и сквозных блоков, является одинаковым. Часто специалисты соглашаются, что некоторое количество дублей не помешает сайту, но если их около половины или больше, тогда продвижение ресурса вызовет немало проблем. Но даже в тех случаях, когда на сайте несколько копий, лучше их отыскать и устранить – так вы наверняка избавитесь от дублей на своем ресурсе.

Поиск дублированных страниц

Найти дублированные страницы можно несколькими способами. Но перед самим поиском было бы хорошо посмотреть на свой сайт глазами поисковиков: как они его себе представляют. Для этого просто сравните количество ваших страниц с теми, которые находятся в их индексе. Чтобы это увидеть, просто введите в поисковую строку Google либо «Яндекса» фразу host:yoursite.ru, после чего оцените результаты.

Если такая простая проверка предоставит различные данные, которые могут отличаться в 10 и более раз, то есть основания полагать, что ваш электронный ресурс содержит дубли. Хотя это и не всегда происходит по вине дублированных страниц, но эта проверка послужит хорошим основанием для их поиска. Если ваш сайт имеет небольшие размеры, тогда вы можете самостоятельно подсчитать число реальных страниц, после чего сравнить результат с показателями поисковиков. Произвести поиск дубликатов можно и посредством URL, которые предлагаются в поисковой выдаче. Если вы используете ЧПУ, тогда страницы с непонятными символами в URL, такие как «index.php?с=0f6b3953d», сразу же привлекут ваше внимание.

Другим методом определения наличия дублей является поиск фрагментов текста. Чтобы выполнить такую проверку, необходимо ввести текст из нескольких слов каждой страницы в поисковую строку, потом просто проанализировать полученный результат. В тех случаях, когда в выдачу попадает две или больше страниц, становится очевидным, что копии имеют место быть. Если же страница в выдаче только одна, тогда она не имеет дубликатов. Конечно, эта методика проверки подойдет только для небольшого сайта, состоящего из нескольких страниц. Когда сайт содержит их сотни, его оптимизатор может использовать специальные программы, например, Xenu`s Link Sleuth.

Для проверки сайта откройте новый проект и зайдите в меню «File», там найдите «Check URL», введите адрес интересующего вас сайта и нажмите «OK». Теперь программа приступит к обработке всех URL указанного ресурса. Когда работа будет выполнена, полученную информацию нужно будет открыть в любом удобном редакторе и произвести поиск дублей. На этом методы поиска дублированных страниц не заканчиваются: в панели инструментов Google Webmaster и «Яндекс.Вебмастер» можно увидеть средства, позволяющие проверить индексацию страниц. С их помощью тоже можно найти дубли.

На пути решения проблемы

Когда вы найдете все дубли, перед вам появится задача устранить их. Существует несколько возможностей решения этой проблемы и различные способы устранения дубликатов страниц.

Склеивание страниц-копий можно произвести с помощью редиректа 301. Это действенно в тех случаях, когда URL отличаются отсутствием или наличием www. Удалить страницы-копии можно и в ручном режиме, но этот метод успешен лишь для тех дублей, которые создавались вручную.

Решить проблему дублей можно при помощи тега canonical, который используется для нечетких копий. Так, его можно использовать в интернет-магазине для категорий товаров, для которых имеются дубли и которые отличаются лишь сортировкой по разным параметрам. К тому же тег canonical подходит для использования на страницах для печати и в аналогичных случаях. Использовать его совсем не сложно – для каждой копии задается атрибут в виде rel=”canonical”, для продвигаемой страницы с наиболее релевантными характеристиками, этот атрибут не указывается. Приблизительный вид кода: link rel="canonical" href="http://site.ru/stranica-kopiya"/. Располагаться он должен в области тега head.

Правильно настроенный файл robots.txt тоже позволит достичь успеха в борьбе с дублями. С помощью директивы Disallow вы можете перекрыть доступ поисковых роботов ко всем дублированным страницам.

Даже профессиональная разработка сайта не поможет вывести его в ТОП, если ресурс будет содержать дублированные страницы. На сегодняшний день страницы-копии являются одним из часто встречающихся подводных камней, от которых страдают новички. Их большое количество на вашем сайте создаст значительные трудности по выведению его в ТОП, а то и вовсе сделают его невозможным.


Читайте такжедругие интересные статьи

Внутренняя оптимизация сайта
1307
Внутренняя оптимизация сайта

Известно, что продвинутые сайты отличаются системной динамикой и легко ранжируются поисковиками. Самый первый шаг продвижения - внутренняя оптимизация сайта. Это комплекс мер по изменению его...

Как написать продающий текст?
1201
Как написать продающий текст?

Вступление к продающему тексту – это проблема многих копирайтеров. Иногда просто нет подходящей мысли. Кажется, заголовок вы уже придумали и с общей структурой все ясно, а вот как начать – не...

наверх