BlogDoc.ru

Клоакинг (cloaking) - это техника, используемая для представления web-страниц на основе определенных условий. Существуют 2 основные причины, по которым применяют клоакинг:

i) для того, чтобы поисковым роботам (краулерам) предоставлять специально оптимизированную под них страницу сайта, а реальному пользователю - совершенно другую. Как известно, страница, оптимизированная для поисковика не отличается эстетичным видом, т.к. её структура и содержание нацелены только на повышение релевантности. Она выдается в случае, когда сайт посещает поисковый робот. Когда же сайт посещает обычный пользователь, на выдачу идет совершенно другая страница, вполне нормальная на вид.

ii) чтобы скрыть исходный код оптимизированных страниц сайта и, таким образом, защититься от копирования кода конкурентами.

Клоакинг реализуется с помощью специальных скриптов на стороне сервера. Скрипт выясняет - кто обратился с запросом к данной странице сайта - поисковый робот или человек ? Если поисковик - скрипт командует к выдаче оптимизированную под него страницу. Если человек - к выдаче идет стандартная страница сайта.

Существуют 2 главных способа определения скриптом поисковика и человека:

i) первый самый простой путь - контроль переменной среды под названием User-Agent. Каждый раз, когда кто то обращается к странице сайта, сайту передается переменная User-Agent, которая содержит - в случае захода поисковика - название поисковой машины. Скрипту остается только считать значение User-Agent для принятия дальнейшего решения о выдаче страницы. Если скрипт не обнаружит название поисковика в user-agent, он принимает посетителя за человека и выдает стандартную страницу.

Однако, хоть это и простейший путь реализации клоакинга, он в то же время весьма небезопасен. Достаточно легко фальсифицировать переменную User-Agent и ознакомиться с “секретными материалами” по оптимизации страниц.

ii) второй более сложный путь - использование уникального адреса I.P. (Internet Protocol) посетителя страницы. Для этого скрипт должен обладать актуальной - на текущий день - базой данных I.P. адресов поисковиков. Зная их, клоакинг-скрипт легко перенаправит посетителя на нужную страницу - или на оптимизированную для “робота” или на обычную - для людей.

Здесь есть слабое звено - актуальность базы данных поиcковиков. Ведь если сегодня - например - поменялись несколько I.P. адресов пауков Гугла, то завтра гуглбот посетит вашу реальную страницу, т.к. база данных клоакинг-скртипта не может знать только что появившиеся ip-адреса поискового робота.

I.P. клоакинг более трудоемкий, но и более надежный способ, чем User-Agent клоакинг, поскольку подделать I.P. гораздо сложнее, чем User-Agent.

Теперь, когда смысл и идея клоакинга понятны, возникает очевидный вопрос - а нужно ли вообще применять этот “обманный” трюк ?. На самом деле ответ прост - НЕТ. Поисковики чрезвычайно не любят клоакинг и в случае обнаружения обмана не церемонятся с сайтом - просто банят его по полной программе, выкидывая из всех своих баз данных.

Причина такой “нелюбви”кроется в том, что клоакинг не дает возможности поисковому роботу правильно проиндексировать то, что видят реальные пользователи. Это значит, что поисковик не сумеет обеспечить релевантность поисковых результатов для клоакерных сайтов.

В недавнем прошлом многие web-мастера создавали оптимизированные страницы под очень популярные ключевые слова и фразы с применением именно клоакерских “подстав”. Сейчас же, в случае получения нерелевантных поисковых результатов пользователь просто уйдет на другой поисковик.

Таким образом мы подошли к следующему важному вопросу: а как поисковик определит - использует сайт клоакинг или нет ? Есть 3 гарантированных способа:

i) если сайт использует User-Agent клоакинг, поисковик может просто зайти на сайт без посылки своего имени в переменной User-Agent. Если поисковик видит, что страница, выданная пауку отличается от страницы, выданной пауку без отправки своего имени - клоакинг налицо, “бан грядет” !..

ii) если сайт применяет I.P.-клоакинг, поисковик при заходе на сайт может делать запросы с разных I.P. адресов в течение одной сессии индексирования страниц. Ясно, что эти “другие” I.P. адреса вряд ли есть в базе данных клоакера. Алгоритм дальнейших действий тот же: если поисковик видит разные страницы, полученные с разных своих I.P. краулеров - сайт является “клоакерным”, а значит будет наказан.

iii) на сайт может зайти представитель поисковика и просто увидеть все своимим глазами.

Итак, совет, господа: не занимайтесь клоакингом !