Защита от ботов

Важно сказать, что в большинстве случаев, у накрутчиков нет цели "завалить" именно ваш сайт. Накрутка в поиске работает по принципу "последнего клика": бот вводит запрос, кликает 2-3 сайта, закрывает их и переходит к целевому накручиваемому сайту. В результате, поведенческий фактор последнего открытого сайта улучшается, а у скликанных сайтов, соответственно, ухудшается. Если таких "последних кликов" много, то накручиваемый сайт растет в поиске, вымещая сайты из топ-10. Ничего личного, только бизнес.

В Метрике есть отчет по роботам. Если в этом отчете есть заходы из поисковиков, значит, в вашей нише кто-то из конкурентов занимается накруткой поведенческих факторов. Иногда по анализу выдачи легко определить, кто именно накрутил ПФ: такие сайты имеют молодой возраст (см whois данные домена), мало обратных ссылок (можно проверить через сервис Megaindex), шаблонный дизайн и наполнение. Но есть и исключения, особенно в сложных тематиках.

Однако в отчет по роботам попадают далеко не все роботы, а только определенные Яндексом. И здесь мы видим главную опасность - боты, имитирующие настоящих людей, дествительно способны понизить результаты сайта в поисковой выдаче.

Иногда накрутчики палятся, и можно увидеть, по какому домену идет накрутка. Например, к вам на сайт приходят по запросам "купить телефон site.ru". Часто можно видеть заходы из поиска в нетипичное время - ночью или рано утром, и всегда с отрицательными поведенческими характеристиками (показатель отказов, глубина просмотра, время сессии). Либо подозрительные сессии осуществляются с одних и тех же сетей (напр., все визиты с негативными характеристиками идут из одного пула IP адресов, сотового оператора, только Android и т.д.).

Мы намеренно не рассматриваем в этом посте ситуацию с Google, который тоже подвергается накрутке ПФ. Акцентируем внимание на Яндексе, в котором поведенческому фактору в ранжировании сайтов отдается приоритет.

Выше мы писали, что Метрика далеко не всегда распознает ботов. Как же удается ботам обойти сложные алгоритмы поисковика? Рассмотрим, из чего состоит визит живого пользователя:

1. История посещения сайтов, история кук.
2. Географическая привязка и живой аккаунт в Яндексе (все же пользуются Яндекс Такси, или Едой, или Музыкой и многочисленными приложениями, по которым Яндекс засчитывает вас как живого пользователя).
3. Живой пользователь в состоянии разгадать капчу.
4. Расширения в браузере, версия самого браузера.
5. Движения мышки человека отличаются от движения мышью робота и др.

Не будем упоминать сервисы, которые позволяют передать боту живой отпечаток браузера (так называемый fingerprint), разгадать капчу, зайти на сайт под практически любым IP адресом (который бессмысленно блокировать, т.к. заходы идут из пула динамических IP), а движения мыши вовсе не определяются, т.к. используются мобильные браузеры. Остановимся на первом пункте - истории посещений. Возник даже такой термин "нагулять бота". Это означает, что прежде, чем боты будет кликать в поисковой выдаче, им создадут историю посещения похожих сайтов, учтут долгосрочные интересы и сымитируют профиль человека. Отсюда в Метрике мы и видим большую долю прямых заходов, переходы их соцсетей и даже по рекламе. Причем в нашей практике были переходы по рекламе на сайт, который никогда не вел рекламу. Просто боту отдавались url-адреса для посещениями с рекламными метками.

С одной стороны, такой трафик создает нагрузку на сайт и портит статистику. Ведь теперь собственник бизнеса не может рассчитывать на данные Метрики для анализа ситуации. С другой стороны, часто нагуливание профилей идет на сайт с положительными поведенческими характеристиками. Никаких отказов, долгое нахождение на ресурсе, даже заполнение форм и разнообразный трафик. Это положительно сказывается на ранжировании. Посему с точки зрения SEO и нет причин блокировать такой трафик. Но так ли это в вашем случае? Рекомендуем заглянуть в Метрику и проанализировать поведение роботов.

Важно понимать, что есть, как минимум, 2 системы статистики, на основании которых поисковые алгоритмы ранжируют ваш сайт. Первая, и самая очевидная, это данные Яндекс Метрики. Вторая система - это данные самой поисковой выдачи (последний клик, возврат в выдачу, корректировка запроса и т.д.). И если, в случае с Метрикой, на рынке есть решения по защите, то защититься от скикивания в выдаче можно только симметричными ответными мерами. Выше мы уже описали, как можно определить конкурентов в своей ниши, которые занимаются накруткой. Но ввязываться ли в битву и рисковать всеми позициями сайта - решение, которое должен принять собственник бизнеса. Мы же рассмотрим вариант с защитой внутренних поведенческих характеристик.

Защитить внутренние поведенческие характеристики можно на уровнях:

• блокировки ботам доступа к серверу с сайтом
• запрета ботам на взаимодействие с сайтом и фильтр ботов по действию.

Опустим в посте средства защиты от Cloudflare, Google ReCapture v3 и другие, поскольку современные боты высокотехнологичны и обходят такие способы блокировки. Остановимся на еще работающих вариантах.

Первый вариант подразумевает при обращении к сайту предварительный показ заглушки. При таком варианте, не происходит большой нагрузки на сайт - загружается простая страница без ресурсов сервера. Однако страдает пользователь — требуется лишнее действие без достаточного пояснения причины. К тому же можно отсеять часть настоящих посетителей, решающих закрыть сайт еще на этапе заглушки.

Второй вариант предполагает загрузку сайта (а значит, тратятся ресурсы сервера), но отключение счетчиков посещаемости до определенного действия пользователя. Например, пользователю предлагается для продолжения нажать на кнопку Закрыть. Без активации Метрики поведенческие данные попросту не передаются поисковой машине, а из статистики пропадают "грязные" данные.

Надо понимать, что и тот, и другой вариант отсеять из данных статистики часть живых пользователей (обычно не более 15% пользователей). Оба варианта заблокируют передачу отрицательных поведенческих данных поисковым машинам (с оговоркой, что эти данные не будут получены поисковиками, например, из тулбаров или самого Яндекс-браузера). Первый вариант подходит больше, когда нужно защитить сервер, второй - когда нужно все таки показать пользователю сайт, но очистить статистику. Второй вариант также подходит, когда у вас нет доступа к серверной части сайта, например, в случае SAAS сайтов, сайтов-конструкторов и т.д.

Могут ли боты обойти указанные системы антиспама? На сегодняшний день большинство ботов не обходит такую блокировку. И в силу сложности обучения бота решать задачу с выбором цвета, и в силу новизны сервисов-антиботов, и в силу того, что ради 1-2 сайтов с системой антиспама в нише нет смысла разрабатывать обходные пути.

Стопклик — это сервис, который помогает рекламодателям бороться со скликиванием в рекламных кампаниях на основе PPC-рекламы. Этот сервис использует различные методы аналитики и мониторинга.