Друзья!
С начала ноября наш сайт находится под атакой ботов.
Со 2-3 ноября по данным Яндекс-метрики (сервис статистики посетителей сайта) посещаемость сайта взлетела почти в 100 раз. До этого периода в среднем в день было около 100 посетителей. А сейчас доходит до 10 тысяч. Можно предположить, что это хорошо, сайт популярен. Однако, судя по аномальности траффика, мы имеем место со спланированной массовой атакой ботов.
В отличие от обычной распределенных DOS атак (DDOS), с которыми мы имели дело несколько лет назад и от которых наш сайт сейчас имеет защиту, в данном случае цель атакующих более изощренная.
Цель таких атак — скрутка называемых поведенческих факторов сайта, которые поисковые системы используют при анализе поисковой выдаче и ранжировании результатов (чтобы понять какой сайт ставить на первую строку, какой на вторую, а какой отправить на десятую страницу поисковой выдачи, где большинство пользователей его никогда не увидят). Результатом их может являться постепенное опускание сайта в поисковой выдаче и даже блокировка его со стороны поисковой системы. В бизнес среде так могут действовать нечестные конкуренты. Исправить результаты такой работы ботов затруднительно и может занимать длительное время.
Боты, заходящие на сайт довольно хорошо маскируются под обычных пользователей. Вероятнее всего используют реальные браузеры, ходят по разным сайтам, потом ходят на наш сайт, проводят там время. А через некоторое время набирают в поиске популярные запросы, по которым наш сайт первый в выдаче, заходят на него и тут же покидают, давая яндексу или гуглу понять, что результат поиска в данном случае пользователя не устроил…
Пробуем принимать меры против такой атаки.
Некоторые технические детали
на первом графике статистика за один обычный месяц. Видно, что соотношение количества визитов и их общее количество колеблются, но в среднем все выглядит равномерно.
А в ноябре виден резкий всплеск посещаемости:
Можно предположить, что вначале боты ходили на сайт с других сайтов и напрямую, а недавно начали использовать поисковую выдачу.
Также Яндекс резко начал видеть трафик от роботов. Однако, далеко не всех современных ботов Яндекс определить не в состоянии.
