Способы защиты от ботов

Спам-боты: как от них защититься

Если при просмотре отчётов Google Analytics обнаруживается, что 9/10 реферального трафика приходится на какой-то сомнительный интернет-ресурс, то это указывает на посещение вашего сайта спам-ботами. Для защиты от них есть несколько основных способов, описанных ниже.

Основные способы защиты от спамеров

Для эффективной защиты от спам-ботов можно использовать следующие способы или их комбинацию.

1. Дополнительные плагины и возможности CMS

К ним относятся антиспам-плагины, блокировка спам-комментаторов по IP, защита админпанели веб-сайта и reCAPTCHA. Что это, расскажет VladimirBelev.ru.

При выборе инструментов нужно исходить из особенностей движка, на котором функционирует защищаемый онлайн-ресурс. Необходимо также учитывать, что премодерирование комментариев и антиспам-плагины понижают удобство пользователей, поэтому применять данные инструменты надо лишь в тех случаях, когда количество оставленных спамерами на сайте комментариев на самом деле велико.

2. Настройка фильтров Google Analytics

Данный метод позволяет достичь только одной цели, а именно: предотвратить искажение статистических сведений. При этом спамеры продолжают посещать вебсайт, оставляют комментарии, увеличивают нагрузку на сервер и стараются получить доступ к контролю над онлайн-ресурсом.

Для исключения информации о действиях спам-ботов на сайте нужно создать новый фильтр. Кроме того, есть возможность исключить информацию о посещениях из конкретных городов, регионов и стран. Использование последнего варианта целесообразно в тех случаях, когда, к примеру, на сайт автомагазина в Санкт-Петербурге приходят сотни посетителей из Южной Америки.

3. Блокировка спамеров при помощи файла .htaccess

Это наиболее кардинальный метод борьбы со спам-ботами и всеми остальными нежелательными посетителями. Настройка файла .htaccess позволяет запретить вход на вебсайт пользователям, которые приходят с определённых IP-адресов.

Основное преимущество этого способа заключается в обеспечении защиты сервера от избыточной нагрузки, сайта — от попыток взлома, посетителей — от спама, а статистики — от искажения.

Но у блокировки с использованием файла .htaccess есть и минусы. Первый из них состоит в наличии у спам-ботов возможности легко изменять IP-адреса. Второй минус состоит в закрытии входа для нормальных посетителей с таким же IP-адресом, что и у спам-ботов.

Необходимость блокировки и фильтрования спам-ботов

Многие веб-мастера, столкнувшиеся со спамерами, не принимают специальных мер, а ограничиваются лишь премодерированием комментариев. Такой подход неудовлетворителен по трём причинам:

• Прежде всего, активное посещение ресурса спам-ботами приводит к искажению аналитической информации. Несколько десятков или сотен визитов спамеров в месяц портят поведенческие метрики и не позволяют корректно пользоваться статистикой о реферальных переходах.
• Кроме того, массовые нашествия спам-ботов подвергают сервер избыточной нагрузке. Когда количество визитов ограничено одним-двумя в день, то проблемы обычно не замечаются. Но если оно возрастает до нескольких десятков в сутки, то для реальных посетителей становится заметным замедление загрузки страниц, что является серьёзной проблемой.
• Вдобавок некоторые программы помимо оставления комментариев могут искать уязвимые места в используемом движке веб-сайта или предпринимать попытки получения доступа к серверу.

Источник

Методы защиты веб-формы без капчи

О чём речь?

В последнее время на Хабре было предложено довольно много идей для капчи. Сложная, умная, смешная, капча остаётся одним из основных способов защиты формы от ботов.

Однако, одновременно с этим, капча является проблемой юзабилити, поскольку заставляет пользователя выполнять лишнее действие.

В этом обзорном посте я бы хотел рассмотреть незаметные для пользователя методы защиты от ботов.

Методы защиты

Минимальное время заполнения формы

Суть метода заключается в том, что сервер замечает время создания формы. Если пользователь заполнил форму меньше чем за определённое время, то он считается ботом. Время можно варьировать в зависимости от сложности формы.
Верно также, что если форма не была заполнена слишком долго, то что-то не так.

Скрытое поле

Этот метод может показаться странным, но он, похоже, работает. К форме добавляется скрытое поле (скрытое в смысле display:none ). Если поле заполнено, то пользователь считается ботом.
Удивительно, но многие простенькие боты заполняют все неизвестные поля.

Обфускация или шифрование HTML

Исходный код страницы является, по сути, вызовом javascript функции вроде document.write( decode( encodedHTML ) ) , где encodedHTML — это как-то зашифрованный HTML.

Методы шифрования могут варьироваться от простого эскейпирования значений буковок (буква превращается ‘%код’ ) до некоторых алгоритмов шифрования (например, простенький XOR).
В интернете есть много готовых решений, например, вот тут.

Блокирование определённых user-agent

Некоторые боты используют весьма специфические заголовки user-agent. Можно блокировать запросы не содержащие user-agent вообще или содержащие заведомо плохой заголовок.

В интернете есть списки таких заголовков. Вот, например, от некого Нила Гантона.

«Ловушка» для ботов

Суть этого метода заключается в создании специального раздела сайта вроде «/bot/guestbook». Ссылка на этот раздел не видна для пользователя, однако если бот зайдёт в этот раздел и сделает там хоть что-нибудь, то его IP тут же блокируется.
Раздел должен содержать лакомые для бота слова вроде «email», «submit», «add comment» и тому подобные. Файл «robots.txt» предупреждает хороших ботов.

Хеширование формы (BarsMonster)

При сабмите формы на сервер вычисляется хеш полей формы и добавляется в одно из специальных скрытых полей. Сервер проверяет значение хеша.

Использование прозрачных кнопок (BarsMonster)

У формы есть несколько кнопок типа . Лишь на одной из картинок написан текст, остальные — прозрачные. Для сабмита пользователь должен нажать на картинку с текстом.

Динамическое создание формы (maxshopen)

Сама форма полностью создаётся javascript-методом динамчески. Таким образом, форму может увидить лишь пользователь, у которого отработал соответствующий скрипт.

Использование сторонних сервисов (le0pard)

Можно туннелировать трафик через специальный сервис, предназначенный для анализа контента на спам. Примером такого сервиса может быть Akismet

Гибридный подход

По умолчанию форма защищена каким-либо javascript-методом (динамическое создание формы или шифрование данных) или методом из приведённых выше. Если форма была засабмичена некорректно, то возвращается ошибка и просьба заполнить не очень простую капчу.

Важные замечания

Раз. Приведённые выше методы не являются универсальной защитой от ботов. Они не спасут от прямой атаки, но смогут помочь от ботов-пауков.

Два. Пост не рассматривает слабые стороны методов. Это можно обсудить в комментариях.

Три. Заинтересовавшимся рекомендую почитать пост некого Нила Гантона (на английском).

UPD: Добавил несколько методов из комментариев. Спасибо, BarsMonster.

UPD2: Добавил ещё один метод из комментариев.
Спасибо, maxshopen, за отличную критику методов.

UPD3: Добавил ещё один метод из комментариев. Спасибо, maxshopen.

UPD4: Добавил ещё один метод из комментариев. Спасибо, le0pard.
mprokopov кинул ссылку на спам-блок плагин для рельсов: snook

Заключение

Увы, мне удалось найти не так много методов защиты веб-форм.

А какие ещё безкапчевые методы защиты вы знаете?

Источник

🤖 6 способов забанить и прогнать ботов с вашего сайта

Боты в основном просматривают сайты для сбора статистики для поисковых систем, таких как Google и Yandex, но есть также боты, которые собирают информацию, создают фальшивые аккаунты, распространяют вирусы или комментируют спамом на автопилоте – и это те самое вредоносные боты, которые могут нанести наибольший ущерб.

Внезапное нападение ботами на сайт может быть ошеломляющим, и это может стать кошмаром для администратора сайта.

Поисковые боты и спам-боты

Некоторые боты не столь страшны.

Поисковые роботы заходят на ваш сайт, чтобы каталогизировать новую информацию для поисковых систем, и вы как правило захотите, чтобы такой тип ботов просматривал ваш сайт.

Это тот самый процесс,который помогает поисковым системам индексировать ваш сайт среди результатов поиска.

Для администратора сайта очень важно определить ботов поисковой системы по сравнению с реальным трафиком, чтобы получить точную картину того, сколько посетителей и просмотров составляют люди.

Если у вас есть Google Analytics, обратитесь к расширенным настройкам, и вы можете разделить роботов поисковых систем и трафика, чтобы увидеть, как поисковые системы и люди смотрят ваш сайт.

Помимо вашего стандартного поискового бота, вы также можете столкнуться с различными спам-роботами.

Это наиболее опасные боты, от которых вы должны пытаться избавиться, когда они появляются.

Иногда они распространяют вирусы; в других случаях они спамят или заполняют сайт фальшивыми аккаунтами.

Обнаружение спам-ботов

• Увеличение числа новых учетных записей, обычно с несколькими спам-сообщениями или без таковых.
• Увеличение количества комментариев, которые не имеют ничего общего с комментариями, иногда со ссылками или без
• Пользователи жалуются на спам в своих почтовых ящиках или в почтовом ящике.
• Увеличение количества спама, попадающего в почтовый ящик, связанный с вашим сайтом.
• Иногда это может быть иррационально большое увеличение посетителей сайта без увеличения активности, что может указывать на то, что боты собирают информацию.

1 Настройте аутентификацию

Если на вашем веб-сайте используются учетные записи пользователей, проверка подлинности при регистрации может сократить количество учетных записей ботов, которые могут пытаться зарегистрироваться.

Проверка подлинности при регистрации использует номер телефона или адрес электронной почты, прикрепленный к учетной записи, в качестве «проверочного кода», прежде чем пользователю будет разрешено зарегистрироваться.

Это легко выполнимо для большинства людей, хотя слишком много усилий для вредоносного сайта бота.

Это также позволяет администратору сайта узнать, что к новым учетным записям прикреплен законный адрес электронной почты или номер телефона: большинство поддельных учетных записей «спама» не имеют таких опций.

2 Использование блокировки

Используйте функции блокировки и удаления учетной записи на вашем сайте, чтобы не пропустить все новые и старые учетные записи пользователей, которые могут быть ботами.

Кроме того, чтобы запретить новым ботам регистрироваться на вашем сайте, вы также должны убедиться, что избавились от любых старых ботов или неактивных учетных записей, которых там быть не должно.

3 Использование капчи

Система Captcha была разработана для того, чтобы остановить спам-ботов с небольшими сложными задачами, которые вводят в заблуждение среднего бота.

Если вы заметили, что слишком много спам-комментариев проходят через ваш фильтр комментариев, возможно, пришло время добавить Captcha в раздел комментариев вашего сайта.

Вы сократите количество спам-ботов и комментарии почти мгновенно, гарантировано.

Для сайтов WordPress вы можете рассмотреть возможность использования решения для защиты от спама, такого как CleanTalk.

4 Модерация комментариев

Проверяйте раздел комментариев вашего сайта на регулярной основе.

Там вы можете удалить спам-комментарии, сделав это через автоматические процедуры, и, как правило, забанить этих пользователей.

Настройте ручную модерацию комментариев, если у вас есть серьезные проблемы с комментариями и спамом ботов.

Таким образом, каждый комментарий, размещенный на сайте, означает, что вы получили электронное письмо и должны были подтвердить его вручную.

Чтобы модерировать комментарии вручную, может потребоваться некоторое время, но иногда это единственный способ убедиться, что в разделе комментариев нет ботов и спама.

5 Изменение тега

Изобилие спама в папке входящих сообщений вашего сайта может означать, что боты привязались к тегу, который позволяет это сделать.

Проблема обычно заключается в странице “О сайте” или скрывается где-то в контактной форме сайта.

Выберите такую контактную форму, которая скрывает адрес электронной почты, на который идут электронные письма.

Если вы этого не сделаете, все, что нужно сделать боту, чтобы найти правильный адрес электронной почты, – это отсканировать исходный код, на котором адрес электронной почты в текстовом виде, а не внешний скрипт, к которому сложнее добраться.

Если на странице «О вас» указан ваш адрес электронной почты в формате, легко идентифицируемом спам-ботом («adress@domain.com»), измените его на другой формат («address [at] domain [dot] com») , а лучше переключитесь на более безопасную встроенную контактную форму, как описано выше.

6 Удаление неактивных пользователей и пользователей ботов

Точно так же, как и комментарии, пользователи также должны регулярно просматриваться администратором сайта.

Сследует проверять список подписчиков электронной почты и неактивных пользователей, а все то, что там не должно быть, необходимо удалить.

Пользователи ботов, которым удалось прокрасться через цепочку аутентификации при регистрации, легко идентифицировать и удалить, хотя неактивные учетные записи пользователей, содержащие только несколько сообщений, также должны быть удалены.

Неактивные учетные записи пользователей – это либо боты, либо они могут быть захвачены ботами: боты не всегда создают новые учетные записи, но могут также иногда захватывать старые и неактивные учетные записи для одного и того же использования.

Заключение

Надеюсь, реализовав мероприятия, показанные выше, вы остановите вредносных ботов на вашем сайте.

Если вы используете CMS, такие как WordPress, Joomla, Drupal и т. д., вы можете также рассмотреть возможность использования облачной защиты безопасности, такой как SUCURI, не только для предотвращения спама, но и многих других онлайн-угроз.

Источник