Сумка для города
2 490 ₽
CrawlGuard / интерактивное демо
Сначала посмотрите.
Потом подключайте сайт.
Что видят посетители и что узнаёте вы. Без регистрации и смены DNS.
Учебный пример Сценарии и цифры подготовлены для знакомства с продуктом. Это не проверка вашего сайта и не результаты клиентов.
01 / Перед вашим сайтом
Кто получит доступ к каталогу
Выберите запрос
Покупатель открывает каталог
Новый посетитель проходит автоматическую проверку браузера. После успешной проверки сервер пропускает запрос к сайту; пока действует cookie, повторять её не нужно.
- Открывает страницу
- Браузер проходит проверку
- Каталог доступен
Следующий запрос — к вашему сайту
Магазин вещейКаталог / 2 товара
Термокружка
1 490 ₽
Пример страницы после успешной проверки
Парсер не получает содержимое каталога
Обычный парсер без JavaScript не выполняет проверку. Этот запрос остаётся на CrawlGuard: ваш сервер его не обрабатывает и не отдаёт цены.
- Запрашивает каталог
- Проверка не пройдена
- Запрос не дошёл до сайта
Каталог и цены не переданы парсеру
CrawlGuard
Требуется проверка браузера
Содержимое каталога
не передано в ответ на запрос.
Нужные сервисы продолжают работать
Для оплаты, API и мониторинга вы заранее задаёте исключения. Подходящий под правило запрос проходит к сайту без проверки браузера.
- Приходит уведомление об оплате
- Срабатывает ваше исключение
- Запрос передан сайту
Исключения задаёте вы
Ваша платёжная интеграция
Уведомление передано сайту
Путь из исключений
/payments/webhookПроверка браузераНе требуетсяОбработчик на вашем сервере по-прежнему должен проверять подлинность уведомления.
Что ещё важно знать о защите
Парсеры с полноценным браузером могут пройти первую проверку. Дополнительные сигналы автоматизации усложняют обход, но не гарантируют остановку любого бота.
Подтверждённые роботы Яндекса, Google и Bing проходят отдельно. API, оплату и мониторинг нужно проверить при подключении и настроить необходимые исключения.
Чтобы парсер не обратился к серверу в обход CrawlGuard, прямой доступ к серверу тоже нужно ограничить. Порядок подключения →
02 / В вашем кабинете
Решения защиты, а не догадки
Видно, сколько запросов дошло до сайта и сколько осталось перед ним.
Всего запросов10 000за 24 часа
Не передано серверу3 200получили проверку или блокировку
Расходуют квоту6 800пропущены к сайту
Начало периодаКонец периода
В примере показаны 10000 запросов за 24 часа. Значения по решениям — ниже.
- Пропущено к сайту
- 6 800
- Получило проверку
- 2 900
- Заблокировано
- 300
- Без фильтрации
- 0
Всего запросов71 400за 7 дней
Не передано серверу25 200получили проверку или блокировку
Расходуют квоту46 200пропущены к сайту
Начало периодаКонец периода
В примере показаны 71400 запросов за 7 дней. Значения по решениям — ниже.
- Пропущено к сайту
- 46 200
- Получило проверку
- 22 400
- Заблокировано
- 2 800
- Без фильтрации
- 0
Всего запросов300 000за 30 дней
Не передано серверу92 000получили проверку или блокировку
Расходуют квоту208 000пропущены к сайту
Начало периодаКонец периода
В примере показаны 300000 запросов за 30 дней. Значения по решениям — ниже.
- Пропущено к сайту
- 196 000
- Получило проверку
- 84 000
- Заблокировано
- 8 000
- Без фильтрации
- 12 000
В части этого примера защита была на паузе: 12 000 запросов прошли без фильтрации. Трафик всё ещё шёл через серверы CrawlGuard, поэтому эти запросы тоже расходуют квоту.
Проверка — не обязательно бот
Её получает и новый посетитель. После успешной проверки его следующий запрос попадёт в «Пропущено к сайту». Считаются запросы, а не уникальные люди или боты.
Платите за допущенные запросы
Проверки и блокировки квоту не расходуют. Допущенные CSS, картинки, шрифты и API — расходуют, как и запросы при выключенной фильтрации. Все условия тарифа →
Здесь показан расход за выбранный период примера. В вашем аккаунте месячная квота обновляется 1-го числа в 03:00 МСК.
03 / Ваш сайт
Теперь — посмотреть свой трафик
Добавьте сайт и получите инструкции для своего домена. До смены DNS трафик продолжит идти по прежнему маршруту.
Для технической проверки также доступен отдельный тестовый сайт →. Как устроена проверка браузера.