Блог
Про парсинг, ботов и нагрузку
Практические заметки для владельцев сайтов: как заметить проблему в логах, что сделать своими руками и когда нужна проверка браузера.
-
Как понять, что сайт парсят: 7 признаков в логах и Метрике
Всплески запросов при ровных визитах, обход каталога по порядку, рост 404, одинаковые User-Agent, IP хостингов: как проверить каждый признак в логах и Метрике.
-
Боты нагружают сервер: что делать до покупки железа
Как отличить нагрузку от ботов, что дают кэш, limit_req и блок по User-Agent, почему блок подсетей — гонка, чем вредит CAPTCHA и когда нужна проверка браузера.