Putih dimulai: apakah bot "bagus" benar-benar bagus?
Tampaknya pertanyaan tentang bot baik dan buruk cukup sederhana untuk perusahaan: blokir beberapa, biarkan yang lain lewat. Namun, proses ini memiliki nuansa tersendiri. Hal ini disebabkan oleh fakta bahwa bot yang buruk menyamar sebagai bot yang baik, dan fakta bahwa bot yang dikonfigurasi secara tidak benar dari daftar putih dapat merusak lalu lintas dan menurunkan situs, dan fakta bahwa perusahaan bahkan tidak selalu perlu memblokir bot, tetapi Anda hanya perlu memahami di mana dia berjalan. Mari kita lihat bagaimana bot buruk berbeda dari yang bagus.
Beberapa statistik
GlobalDots 2019 Bad Bot Report, 39% - , . 20,4% , 17.5% - . , 2019 « » , « » . , , “”, , .
, , . , , - 22.9%, - - 17.9%.
: , , DDoS-, , , , - , - , - , , , - , .
. . , (, - -), , -.
(crawlers)
- , , , , , .. 30% -. : Googlebot, YandexBot, ematchers – , , YandexImages.
-
, , , , . : Amazon Echo, Google Home, Siri, . .
-, : , , . , . - Content ID YouTube, .
, Google Shopping. - , .
, (, , - ).
, whitelist Variti , , , preview - , - . , , ., AdSense-, , .
, , , , . .
, . . , - - . , , . .
. , , - , . .
, , , , - .. , , IP-, .
, . , Android , , . , , . , - , , , . , .
, , IP , . IP , CIDR-, .
“” IP , . , , , / IP . . , , token . . IP . , - , user agent -. .
. , , website.com/api. API, - , API IP . , API .
whitelists, IP , , – Variti, , Telegram- Variti .
, , . , , . - SMS-. , SMS- - . , . , . , SMS, .
, “”, . , 10 , 1000. robots.txt, , . , , . , - , .
- . - , IP-, , .. DDoS-. , .
, , . . . – , , . , .
GlobalDots 2019 Bad Bot Report 523 . « » (55,4%) Google Chrome. Firefox, - Android. Safari, Internet Explorer, Safari Mobile, Opera, Googlebot Bingbot .
, , , 20 , - , , Internet Explorer 5, 1999-. 0.8% Internet Explorer 7. , . , - , .
, 74% « » - advanced persistent bots (APB), , . , , IP-, -, Java- peer-to-peer , .
, , . , , .
Variti user agent, , IP , , , . , , ( Chrome, headless) , .
, , , , . .
, “ ”
“” , . , , . , , — . , , - - , .
, , , email. - , . , , .
Firefox, Chrome, Internet Explorer Safari , - , . .
robots.txt — , . , , . : , . , - - , robots.txt. - .
, , . , - - , (, - ), stealth-, , . - ?