Topik bot di situs ini sangat menyakitkan bagi sebagian orang dan terus membuat pusing, sementara yang lain lebih suka mengabaikannya sepenuhnya. Dan di sini Anda perlu memahami: jika kerusakan dari bot tidak besar, maka menginvestasikan uang untuk melawannya menjadi sangat tidak dapat dibenarkan dari sudut pandang bisnis. Paling sering, dalam kasus seperti itu, mereka terbatas pada beberapa solusi yang ditulis sendiri yang cukup sederhana yang melawan bot generasi pertama (tentang generasi di bawah). Namun, jika serangan di situs membahayakan bisnis, perusahaan mulai memikirkan cara menanganinya.
Dari pengalaman, saya dapat mengatakan bahwa udara dan perusahaan e-commerce besar paling sering menderita karena aliran bot yang konstan. Kasus tipikal untuk sebuah maskapai penerbangan, ketika bisa terkena bot dan dibayar, adalah pemegang kursi yang terkenal. Cara kerjanya: Anda ingin membeli tiket dan memilih penerbangan, waktu, tempat, dan dibayar. Sangat sering, di tempat ini, maskapai penerbangan memesan tempat ini untuk Anda (saat ini tidak tersedia untuk dibeli oleh pengunjung situs lain) dan memberi Anda waktu untuk membayar dengan kartu - dari beberapa menit hingga beberapa jam. Apa yang terjadi: gelombang bot tiba di situs, yang memesan seluruh pesawat (dan setelah waktu pembayaran berakhir, memesan tempat lagi). Dengan demikian, tidak ada yang bisa membeli tiket, dan pesawat itu sebenarnya bisa terbang dengan kosong. Dan ini uang, dan cukup banyak.Untuk perusahaan e-niaga, ini paling sering adalah mencari kredensial dan penghapusan poin bonus.
Jenis bot apa yang ada? Sebenarnya, di sini semuanya sangat sederhana. Ada dua jawaban - baik dan buruk. Yang bagus adalah bot mesin pencari, bot mitra Anda, semacam sistem pemantauan, dan sebagainya. Secara umum, ini adalah bot yang mengikuti aturan:
meniru siapa mereka
jangan mencoba merusak situs
ikuti tautan robots.txt
Yang buruk adalah mereka yang memiliki niat tidak bersahabat atau digunakan untuk tujuan lain. Biasanya mereka mencoba menyamar sebagai orang, atau memalsukan bot terkenal terkenal lainnya. Paling sering bot yang buruk digunakan untuk:
Masuk secara otomatis menggunakan kredensial curian dari pelanggaran data atau web gelap.
Buat akun online baru untuk menerima bonus pendaftaran
, , .
DDoS-,
, . – ?
. , :
cURL- -. IP-. cookie JavaScript, -.
-, «» (headless) (: PhantomJS SimpleBrowser), Chrome Firefox, . , cookie JavaScript. - headless JavaScript - .
– . , . .
, , , , , , . UA IP-. , « » - , , - . - , . , , .
, , .
? :
, , ,
,
,
, , , , .
? :
( CDN, reverse proxy)
, /.
, Akamai, Distill ( Imperva ABP) RadWare. – PerimeterX.
, Akamai.
, Akamai, , . Akamai – -, (wiki). 1998., CDN . 20 . Akamai CDN, , -. CDN, , , WAF, DDoS mitigation ( L3/L4, L7), BOT, DNS, Real User Monitoring (RUM), API Gateway . , , . Akamai ? , 40 ( – 5). .
, , Akamai Bot Manager. :
Bot Manager Standard (BMS)
Bot Manager Premier (BMP)
, .
.
, General bot management, BMS, Transactional endpoint protection – BMP. , .
Customer-Categorized Bots? , , . , , , . ? . (, “Partners”), .
, .
Akamai-Categorized Bots. , , , . Akamai 1400 17 . ? , : , , , , . , «».
, – . : (transparent) (active). , , , . - . :
, , . , “Impersonators of Known Bots” – , , , Google, . :
Chrome –
-
Active – JavaScript cookie ( – SDK):
Akamai cookie . . , , JS .
BMP. , : /, , . endpoint. , POST /login, BODY user pass. , endpoint-a Akamai . BMP – . , BMS BMP , BMS, , - , BMP , . , , , . , - , .
: ? , : – , . , , . .
: ? :
( )
( 1–3 )
( 8–10 )
( 403 , - )
Tarpit ( , )
Challenge ( Google Captcha, Akamai Crypto Challenge)
Conditional action ( , 20% , – )
, Deny ( 403 ) -. 403 – , . , . . Akamai Tarpit. , Linux, , action IPTables. Tarpit, , . , , . : Akamai? -. 270 , . , . , . , . , , .
– Captcha. , . ! Google Captcha – Akamai. Crypto Challenge. : Akamai , ( 30 , ). , : crypto challenge ( ). , Akamai , , – challenge ( ).
Akamai ? , - (, , ). : . , , . , 60–70% . – .
, . , , . : , . : Akamai , . , User-Agent. Akamai – , . , 30% , , .
Bagaimana Anda mendapatkan ide untuk menulis artikel ini? Selama dua hari kami menghadiri Highload ++ tahun ini dengan stan GlobalDots kami, dan beberapa orang mendekati kami dengan pertanyaan yang kurang lebih sama: Apakah ada Akamai di Rusia? Apa pun selain CDN? Sebenarnya, begitulah artikel kecil ini muncul.
Ini mungkin semuanya. Ternyata artikel itu agak pengantar. Saya terbiasa menunjukkan lebih dari sekadar bercerita - ternyata lebih informatif. Jika Anda memiliki pertanyaan - selamat datang di saint tropez di komentar.