Latar Belakang
Selama beberapa tahun terakhir, pasar untuk sistem pemantauan telah diguncang oleh akronim AIOps. Semua vendor sudah mulai menggunakan kecerdasan buatan dalam sistem mereka yang kompleks dan mahal. Istilah "analisis akar penyebab", "korelasi", "alat ML", "deteksi anomali", "prediksi insiden", "pengurangan kebisingan" secara menyeluruh dan mungkin selamanya ditetapkan pada materi pemasaran dan situs web dari berbagai sistem pemantauan.
Seperti kita ketahui, brosur iklan adalah satu hal, tetapi rekayasa kehidupan sehari-hari adalah hal lain. Mungkin, banyak yang menghadapi situasi ketika janji-janji penjual inovasi teknologi tertentu bertabrakan, seperti Titanic dengan gunung es, dengan praktik implementasi, terutama di lingkungan TI yang kompleks di perusahaan besar. Oleh karena itu, saya awalnya terlihat sangat skeptis dan tidak berbagi kegembiraan seputar topik ini. Terutama bila ada solusi beton bertulang seperti Zabbix, Prometheus dan Elastis. Tapi hype hyip, skeptisisme skeptisisme, dan kami masih insinyur dan harus memeriksa dan mempelajari semuanya dalam praktik, dan tidak bertanya-tanya apakah percaya atau tidak pada "tombol ajaib" dari vendor terkemuka dan startup yang menjanjikan. Jadi, setelah presentasi lain dari integrator dan menjanjikan banyak uang "surga di tanah berdosa insinyur operasi kami" kami mengumpulkan kelompok inisiatif kecil,yang memutuskan untuk "merasakan" keajaiban kecerdasan buatan dan pembelajaran mesin dalam praktik kita. Dengan demikian, materi lahir dan bahkan proyek hewan peliharaan kecil yang ingin saya bagikan dengan Anda.
— , . . - . : -. — “ ”, .. , “ ”, . — “ ”.
ML- . , . - , .
. HTTP- . “”, . , downdetector , , , ;)
2020-10-14 14:00 +03:00 38 ( ), .. [2020-10-12 23:00:00 +03:00 – 2020-10-14 14:00 +03:00]. : 3612.
(threshold), , 0, 1, 179 . (. . 1: . UTC. ,
).
. 1. . UTC. , — .
, 3- , 44 (. . 2). 4 . “0110010011101010…”, , , % ( 1 ), - .
. 2. 3- . , — .
“” : - , . - , . , AI/ML.
ML?
, , Data Scientist . , , -, , 3- :
- . — , .
- , , , .
- , , "" . .. " " , , .
DetectIidSpike ML.NET. : . , . "" , . .
DetectIidSpike :
- confidence — [0, 100]. , , , , ;
- pvalueHistoryLength — p-value. - " ", .
, . HTTP- , .. . . - . , .. 5 : . , , .. . (, ), "", .
“”. , , , (), «» ( ). 5 . , websockets , . , ( kubernetes ).
(confidence: 95, pvalueHistoryLength: 5), 36 . , , .. . , 24 . (, ).
. 3. (confidence: 95, pvalueHistoryLength: 5) , —
(. 3), , . , , ( ).
. 4 pvalueHistoryLength=12 confidence: 98. : 14 .
. 4. (confidence: 98, pvalueHistoryLength: 12)
, DetectIidSpike (24 44) 3 , 7,5 (24 179) . , , . , ML . , :)
P.S.: ML, -, . .
PPS: Di bawah ini saya akan memberikan beberapa tangkapan layar dari proyek hewan peliharaan kami dengan data nyata dari pemeriksaan yang dilakukan dan anomali yang dihasilkan. Anda dapat melihat seberapa efisien atau tidak efektif (untuk siapa bagaimana) algoritma bekerja (lingkaran kuning - anomali pada interval yang dipilih).
