Entropi dan deteksi anomali lalu lintas jaringan

Dalam artikel ini, Daniil Volkov, pakar terkemuka di bidang bisnis Ilmu Data di Neoflex, berbicara tentang metode untuk mendeteksi anomali jaringan berdasarkan penggunaan entropi - karakteristik utama sistem dari sudut pandang teori informasi. Dia juga mencatat beberapa cara untuk mendeteksi anomali deret waktu.



Selama dekade terakhir, sejumlah besar penelitian telah difokuskan pada entropi sebagai ukuran "kekacauan" yang melekat pada berbagai karakteristik lalu lintas jaringan. Secara khusus, deret waktu entropi telah terbukti menjadi metode yang relatif baik untuk mendeteksi anomali dalam lalu lintas jaringan. Kelebihan dari pendekatan ini meliputi:

• . (, Netflow), .
• . , , , packets rate (rps) (.., packets rate).
• . , zero-day.

Jadi, sistem yang diusulkan untuk mendeteksi anomali berdasarkan konsep "entropi" menganalisis aliran jaringan, dan bukan paket jaringan individual. Mari kita definisikan aliran jaringan (selanjutnya hanya aliran) sebagai metadata satu arah tentang paket jaringan yang memiliki sumber dan alamat IP dan port tujuan yang sama, serta jenis protokol IP. Penting untuk dicatat bahwa semua aktivitas jaringan di OSI layer 3 dan lebih tinggi dikurangi menjadi aliran, mis. ini bukan hanya koneksi TCP, tetapi juga protokol stateless seperti UDP dan ICMP. Manfaat menggunakan konsep aliran:

• Mereka sangat mudah digunakan dan menyimpan informasi, yang membuat analisis lebih mudah;
• Menyebabkan lebih sedikit masalah privasi dan data pribadi;
• Sangat mudah untuk membuat akses ke informasi yang diperlukan di jaringan, misalnya, dalam bentuk Cisco NetFlow, sflow, atau bahkan IPFIX (sesuai keinginan Anda).

Entropi

Konsep entropi dalam fisika statistik dan teori informasi cukup dekat satu sama lain. Selain itu, bagi kami itu akan menjadi fakta yang tidak terlalu penting ketika menggunakan entropi sebagai ukuran distribusi karakteristik lalu lintas - bahwa entropi juga berfungsi sebagai ukuran kedekatan keadaan sistem dengan keseimbangan (dalam teori proses nonequilibrium, yang juga dapat mencakup pertukaran lalu lintas jaringan). Seperti yang diingat banyak orang, entropi Shannon klasik didefinisikan sebagai:

$$

$$H = - \sum^n_{i=1} p_i \log p_i,$$

Dimana $$$p_i$ - kemungkinan $$$i$ -keadaan sistem, $$$n$ - jumlah semua kemungkinan keadaan sistem. Untuk memudahkan interpretasi hasil dan untuk mengecualikan pengaruh faktor musiman yang mengubah n, kita akan menggunakan entropi Shannon yang dinormalisasi berikut ini.

$$

$$H_0 = \frac{H}{\log n}, \longrightarrow H_0 \in [0, 1].$$

Atribut lalu lintas jaringan dan deret waktu entropi

Sekarang tinggal menjelaskan dengan tepat bagaimana kita akan menghitung $$$H_0 = \frac{H}{\log n}, \longrightarrow H_0 \in [0, 1]$ untuk berbagai karakteristik lalu lintas jaringan, dan yang paling penting - untuk yang mana. Berbagai penulis menyarankan untuk menggunakan berbagai karakteristik, namun, di hampir semua karya, perangkat dasar berikut tetap ada:

• Sumber IP
• IP tujuan
• Pelabuhan sumber
• Pelabuhan tujuan.

Kadang-kadang disarankan untuk diperluas dengan fitur lain seperti Flow record atau IP untuk aliran backbone.



Kami akan menggunakan deret waktu besarnya $$$H_0$ dihitung untuk karakteristik lalu lintas ini, dalam jendela waktu dengan panjang yang terbatas. Panjang jendela tipikal (tumpang tindih, geser dapat digunakan) sekitar 5-10 menit, mengingat durasi tipikal serangan pada infrastruktur jaringan adalah puluhan menit. Dan juga ini adalah kebutuhan akan jumlah statistik akumulasi yang cukup besar. Jadi, jika kita tertarik dengan entropi untuk IP sumber, maka $$$n$ sama dengan jumlah alamat IP unik di jendela, dan untuk menghitung probabilitas, sebagian besar penulis menggunakan jumlah paket dengan karakteristik ini sebagai ukuran probabilitas paket semacam itu di jaringan (yang, secara umum , logis, tetapi Anda dapat menggunakan jumlah byte dan jumlah aliran ). Misalnya, jika kita memiliki 100 paket untuk 1.1.1.1, 100 paket untuk 1.1.1.2, dan 300 paket untuk 2.2.2.2, maka:

$$

$$p_{1.1.1.1} = p_{1.1.1.2} = \frac{100}{100 + 100 + 300} = 0.2$$

$$

$$p_{2.2.2.2} = \frac{300}{500} = 0.6$$

$$

$$H = -(0.2 \log 0.2 + 0.2 \log 0.2 + 0.6 \log 0.6) \approx 1.37$$

$$

$$H_0 = \frac{1.37}{log 3} \approx 0.86.$$

Selanjutnya, kita akan membahas atribut dan kapan masuk akal untuk mempertimbangkannya untuk jenis serangan yang menarik.



Dalam sebagian besar studi yang berkaitan dengan entropi dan anomali jaringan, para peneliti berfokus pada alamat IP sumber dan, dengan perluasan, distribusi dan entropi. Ini adalah pilihan yang cukup bagus.



Dalam sebuah penelitian [Sharma et al. (2015)] penulis bereksperimen dengan berbagai jenis serangan dan menganalisis kegunaan atribut yang berbeda untuk mendeteksi serangan ini menggunakan pendekatan entropi. Yaitu, dataset NUST digunakan, jenis serangan: banjir TCP-SYN, banjir UDP dan Smurf. Untuk analisis, diambil sekitar 100 ribu paket lalu lintas normal dan 10 ribu paket lalu lintas yang diserang. Atributnya adalah IP Sumber, IP Tujuan, Port Sumber dan Port Tujuan (standar), tetapi juga Bendera (distribusi oleh flag TCP), Panjang (distribusi berdasarkan panjang paket), Protokol (berdasarkan protokol) dipertimbangkan.



Akibatnya, ternyata berguna untuk digunakan dalam sistem deteksi anomali berdasarkan pendekatan entropi juga tambahan yang disebutkan di atas untuk atribut standar, seperti panjang paket (hasil yang sangat baik dalam kasus serangan TCP-SYN). Hal ini relatif berguna untuk menggunakan entropi oleh protokol, karena menghasilkan hasil yang berarti hanya dalam kasus tertentu seperti banjir UDP, tetapi jenis serangan seperti itu dapat dengan mudah dideteksi dengan metode pemantauan lalu lintas yang sepenuhnya tradisional.

Algoritme untuk mendeteksi anomali jaringan berdasarkan deret waktu entropi

Metode ini merupakan generalisasi yang dikemukakan oleh penulis [Winter (2011)]. Generalisasi terutama menyangkut atribut apa yang digunakan untuk membangun sistem deret waktu, serta metode untuk mengidentifikasi anomali dalam deret waktu tertentu.

algoritma

1. , - . [Winter (2011)] : Src-Dst IP/Port, flow records (1 flow records = Src IP + Dst IP + Src Port + Dst Port + IP Protocol);
2. ! , . . $$$T$ ;
3. ( ). , . $$$\sigma_i$ – $$$i$ -deret waktu dari $$$T$ ;
4. Ide utama di balik pendeteksian perubahan mendadak adalah untuk terus membuat prakiraan jangka pendek dan menentukan perbedaan antara prakiraan dan nilai aktual. Winter (2011) mengusulkan metode pemulusan eksponensial sederhana, tetapi Anda dapat menggunakan sesuatu yang lebih kompleks (dan akurat), dari jaringan ARIMA ke LSTM.

Untuk setiap $$$T_i$ kami menentukan kesalahan perkiraan untuk momen yang menarik bagi kami $$$t$ :

$$

$$\delta_i = | \texttt{Pred}(T_i(t)) - T_i(t) |.$$

5. Namun, kesalahan prediksi tertentu tidak sama signifikansinya, karena deret waktu dasar memiliki varians yang berbeda. Untuk alasan ini, kami menormalkan kesalahan prediksi sehubungan dengan varians dari deret waktu masing-masing dengan mengalikan dengan faktor pembobotan:

$$

$$w_i = \frac{1}{\sigma_i} \cdot \max (\sigma_1, \ldots, \sigma_n).$$

6. Untuk menyederhanakan proses pendeteksian anomali, kami memperkenalkan karakteristik agregat "skor anomali":

$$

$$AS = \sum_{i=1}^n \delta_i \cdot w_i.$$

7. Jika $$$AS > AS_{thr}$ kami mengatakan bahwa anomali tertentu dari lalu lintas jaringan telah dicatat.

Nilai ambang batas $$$AS_{thr}$ ditentukan secara empiris tergantung pada jumlah deret waktu dasar $$$n$ , serta persyaratan sensitivitas detektor.

Tentang pengaturan parameter

Untuk algoritma kita, kita perlu mengatur beberapa parameter. Setiap kombinasi parameter dikaitkan dengan trade-off: tingkat deteksi yang tinggi karena banyak positif palsu, atau sebaliknya.

• . , . , , , – . , . 5 10 ;
• . . , 80%;
• Ukuran jendela geser untuk menghitung varians . Kami memutuskan untuk mengatur ukuran jendela geser untuk menghitung simpangan baku hingga 24 jam. Paling sering, jendela geser seperti itu mencakup seluruh siklus musiman. Dalam kasus lain, sebaiknya pilih jendela yang kelipatan 24 jam. Pilihan alami alternatif adalah 7 hari.

Modifikasi lebih lanjut

Bhuyan dkk. (2014) menyelidiki satu set metrik informasi untuk kesesuaian untuk mendeteksi anomali menggunakan metode serupa. Selain entropi Shannon yang disebutkan di atas dan terkenal, entropi Hartley, entropi Renyi dan entropi umum Renyi diuji. Ini adalah generalisasi dari entropi Shannon, yang didefinisikan oleh rumus berikut:

$$

$$H_{\alpha} (x) = \frac{1}{1 - \alpha} \log \sum_{i=1}^n p_i^{\alpha}.$$

Sini $$$\alpha \geq 0, \alpha \neq 1, p_i \geq 0$ ... Sebagai latihan, pembaca diberi kesempatan untuk memastikan bahwa ketika $$$\alpha \rightarrow 1, H_{\alpha}$ cenderung ke entropi Shannon. Antara lain, penulis menggunakan asumsi luas bahwa lalu lintas berbahaya mematuhi distribusi Poisson dan lalu lintas yang sah mematuhi distribusi Gaussian.



Para penulis sampai pada kesimpulan berikut:

• penting untuk menggunakan jumlah minimum atribut lalu lintas. Paling sering ini adalah alamat IP atau panjang paket;
• entropi informasi memberikan hasil terbaik dalam mendeteksi serangan berkecepatan rendah untuk nilai besar $$$\alpha$ ...

hasil

Karena Winter (2011) tidak memiliki data nyata untuk divalidasi, mereka memodelkan dan menyuntikkan anomali sintetik ke dalam kumpulan data asli. Untuk ini, versi modifikasi dari alat FLAME oleh Brauckhoff et al. (2008), yang memfasilitasi pengenalan anomali buatan ke dalam streaming data. Penulis telah menerapkan dua "generator aliran" seperti itu:

• HTTP-flood: HTTP-. 11 500 «». -. , , . - HTTP-. 220,000 , ();
• : , . IP- /16-, 65 534 IP-. TCP- 21, FTP. , . 67000 . , (D).

Gambar di bawah menunjukkan analisis entropi untuk seluruh hari pada tanggal 28 Oktober. Bagan atas adalah kumpulan data asli, sedangkan bagan bawah berisi anomali tambahan kami (C dan D). Sekali lagi, kedua grafik berisi deret waktu untuk kelima atribut. Seri waktu hitam untuk $$$AS$ adalah yang paling menarik. Di kedua grafik, kami telah menyoroti anomali yang sangat kuat dan melabelinya dari A hingga D. A dan B mewakili anomali "alami" yang sudah ada dalam kumpulan data asli.







Untuk mengilustrasikan bagaimana semua ini tidak diperhatikan oleh alat pemantauan tradisional, gambar di bawah ini menunjukkan tiga statistik lalu lintas populer: byte, paket, dan aliran per menit untuk lalu lintas yang sama seperti pada contoh sebelumnya. Anomali (berlabel A sampai D) menghilang menjadi noise.







Eksperimen serupa dilakukan di Neoflex, hanya anomali yang "alami", mis. sudah ada di data pelanggan.











Sebagai perbandingan: dasbor lalu lintas jaringan standar untuk router selama periode yang sama:







Kita dapat melihat bahwa penyimpangan yang agak serius dalam distribusi karakteristik lalu lintas jaringan tetap tidak terlihat melalui metrik standar. Bagaimana, berdasarkan informasi yang diterima, untuk mengidentifikasi penyebab anomali ini harus didiskusikan dalam percakapan terpisah. Mari kita sebutkan bahwa pencarian sekelompok nilai karakteristik yang secara signifikan mengubah entropi direduksi menjadi studi tentang dinamika distribusi karakteristik ini, dan dalam kasus sederhana dapat dilakukan dengan penyortiran biasa berdasarkan probabilitas $$$p_i$ ...

Menyimpulkan

Jadi, kami telah menerapkan dan menguji algoritme untuk mendeteksi kelas anomali yang luas dalam jaringan melalui deret waktu entropi. Serangan seperti banjir, worm, dan pemindaian sering menyebabkan anomali semacam ini. Ide utama dari algoritma ini adalah untuk terus-menerus membuat prakiraan jangka pendek dan menentukan perbedaan antara prakiraan dan nilai entropi yang benar-benar diamati. Entropi berfungsi sebagai indikator keseimbangan proses. Dengan demikian, perubahan entropi yang tiba-tiba menunjukkan perubahan kualitatif dalam struktur (melalui perubahan dalam distribusi karakteristik) sistem. Penting untuk dicatat bahwa serangan masih harus mencapai skala tertentu agar dapat dideteksi. Serangan skala sangat kecil dapat tidak terlihat pada koneksi jaringan berkecepatan tinggi. Kami percaya,bahwa algoritma semacam ini adalah alat yang berharga untuk operator jaringan dan departemen keamanan informasi dari berbagai jenis perusahaan. Ini dapat dengan mudah dikonfigurasi, digunakan dengan cepat, dan tidak memerlukan data pelatihan.

Sumber informasi

Philipp Winter, Harald Lampesberger, Markus Zeilinger, dan Eckehard Hermann 2011 . “Pada Mendeteksi Perubahan Mendadak dalam Rangkaian Waktu Entropi Jaringan”

Sidharth Sharma, Santosh Kumar Sahu, Sanjay Kumar Jena 2015 . “Tentang Pemilihan Atribut untuk Deteksi DDoS Berbasis Entropi”

Monowar H. Bhuyan, DK Bhattacharyya, JK Kalita . “Metrik Informasi untuk Deteksi Serangan DDoS Tingkat Rendah: Evaluasi Komparatif”

Brauckhoff, D., Wagner, A., May, M .: “FLAME: A Flow-Level Anomaly Modeling Engine”. Dalam: Prok. konferensi tentang eksperimen dan pengujian keamanan Cyber. hal. 1 - 6. Asosiasi USENIX, Berkeley, CA, AS (2008)