KPI Pusat Operasi Keamanan: Bagaimana Kami Datang ke Sistem Metrik Kami

Saya tidak akan menulis teks muskil panjang di sini tentang "bagaimana membangun sistem KPI untuk SOC dengan benar". Dan saya hanya akan memberi tahu Anda bagaimana kami berjuang dan menelusuri metodologi kami sendiri dan bagaimana kami sekarang mengukur, "seberapa buruk / baik / aman / (garis bawahi yang diperlukan) semuanya".

Bagaimana semua ini dimulai

Anehnya, langkah pertama kami menuju pembentukan KPI untuk Solar JSOC sama sekali tidak terhubung dengan pusat pemantauan dan respons terhadap serangan dunia maya. “Di awal masa muda kami,” kami membantu perusahaan membangun sistem untuk menilai efektivitas keamanan informasi (ISMS 27001 dan itu saja). Pemahaman tentang kebutuhan mereka muncul kemudian di pasar secara alami: hampir semua departemen keamanan informasi hari demi hari dipaksa untuk menganalisis data dalam jumlah besar dari banyak sistem yang berbeda. Tentu saja, masing-masing memiliki beberapa jenis pelaporan, tetapi dengan jumlah yang besar, sangat sulit untuk membentuk gambaran holistik tentang keadaan keamanan informasi, dan kemudian memberikan laporan kepada manajemen dalam format yang nyaman. Masalahnya bertambah jika organisasi secara geografis tersebar.



Kami baru saja membantu pelanggan membangun tidak hanya kompleks KPI / metrik, tetapi juga solusi analitik lengkap yang mengumpulkan data dari sistem keamanan informasi. Sebenarnya, ini adalah sistem visualisasi di mana Anda dapat dengan cepat dan mudah melihat esensi masalah dan pelokalannya untuk membuat keputusan yang diperlukan dengan cepat. Dalam proyek ini, kami memperoleh pengalaman dan sampai pada kesimpulan bahwa sistem ini sangat nyaman dan berguna. Dan juga - bahwa pekerjaan SOC juga perlu dievaluasi.

Mengapa mengevaluasi efektivitas SOC, khususnya SOC eksternal?

Sederhana saja: di satu sisi, kami ingin memahami seberapa baik kami memberikan layanan, dan di sisi lain, memiliki gambaran terlengkap tentang infrastruktur pelanggan, melihat semua “titik hitam” yang tidak disertakan dalam audit kami dan menjadi faktor risiko layanan. Sederhananya, kami ingin memahami: akankah kami melihat serangan ini atau itu terhadap pelanggan atau tidak.



Ketika kami mulai bekerja sebagai penyedia layanan, kebetulan klien menolak memberi kami sumber khusus untuk koneksi, yang diperlukan untuk identifikasi serangan 100%. Akibatnya, serangan seperti itu terjadi, kami tidak melihatnya dan menerima celaan, meskipun kami telah peringatan awal.



Contoh lain: kami mengatakan bahwa untuk mengidentifikasi insiden dengan benar dan akurat, Anda perlu mengkonfigurasi sumber dengan cara tertentu, memberikan daftar pengaturan ini, tetapi pelanggan tidak melakukan pekerjaan ini. Hasilnya sama - insiden yang terlewat.



Jadi kami memahami bahwa penting untuk secara eksplisit menyoroti baik pelanggan dan diri kami sendiri, apa yang sebenarnya kami lihat dalam infrastrukturnya, di mana terdapat "titik buta" bagi kami, vektor serangan mana yang paling sering diterapkan dan di area mana, TI aset paling rentan terhadap serangan dan bagaimana hal ini dapat memengaruhi bisnis. Untuk itu, sistem visualisasi harus menunjukkan situasi nyata dan membantu dalam analisisnya, dan tidak hanya menjadi "efek wow" bagi kepemimpinan (seperti yang sering terjadi).

KPI untuk SOC - apa dan bagaimana mengukurnya?

Pertama-tama, Anda perlu memahami: mengapa, mengapa Anda sangat membutuhkan sistem KPI / metrik ini? Apakah Anda ingin mengukur kinerja departemen keamanan informasi Anda? Pahami seberapa baik / berhasil (atau sebaliknya) kinerja proses Anda? Atau mungkin hanya menunjukkan kepada manajemen, "siapa yang hebat?" Atau mungkin bonus departemen bergantung pada kinerja KPI? Tanpa memahami tujuan mengevaluasi keefektifan, mustahil untuk membangun sistem KPI kehidupan nyata.



Katakanlah kita telah memutuskan tujuan, dan sekarang pertanyaan yang paling menarik muncul: bagaimana mengukur sesuatu? Anda tidak dapat membuka SOC dengan penggaris, semuanya menjadi sedikit lebih rumit di sini. Bagaimanapun, ini bukan hanya SIEM sebagai sistem untuk mengumpulkan dan menghubungkan peristiwa keamanan informasi, tetapi juga berbagai macam sistem yang memungkinkan layanan berfungsi dengan benar. Ada banyak sekali data di dalam SOC, jadi ada banyak yang harus dievaluasi.



Dan dalam hal ini, kami berusaha untuk menjauh dari KPI subjektif sebanyak mungkin, yaitu. metrik yang tidak dapat diukur secara otomatis. Misalnya, metrik "Seberapa buruk segala sesuatu dengan kita" sulit untuk dinilai secara langsung, tanpa partisipasi seseorang (yang akan memberikan kurvanyatidak selalu pendapat yang benar, berdasarkan pengalaman saya sendiri). Tetapi jika kami memecah metrik ini menjadi yang lebih kecil, metrik tersebut sudah dapat dihitung berdasarkan data dari sarana teknis. Itu. penting untuk mendefinisikan apa yang termasuk dalam konsep "semuanya buruk" bagi kami: kami tidak memiliki sistem keamanan informasi khusus; antivirus tidak digunakan di mana pun dibutuhkan; spesialis memproses insiden atau permintaan untuk waktu yang sangat lama; semua host kami memiliki lebih dari 10 kerentanan kritis dan tidak ada yang memperbaikinya, dll. Dan sekarang, jika semua metrik sekecil itu, dengan mempertimbangkan koefisien bobotnya untuk bisnis kita, dikumpulkan menjadi satu kalkulasi, maka kita akan mendapatkan nilai metrik "Seberapa buruk kita". Selain itu, kami akan dapat menjelaskan apa yang mendasari dan mengapa arti tertentu menunjukkan bahwa sudah waktunya untuk segera memecahkan masalah serius dalam organisasi keamanan informasi.Dan yang paling penting, kami selalu dapat melihat detail metrik ini dan memahami tugas apa yang ada dalam prioritas apa.



Saat membangun sistem KPI kami, kami mematuhi prinsip-prinsip berikut:

• KPI harus benar-benar penting bagi SOC dan pelanggan;
• indikatornya harus dapat diukur, yaitu rumus kalkulasi khusus harus dibuat dan nilai ambang batas ditetapkan;
• kita harus dapat mempengaruhi nilai indikator (yaitu, metrik dari kategori "persentase hari cerah per tahun" tidak cocok untuk kita).

Kami juga sampai pada kesimpulan bahwa sistem KPI tidak boleh datar dan harus memiliki setidaknya tiga tingkatan:

1. "Strategis": ini adalah KPI yang mencerminkan gambaran keseluruhan pencapaian tujuan yang ditetapkan;
2. "Investigasi, analisis, identifikasi koneksi": ini adalah KPI, yang menjadi dasar pembentukan tingkat pertama dan yang berkontribusi pada implementasi tujuan utama.
3. « »: KPI, ( – ).

Masing-masing indikator mempengaruhi atasan. Karena pengaruh ini tidak sama, setiap indikator diberi faktor pembobot.



Tentu saja, hal pertama yang ingin kami lihat sepanjang waktu adalah seberapa efektif layanan kami bagi pelanggan kami. Dan, tentu saja, informasi ini harus tepat waktu. Untuk melakukan ini, kami telah mengembangkan (dan terus meningkatkan) sistem metrik yang mencerminkan kualitas kerja masing-masing layanan: lini pertama dan kedua, manajer layanan, analis, respons, administrasi, dll. Untuk masing-masing bidang ini, a sekitar 10-15 KPI - mereka dihitung berdasarkan database dari sistem tempat orang-orang itu bekerja (apakah permintaan dipenuhi tepat waktu, apakah kami menanggapi permintaan pelanggan dengan cepat, bagaimana sumber terhubung, dan banyak lagi).

SLA bagus, tetapi kualitas layanan yang nyata lebih penting

Penting bagi kami bahwa cakupan layanan memungkinkan kami untuk mengidentifikasi jumlah maksimum insiden dan serangan, dan tidak menjadi anak kucing buta. Sehingga kami dapat menafsirkan insiden pada pelanggan dalam format aset TI miliknya, dan bukan IP abstrak. Sehingga pemberitahuan kami tidak bermuara pada fakta bahwa "Mimikatz ditemukan di host 10.15.24.9" dan tidak memaksa pelanggan untuk secara mandiri mencari tahu jenis host itu, membuang-buang waktu yang diperlukan untuk merespons dan menghilangkan konsekuensinya.



Dengan kata lain, penting bagi kami untuk memahami seberapa baik pelanggan dilindungi oleh SOC kami. Jadi, perlu untuk menentukan seberapa rinci dan cukup kita "melihat" mereka:

• apakah semua sumber penting terhubung dengan kami;
• seberapa efisien sistem keamanan informasi pelanggan (mereka adalah sumber untuk layanan kami) mencakup infrastrukturnya;
• semua sumber dikonfigurasi seperti yang kami rekomendasikan dan apa saja penyimpangannya;
• apakah semua skenario yang diperlukan dan memadai untuk mendeteksi serangan dan insiden telah diluncurkan di lokasi pelanggan;
• apakah semua sumber yang terhubung mengirimi kami acara dengan keteraturan tertentu;
• apakah pelanggan bereaksi terhadap semua pemberitahuan kami, dan seberapa tepat waktu dia melakukannya.

Dan juga - betapa menakutkannya tinggal di dalam pelanggan ini, yaitu:

• seberapa sering diserang, seberapa parah serangan ini (tertarget atau masif), berapa level penyerangnya;
• seberapa efektif perlindungan pelanggan (proses dan sistem keamanan informasi) dan seberapa sering diperbarui;
• apa pentingnya aset yang terlibat dalam insiden, aset mana yang paling sering digunakan oleh penyerang, dll.

Untuk menghitung semua indikator tingkat tinggi tersebut, Anda harus terlebih dahulu memecahnya menjadi yang lebih kecil, dan yang lebih kecil lagi - hingga kita mencapai tingkat Zen dari metrik kecil yang dapat dihitung dengan jelas berdasarkan database dari sumber dan sistem internal kita.



Contoh paling sederhana: ada indikator tingkat tinggi "Efisiensi proses keamanan informasi", yang terdiri dari indikator yang lebih kecil, seperti "Tingkat perlindungan dari malware", "Tingkat manajemen kerentanan", "Tingkat perlindungan dari insiden keamanan informasi", "Efisiensi kontrol akses", dll. ... Karena banyak proses keamanan informasi yang diimplementasikan dalam sebuah organisasi, akan ada banyak metrik pada level kedua. Namun untuk menghitung metrik level kedua, Anda perlu mengumpulkan metrik yang lebih kecil, misalnya, "Tingkat cakupan host organisasi oleh antivirus", "Persentase insiden kritis dengan malware", "Jumlah aset yang terlibat", "Persentase positif palsu", "Tingkat literasi dunia maya pengguna" , “Persentase host dalam organisasi dengan perlindungan anti-virus yang dinonaktifkan”, “Persentase host dengan basis data anti-virus yang kedaluwarsa” - Anda dapat melanjutkan dan melanjutkan.Dan metrik tingkat ketiga ini dapat dikumpulkan dari alat keamanan informasi dan sistem lain dalam mode otomatis, dan penghitungan dapat dilakukan dalam sistem analisis keamanan informasi.



Membuat KPI dan mengelola kinerja SOC masih merupakan tantangan baik bagi pengembang metrik ini maupun bagi pelanggan (dan ini adalah tarian berpasangan eksklusif). Tetapi permainan ini sangat berharga: sebagai hasilnya, Anda dapat menilai keadaan keamanan informasi secara penuh, terpusat dan cepat, menemukan kelemahan, dengan cepat merespon insiden dan menjaga sistem keamanan informasi tetap mutakhir.



Jika topiknya ternyata menarik, saya akan berbicara lebih banyak tentang metrik di artikel mendatang. Jadi jika Anda ingin mendengar tentang aspek spesifik apa pun dari mengukur SOC, tulis di komentar - saya akan mencoba menjawab semua pertanyaan.



Elena Trescheva, Analis Utama di Solar JSOC