Kami dengan bangga mengumumkan rilis pratinjau publik dari gambar mesin virtual (VM) berbasis CentOS 7 yang dioptimalkan untuk komputasi kinerja tinggi (HPC). Ini terutama dirancang untuk beban kerja Message Passing Interface (MPI) yang sangat erat. Artikel ini merinci citra VM khusus HPC dan manfaatnya. Untuk langsung membuat instance dari gambar ini, baca dokumentasi dan panduan mulai cepat.
Pada tahun 2020, kami berbicara tentang sejumlah fungsi dan pengaturan untuk mengoptimalkan antarmuka MPI di platform Google Cloud. Mereka mengurangi penundaan dalam pengiriman pesan menjadi beberapa mikrodetik. dan memberikan pengiriman pesan MPI kecil dalam 10 mikrodetik atau kurang. Pengoptimalan MPI meningkatkan penskalaan aplikasi dan meningkatkan jumlah tugas yang dapat dilakukan di platform Google Cloud. Namun, untuk membuat image VM dengan mempertimbangkan teknik ini, Anda memerlukan pemahaman yang mendalam tentang sistem dan platform Google Cloud. Oleh karena itu, lebih logis untuk mulai bekerja dengan gambar yang awalnya dihitung dan disiapkan untuk komputasi kinerja tinggi. Ini memungkinkan Anda untuk dengan mudah menerapkan instance VM yang disetel untuk CPU optimal dan kinerja jaringan ke Google Cloud. Gambar HPC VM tersedia di Google Cloud Marketplace tanpa biaya tambahan.
Manfaat Gambar VM HPC Dibandingkan Gambar VM Tradisional
Saat Anda memilih image VM HPC, Anda mendapatkan konfigurasi siap pakai dan pemeliharaan rutin serta manfaat HPC berikut di Google Cloud:
- Buat mesin virtual dengan mudah yang disesuaikan untuk beban kerja yang sangat erat . Buat VM HPC dengan mudah dan perbarui konfigurasinya secara teratur dengan pengaturan terbaru.
- Mengoptimalkan jaringan untuk sistem yang berpasangan erat. Kurangi latensi untuk pesan kecil dan percepat aplikasi yang memerlukan komunikasi point-to-point atau bersama.
- Komputasi yang lebih efisien. Tingkatkan kinerja pada masing-masing node dengan mengurangi getaran sistem.
- Performa beberapa node yang stabil dan dapat direproduksi. Terapkan pengaturan yang telah terbukti efektif pada berbagai tugas HPC.
Gambar HPC VM dengan mudah menggantikan gambar berbasis CentOS 7 standar.
Contoh dunia nyata: Menskalakan Program Persamaan SDPB dengan CloudyCluster dan Gambar VM HPC
Walter Londry dari Caltech Particle Theory Group mengembangkan perangkat lunak penelitian untuk proyek Kolaborasi Bootstrap internasional . Proyek ini menggunakan program semi-pasti untuk memecahkan persamaan (SDPB) . Dengan bantuannya, teori medan kuantum diselidiki dalam kaitannya dengan berbagai masalah dalam fisika teoretis, seperti perluasan alam semesta awal, superkonduktor, efek Hall kuantum, dan transisi fase.
Untuk memperluas kekuatan komputasi proyek, Londri memutuskan untuk menskalakan program SDPB di platform Google Cloud. Menggunakan Omnibond CloudyCluster dan citra VM untuk HPC, ia mampu membawa proyek ke tingkat kinerja dan skalabilitas yang sebanding dengan kluster lokal di Yale, berdasarkan komputer dengan prosesor Intel Xeon Gold 6240 dan teknologi Infiniband FDR.
Instance C2-Standard-60 untuk Google Cloud menggunakan Prosesor Intel Xeon yang Dapat Diskalakan Generasi ke-2. Instans C2 mendukung aturan penempatan yang mengurangi latensi komunikasi antar node, sehingga cocok untuk beban kerja MPI yang sangat erat. CloudyCluster aslinya berisi gambar VM HPC dan aturan penempatan untuk keluarga C2, jadi peneliti tidak perlu melakukan apa pun. Pengujian telah menunjukkan bahwa Google Cloud dapat menskalakan beban kerja latensi rendah di beberapa instance.
Jika Anda ingin melihatnya sendiri, kunjungi Google Cloud MarketplaceVersi CloudyCluster Omnibond yang diperbarui tersedia dengan image VM HPC. Rilis ini juga mencakup aplikasi Open OnDemand, yang didistribusikan oleh Ohio State Supercomputing Center dan didanai oleh NSF. Ini memungkinkan administrator sistem dengan mudah menyediakan akses web ke sumber daya HPC.
Kemampuan gambar VM komputasi kinerja tinggi
Pengaturan dan pengoptimalan. Citra VM HPC saat ini berfokus pada penyetelan untuk beban kerja yang sangat erat dan menggunakan peningkatan kinerja MPI berikut:
- Intel Hyper-Threading. Intel Hyper-Threading . .
- MPI. MPI MPI. MPI Intel, MPI.
- tcp_*mem. C2 32 / TCP Linux.
- busy polling. busy polling , , .
- . , () , , , .
- Nonaktifkan firewall Linux dan teknologi SELinux. Mesin SELinux dan firewall, yang diaktifkan secara default untuk image CentOS Linux di Google Cloud, tidak digunakan di image VM HPC. Ini meningkatkan kinerja MPI.
- Nonaktifkan utilitas CPUIdle. Mesin virtual C2 mempertahankan status CPU idle dan dapat memasuki mode daya rendah. Dengan menonaktifkan utilitas CPUIdle, Anda dapat membawa latensi ke level rendah secara konsisten.
Efektivitas pengaturan ini bergantung pada aplikasi spesifik. Kami menyarankan Anda mengujinya dalam praktik untuk menemukan konfigurasi yang paling kuat dan ekonomis.
Analisis perbandingan efektivitas gambar
Kami membandingkan kinerja gambar VM HPC dan gambar standar CentOS 7 menggunakan Intel MPI Benchmarks dan analisis elemen hingga dunia nyata (ANSYS LS-DYNA), dinamika fluida (ANSYS Fluent), dan aplikasi cuaca (WRF).
Di bagian ini, versi gambar VM HPC dan gambar CentOS berikut diambil untuk perbandingan:
- Citra VM HPC: hpc-centos-7-v20210119 (--nomitigasi dan pengaturan mpitune diterapkan seperti yang direkomendasikan dalam dokumentasi )
- Gambar CentOS : centos-7-v20200811
Intel MPI Benchmark (IMB) Ping-Pong - digunakan untuk mengukur latensi pesan berukuran tetap antara dua peringkat di sepasang mesin virtual. Ternyata saat menggunakan image VM untuk HPC, latensi rata-rata 50% lebih sedikit dibandingkan image standar CentOS 7.
Konfigurasi pengujian:
- 2 VM C2-standard-60 dengan aturan penempatan yang ringkas
- Perpustakaan MPI : Pembaruan Intel MPI Library 2018 4
- Jalankan perintah: mpirun -genv I_MPI_PIN = 1 -genv I_MPI_PIN_PROCESSOR_LIST = 0 -hostfile <hostfile> -np 2 -ppn 1 IMB-MPI1 Pingpong -iter 50000
Hasil
Tes Intel MPI Benchmark (IMB) AllReduce digunakan untuk mengukur latensi kolektif saat mentransfer data antara beberapa peringkat melalui VM. Ini menyusutkan vektor panjang tetap menggunakan operasi MPI_SUM. Hasil ditampilkan untuk satu PPN (proses per node), di mana ada 1 peringkat MPI per node dan 30 utas per peringkat, dan hasil untuk 30 PPN, ketika ada 30 peringkat MPI per node dan 1 utas per peringkat. Dibandingkan dengan image CentOS 7 standar, image HPC VM terbukti mengurangi latensi AllReduce untuk peringkat 240 MPI di 8 node (30 proses per node) hingga 40%.
Konfigurasi uji:
- 8 VM C2-standard-60 dengan aturan penempatan yang ringkas
- Perpustakaan MPI : Pembaruan Intel MPI Library 2018 4
- a : mpirun -tune -genv I_MPI_PIN=1 -genv I_MPI_FABRICS ‘shm:tcp’ -hostfile <hostfile> -np <#vm*ppn> -ppn <ppn> IMB-MPI1 AllReduce -iter 50000 -npmin <#vm*ppn>
Hasil
Pengujian aplikasi HPC: LS-DYNA, Fluent dan WRF. Menggunakan citra VM HPC pada lapisan aplikasi, peningkatan kinerja hingga 25% diamati selama simulasi tabrakan 3 mobil dalam analisis ANSYS LS-DYNA (menggunakan peringkat 240 MPI dalam 8 instans C2 berbasis prosesor Intel Xeon) ... Sebagai bagian dari analisis ANSYS Fluent dan WRF, citra VM HPC memberikan peningkatan kinerja 6% dibandingkan citra CentOS standar.
Konfigurasi uji:
- ANSYS LS-DYNA (model "3 mobil") : 8 VM C2-standard-60 dengan aturan penempatan yang ringkas, menggunakan kode biner LS-DYNA MPP yang dikompilasi dengan AVX-2
- ANSYS Fluent ( “aircraft_wing_14m”): 12 C2-standard-60
- WRF V3 Parallel Benchmark (12 KM CONUS): 16 C2-standard-60
- MPI: Intel MPI Library 2018 ( 4)
? SchedMD Slurm Linux
Kami akan memperluas daftar solusi mitra yang menggunakan citra VM HPC default. Mulai bulan depan, semua pelanggan Slurm akan dapat menjalankan cluster menggunakan image VM HPC default (pratinjau tersedia di sini ).
Kabar baik bagi siapa saja yang mencari versi perusahaan Linux untuk komputasi kinerja tinggi! SUSE bekerja dengan Google untuk mengembangkan image SUSE Enterprise HPC VM yang dioptimalkan untuk Google Cloud. Jika Anda menginginkan informasi lebih lanjut atau meminta integrasi lain dan distribusi Linux, silakan hubungi kami...
Mulailah hari ini!
Pratinjau gambar VM HPC sekarang tersedia untuk semua pengguna di Google Cloud Marketplace . Untuk informasi tentang cara membuat instance menggunakan image VM HPC, lihat dokumentasi dan panduan memulai. Kami juga mengingatkan Anda bahwa saat pertama kali mendaftar ke Google Cloud: bonus senilai $ 300 tersedia untuk Anda dan lebih dari 20 produk gratis selalu tersedia. Anda dapat mencoba GCP di tautan khusus .
Terima kasih khusus kepada rekan Jiu Xiao Liu, Tanner Love, Yang Jian, Hong Bo Lu, dan Pallawi Feng atas bantuannya dalam mempersiapkan materi.