Antara Moskow dan St. Petersburg: tur pusat data-mega Udomlya

Di suatu tempat di tengah-tengah antara Moskow dan St. Petersburg ada kota kecil Udomlya. Sebelumnya, ia dikenal dengan pembangkit listrik tenaga nuklir Kalinin. Pada 2019, objek wisata lain muncul di dekatnya - pusat data mega Udomlya untuk 4 ribu rak. 



Setelah bergabung dengan tim Rostelecom-DPC, spesialis DataLine juga akan mengoperasikan pusat data ini. Anda mungkin sudah mendengar sesuatu tentang "Udomlya". Hari ini kami memutuskan untuk memberi tahu Anda secara rinci bagaimana semuanya bekerja di sana.





Lanskap industri: pusat data 32.000 mΒ² dan pembangkit listrik tenaga nuklir di latar belakang. Sampel Udomlya musim semi 2019.



Lebih dari 40 foto sistem rekayasa pusat data dengan deskripsi terperinci dikumpulkan di bawah potongan. Kejutan yang menyenangkan menanti mereka yang berhasil sampai akhir.



Tentang logistik

Pusat data terletak di wilayah Tver. Perjalanan dari Moskow ke Udomlya akan memakan waktu sekitar tiga jam: 1 jam 45 menit dengan Sapsan ke stasiun Vyshny Volochek, dan dari sana, berdasarkan permintaan sebelumnya, antar-jemput akan menemui Anda dan membawa Anda ke pusat data. Dari St. Petersburg ke Vyshny Volochok sedikit lebih lama - 2 jam 20 menit. 



Dengan mobil, Anda bisa mendapatkan dari Moskow dalam 4,5 jam, dari St. Petersburg - dalam 5.



Ya, demi beberapa unit, Anda mungkin tidak ingin pergi ke sini. Tetapi jika Anda membutuhkan rumah baru untuk puluhan rak, maka ada baiknya melihat lebih dekat. Ada cukup ruang dan listrik, bahkan jika Anda ingin menggandakan jumlah itu kapan saja. Di Moskow, di mana, dalam pengalaman kami, pusat data dipesan bahkan pada tahap konstruksi, trik ini tidak akan selalu berhasil.



Selain itu, lokasi pusat data antara Moskow dan St. Petersburg dapat digunakan untuk geo-redundansi. Jika kapasitas utama berada di Moskow atau St. Petersburg, maka situs cadangan akan cocok di sini.



Tim tangan pintar akan membantu dengan semua operasi standar di situs. Mereka akan menerima, membongkar dan memasang peralatan di rak, menghubungkannya dengan daya dan jaringan, dan menyediakan akses jarak jauh ke peralatan. Jika terjadi kegagalan fungsi, mereka akan membantu diagnostik dan mengganti komponen yang gagal.



Tahap pertama dari pusat data terdiri dari 4 ruang komputer, atau modul, dengan masing-masing 205 rak. Di lantai pertama ada 2 ruang mesin dan pusat energi, di lantai kedua ada dua ruang lagi dan pusat dingin. Mari kita lihat bagaimana semuanya bekerja di sini.



Keamanan fisik

Pusat data menempati area khusus, yang tidak dapat dimasukkan tanpa izin dan dokumen identitas. Mereka yang tiba dengan mobil juga menerima pass transportasi dan baru kemudian dapat memasuki pusat data. Bagi mereka yang memiliki segalanya agar lulus, pusat data terbuka 24x7.







Pos keamanan 24 jam pertama adalah pintu masuk ke wilayah tersebut.







Kami melangkah lebih jauh dan sampai ke pos pemeriksaan langsung di pintu masuk ke pusat data.







Petugas keamanan tidak hanya bertemu dengan pelanggan dan mengeluarkan izin, tetapi juga memantau dinding video sepanjang waktu, di mana gambar semua tempat internal pusat data dan wilayah yang berdekatan ditampilkan.







Sumber Daya listrik

Listrik mulai menuju pusat data dari pembangkit listrik tenaga nuklir. Pusat data dilengkapi dengan 10 kV untuk 6 transformator step-down. Selanjutnya - sudah 0,4 kV oleh dua rute independen pergi ke switchgear tegangan rendah (LVSN). Kemudian, melalui DIBP, daya disuplai ke IT dan peralatan teknik. Dua input independen cocok untuk rak, yaitu, redundansi 2N. Kami akan memberi tahu Anda lebih banyak tentang cara kerja semuanya dalam hal catu daya dalam artikel terpisah.





Jalur listrik di pusat data "Udomlya"





Power bus yang melaluinya listrik berasal dari switchgear tegangan rendah ke panel daya DIBP. Baris switchgear tegangan rendah









Terlepas dari kenyataan bahwa pembangkit listrik tenaga nuklir dekat, di pusat data yang andal, pasokan listrik utama dianggap terjamin. Di pusat data kami, seperti yang Anda ketahui, DJP bertanggung jawab untuk itu, tetapi di sini mereka menggunakan UPS dinamis (DIBP). Mereka juga menyediakan catu daya yang tidak terputus. RIBP adalah N + 1 berlebihan. 





Merk DIBP Euro-Diesel (Kinolt) dengan kapasitas 2 MW. Mereka meraung sedemikian rupa sehingga lebih baik tidak pergi ke sana tanpa penyumbat telinga



Dan ini adalah cara kerjanya. DIBP adalah kombinasi dari tiga komponen utama: mesin diesel, mesin listrik sinkron dan akumulator energi kinetik dengan rotor. Mereka semua terpasang pada poros utama.



Mesin listrik dapat beroperasi dalam mode motor listrik dan generator. Ketika DIBP dipasok secara normal dari kota, mesin listrik adalah motor listrik yang memutar rotor dan menyimpan energi kinetik dalam baterai.









Blok abu-abu di mesin sinkron latar depan DIBP mesin





Diesel DIBP



Jika listrik kota mati , mesin listrik beralih ke mode generator. Berkat akumulasi energi kinetik, rotor membuat poros utama dari DIBP berputar, mesin listrik terus beroperasi tanpa daya kota dan tegangan output tidak hilang. Ini memastikan catu daya tidak terputus di pusat data. Pada saat yang sama, sistem kontrol DIBP memberikan sinyal untuk menghidupkan mesin diesel. Energi kinetik yang sama dari rotor menghidupkan diesel dan membantunya mencapai frekuensi operasi. Rotor terus berputar hingga satu menit, dan ini sudah cukup untuk diambil alih oleh mesin diesel. Setelah memulai, mesin diesel memutar poros utama, dan melewatinya - dan mesin listrik (di sini adalah video visualmengganti DIBP dari satu mode ke mode lain).



Akibatnya, kekuatan di rak tidak hilang bahkan untuk sedetik.







Setiap tangki generator diesel dirancang selama 3 jam. Pusat data juga memiliki penyimpanan bahan bakar sendiri untuk 80 ton, yang akan menjaga seluruh beban pusat data selama 24 jam. Jika terjadi pemadaman yang sangat hipotetis (pembangkit listrik tenaga nuklir terdekat tidak akan mengizinkan ini) ada kontrak dengan beberapa kontraktor yang akan segera mengirimkan bahan bakar diesel ke lokasi berdasarkan permintaan. Secara umum, semuanya sudah sebagaimana mestinya.



Setiap minggu, DIBP melakukan swa uji dan mulai diesel. Sekali sebulan, tes dilakukan dengan pemutusan jangka pendek dari jaringan kota.





Panel kontrol DIBP





Room ShGP dan ShbP  





"Magistrali" dan "decoupling" kabel listrik



Ruang mesin

Setiap modul terletak di area penahanan, dalam kotak khusus. Dinding dan atap tambahan ini melindungi ruang mesin dari debu, air, dan api. Saat menerima pusat data, area penahanan secara tradisional tumpah dengan air untuk memeriksa kebocoran.





Atap bangunan dan atapnya sendiri dari ruang turbin dengan pipa drainase





Air yang masuk ke atap area penahanan melewati talang ke dalam pipa drainase.Setiap



hall siap menerima 205 rak dengan daya rata-rata 5 kW.







Penataan peralatan di aula diatur sesuai dengan skema koridor dingin dan panas. 





Deteksi kebakaran dini Bolid dan sistem pemadam gas dipasang di sepanjang langit-langit. 







Detektor asap juga terletak di bawah lantai yang ditinggikan. Sudah cukup untuk memicu dua sensor, dan sirene alarm kebakaran akan berbunyi, tetapi kita akan membicarakannya nanti.



Segera di sepanjang deretan AC, ada sensor kebocoran tape.







Setiap koridor di antara penghitung "ditembak" oleh kamera pengintai video.

Jika diinginkan, rak dapat ditempatkan di belakang pagar khusus (kandang) dan kamera tambahan, ACS dan sensor gerak, sensor volume, dll. Dapat dipasang di sana. 







Pasokan dingin

Pusat data Udomlya menggunakan sirkuit chiller etilen glikol. Ada AC di ruang mesin, pendingin di atap, dan di lantai dua ada pusat pendingin dengan saluran pipa, sistem otomatisasi dan kontrol, pompa, tangki penyimpanan, dll.



Ada 12 AC di setiap kamar, setengahnya dengan pelembab uap. Skema redundansi N +1.



Lorong dingin mempertahankan suhu 21-25 Β° C dan kelembaban 40-60%.





Pendingin udara presisi Stulz CyberAir 3PRO CW 



Ada dua cincin di setiap ruang komputer: saluran "dingin", yang memasok etilena glikol yang didinginkan ke AC, dan saluran "panas", yang memindahkan glikol yang dipanaskan dari AC ke pendingin. Jika kita membuka lantai yang ditinggikan di koridor, kita akan melihat tetes ke dalam ruang mesin dari sistem pendingin. 







Rute etilen glikol adalah sebagai berikut: dari AC, etilen glikol yang dipanaskan masuk pertama kali ke garis balik di sekitar ruang mesin, dan kemudian ke cincin umum. Kemudian etilen glikol pergi ke pompa dan kemudian ke chiller, di mana ia didinginkan hingga 10 Β° C. Setelah pendingin, etilen glikol kembali ke AC melalui saluran pasokan cincin umum, tangki penyimpanan, dan cincin di sekitar modul.





Skema





pendinginan  pusat data Inilah yang terlihat seperti pusat dingin , di mana 100 m 3 etilena glikol lewat.



Tangki abu-abu adalah tangki ekspansi. Etilen glikol yang dipanaskan melewati mereka menuju chiller. Di musim panas, etilen glikol mengembang dan membutuhkan ruang tambahan.







Kapasitas yang mengesankan ini adalah tangki penyimpanan, masing-masing 5 m 3setiap. Mereka menyediakan pendinginan pusat data yang tidak terputus jika terjadi kegagalan chiller.

Etilen glikol yang didinginkan dari tangki disuplai ke sistem, dan ini memungkinkan menjaga suhu udara di outlet AC pada suhu 19 Β° C selama 5 menit. Bahkan jika di luar jendela adalah +40 Β° C.









Sistem pendingin memompa





saringan saku Mesh dan tangki pemisah untuk membersihkan etilen glikol dari partikel mekanis dan udara.



Garis merah tipis di lantai di bawah pipa adalah sensor kebocoran pita. Mereka pergi sepanjang perimeter pusat dingin.







Jika ada pipa yang bocor, etilen glikol akan melewati sistem drainase dan memasuki tangki khusus di ruang pengolahan air. Ada juga dua tangki dengan "cadangan" etilen glikol untuk memberi makan sistem pendingin jika terjadi kebocoran besar.







Dan tentang pendingin. Ada 5 pendingin di atap dengan redundansi N +1. Setiap hari, otomasi menentukan, tergantung pada waktu operasi, chiller mana yang akan disimpan. 





Pendingin merek Stulz CyberCool 2 dengan kapasitas 1096 kW



Pendingin mendukung tiga mode:



  • kompresor - dari 12 Β° C;
  • dicampur - pada 0-12 Β° C;
  • pendinginan gratis - dari 0 dan di bawah. Mode ini melibatkan pendinginan etilen glikol menggunakan kipas, bukan kompresor.






Keamanan api

Pusat data memiliki dua stasiun pemadam api gas. Masing-masing memiliki dua baterai dari 11 silinder: yang pertama adalah yang utama, yang kedua adalah cadangan.



Sistem perlindungan kebakaran dari pusat data diikat ke server PLTN Kalinin, dan, jika perlu, layanan kebakaran stasiun itu sendiri akan tiba di lokasi dalam hitungan menit.







Dalam foto adalah sistem alarm kebakaran dan tombol keluar darurat di ruang mesin. Yang terakhir diperlukan jika, selama alarm kebakaran, pintu tidak dikunci karena beberapa alasan: itu mengganggu pasokan daya dari kunci listrik.







Telekomunikasi

Dua jalan raya Rostelecom datang ke pusat data dengan rute independen. Masing-masing sistem DWDM memiliki kapasitas 8 Terabit.



Pusat data memiliki dua input telekomunikasi, yang terletak pada jarak lebih dari 25 meter dari satu sama lain.



Operator Raskom, Telia Carrier Russia, Terdiri juga hadir di situs, DataLine akan muncul dalam waktu dekat.  



Dari Udomlya, Anda dapat membangun kanal ke Moskow, St. Petersburg, atau ke mana pun di Rusia dan dunia. 







Pemantauan

Insinyur tugas bertugas sepanjang waktu di pusat pemantauan.



Semua informasi tentang sistem teknik diterima di sini: kondisi iklim di aula, kondisi input, DIBP, dll.



Setiap dua jam petugas jaga membuat putaran semua fasilitas infrastruktur untuk memeriksa kondisi peralatan teknik dan TI. 







Infrastruktur pendukung

Zona unloading disediakan untuk pengiriman peralatan ke pusat data.







Bongkar area dari dalam.







Jika gym Anda ada di lantai dua, forklift hidrolik ini akan membawa peralatan apa pun di sana.







Loker untuk menyimpan alat klien, dan banyak lagi.  







Sedikit tentang kehidupan sehari-hari

Untuk staf tetap, Anda dapat menyewa tempat kerja lengkap di bagian kantor. Jika Anda datang dari waktu ke waktu, Anda dapat tinggal di hotel sementara dengan semua fasilitas tepat di wilayah pusat data. 

Area kantor juga memiliki ruang makan dan dapur.  







Dan ada juga alam yang menakjubkan di sekitar dengan hutan, danau, sungai, memancing, dan kegiatan luar ruangan lainnya. Datang untuk mengunjungi tempat saya.











Seperti yang dijanjikan, bonus bagus untuk mereka yang berhasil sampai akhir. Untuk enam bulan pertama, sewa tempat rak di Udomla dengan daya yang disediakan sebesar 5 kW akan gratis. Bayar hanya untuk listrik yang benar-benar dikonsumsi. Kirim aplikasi Anda ke request@dtln.ru .



All Articles