Bagaimana para astronom biasanya bekerja? Mereka berkoordinasi dengan observatorium tanggal dan waktu penggunaan teleskop, dan pada hari yang ditentukan mereka melakukan observasi, mengunggah data yang dikumpulkan ke diri mereka sendiri. Tetapi karena fakta bahwa teleskop menghasilkan lebih banyak informasi yang berguna, metode tradisional berhenti bekerja. Dan para ilmuwan menemukan jalan keluar dengan menggunakan teknologi cloud. Cloud4Y menjelaskan cara kerja Stargazer sekarang.
Observatorium Vera Rubin di Chili dapat mengumpulkan 20 terabyte data per malam. Ini sebagian besar karena lokasinya yang bagus. Teleskop cermin sudut lebar penelitian terletak di ketinggian 2.715 m di puncak El Peñon (ini adalah Chili utara). Desain teleskop unik karena memiliki bidang pandang yang sangat luas: diameter 3,5 derajat atau 9,6 derajat persegi. Sebagai perbandingan, Matahari dan Bulan terlihat dari Bumi sebagai objek berukuran 0,5 ° secara horizontal atau 0,2 derajat persegi. Dikombinasikan dengan apertur besar, ini memungkinkannya memiliki gaya pengumpulan yang sangat tinggi. Dengan kata lain, teleskop mampu memperoleh data dari area luas di langit pada saat yang bersamaan. Lampu pertama "rekayasa" dijadwalkan akan diterima pada Mei 2021, seluruh sistem - pada Oktober 2021, dan pada Oktober 2022 untuk mulai beroperasi penuh
20 terabyte hampir sama dengan Sloan Digital Sky Survey , yang menawarkan peta 3D paling detail dari alam semesta, dan yang mengumpulkan semua data dari tahun 2000 hingga 2010. Tapi itu belum semuanya. Proyek Square Kilometer Array , yang akan mulai beroperasi pada tahun 2020, akan meningkatkan volume ini dengan faktor 100, menjadi 2 petabyte per hari (saat mencapai kapasitas maksimum pada tahun 2028). Dan peralatan generasi berikutnya (ngVLA), menurut kepala observatorium, akan menghasilkan ratusan petabyte.
Tidak mudah untuk memproses data dalam jumlah besar. Anda tidak bisa begitu saja mendownloadnya dan menyimpannya di suatu tempat. Dan membuat dukungan untuk sumber daya komputasi lokal agar bekerja terlalu mahal. Menurut beberapa perkiraan, biaya pengorganisasian infrastruktur TI dari awal dan pemeliharaan staf yang diperlukan untuk mendukung Observatorium Vera Rubin dapat mendekati $ 150 juta selama 10 tahun. Jadi para astronom dari Chili, seperti banyak rekan mereka, beralih ke awan. Dan inilah kesimpulan yang telah mereka tarik.
Investasi dalam daya komputasi bagus untuk sains
Tidak cukup hanya memindahkan data ke cloud; peneliti harus dapat berinteraksi dengannya. Alih-alih model kerja tradisional, ketika para astronom mentransfer data ke komputer mereka, mereka sekarang mengunduh kode mereka untuk bekerja dengan data yang tersedia di awan. Berkat ketersediaan akses online ke platform ilmiah observatorium (notebook Jupyter untuk pemrograman dengan Python, Julia, R, dll., Antarmuka pemrograman aplikasi (API) untuk menganalisis, melihat, dan mencari data), pengguna dapat menulis dan menjalankan kode Python untuk analisis jarak jauh dari semuanya dataset observatorium pada server yang dihosting di Pusat Nasional untuk Aplikasi Supercomputing di Urbana, Illinois. Dan Anda tidak perlu mengunduh apa pun ke komputer Anda.
Di cabang ilmu lain, pendekatan ini sangat efektif. Misalnya, proyek Pangeo, yang merupakan platform analisis data besar untuk ilmu bumi, telah membuat petabyte data iklim menjadi publik dan dapat dihitung, sehingga memudahkan peneliti untuk berkolaborasi.
Nyaman bahkan saat bekerja tanpa data besar
Evelina Momcheva, yang bekerja dengan teleskop luar angkasa di Baltimore, Maryland, mengatakan dia telah menemukan kasus di mana proyek yang hanya menggunakan data berukuran sedang mendapat manfaat dari komputasi awan. Jika hanya karena para peneliti dapat mengakses sumber daya yang jauh lebih unggul daripada kinerja laptop mereka. Dan, yang penting, dengan biaya yang relatif rendah. Dan beberapa penyedia cloud menawarkan sumber daya gratis untuk tujuan pendidikan.
Pada 2015, Momcheva dan rekan-rekannya hanya memiliki server 8-inti untuk proyek 3D-HST mereka, yang menganalisis data dari Teleskop Luar Angkasa Hubble untuk memahami kekuatan yang membentuk galaksi di alam semesta yang jauh. Sumber daya langka dan mereka beralih ke awanmengambil lima mesin 32-inti. Mengapa? Tetapi karena setelah dilakukan perhitungan awal ternyata analisis pada mesin kita sendiri akan memakan waktu setidaknya tiga bulan. Dengan penyedia cloud, butuh lima hari dan kurang dari $ 1.000. ”
Harga bukanlah segalanya
Perselisihan tentang apakah layanan cloud lebih murah dibandingkan dengan infrastruktur TI mereka sendiri, jika mereda, tidak akan segera. Kedua belah pihak memiliki argumen yang kuat. Misalnya, laporan tahun 2011 oleh Departemen Energi AS Magellan tentang komputasi awan menyimpulkan bahwa pusat komputasi departemen umumnya lebih murah daripada menyewa layanan awan. Namun, banyak air telah mengalir di bawah jembatan sejak saat itu, dan teknologi telah berubah secara dramatis.
Pengoptimalan pekerjaan dengan layanan cloud, menurut University of Washington, dapat menyamakan perbedaan ini. Para peneliti mampu membuktikan bahwa eksperimen cloud $ 43 hanya $ 6 setelah beberapa bulan bekerja dan pengoptimalan biaya. Mereka juga menghitung bahwa menyelesaikan tugas yang sama dalam waktu yang sebanding dengan menggunakan sumber daya mereka sendiri akan menghabiskan biaya tim sekitar $ 75.000 (untuk perangkat keras, listrik, dan gaji staf), dengan server harus aktif selama 87% dari waktu selama tiga tahun.
Menghemat waktu sering kali memengaruhi pengambilan keputusan. Ketika infrastruktur TI Anda membutuhkan sembilan bulan untuk memproses data Anda, dan cloud hanya membutuhkan satu bulan, dan dengan uang yang hampir sama, maka perbedaan delapan bulan itu menjadi sangat menarik.
Para astronom mengatakan mereka tidak memiliki keinginan untuk menyeberang ke satu sisi. Sebaliknya, penggunaan infrastruktur lokal untuk tugas sehari-hari dan "cloud" - untuk komputasi kompleks - adalah model yang optimal untuk banyak pusat penelitian.
Konsolidasi data membuka cakrawala baru
Hal lain yang sangat disukai astronom adalah kemampuannya untuk menggabungkan beberapa kumpulan data besar. Kombinasi keduanya dapat memberikan beberapa informasi yang tidak akan terlihat jelas untuk setiap set secara terpisah. Artinya, semakin banyak informasi yang dikumpulkan para astronom, semakin berguna informasi itu.
Terinspirasi oleh Proyek Data Commons NIH, di mana para ilmuwan menyimpan dan bertukar data dan perangkat lunak biomedis dan perilaku, para peneliti berencana untuk membuat Astronomy Data Commons. Para ilmuwan di University of Washington telah menerbitkan satu kumpulan data yang disebut Fasilitas Transien Zwicky, yang mencakup 100 miliar pengamatan dari sekitar 2 miliar benda langit. Jika pekerjaan ini berguna, astronom lain mungkin akan mengikutinya. Kemudian seluruh ekosistem astronomi akan tercipta, kemungkinan yang hanya bisa diimpikan.
Pergi ke cloud saja tidak cukup, Anda harus tahu cara menggunakannya
Untuk bekerja dengan data di cloud, pengguna perlu membuat akun, memilih salah satu dari banyak opsi untuk berinteraksi dengan informasi, menginstal perangkat lunak mereka sendiri (sering kali ditulis sendiri atau dibuat khusus). Selain itu, konfigurasikan semuanya sehingga perangkat lunak dapat berjalan di beberapa mesin pada waktu yang bersamaan. Kesalahan tidak bisa dihindari, dan dapat merugikan peneliti, sehingga mengurangi minat mereka pada teknologi cloud. Ada kasus ketika mahasiswa pascasarjana yang tidak kompeten "menghabiskan" beberapa ribu jam waktu prosesor tanpa hasil. Oleh karena itu, para ilmuwan disarankan untuk melatih “pada kucing” terlebih dahulu, meluncurkan proyek percontohan kecil menggunakan infrastruktur mereka sendiri.
Penting juga untuk tidak melupakan persyaratan keselamatan. Meskipun privasi dan keamanan di awan lebih baik daripada sumber daya di lokasi, menyiapkan infrastruktur awan bisa jadi sulit. Dan kesalahan programmer yang tidak berpengalaman akan mengarah pada fakta bahwa data Anda akan tersedia untuk seluruh dunia. Saat menggunakan taman TI kami sendiri, masalah seperti itu dikontrol dengan lebih ketat. Dan di cloud, sangat mudah membuat kesalahan jika Anda tidak mendengarkan rekomendasi dari pakar teknis penyedia.
Secara umum, keinginan para astronom untuk menggunakan sumber daya awan untuk mempelajari sistem bintang, membangun model pembentukan alam semesta, dan menyimpan "danau data" dapat dimengerti. Komputasi berat telah lama dialihdayakan ke peralatan di pusat data. Platform cloud telah sangat mengubah sains dan bisnis, menjadi alat penting untuk pengembangan pemikiran manusia. Yang utama adalah menggunakan alat ini dengan benar.
Apa lagi yang menarik di blog Cloud4Y
→ “Lakukan sendiri”, atau komputer dari Yugoslavia
→ Departemen Luar Negeri AS akan membuat firewall hebatnya sendiri
→ Kecerdasan buatan bernyanyi tentang revolusi
→ Apa geometri alam semesta?
→ Telur paskah di peta topografi Swiss
Berlangganan saluran Telegram kami agar tidak ketinggalan artikel lain. Kami menulis tidak lebih dari dua kali seminggu dan hanya tentang bisnis.