Apache Software Foundation telah merilis rilis baru dari platformnya - Apache Hadoop 3.3.0 . Satu setengah tahun telah berlalu sejak pembaruan terakhir. Platform itu sendiri adalah alat untuk mengatur pemrosesan terdistribusi dari sejumlah besar data menggunakan MapReduce. Hadoop menyertakan sekumpulan utilitas, pustaka, dan kerangka kerja untuk mengembangkan dan menjalankan program terdistribusi yang dapat berjalan di cluster yang terdiri dari ribuan node.
Untuk Hadoop, sistem file khusus Hadoop Distributed File System (HDFS) telah dibuat, yang menyediakan backup data dan pengoptimalan aplikasi MapReduce. HDFS dimaksudkan untuk menyimpan file besar yang didistribusikan antara node individual dari cluster komputasi. Berkat kemampuannya, Hadoop digunakan oleh perusahaan dan organisasi terbesar. Google bahkan memberi Hadoop hak untuk menggunakan teknologi yang memengaruhi paten yang terkait dengan metode MapReduce.
Secara umum, kami bertemu Apache Hadoop 3.3.0 .
Berikut adalah daftar perubahan terpenting di versi baru:
- Dukungan untuk platform berbasis ARM (omong-omong, Selectel memiliki server ARM; berikut tautannya jika Anda ingin mencoba).
- Protobuf (Protocol buffers) 3.7.1. Protobuf .
- S3A Delegation Token (), 404, S3guard .
- ABFS.
- Java 11.
- Tencent Cloud COS, COS.
- DNS Resolution, DNS . , .
- YARN (Yet Another Resource Negotiator) .
- Menambahkan dukungan untuk penjadwalan OPPORTUNISTIC container untuk dijalankan melalui Resource Manager .
Karena fakta bahwa Hadoop secara aktif berkembang, pasar untuk solusi berdasarkan itu berkembang pesat. Jika pada 2019 volume pasar sekitar $ 1,7 miliar, maka menurut para ahli, pada 2024 akan mencapai $ 9,4
miliar.Sekarang Hadoop menempati urutan pertama di antara repositori Apache dalam hal jumlah perubahan. Ukuran basis kode platform sekitar 4 juta baris. Repositori terbesar adalah Netflix, Twitter, Facebook.