Saat ini, basis data dari kelas Pemrosesan Paralel Masif adalah standar industri untuk menyimpan Data Besar dan menyelesaikan berbagai masalah analitis berdasarkan padanya.
Kasus penggunaan untuk mpp-database beragam: mereka bisa menjadi "pekerja keras" dari BI perusahaan, dan alat untuk memusatkan data dari ratusan sumber dalam satu DWH, dan bahkan digunakan untuk interaksi "panas" dengan model ML yang bekerja di lingkungan yang produktif.
Kelas teknologi ini adalah elemen yang diperlukan dalam toolkit Data Engineer modern.
Dalam pelajaran demo, kami akan menganalisis secara rinci apa itu mpp-database, solusi apa yang ada di pasaran saat ini, dan bahkan mempelajari contoh praktis penggunaan salah satu sistem mpp paling inovatif saat ini: ClickHouse.
Kami mengundang semua orang untuk mengikuti pelajaran demo "Pengenalan Database MPP Menggunakan ClickHouse sebagai Contoh".
IT- . , , , . , , , , , .
. ( ) , ( ). , , , SQL-, , , — data science , ..
, , , , . , , 20 , . , .
…
, . , !
, - , . Gartner, 2019 66 , 24% — — . Pitchbook, 30 5 8 35 .
, 2015-2020 .
: , , , a16z, , , , . , a16z, : https://a16z.com/investments/.
. , Linkedin 2019 . NewVantage Partners 60% Fortune 1000 , 12% 2012 , McKinsey .
, ( ) - — , .
- , . , , . , .
, : () , () , .
:
Unified Architecture for Data Infrastructure
: (OLTP), SaaS- . , .
:
— , . . - , — .
, .
, AI/ML ?
: - ( ) , ( ).
. (data warehouse). -, SQL ( Python ). (data lake) . , , , . , Java/Scala, Python, R SQL.
, ( ). , , — , , , ACID-, SQL . .
: ? ? , - . , - , .
, , , - , SaaS . , . (, ETL-) .
, . ( ) .
, «» (blueprints) — , , , , .
. -, . , , , . AI ML .
1: -
- - - , , .
. , .
, , SQL ( Python) .
, , . , , data science, / .
2:
, , , Hadoop-
, .
, .
-, , AI/ML, , / , ( , ) (Java/Scala, Python, SQL).
, , , . , - , .
3: .
, , .
, , . , .
, - (. . ), .
, , , / . , , , , - .
. . , -, , , , . , .
, , , , , , , .
- "Data Engineer".
« MPP- ClickHouse».