Saya pernah bekerja sebagai insinyur data di sebuah startup. Dia berkembang pesat dan pada suatu saat memutuskan untuk membeli satu perusahaan besar. Ada lebih dari seratus karyawan di sana - ternyata, hampir semuanya dari India. Sementara pengembang kami mengutak-atik kode eksotis yang tidak dapat diuraikan sekaligus, departemen pemantauan India menarik perhatian saya.
Untuk memantau jaringan dan server, Anda dapat menggunakan berbagai perangkat lunak. Hal utama adalah memastikan: jika terjadi kesalahan, peringatan akan berfungsi. Anda akan melihat pemberitahuan dan punya waktu untuk memperbaiki semuanya. Mereka juga punya ide sendiri untuk memantau. Bayangkan beberapa ruangan dengan meja, kursi dan plasma besar di dinding, hampir dua lusin orang duduk di dalamnya. Pada setiap monitor, grafik multi-warna ditampilkan dan potongan kertas dengan nomor telepon ditempel di sebelahnya.
Tugas dua puluh orang ini adalah duduk dan melihat grafik, dan jika garis itu tiba-tiba ternyata berada di atas stiker yang ditempel di sebelahnya, hubungi nomor telepon yang tertulis di sana dan bunyikan alarm. Di sini mereka duduk dan menonton tanpa henti.
Pembelian perusahaan itu tidak mahal, tetapi mempertahankan infrastruktur seperti itu membutuhkan biaya yang selangit. Orang India menggunakan Vertica yang mahal, di mana, selain membayar perangkat keras, mereka juga harus melepaskan lisensi. Kami memutuskan untuk mencoba pindah ke ClickHouse. Ini praktis analog gratis dari Vertica. Kedua produk tersebut bekerja dengan prinsip yang sama: DBMS berbentuk kolom dengan sharding, dengan partisi data.
Dan itu adalah petualangan lain.
Fitur pembunuh ClickHouse - tentu saja, menghemat uang
, . ClickHouse . ClickHouse, , (, PostgreSQL) .
ClickHouse , : DoubleDelta ! ClickHouse , MergeTree.
, , HDFS , ClickHouse 700 , . , «» SQL- - ClickHouse, , , .
— . , , ClickHouse «» . : TSBS , , — . — http- , Rest .
ClickHouse , , , , . , . — , , . .
, , , ?
, , , .
. -, , . , , , , . SDK . PHP JSON , MySQL. , — .
( ), . - Hadoop, HDFS . . : JSON-, Hive. .
Hive, , . JSON-. HDFS Hadoop - . . , , . ! , , — . . , , , Spark , . , , , , RDD .
, - - . HDFS , — .
, . , , , , Java, - . Scala, , !
ClickHouse. , C++. , , , . Scala, TCP, Native , .
— HDFS. Kafka, , Kafka ClickHouse. HDFS , : HDFS .
- ClickHouse. , , .
ClickHouse — ,
, ClickHouse production-ready , , , , DWH .
, , « » - Hive MySQL, ClickHouse – - , - JOIN - ..
, , , . , . , – , .
, . , , .
, UUID, :
```
SELECT * FROM db PREWHERE uuid != '00000000-0000-0000-0000-000000000000'
```
segfault.
. -! , GitHub, Issues, .
, ClickHouse
Hive , . Tabix. , ClickHouse . . Redash - ClickHouse.
Redshift. - ClickHouse Redshift (, , SQL ). — , Redshift, ClickHouse. , Redshift — 30 . ClickHouse Redash.
, ClickHouse Tableau 70 !
Tableau — . , ClickHouse . PostgreSQL. - , PostgreSQL . ClickHouse PostgreSQL Tableau! . PostgreSQL. .
. Tableau — , , SQL , . . 70 .
Tableau . , ClickHouse . . , Tableau - ClickHouse. !
Redash Tableau — . , ClickHouse — . , - , Tableau.
ClickHouse — . , . .
, , — . , , ClickHouse.
, - , . — Vertica Redshift .