Selama beberapa tahun terakhir, saya telah melakukan rekayasa data: Saya membangun saluran pipa dari berbagai tingkat kompleksitas, mengekstrak data yang dibutuhkan bisnis, mengubahnya dan menyimpannya, secara umum, saya membangun ETL klasik.
Dalam hal ini, masalah dapat diharapkan dari mana saja dan di setiap langkah: sumber data berbaring, data rusak, sumber mengubah format data atau mengaksesnya tanpa menyatakan perang, penyimpanan membosankan, data tiba-tiba menjadi kurang atau lebih dan banyak kesenangan lainnya.
Untuk memahami cara memantau semua ini, mari kita cari tahu siapa yang biasanya bekerja dengan data yang kami gali dengan susah payah:
Bisnis adalah semua orang yang tidak terlalu ahli di bidang teknik, tetapi membuat keputusan penting berdasarkan data yang kami peroleh: apakah akan meningkatkan biaya iklan, cara cepat meningkatkan ukuran audiens untuk meluncurkan pembaruan, cara kerja berbagai mitra, dll. .
Teknisi adalah kami insinyur, kami dapat meletakkan tangan kami di log, memperbaiki logika, memastikan tidak ada yang jatuh tanpa kebutuhan mendesak.
Kode - saluran pipa berikutnya dalam rantai diluncurkan, transformasi terjadi, grafik digambar, dll.
Pipeline tanggal mungkin sedikit berbeda dari backend klasik - jika salah satu pipeline mogok, ini tidak berarti semuanya buruk dan Anda harus segera menjalankannya, data mungkin tetap relevan untuk waktu tertentu. Anda akan mengatakan di sini bahwa backend juga dapat berhasil crash di beberapa bagian, begitulah adanya, tetapi dalam konteks ini saya menganggap backend dan pipa data sebagai satu entitas logis, dan bukan satu set duplikat layanan mikro dan database dengan replikasi.
Berikut beberapa contohnya:
Pipeline bekerja setiap 10 menit, dan orang-orang melihat laporan, rata-rata, satu jam sekali. Jatuhnya salah satu pekerjaan tidak kritis, dan jika sumber datanya tergeletak, masih tidak ada yang dapat Anda lakukan untuk mengatasinya.
, API ( Apple), , , . , , , , , - - , .
- - , : - , , .
, Airflow , , , .. , ...
:
Airflow ELK , , .
, , , , . , , .
, . , .. , , . , - (, ).
:
, .
, .
, , , .
, , , , , , . , , , Sensorpad.
?
: , , http- . , , .
, , , ( ):
10 ?
( , > 0, ) 15% ?
, 20 ?
?
?
, , , .
, - , , - Nomadlist, - :
- , , .
-, , -, , . , , , , , .
:
( , -);
, 25 ;
( 53 - );
:
;
;
;
, , , -, - .
?
, , .
- , :
df -h |grep vda1 | awk '{ print $5 }'| sed 's/.$//' | xargs -I '{}' curl -G "https://sensorpad.link/< ID>?value={}" > /dev/null 2>&1
, : ( , , , , )
, .
.
.
?
:
, 80% ;
cron-, cron- ;
chain-, , ;
, ( js) , , Curl :
- , .
: , " ", "- ", " ", , - .
, , - : .
, . , True, . , - , .
, .
, : " Warning, 5 , 10 ".
:
?
. - . - cron jobs, , ( , , ):
Cron job, Airflow DAG ;
20% ;
2 ;
1 (, );
2 ( );
20 ( 5, - ).
, , , .
- !
. sensorpad , , (, , ). : , , .
Saya sedang berpikir untuk menambahkan kemampuan untuk meraba-raba halaman ini menggunakan tautan rahasia di luar akun, maka halaman seperti itu dapat digunakan tidak lebih buruk daripada halaman status mana pun.
Berikut adalah sebuah konsep. Apa yang hilang?
Sensorpad adalah proyek akhir pekan yang dilakukan di waktu luang dari pekerjaan utama, tanpa banyak investasi dan bahkan dalam satu orang, itulah mengapa pendapat komunitas sangat penting bagi saya: bagaimana Anda menyukainya? Apa yang harus ditambahkan, apa yang harus ditingkatkan, apakah akan terus dikembangkan?
Poke dia hidup, pada saat yang sama memeriksa seperti apa ibuku seperti desainer halaman arahan: https://sensorpad.io