5 Hal Yang Harus Diketahui Setiap Data Engineer Tentang Pengamatan Data

Bagaimana menjadi percaya diri dengan alur kerja Anda, konveyor demi konveyor

Menjelang dimulainya kursus online "Data Engineer", kami menyiapkan terjemahan materi.






-, , . ? . , ? . , ? , .





DevOps, « - ». .





, Big Data Institute « : Big Data », , Monte Carlo, , , .





(Data Engineering) « data science» - , , , , . -, , : , - .





- - , Looker .





- - , , .





Slack : . , - .





, : . !





, , : - , , .





- (Data Observability).





#1. —

- , , (. . , , ... ). .





- ! - . , , , , . , .





, . , - Blinkist , 20 . , .





#2. DevOps

, , , , , . , : ​​DevOps, , 20 .





, DevOps, , , . , - , , .





, : , , , .





  • (Freshness) , .





  • (Distribution) , .





  • (Volume ) .





  • (Schema) , .





  • (Lineage) , , .





#3. - ... 3 ,

. , , , .





-, , - , . , , - ( ).





-, . , , , , , - , , , , - .





, : . , -, , , , .





#4. - ,

, - . , . , . , . - , .





, - . , , , .





(lineage), . Lineage , , , , .





, , . , : ? ? ? ?





, . , , - , , , .





#5. , ,

. - - , , , , - . .





-. , API . , .





, , DevOps - . , , . .






- "Data Engineer"








All Articles