Bagaimana QA dalam manajemen gudang data telah berevolusi. Bagian 2

Pada artikel sebelumnya, saya menjelaskan masalah yang kami temui di awal pembentukan proses QA di repositori kami, serta langkah pertama untuk memperbaikinya. Pada artikel ini saya akan memberi tahu Anda bagaimana kami menangani masalah yang tersisa, alat apa yang kami gunakan dan apa rencana kami.





Jadi ayo pergi!





, :





  • .





  • .





  • .





  • .





  • .





, , flow.





(vial, live test)

vial live β€” ETL-. , test- , vial. , vial , - test.





: .





: , .





Distribusi tahapan pengujian antar sirkuit

:





  • ;





  • test - .





test?

-, test . , . , , , - , , ETL- . .





-, vial . , ( ) vial prod. test.





, test’ .





test flow ?





, :





  • ;





  • ;





  • .





, .





QA- / - . ( ).





, - - . test- , . .





, .





Saat ini

, . . .





Komponen otomatisasi

, .





, , , , .





β€” -, , QA-, , , .





Menampilkan Paket di Portal Otomasi

?





  • .





  • .





  • .





  • .





  • .





  • .





. , , . , .





β€” , .





, β€” , vial- - .





20:30, . , Jira «». , . .





QA ( , , ) .





Contoh channel slack dan pesan error di dalamnya
slack-

vial , . slack-.





Hasil pemeriksaan otomatis di saluran kendur
slack-

, ! .





, :





  • ;





  • .





Menu untuk meluncurkan ulasan di portal otomatisasi

, . . .





, ETL- , ETL- , .





.





Meta-review

SAS Data Integration Studio. SAS- β€” . , SAS- , .





, , , . , GP, . .





Package-review

β€” VCS -, , , , .





Package-review -. , , , , , , . package-review -, , .





Diff-review

python-, diff-.





Log-review

.





, . python + pytest , :





  • .





  • , .





  • Allure.





: . , ETL- , . : .





?





  • Static β€” , ETL-.





  • BI β€” SAP BO .





  • β€” ETL- .





  • Work β€” / , .





.





, :





  • .





  • .





  • .





. ?





  • MG ( ), , .





  • vial, .





, ( DB- ), β€” - .





:





  • .





  • 80β€”90%.





  • .





, , BI , .





, python, SQL-, .





?





  • ddl(β€˜_’) β€” DDL- , .





  • profile(β€˜_’) β€” ( , . .).





  • dq_check(β€˜_’, β€˜β€™) β€” , NULL , .





  • compare_(β€˜1’, β€˜2’, β€˜β€™) β€” , .





Compare() , , .





, (12 987 767 234 ) , order_id 9 458 234 .





Contoh hasil dari fungsi bandingkan ()
compare()

ETL- β€” , β€” .





compare() . : , ( ).





- Allure

Allure - , , , , . , vial, -.





, . , . : , . .





python, QA- , .





. , β€” .





QA-, . . , .





flow.





:





  • β€” vial .





  • β€” . , .





  • β€” vial/live, live β€” .





  • β€” .





  • ( , ) β€” , .





, , , β€” .





, β€” QA.





, .





Masa depan indah jauh sekali
β€”

?





  • QA.





  • QA β€” QA SRE.





  • .





  • .





vial, . , .





, , SQL- ( ), ETL-, .





, . QA .





, , .





: . .





DWH , .





:





  • , : , / , , . .





  • :  , , . .





  • , .





, .





, QA , . , . .





, !








All Articles