Cepat atau lambat, analis dihadapkan pada masalah pengorganisasian data. Jumlahnya semakin banyak, strukturnya tidak lagi transparan, dan kueri SQL yang sama harus ditulis ulang beberapa kali. Untuk mengatasi masalah ini, Anda dapat menggunakan dbt - alat yang membuka pendekatan baru untuk transformasi dan pemodelan data. Di bawah potongan adalah terjemahan dari artikel David Crewitt yang sangat bagus tentang apa itu dbt dan bagaimana hal itu membantu analis untuk membuat pekerjaan mereka lebih mudah.
dbt (alat pembuatan data) adalah kerangka kerja sumber terbuka untuk menjalankan, menguji, dan mendokumentasikan kueri SQL yang membawa elemen rekayasa perangkat lunak ke proses analisis data.
Ini adalah bagian yang bagus dari kotak alat pemalas untuk membantu Anda tidak pernah mengulangi diri sendiri saat menganalisis data.
Mengganti Kueri Tersimpan
Setiap kueri SQL layak mendapatkan tempat yang baik. Di dbt, kueri SQL disusun dan diatur ke dalam folder proyek, sehingga semua anggota tim selalu tahu di mana menemukannya:
Setiap kali Anda perlu menjalankan kueri, Anda menggunakan perintah dbt run.
Perintah ini mengambil kumpulan model SQL dalam proyek dbt dan memperbaruinya di datastore.
Sederhana tetapi efektif.
Ini berarti Anda tidak perlu lagi menyimpan fragmen kueri SQL ke desktop atau di mana pun seperti peti harta karun.
— . - , .
dbt — , .
ref(‘ ‘)
dbt * * SQL-, {{ ref(‘model name’) }}.
:
, . dbt , , :
/admin
/base
/join /
/math (, ) ( . .)
/visualization + , .
, .
« Google Analytics?»
base -> google-analytics.
« ?»
Math -> cohort-analysis.
SQL-. dbt — Monster Queries™, .
SQL
dbt SQL- : + JINJA.
SQL- .
, CASE 15 :
CASE WHEN x = y THEN z
WHEN 2x = 2y THEN 2z
--… .
— , :
dbt SQL .
dbt dbt_utils, .
, CIFL :
JINJA
, : FOR, IF-THEN . .
dbt SQL-, JINJA.
, SQL- , .
1 №2 №9.
2 №4 №11.
, « » .
dbt :
dbt , JINJA:
, , , , . «» .
dbt + Git
dbt + Git . «Pull Requests» «Issues». SQL- Slack/Notion/email.
:
SQL- , . — .
, . , .
SQL , .
SQL-
« ?» – .
dbt .
Fishtown Analytics (, dbt) dbt Cloud, hosted dbt .
dbt Cloud , .
, — $50 .
«»
« ?»
« ?»
— . :
, .
, , , , 100% , , .
, — , , , .
, : , Google BigQuery Google Data Studio.
dbt :
`dbt docs` , SQL .
dbt + .yml .
BigQuery:
Data Studio:
(Snowflake . .) (Looker . .) . , .
?
, , . , , .
dbt .
, - , dbt . JOIN , dbt .
, SQL- , dbt .
— BigQuery, Snowflake PostgreSQL — , SQL. BigQuery Snowflake Redshift BigQuery, SQL, .
dbt ! . dbt . dbt , ( , , MS SQL).
CIFL , , , .
dbt
Jika Anda siap untuk menangani implementasi dbt di tim Anda, berikut ini dapat membantu:
Kursus gratis " Memulai BigQuery SQL ", yang mencakup pengantar pemodelan data dengan dbt.
Kursus Build Your Data Agency yang baru-baru ini diluncurkan untuk mendalami analisis data berbasis dbt.