Pemodelan data secara dramatis menyederhanakan interaksi antara pengembang, analis, dan pemasar, seperti halnya proses pelaporan itu sendiri. Oleh karena itu, saya menerjemahkan artikel IBM Cloud Education tentang nilai pemodelan dan menambahkan informasi sendiri tentang cara mengubah data untuk pemodelan.
Pemodelan data
Pelajari bagaimana pemodelan data menggunakan abstraksi untuk mewakili dan lebih memahami sifat data dalam sistem informasi perusahaan.
Apa itu pemodelan data
Pemodelan data adalah penciptaan representasi visual dari keseluruhan sistem informasi atau sebagian darinya. Tujuannya adalah untuk mengilustrasikan jenis data yang digunakan dan disimpan dalam sistem, hubungan antara jenis data ini, bagaimana data dikelompokkan dan diatur, serta format dan atributnya.
Model data dibuat berdasarkan kebutuhan bisnis. Aturan dan persyaratan untuk model data ditentukan sebelumnya berdasarkan umpan balik dari bisnis, sehingga dapat dimasukkan dalam pengembangan sistem baru atau disesuaikan dengan yang sudah ada.
Data dapat dimodelkan di berbagai tingkat abstraksi. Prosesnya dimulai dengan mengumpulkan persyaratan bisnis dari pemangku kepentingan dan pengguna akhir. Aturan bisnis ini kemudian diterjemahkan ke dalam struktur data. Model data dapat dibandingkan dengan peta jalan, cetak biru arsitek, atau skema formal apa pun yang berkontribusi pada pemahaman yang lebih dalam tentang apa yang sedang dikembangkan.
Pemodelan data menggunakan skema standar dan metode formal. Ini memberikan cara yang konsisten dan dapat diprediksi untuk mengelola data di dalam atau di luar organisasi.
Idealnya, model data adalah dokumen hidup yang berkembang dengan kebutuhan bisnis. Mereka memainkan peran penting dalam mendukung proses bisnis dan perencanaan arsitektur dan strategi TI. Model data dapat dibagikan dengan pemasok, mitra, dan kolega.
, , - . , :
.
.
.
.
-.
, .
. . , .
. : , - . . , (, ), , , . .
. . . agile DevOps-. , . , .
, , -. , , . :
. , , , . .
. , , . , «» , , , .. «» , , .
. , . « » . «», . (UML).
. , , . () . - , .
. — , () . , , , , . , , .
. — , .
(), .
« » . , . IBM Information Management System (IMS) 1966 , . , , (XML) ().
IBM . . 1970 . , . . , .
(SQL) . . , .
ER- . ER- , . , ER-, «-» (Entity-Relationship diagram). ER- , (, ).
- - 1990- . «» — . . - , . .
. ER- , , . OLAP.
— «» «». «» ( ) ( ), . «» «», , .
CASE- , , . :
erwin Data Modeler — , IDEF1X, , .
Enterprise Architect — , , . - .
ER/Studio — , . , .
, Open ModelSphere.
, , , , Google BigQuery, Scheduled Queries AppScript. , SQL, Scheduled Queries . , - .
SQL-, , dbt Dataform.
dbt (alat pembuatan data) adalah kerangka kerja sumber terbuka untuk menjalankan, menguji, dan mendokumentasikan kueri SQL yang membawa elemen rekayasa perangkat lunak ke proses analisis data. Ini membantu untuk mengoptimalkan pekerjaan dengan kueri SQL: gunakan makro dan templat JINJA agar tidak mengulangi cuplikan kode yang sama untuk keseratus kalinya.
Masalah utama yang dipecahkan oleh alat khusus adalah mengurangi waktu yang diperlukan untuk dukungan dan pembaruan. Ini dilakukan dengan mengorbankan kemudahan debugging.