Pada artikel ini, kita akan melihat opsi untuk mengupload data ke penyimpanan cloud Google BigQuery. Ini termasuk cara mudah untuk memuat data dari file CSV / JSON dan cara untuk memuat melalui API atau ekstensi.
Dengan Google BigQuery (GBQ), Anda dapat mengumpulkan data dari berbagai sumber dan menganalisisnya menggunakan kueri SQL. Di antara kelebihan GBQ adalah kecepatan komputasi yang tinggi bahkan untuk data dalam jumlah besar dan biaya rendah.
Mengapa Anda perlu mengunggah data ke satu repositori? Jika Anda ingin menggunakan analitik ujung ke ujung, menghasilkan laporan dari data mentah, dan mengukur keefektifan pemasaran Anda, Anda memerlukan Google BigQuery.
Jika Anda perlu menganalisis terabyte data dalam hitungan detik, Google BigQuery adalah pilihan termudah dan paling terjangkau. Anda dapat mempelajari lebih lanjut tentang layanan ini dengan menonton video singkat di saluran YouTube Pengembang Google .
Membuat dataset dan tabel
Sebelum mengupload data apa pun, Anda harus membuat kumpulan data dan tabel di Google BigQuery terlebih dahulu. Untuk melakukannya, di halaman beranda BigQuery, pilih sumber daya tempat Anda ingin membuat kumpulan data.
Gambar yang digunakan dalam artikel ini disediakan oleh penulis.
Tentukan ID kumpulan data di jendela "Buat kumpulan data", pilih lokasi pemrosesan data dan setel periode penyimpanan default untuk tabel.
Catatan: Jika Anda memilih "Tidak Pernah" sebagai tanggal kedaluwarsa untuk tabel, tidak ada penyimpanan fisik yang akan ditentukan. Untuk tabel sementara, Anda dapat menentukan jumlah hari untuk menyimpannya.
Kemudian buat tabel di dataset tersebut.
Selesai! Sekarang Anda dapat mulai mengunduh data.
Memuat data menggunakan Google Spreadsheet (ekstensi Laporan BigQuery BI OWOX).
Jika Anda perlu mengupload data dari Google Spreadsheet ke Google BigQuery, cara termudah untuk melakukannya adalah dengan menginstal ekstensi Laporan BigQuery BI OWOX gratis.
Anda dapat memasang ekstensi ini langsung dari Google Sheets atau dari Toko Web Chrome .
Setelah menginstalnya, kotak dialog muncul dengan petunjuk dan meminta izin.
Sekarang saatnya kembali ke Google Sheets. Untuk mengupload data ke BigQuery, cukup pilih Upload data ke BigQuery dari menu Add-on -> Laporan BigQuery BI OWOX.
Tentukan proyek, kumpulan data, dan nama tabel untuk memuat data. Dan itu saja :)
Keuntungan tak terbantahkan dari ekstensi Laporan BigQuery BI OWOX adalah kemudahan penggunaannya. Anda juga dapat menggunakan ekstensi untuk menyesuaikan laporan terjadwal.
Untuk menghasilkan laporan berdasarkan data mentah yang akurat dari semua sumber dan secara otomatis menguploadnya ke repositori Google BigQuery, sebaiknya gunakan layanan OWOX BI Pipeline .
Dengan Pipeline, Anda dapat menyiapkan pengumpulan data otomatis dari layanan iklan, sistem pelacakan panggilan, dan CRM. Ini memungkinkan Anda dengan cepat dan mudah mengambil kumpulan data lengkap dari sumber pilihan Anda.
Cukup pilih sumber data Anda dan izinkan akses; serahkan sisanya kepada OWOX BI .
Dengan OWOX BI Anda dapat membuat laporan untuk semua rasa dan warna, mulai dari ROI, efek ROPO, dan analisis kelompok hingga analisis LTV dan RFM.
Memuat data dari file CSV
Untuk mengupload data dari file CSV, pilih sumber data di jendela "Buat tabel" dan gunakan opsi "Upload".
Kemudian pilih file dan formatnya.
Selanjutnya, Anda perlu menentukan tujuan data dengan menentukan nama proyek dan dataset.
Catatan: Di Google BigQuery, Anda dapat memilih dua jenis tabel: asli dan eksternal.
Google BigQuery secara otomatis akan mendeteksi struktur tabel, tetapi jika Anda ingin menambahkan kolom secara manual, Anda dapat menggunakan fungsi edit teks atau tombol + Tambahkan kolom.
Catatan: Jika Anda ingin mengganggu penguraian data dari file CSV di Google BigQuery, Anda dapat menggunakan opsi lanjutan.
Untuk informasi lebih lanjut tentang format CSV, lihat dokumentasi mendetail dari Internet Society.
Memuat data dari file JSON
Untuk memuat data dari file JSON, ulangi semua langkah di atas: buat atau pilih kumpulan data dan tabel yang Anda gunakan - hanya pilih JSON sebagai format file.
Anda dapat mengupload file JSON dari komputer, Google Cloud Storage, atau Google Drive Anda.
Catatan: Untuk informasi lebih lanjut tentang format JSON, lihat dokumentasi Google Cloud.
Mendownload data dari Google Cloud Storage.
Google Cloud Storage memungkinkan Anda menyimpan dan mentransfer data secara online dengan aman.
Informasi berguna tentang penggunaan layanan ini:
Memulai Google Cloud Storage
Dokumentasi Cloud Storage
Panduan Memulai Cepat
Memilih Penyimpanan dan Basis Data di Google Cloud Platform
Anda dapat mengupload file dari Google Cloud Storage ke Google BigQuery dalam format berikut:
- CSV
- JSON (dibatasi baris baru)
- Avro
- Parket
- ORC
- Cloud Datastore
Anda dapat membaca lebih lanjut tentang menggunakan Cloud Storage dengan data besar di dokumentasi resmi .
Anda juga dapat mempelajari tentang batas dan izin unggahan Cloud Storage di Pusat Bantuan Google Cloud.
Memuat data dari layanan Google lainnya seperti Google Ads dan Google Ad Manager.
Untuk mendownload data dari berbagai layanan Google, Anda perlu menyiapkan BigQuery Data Transfer Service terlebih dahulu. Sebelum Anda dapat menggunakannya, Anda harus memilih atau membuat proyek data dan, dalam banyak kasus, mengaktifkan penagihan untuk itu. Misalnya, penagihan diperlukan untuk layanan berikut:
- Manajer Kampanye
- Manajer iklan Google
- Google Ads
- Google Play (beta)
- YouTube - Laporan Channel
- YouTube - Laporan Pemilik Konten
Catatan: Untuk informasi lebih lanjut tentang menyiapkan dan mengubah penagihan, lihat Pusat Bantuan Google Cloud.
Untuk meluncurkan BigQuery Data Transfer Service, di halaman beranda BigQuery , pilih Transfer dari menu di sebelah kiri.
Catatan: Anda memerlukan hak administrator untuk membuat Transfer.
Di jendela berikutnya, yang harus Anda lakukan adalah memilih sumber data yang diinginkan.
Catatan: BigQuery Data Transfer Service tidak hanya dapat diakses dari konsol platform, tetapi juga dari:
- bq_ui klasik
- bq alat baris perintah
- API Layanan Transfer Data BigQuery
Setelah disiapkan, layanan akan mengupload data ke BigQuery secara otomatis dan teratur. Namun, Anda tidak dapat menggunakannya untuk mendownload data dari BigQuery.
Memuat data menggunakan API
Dengan Library Klien Cloud, Anda dapat menggunakan bahasa pemrograman favorit Anda untuk bekerja dengan Google BigQuery API.
Catatan: Informasi lebih lanjut tentang memuat data menggunakan API dapat ditemukan di dokumentasi Google Cloud .
Pertama, Anda perlu membuat atau memilih proyek yang akan Anda kerjakan. Kemudian di halaman utama pergi ke bagian API.
Di jendela ringkasan API, Anda dapat menghubungkan API dan layanan. Anda perlu memilih API yang Anda butuhkan dari perpustakaan.
Di perpustakaan, Anda dapat mencari menurut bidang atau memfilter API menurut kategori.
Anda dapat menggunakan sekumpulan skrip Python dari OWOX BI untuk mengotomatiskan impor data ke Google BigQuery.
Ada skrip untuk mengotomatiskan impor data ke Google BigQuery dari sumber berikut:
- amoCRM
- FTP
- FTPS
- HTTP (S)
- Interkom
- ExpertSender
- MySQL
- SFTP
Skrip Python ini dapat diunduh dari GitHub .
Catatan: Pelajari cara menggunakan Python dengan Google API dalam tutorial video ini dari Google Developers di YouTube .
kesimpulan
Dalam artikel ini, kami telah membahas cara paling populer untuk memuat data ke Google BigQuery. Dari mengunggah file data hingga mengunggah data melalui API, setiap pengguna dapat menemukan opsi yang sesuai.
