Streaming data dari Cloud Storage ke BigQuery menggunakan Cloud Functions



Penggunaan Cloud Storage dari Google Cloud Platform (GCP) membantu Anda menyimpan data dengan aman dan mengintegrasikan penyimpanan ke dalam aplikasi Anda. Untuk analisis real-time dari objek Cloud Storage, Anda bisa menggunakan BigQuery GCP. Ada banyak opsi untuk melakukan streaming data dari bucket Cloud Storage ke dalam tabel BigQuery. Kami telah menyusun panduan solusi terbaru untuk membantu Anda melakukan streaming data dengan cepat ke BigQuery dari Cloud Storage. Kami akan membahas dalam postingan ini cara menyalin objek yang baru dibuat secara kontinu di Cloud Storage ke BigQuery menggunakan Cloud Functions.
Penggunaan Cloud Functions memungkinkan Anda mengotomatiskan proses penyalinan objek ke BigQuery untuk analisis cepat, yang memungkinkan Anda mendapatkan akses hampir real-time ke data yang diupload ke Cloud Storage. Ini berarti Anda bisa memperoleh informasi yang lebih baik dengan lebih cepat, dan merespons lebih cepat terhadap event yang terjadi dalam bisnis Anda.
Cloud Functions adalah platform komputasi GCP tanpa server yang digerakkan oleh event, yang menyediakan automatic scaling, ketersediaan tinggi, dan toleransi kesalahan tanpa membutuhkan server untuk menyediakan, mengelola, mengupdate, atau melakukan patch. Streaming data menggunakan Cloud Functions memungkinkan Anda menghubungkan dan memperluas layanan GCP lainnya, dan membayar hanya ketika aplikasi sedang berjalan.
Perhatikan bahwa kita juga bisa melakukan streaming data ke BigQuery menggunakan Cloud Dataflow. Cloud Dataflow menggunakan framework Apache Beam, yang menyediakan analisis dasar sesi dan jendela, serta ekosistem konektor sink dan sumber dalam Java, Python, dan beberapa bahasa lainnya.
Namun, jika Anda tidak mahir dalam Apache Beam API dan mencoba untuk menyerap file tanpa mempertimbangkan jendela atau transformasi kompleks, seperti streaming file kecil langsung ke dalam tabel, Cloud Functions adalah opsi sederhana dan efektif.
Anda juga bisa memilih menggunakan Cloud Dataflow (Apache Beam) untuk ETL kompleks dan set data besar, dan Cloud Functions untuk file kecil dan transformasi yang lebih sederhana.
Cara kerja solusi Cloud Functions
Diagram arsitektur berikut menggambarkan komponen dan alur pipeline streaming yang dibuat dengan Cloud Functions. Pipeline ini mengasumsikan bahwa Anda mengupload file JSON ke dalam Cloud Storage, jadi Anda harus melakukan perubahan kecil untuk mendukung format file lainnya.

Anda bisa melihat di Langkah 1 bahwa file JSON diupload ke Cloud Storage. Setiap kali file baru ditambahkan ke bucket FILES_SOURCE, Cloud Function streaming akan terpicu. Fungsi ini mengurai data, melakukan streaming sisipan ke BigQuery (Langkah 3), mencatat log status penyerapan ke Cloud Firestore untuk penggabungan dan pembersihan (Langkah 4), dan menerbitkan pesan di salah satu two Cloud Pub/Sub topics: streaming_success_topic, jika semuanya berjalan dengan baik; or streaming_error_topic, jika terjadi masalah (Langkah 5). Pada akhirnya, Cloud Functions streaming_error atau streaming_success memindahkan file JSON dari bucket sumber ke bucket FILES_ERROR atau bucket FILES_SUCCESS (Langkah 6).
Penggunaan Cloud Functions menandakan bahwa arsitektur ini tidak hanya sederhana tetapi juga fleksibel dan kuat. Selain memudahkan penskalaan agar sesuai dengan kebutuhan kapasitas upload file Anda, Cloud Functions juga memungkinkan Anda untuk mengimplementasikan fungsionalitas khusus, seperti penggunaan Cloud Firestore.
Mulailah dengan mengunjungi tutorial halaman solusi, di sini Anda bisa mendapatkan informasi terperinci tentang cara menerapkan arsitektur ini. Dan cobalah jelajahi GCP lebih jauh.