Di market dengan popularitas analytics streaming yang semakin populer, sangatlah penting untuk mengoptimalkan pemrosesan data sehingga Anda bisa mengurangi biaya dan memastikan kualitas serta integritas data. Salah satu pendekatannya adalah dengan fokus bekerja hanya pada data yang berubah, bukan semua data yang ada. Di sinilah change data capture (CDC) berguna. CDC adalah teknik yang memungkinkan pendekatan teroptimalkan ini.
Kami yang bekerja di Dataflow, layanan pemrosesan data streaming Google Cloud, mengembangkan contoh solusi yang memungkinkan Anda menyerap streaming data yang berubah yang berasal dari segala jenis database MySQL versi 5.6 ke atas (dikelola-sendiri, lokal, dll.), dan menyinkronkannya ke set data di BigQuery.
Kami menyediakan solusi ini dalam repositori publik template Dataflow. Anda bisa menemukan petunjuk tentang cara menggunakan template ini di bagian
README repo GitHub.
CDC menyediakan representasi data yang telah berubah dalam streaming, yang memungkinkan komputasi dan pemrosesan untuk berfokus secara khusus pada data yang berubah. CDC bisa diterapkan untuk banyak kasus penggunaan. Beberapa contohnya meliputi replikasi database penting, optimalisasi tugas analytics real-time, penghapusan cache, sinkronisasi antara penyimpanan data transaksional dan penyimpanan bertipe data warehouse, dan banyak lagi.
Bagaimana solusi CDC Dataflow memindahkan data dari MySQL ke BigQuery
Solusi yang diterapkan, ditunjukkan di bawah ini, berfungsi dengan database MySQL apa pun, yang dipantau dengan konektor yang kami kembangkan berdasarkan Debezium. Konektor menyimpan metadata tabel menggunakan Data Catalog (layanan manajemen metadata skalabel Google) dan mendorong update ke Pub/Sub (teknologi perpesanan dan penyerapan streaming native Google Cloud). Pipeline Dataflow kemudian mengambil update dari Pub/Sub dan menyinkronkan database MySQL dengan set data BigQuery.
Solusi ini mengandalkan
Debezium, yang merupakan fitur open source sempurna untuk CDC. Kami mengembangkan konektor yang bisa dikonfigurasi berdasarkan teknologi ini dan dapat dijalankan secara lokal atau di lingkungan Kubernetes Anda sendiri untuk mendorong perubahan data ke Pub/Sub.
PaketQQ merupakan situs judi dominoqq online dan bandarq dengan pelayanan 24 jam online non stop dan proses deposit withdraw terpercaya di indonesia.
ReplyDelete