Google Developers Indonesia Blog: Memperkenalkan Python 3, dukungan streaming Python dari Cloud Dataflow

Memperkenalkan Python 3, dukungan streaming Python dari Cloud Dataflow

10 December 2019

code { background-color: transparent }

Analytics streaming sekarang menjadi bagian penting dari platform data, membantu bisnis mengumpulkan dan menganalisis data secara real time. Di Cloud Dataflow, kami telah memperhatikan beberapa tren dalam industri engineering data. Pertama, Python muncul sebagai salah satu pilihan paling populer untuk analis data, dan kedua, semakin banyak aplikasi yang didukung oleh analytics streaming. Dengan memperhatikan tren ini, kami gembira bisa mengumumkan ketersediaan umum Python 3 dan dukungan streaming untuk Python SDK.
Survei developer Stack Overflow tahun 2019 menemukan bahwa Python adalah bahasa pemrograman utama yang paling cepat berkembang, sementara survei JetBrains mengamati bahwa analisis data menjadi lebih populer daripada pengembangan web di kalangan pengguna Python. Untuk melayani komunitas yang berkembang pesat ini dengan lebih baik, para developer bahasa Python mengumumkan bahwa Python 2 akan dihentikan dukungannya pada tahun 2020. Konsorsium project open-source (termasuk Apache Beam, SDK open-source yang didukung oleh Cloud Dataflow) mengikutinya dengan berjanji menghentikan dukungan untuk Python 2 selambat-lambatnya pada tahun 2020.
Secara terpisah, analytics streaming menjadi standar untuk analytics data dan ML. Perusahaan paling inovatif memperbanyak analytics berbasis data mereka, membiarkan tim membuat keputusan strategis yang lebih baik dengan analytics berbasis event, yang meningkatkan kelincahan operasional. Analytics streaming memungkinkan Anda memanfaatkan kasus penggunaan seperti personalisasi, deteksi penipuan, aplikasi IoT, dan banyak lagi yang lain. Di Google Cloud Platform (GCP), tumpukan analytics streaming tanpa operasi yang kami kelola sepenuhnya hadir dalam bentuk Cloud Pub/Sub untuk penyerapan data dan Cloud Dataflow untuk pemrosesan data. (Pasangan ini baru saja ditunjuk sebagai pemimpin dalam Forrester Wave untuk Analytics Streaming, Kuartal ke-3 2019.)
Kami senang bisa menambahkan dukungan bagi Python 3 untuk membantu Anda yang masih berjalan di lingkungan yang akan segera tidak didukung. Dukungan ini berarti Anda bisa memanfaatkan fitur Python terbaru dan terbaik yang ditawarkan. Streaming Python akan memberi para engineer data seluruh rangkaian fitur streaming yang ditawarkan oleh Cloud Dataflow, yang meliputi:

Update: Kemampuan untuk mengupdate pipeline streaming Anda (seperti untuk meningkatkan atau memperbaiki bug dalam kode pipeline, atau menangani perubahan dalam format data)
Drain: Kemampuan untuk mengalirkan data Anda, yang mencegah hilangnya data saat menyelesaikan tugas streaming
Autoscaling: Kemampuan unik Cloud Dataflow memungkinkan Anda memilih jumlah instance worker yang tepat untuk menyelesaikan tugas, dan mengalokasikan kembali secara dinamis lebih banyak atau lebih sedikit pekerja untuk memperhitungkan perubahan pola traffic
Streaming Engine: Arsitektur streaming generasi berikutnya kami memungkinkan pengurangan sumber daya pekerja dan autoscaling yang lebih responsif

Memulai dengan Python 3 dan streaming Python Ikuti petunjuk dalam quickstart untuk membangun dan menjalankan pipeline pertama Anda. Saat menginstal Apache Beam SDK, pastikan untuk menginstal versi 2.16 . (atau lebih tinggi).
Baris Perintah: pip install apache-beam[gcp]

Anda bisa menggunakan Apache Beam SDK dengan Python versi 3.5, 3.6, atau 3.7 jika Anda ingin bermigrasi dari lingkungan Python 2.x. Setelah penginstalan, Anda siap membuat pipeline streaming yang pertama!
Sesuai dengan tradisi big data, mari kita lihat contoh jumlah kata, kami akan menganalisis streaming datanya. Di sini, Anda bisa melihat cuplikan kode yang mengonsumsi streaming data teks dari Cloud Pub/Sub, menetapkan jendela tetap 15 detik, menghitung jumlah kata yang berbeda dalam setiap jendela 15 detik, dan kemudian menulis hasilnya ke Cloud Pub/Sub: