Setiap hari, layanan streaming musik Spotify dapat memproses file audio dengan ratusan cara berbeda—mengidentifikasi ritme dan tempo lagu, membuat stempel waktu ketukan, dan mengukur kenyaringan—serta pemrosesan yang lebih canggih, seperti mendeteksi bahasa dan memisahkan vokal dari instrumen. Ini mungkin dilakukan untuk mengembangkan fitur baru, membantu menginformasikan playlist dan rekomendasi, atau murni untuk penelitian.
Melakukan pemrosesan semacam ini pada satu file audio sangat berarti. Namun, library musik Spotify memiliki lebih dari 60 juta lagu, dan bertambah 40.000 lagu setiap hari, belum termasuk katalog podcast yang berkembang pesat. Kemudian, perhitungkan juga bahwa ratusan tim produk memproses semua lagu ini secara bersamaan, di seluruh dunia, dan untuk kasus penggunaan yang berbeda. Skala dan kompleksitas ini—ditambah, kesulitan menangani file biner besar sejak awal—bisa menghambat kolaborasi dan efisiensi, sehingga pengembangan produk terhenti. Kecuali jika Anda memiliki Klio.
Apa yang dimaksud dengan Klio?
Untuk memproduksi pemrosesan audio, Spotify membuat Klio—framework berbasis Apache Beam untuk Python yang membantu peneliti dan programmer menjalankan pipeline data berskala besar untuk memproses file audio dan media lainnya (seperti video dan gambar). Spotify awalnya membuat Klio setelah menyadari bahwa peneliti ML dan audio di seluruh perusahaan melakukan tugas pemrosesan audio yang serupa, tetapi menemui kesulitan untuk men-deploy dan memeliharanya. Spotify melihat peluang untuk membuat proses yang fleksibel dan terkelola yang akan mendukung berbagai kasus penggunaan pemrosesan audio dari waktu ke waktu—secara efisien dan dalam skala besar—serta mudah digunakan.
Di tingkat tinggi, Klio memungkinkan pengguna menyediakan file media sebagai input, melakukan pemrosesan yang diperlukan, dan menghasilkan data serta fitur cerdas. Ada banyak kemungkinan kasus penggunaan untuk audio, mulai dari menstandardkan tugas pemrosesan audio biasa dengan ffmpeg atau librosa hingga menjalankan model machine learning khusus.
Klio menyederhanakan dan menstandardkan pembuatan pipeline untuk tugas-tugas ini, meningkatkan efisiensi, dan memfokuskan pengguna pada tujuan bisnis daripada memelihara infrastruktur pemrosesan. Sekarang Klio telah dirilis sebagai sumber terbuka, siapa pun bisa menggunakan framework ini untuk membangun alur kerja pemrosesan media yang dapat diskalakan dan efisien.
Bagaimana cara kerja Klio?
No comments :
Post a Comment