Sukses dalam industri film bergantung pada kemampuan studio untuk menarik penonton bioskop—tetapi terkadang hal ini lebih mudah diucapkan daripada dilakukan. Penonton bioskop adalah kelompok yang beragam, dengan berbagai minat dan preferensi. Dahulu, studio film sangat bergantung pada pengalaman ketika memutuskan untuk berinvestasi dalam skrip tertentu—tetapi ini berisiko besar, terutama ketika berinvestasi dalam cerita asli dan baru. Proses kompleks dan berulang antara mencocokkan cerita dan penonton ini akhirnya membuat Julie Rieger, President, Chief Data Strategist and Head of Media, dan Miguel Campo-Rembado, SVP of Data Science, bersama dengan tim data scientist mereka di 20th Century Fox, memutuskan untuk mengklarifikasi dengan data.



Tantangan data yang sesuai untuk Machine Learning

Memahami segmentasi pasar dari film yang go publik adalah fungsi pokok dari studio film. Selama bertahun-tahun, studio telah berinvestasi dalam pemrosesan data tingkat tinggi untuk mencoba memetakan segmen pelanggan, dan membuat prediksi untuk film di masa depan. Akan tetapi, sampai saat ini, prediksi terperinci di tingkat segmen, belum lagi di tingkat pelanggan, tetap sulit dipahami karena hambatan teknologi dan kelembagaan.
Miguel dan timnya berhasil menyingkirkan beberapa hambatan tersebut melalui kerja sama dengan mitra seperti Google Cloud. Bersama-sama, kami membangun kemitraan data dengan privasi yang kuat untuk lebih memahami penonton bioskop, dan mengembangkan model deep learning internal yang mengatur data pelanggan terperinci dan skrip film untuk mengidentifikasi pola dasar preferensi penonton untuk berbagai jenis film. Dalam durasi waktu 18 bulan, model-model ini telah menjadi pertimbangan rutin untuk keputusan bisnis penting, dan menyediakan salah satu barometer paling objektif, berdasar-data, dan efektif untuk mengevaluasi gaya film, afinitasnya dengan penonton inti serta penonton yang lain, dan potensi kinerja keuangannya.
Mari bicara tentang metode-metode ini secara lebih terperinci. Ketika berhubungan dengan film, kita akan terbatasi bila menganalisis teks yang diambil dari skrip karena hanya menyediakan kerangka cerita, tanpa ada dinamisme tambahan yang bisa menarik penonton untuk menonton film. Tim ingin tahu apakah ada cara untuk menggunakan computer vision yang modern dan canggih untuk mempelajari trailer film, yang tetap menjadi elemen paling pokok dari keseluruhan campaign pemasaran film. Perilisan trailer untuk film baru adalah moment yang sangat dinanti-nantikan yang bisa membantu memprediksi kesuksesan di masa mendatang, sehingga bisnis ini harus memastikan bahwa trailer tersebut memenuhi harapan penonton bioskop. Untuk mencapai tujuan ini, tim data science dari 20th Century Fox bermitra dengan Advanced Solutions Lab Google dan membuat Merlin Video, fitur computer vision yang mempelajari banyak trailer film untuk membantu memprediksi penonton yang datang ke bioskop di masa mendatang untuk trailer tertentu.



Merancang pipeline data

Langkah pertama yang dilakukan tim adalah mengidentifikasi teknologi apa yang harus mendukung fitur ini. Tentu saja pilihannya adalah Cloud Machine Learning Engine (Cloud ML Engine), bersama dengan framework deep learning TensorFlow. Karena ini adalah layanan terkelola, Cloud ML Engine auto-generate semua penyediaan dan pemantauan sumber daya, sehingga tim bisa fokus membangun model deep learning untuk Merlin, daripada mengonfigurasi infrastruktur. Integrasinya dengan Cloud Dataflow juga memungkinkan pembuatan laporan yang mulus di Data Studio, yang memberi tim pemahaman yang lebih mendalam tentang bagaimana proses ini bekerja. Pemeliharaan sistem sehari-hari (pada umumnya, penyerapan data) bisa dilakukan dengan sederhana dan mudah, dan dapat ditangani sepenuhnya oleh data scientist, serta tidak membutuhkan intervensi dari engineer unit bisnis lainnya.





Diagram alur arsitektur untuk Merlin.jpg
Diagram alur arsitektur untuk Merlin
Dengan infrastruktur yang tepat, tim memulai analisisnya pada YouTube 8M, kumpulan data video YouTube yang tersedia untuk publik. Kumpulan data ini mencakup pre-trained model dari Google yang mampu menganalisis fitur video tertentu seperti warna, pencahayaan, berbagai jenis wajah, ribuan objek, dan beberapa lanskap. Seperti yang terlihat pada gambar di atas, langkah pertama dalam arsitektur Merlin adalah mengurai karakteristik yang telah ditentukan ini, sebagai prekursor untuk menentukan elemen trailer apa yang paling sesuai dengan preferensi penonton bioskop.
Misalnya, jika seseorang sebelumnya sering menonton film dengan pemeran utama seorang laki-laki, apakah mereka lebih suka bila melihat film lain dengan pemeran utama laki-laki? Mari kita lihat secara mendalam di Logan, sebuah film aksi yang dirilis oleh 20th Century Fox yang menampilkan Hugh Jackman sebagai Wolverine. Di bawah ini Anda bisa melihat snapshot 12 detik dalam trailer resmi.





Logan official trailer, second 12.png
Trailer resmi Logan, 12 detik
Untuk snapshot ini, Merlin menampilkan label berikut: facial_hair, beard, screenshot, chin, human, film. Setelah menganalisis trailer lengkap, detik demi detik, Merlin mengungkapkan bahwa label teratas untuk Logan adalah sebagai berikut:





Fox’s tool.png
Screenshot Fox’s tool, Merlin: label diberi tag, diurutkan berdasarkan frekuensi menurun
Setelah analisis label Logan ditetapkan, tim di 20th Century Fox ingin membandingkan analisis baru ini dengan label yang sebelumnya dihasilkan dari trailer film lain untuk mengidentifikasi film yang serupa. Tampaknya, ada overlap antara penonton Logan dan film aksi lainnya, tetapi di sini ada dua tantangan. Tantangan pertama adalah posisi sementara label di trailer: sebuah hal penting ketika label muncul di trailer. Tantangan kedua adalah dimensi tinggi dari data ini. Dalam setiap film, akan ada banyak elemen di trailer yang bisa memprediksi minat penonton, dan Merlin bertujuan menganalisis semua ini secara bersamaan. Elastisitas Cloud ML Engine memungkinkan tim data science untuk mengiterasi dan menguji dengan cepat, tanpa mengorbankan integritas model deep learning. Ini membantu Merlin menjadi fitur production-ready dalam hitungan hari, bukan bulan atau tahun.
Secara khusus, pipeline analisis menyediakan komponen-komponen individual (label) ke dalam neural network khusus yang dikembangkan tim data science. Model khusus ini mempelajari urutan label temporal di trailer film. Urutan temporal (misalnya, durasi bidikan lama sebuah objek dibandingkan dengan tampilan video sekilas berselang-seling) bisa menyampaikan informasi tentang jenis film, plot film, peran karakter utama, dan pilihan sinematografi pembuat film. Ketika digabungkan dengan data pelanggan historis, analisis urutan bisa digunakan untuk membuat prediksi perilaku pelanggan. Pipeline ini juga menyertakan model “collaborative filtering” (CF) berbasis-jarak dan layer regresi logistik yang menggabungkan semua output model secara bersama-sama untuk menghasilkan probabilitas jumlah penonton sebuah film. Model ini dilatih end-to-end, dan hilangnya regresi logistik kembali disebarkan ke semua komponen yang dapat dilatih (bobot). Pipeline data Merlin diperbarui setiap minggu untuk memperhitungkan rilis trailer terbaru. Struktur pipeline ditunjukkan dalam diagram di bawah ini:





pipeline’s structure.png
Untuk langkah terakhir, tim menggunakan BigQuery dan BigQueryML untuk menggabungkan jutaan prediksi pelanggan Merlin dengan sumber data lain untuk membuat laporan yang berguna dan merencanakan prototipe media dengan cepat untuk campaign pemasaran.



Memvalidasi model

Mari lihat kembali contoh Logan untuk melihat apakah datanya menguatkan intuisi kami bahwa penonton bioskop yang sebelumnya melihat film aksi dengan pemeran pria "kasar" kemungkinan akan melihat Logan juga. Setelah rilis film, kami bisa memproses data tentang film yang sebelumnya dilihat oleh penonton tersebut. Tabel di bawah ini menunjukkan 20 teratas dari penonton bioskop aktual (Comp ACT) dibandingkan dengan 20 teratas dari penonton yang diprediksi (Comp PRED). Mari berfokus pada 5 teratas dari film aktual (yang ditampilkan dalam warna hijau di bawah) dan lihat apakah mereka juga muncul di kolom prediksi kami: dari 5 teratas, semuanya diwakili oleh prediksi.





Results output.png
Hasil output dari Merlin Video dengan penonton prediksi vs aktual.
Di depan, intuisi kami sudah benar. Penonton teratas untuk Logan sebenarnya adalah kombinasi superhero (yang sudah kami ketahui) dan “pemeran utama pria kasar” (yang belum kami ketahui dengan pasti). Hal ini bisa dilihat lebih baik lagi dengan memperhatikan bahwa prediksi kunci “pemeran utama pria kasar” seperti The Magnificent Seven (berwarna biru di atas), John Wick (berwarna hijau di atas) dan Terminator Genisys (berwarna biru di atas) juga ada dalam daftar 20 teratas dari penonton aktual. Hasil ini adalah win-win karena penonton baru “ditambahkan” ke penonton superhero inti, dan berpotensi bisa digunakan untuk memperluas jangkauan film di luar penonton inti tersebut.
Fitur ini berdampak signifikan pada tim pemasaran dan data 20th Century Fox. Daripada hanya bergantung pada hasil survei penonton tingkat atas, tim kini bisa menerapkan instrumen yang lebih tepat untuk mengetahui keinginan pelanggan. Analisis ini setidaknya dua tingkat lebih detail dari set analisis sebelumnya yang diandalkan studio. 20th Century Fox telah menggunakan fitur ini sejak perilisan The Greatest Showman pada tahun 2017, dan terus menggunakannya untuk menginformasikan rilis terbaru mereka. Mereka juga sekarang menggabungkan data pembelian dan penyewaan dari sumber home entertainment untuk mengidentifikasi hubungan yang lebih kuat antara penonton dan judul yang mereka tonton.
Yang terakhir, karena data ini lebih terperinci, tim bisa meninjau kinerja film box office yang sebenarnya dibandingkan dengan prediksi internal mereka, untuk melihat prediksi tingkat segmen mana yang menjadi kenyataan. Tim data science Miguel  sekarang membuat kartu skor setiap Senin pagi, yang kemudian dikirimkan melalui email ke seluruh organisasi.





scorecard.png
Jika Anda tertarik untuk mempelajari lebih lanjut tentang riset yang mendasari Merlin ini, makalah riset aslinya dapat ditemukan di sini.





Logan | Trailer Resmi [HD] | 20th Century FOX