Ditulis oleh Daniel Smilkov, Sandeep Gupta, dan Vishy Tirumalashetty
TensorFlow.js adalah library open-source yang memungkinkan Anda mendefinisikan, melatih, dan menjalankan model machine learning dalam Javascript. Library ini telah memberdayakan kumpulan baru developer dari banyaknya komunitas JavaScript untuk membangun dan menerapkan model machine learning dan mengaktifkan class-class baru komputasi pada perangkat. TensorFlow.js berjalan di semua browser utama, sisi-server di Node.js, dan terbaru, WeChat dan React Native menyediakan akses aplikasi-hybrid ke ML tanpa harus meninggalkan ekosistem JS. Kami senang bisa menghadirkan cara baru bagi developer JavaScript untuk melatih model khusus secara mudah pada data Anda sendiri dan menerapkannya dalam aplikasi JavaScript menggunakan layanan GCP AutoML.
Salah satu tujuan utama di balik TensorFlow.js adalah memberdayakan developer JS untuk memanfaatkan ML tanpa harus membuat model mereka sendiri. Terdapat dua cara untuk menghadirkan kekuatan ML ke aplikasi JavaScript: menggunakan salah satu model pra-paket kami, atau menyempurnakan model pada data Anda sendiri.
Sebagai contoh, model pra-paket Pose estimation dan Body segmentation kami memungkinkan Anda membangun bentuk interaksi pengguna yang baru dan bisa membentuk dasar untuk fitur aksesibilitas baru. Semua model ini dipublikasikan pada NPM dan Anda bisa menggunakannya dengan beberapa baris kode (tidak diperlukan pengetahuan ML!):
Jika Anda memiliki data sendiri, Anda bisa memulai dengan model yang sudah dilatih sebelumnya dan menyempurnakannya. Model pra-terlatih dan pelatihan itu sendiri bisa dijalakan langsung dalam Python atau JavaScript. Jika pelatihan dilakukan dalam Python, Anda bisa dengan mudah mengubah model SavedModel atau Keras ke TensorFlow.js menggunakan konverter kami. Jika model tersebut sudah ada di TensorFlow.js, Anda tidak perlu melakukan konversi apa pun. Codelab ini menunjukkan kepada Anda cara menggunakan MobileNet, model klasifikasi gambar yang dioptimalkan untuk perangkat edge, dan menyempurnakannya pada set data gambar Anda, semuanya dalam JavaScript.



TensorFlow.js + AutoML

Kami sangat senang mengumumkan integrasi dengan Cloud AutoML Vision, layanan Cloud yang memungkinkan developer untuk melatih model khusus pada data berlabel mereka. Jika kasus-penggunaan Anda terkait dengan klasifikasi gambar atau deteksi objek, Anda bisa menggunakan UI untuk mengupload data, melatih model edge, dan langsung mengekspornya ke model TensorFlow.js, tanpa coding apa pun. Perhatikan bahwa model khusus bisa dilatih langsung menggunakan library TensorFlow.js open-source (atau Python TensorFlow), tetapi AutoML menyediakan layanan mudah pakai yang mengotomatiskan proses ini bagi Anda.



Model TensorFlow.js

Untuk memudahkan penerapan dan menjalankan model secara efisien di TensorFlow.js, kami memublikasikan library @tensorflow/tfjs-automl di NPM. Setelah mengekspor modelnya, Anda bisa mengikuti panduan langkah demi langkah untuk klasifikasi gambar dan deteksi objek. Panduan ini menggunakan library NPM dan menunjukkan kepada Anda cara memuat model pra-terlatih di browser dan membuat prediksi pada sebuah gambar.
Jika Anda sudah memiliki model khusus, AutoML masih bisa sangat berguna. Model AutoML Vision Edge dioptimalkan untuk jejak memori kecil dan menawarkan latensi rendah sembari memberikan akurasi yang tinggi. Kami bekerja sama dengan beberapa pelanggan dan mitra serta mendapatkan beberapa masukan dan hasil awal yang luar biasa. CVP, sebuah perusahaan konsultan bisnis dan teknologi, telah mengevaluasi beberapa skenario visi untuk membantu keselamatan kerja pada model berbasis-edge yang digunakan di lokasi terpencil. Inilah yang dikatakan Cal Zemelman, Director of Data science di CVP tentang hasilnya:
“Kami sedang mengerjakan aplikasi smartphone untuk agen Federal yang melakukan klasifikasi gambar untuk membantu mencegah kecelakaan dan meningkatkan keselamatan publik. Aplikasi ini sebagian besar ditulis dalam JavaScript sebagai Progressive Web App untuk memungkinkan penggunaan lintas-platform, jadi kami melatih model Keras dan kemudian mengubahnya menjadi TensorFlow.js. Dengan fitur “Export to TensorFlow.js” yang baru, kami bisa menguji menggunakan AutoML untuk merampingkan alur kerja pembuatan model secara signifikan. Sebelumnya, model terbaik kami adalah ResNet50 yang dilatih ulang yang mencapai akurasi sekitar 91%. Rata-rata, kinerja model AutoML Image Classification mencapai akurasi ~99% dalam 5 jam node. Ia juga hanya berukuran 1/5 dari model sebelumnya dan kami melihat peningkatan 60% dalam kecepatan inferensi.”
Kami sangat senang dengan hasil awal yang dirasakan oleh pelanggan dan mitra, dan berharap untuk mendengar lebih banyak dengan rilis ini.
Anda bisa melatih model AutoML Vision Edge hari ini. Setelah melatih model, Anda bisa mengekspor model TensorFlow.js ke aplikasi sisi-klien Anda. Dengan AutoML Vision Edge, Anda hanya membayar pelatihan untuk setiap penggunaan di atas 15 jam node. Tidak ada biaya untuk mengekspor atau prediksi sisi klien.



Langkah berikutnya

  • Untuk mempelajari lebih lanjut tentang AutoML, klik di sini.
  • Untuk deteksi objek, ikuti panduan langkah demi langkah tentang pelatihan dan penerapan ke TensorFlow.js
  • Untuk klasifikasi gambar, ikuti panduan langkah demi langkah tentang pelatihan dan penerapan ke TensorFlow.js
  • Pelajari lebih lanjut tentang library AutoML NPM melalui dokumentasi resmi.