Lab dan pembelajaran MIT Introduction to Deep Learning berbasis open source dan gratis untuk siapa pun!

MIT 6.S191: Introduction to Deep Learning adalah kursus pengenalan yang ditawarkan secara formal di MIT dan berbasis open source di situs kursusnya. Kelas ini terdiri dari serangkaian pembelajaran dasar tentang dasar-dasar neural network dan aplikasinya untuk sequence modeling, computer vision, generative model, dan reinforcement learning.

Moto resmi MIT adalah “Mens et Manus” — Pikiran dan Tangan — jadi bukan kebetulan juga jika kami sangat percaya pada filosofi ini. Sebagai penyelenggara dan pengajar MIT Introduction to Deep Learning, kami ingin mengembangkan kursus yang berfokus pada landasan konseptual dan keterampilan praktis yang diperlukan untuk memahami dan menerapkan algoritme deep learning. Dan kami sangat senang bisa membagikan apa yang telah kami kumpulkan bersama Anda, di sini dan sekarang: rangkaian sembilan pembelajaran teknis dan tiga lab software TensorFlow, yang dirancang untuk dapat diakses oleh berbagai latar belakang teknis, gratis dan terbuka untuk semua.

MIT Introduction to Deep Learning terdiri dari pembelajaran teknis tentang algoritme terkini serta lab software terapan di TensorFlow.

Mens: Pembelajaran Teknis. Kita mulai dari dasar-dasar neural network — Perceptron, jaringan yang sepenuhnya terhubung, dan algoritme backpropagation; penjelajahan melalui recurrent dan convolutional neural network, generative model, dan deep reinforcement learning; dan jelajahi batas-batas yang semakin luas dari riset deep learning modern, yang akan diakhiri dengan serangkaian kuliah tamu dari para peneliti industri terkemuka. Semua pembelajaran gratis dan terbuka untuk semua, link bisa ditemukan pada thumbnail di bawah ini.

Semua pembelajaran tersedia online secara gratis — silakan klik thumbnail di atas untuk menontonnya!

Manus: Lab Software TensorFlow. Kami telah merancang tiga open-source, lab software TensorFlow interaktif, yang mencakup dasar-dasar TensorFlow, model recurrent neural network untuk pembuatan musik, computer vision, sistem pengenalan wajah debiasing, dan deep reinforcement learning. Lab dijalankan di lingkungan Kolaboratif Google yang mengagumkan (yang Anda perlukan hanyalah akun Google!), dan termasuk blok kode “TODO” yang tinggal Anda lengkapi. Kami akan membimbing serta memberi tahu Anda mengenai cara mendefinisikan dan melatih model deep learning menggunakan Keras API TensorFlow dan model eksekusi imperatifnya yang baru.
Blog ini menyoroti ketiga lab software ini dan pembelajaran yang menyertainya.

Dapatkan pengalaman praktik dengan lab software TensorFlow secara mendalam.



Lab 1: Pengantar TensorFlow & Pembuatan Musik

Merancang kursus dan lab agar bisa diakses oleh sebanyak mungkin orang adalah prioritas utama kami. Jadi, Pembelajaran 1 berfokus pada dasar-dasar neural network, dan modul pertama dalam Lab 1 memberikan pengantar TensorFlow yang jelas, dan ditulis sebagai persiapan untuk rilis mendatang TensorFlow 2.0.
Pengantar TensorFlow kami menyoroti beberapa konsep utama khususnya: cara menjalankan komputasi menggunakan operator matematika, cara mendefinisikan model neural network, dan cara menggunakan diferensiasi otomatis untuk melatih jaringan dengan backpropagation.
Setelah modul Pengantar TensorFlow, modul kedua Lab 1 mendalami pembangunan dan penerapan recurrent neural network (RNN) untuk pembuatan musik, yang dirancang untuk menemani Pembelajaran 2 pada deep sequence modeling. Anda akan membangun algoritme AI yang bisa menghasilkan musik khas Irlandia yang baru dan belum pernah didengar sebelumnya. Anda mungkin bertanya, mengapa memilih musik khas Irlandia? Ya, kami pikir tarian semanggi yang lucu ini (milik Google) sudah cukup menjelaskan semuanya.

Anda mengisi blok kode untuk mendefinisikan model RNN, melatih model menggunakan set data lagu-lagu khas Irlandia (dalam notasi ABC), menggunakan model yang sudah dipelajari untuk menghasilkan lagu baru, kemudian memutar ulang apa yang dihasilkan untuk mendengar seberapa baik model melakukannya. Lihat contoh lagu yang kami buat ini:



Lab 2: Computer Vision: Sistem Deteksi Wajah Debiasing

Lab 2 mendukung pembelajaran deep computer vision dan deep generative models. Bagian 1 menyediakan praktik lanjutan dengan implementasi arsitektur neural network mendasar melalui contoh convolutional neural networks (CNN) untuk klasifikasi digit tulisan tangan dalam set data MNIST yang terkenal.
Bagian kedua dari lab ini mengambil langkah lebih jauh lagi, dan mengeksplorasi dua contoh utama deep learning terapan: deteksi wajah dan bias algoritmik. Meskipun mungkin tidak mengejutkan bahwa neural network berkinerja sangat baik dalam mengenali wajah di gambar, baru-baru ini terdapat banyak sorotan tentang bagaimana beberapa AI ini kesulitan dengan bias algoritmik tersembunyi. Dan, ternyata deep learning sendiri bisa membantu mengatasi bias ini.
Dalam karya terbaru ini, kami melatih sebuah model, berdasarkan variational autoencoder (VAE), yang mempelajari kedua tugas khusus, seperti deteksi wajah, dan struktur yang mendasari data pelatihan. Selanjutnya, algoritme menggunakan struktur terpendam yang dipelajari ini untuk mengungkap dan meminimalkan bias tersembunyi. Ketika diterapkan pada tugas deteksi wajah, algoritme kami mengurangi bias kategorikal dan mempertahankan akurasi keseluruhan yang tinggi dibandingkan dengan model terkini.
Lab software ini terinspirasi oleh karya ini: Anda akan benar-benar membangun model debiasing ini dan mengevaluasi keberhasilannya dalam melakukan debiasing tugas deteksi wajah.


Selain memikirkan masalah bias algoritmik — dan cara mengatasinya — Anda akan mendapatkan pengalaman praktik dalam bekerja dengan VAE, sebuah arsitektur yang sering tidak disorot dalam tutorial implementasi deep learning. Misalnya, Anda akan melengkapi blok kode ini yang mendefinisikan fungsi loss untuk VAE yang digunakan dalam model debiasing:

Yang penting, pendekatan ini bisa diterapkan di luar deteksi wajah ke pengaturan apa pun yang mungkin kita butuhkan untuk menghilangkan bias ketidakseimbangan yang terdapat dalam data.
Jika Anda ingin mempelajari lebih lanjut, silakan lihat artikel ini: Amini, Soleimany, et al., “Uncovering and Mitigating Algorithmic Bias through Learned Latent Structure”. AAAI/ACM Conference on Artificial Intelligence, Ethics, and Society, 2019.



Lab 3: Model-Free Reinforcement Learning

Dalam lab final, siswa mengeksplorasi kelas masalah pembelajaran yang berbeda dari dua lab sebelumnya. Dalam Pembelajaran 5 siswa dihadapkan pada teknik-teknik dasar dalam Deep Reinforcement Learning.
Dibandingkan dengan lab sebelumnya yang berfokus pada pembelajaran terarah dan tak terarah, reinforcement learning berusaha untuk mengajari agen tentang cara bertindak di dunia untuk memaksimalkan hasil. Eksekusi imperatif Tensorflow menyediakan metode yang disederhanakan untuk RL yang diprogram siswa dari awal dalam Lab 3.
Kami berfokus untuk pembelajaran dua tugas dalam kedua kontrol (mis. Cart-Pole) dan game (mis. Pong). Siswa ditugaskan untuk membangun framework RL modular untuk mempelajari dua lingkungan yang sangat berbeda dengan hanya menggunakan satu “otak RL”.
Berurusan dengan lingkungan dasar ini memberi siswa cara yang cepat untuk membuat prototipe algoritme baru dengan singkat, mendapatkan pemahaman konkret tentang bagaimana menerapkan prosedur pelatihan RL, dan menggunakan ide-ide ini sebagai template yang bergerak maju dalam project akhir mereka.

Ringkasan

Kami ingin mengucapkan terima kasih kepada tim TensorFlow dan grup TA kami yang luar biasa atas dukungan yang berkelanjutan sehingga membuat kursus MIT ini bisa terselenggara. Lab software MIT 6.S191 menyediakan cara yang bagus untuk dengan cepat mendapatkan pengalaman praktik TensorFlow, dengan menerapkan teknik dan algoritme terkini yang diperkenalkan dalam pembelajaran.

MIT 6.S191: Intro to Deep Learning (@mitdeeplearning) | Twitter