Model Generatif Mendalam

Model generatif mendalam belajar menghasilkan data baru yang menyerupai set pelatihan, menangkap distribusi data kompleks seperti gambar, audio, dan teks.

Definition

Model generatif mendalam adalah jaringan saraf yang merepresentasikan distribusi probabilitas atas data dan dapat menghasilkan sampel baru darinya, dipelajari baik dengan memaksimalkan kemungkinan (likelihood), dengan pelatihan permusuhan (adversarial training), atau dengan belajar membalikkan proses korupsi, tergantung pada keluarga model.

Scope

Topik ini mencakup model saraf yang memodelkan atau mengambil sampel dari distribusi data: autoencoder variasional yang memasangkan encoder dan decoder dengan prior laten, jaringan permusuhan generatif yang mengadu generator dengan diskriminator, model autoregresif yang memprediksi data satu elemen pada satu waktu, dan model difusi yang belajar membalikkan proses penambahan derau. Ini membahas bagaimana model-model ini dilatih dan dievaluasi.

Core questions

• Bagaimana jaringan saraf dapat belajar menghasilkan data baru yang realistis?
• Apa yang membedakan pendekatan berbasis kemungkinan, permusuhan, dan difusi?
• Bagaimana variabel laten digunakan untuk mengontrol dan menyusun generasi?
• Bagaimana kualitas sampel yang dihasilkan dinilai?

Key theories

Generasi variabel laten

Autoencoder variasional mempelajari encoder yang memetakan data ke distribusi laten dan decoder yang merekonstruksi data, memungkinkan pengambilan sampel data baru dengan menarik kode laten dari prior.

Pelatihan permusuhan

Jaringan permusuhan generatif melatih generator untuk mengelabui diskriminator yang mencoba membedakan data nyata dari data yang dihasilkan, sebuah permainan yang keseimbangannya menghasilkan sampel yang realistis.

Pemodelan autoregresif dan difusi

Model autoregresif memfaktorkan distribusi menjadi produk kondisional yang diprediksi secara berurutan, sementara model difusi belajar membalikkan proses penambahan derau bertahap, keduanya memberikan generasi berkualitas tinggi.

Clinical relevance

Model generatif mendalam menggerakkan sintesis gambar dan audio, augmentasi data, desain obat dan material, serta sistem kecerdasan buatan generatif yang menghasilkan teks dan gambar; kemampuannya untuk menciptakan konten sintetis yang meyakinkan juga menimbulkan kekhawatiran signifikan tentang penyalahgunaan, keaslian, dan evaluasi.

History

Pemodelan generatif dengan jaringan saraf berkembang dari mesin Boltzmann terbatas dan jaringan kepercayaan mendalam ke autoencoder variasional dan, pada tahun 2014, jaringan permusuhan generatif. Model autoregresif memajukan generasi teks dan audio, dan model difusi kemudian mencapai kualitas sintesis gambar terkemuka, menjadikan pemodelan generatif tema sentral kecerdasan buatan modern.

Key figures

• Ian Goodfellow
• Diederik Kingma
• Yoshua Bengio

Seminal works

• goodfellow2016
• lecun2015
• murphy2012

Frequently asked questions

Apa itu jaringan permusuhan generatif?

Ini adalah sepasang jaringan yang dilatih bersama: generator yang membuat sampel dan diskriminator yang mencoba membedakan data nyata dari data yang dihasilkan. Generator meningkat dengan belajar mengelabui diskriminator, dan pada keseimbangan ideal ia menghasilkan sampel yang realistis.

Bagaimana model difusi menghasilkan data?

Model difusi belajar membalikkan proses yang secara bertahap menambahkan derau ke data. Dimulai dari derau murni, model berulang kali menghilangkan sedikit derau, langkah demi langkah, hingga sampel bersih muncul, yang telah terbukti sangat efektif untuk generasi gambar berkualitas tinggi.