Mô hình sinh sâu

Các mô hình sinh sâu học cách tạo ra dữ liệu mới tương tự như tập dữ liệu huấn luyện, nắm bắt được sự phân bố của các dữ liệu phức tạp như hình ảnh, âm thanh và văn bản.

Definition

Mô hình sinh sâu là một mạng nơ-ron biểu diễn một phân bố xác suất trên dữ liệu và có thể tạo ra các mẫu mới từ đó, được học bằng cách tối đa hóa khả năng xảy ra, bằng huấn luyện đối kháng, hoặc bằng cách học cách đảo ngược một quá trình làm hỏng dữ liệu, tùy thuộc vào họ mô hình.

Scope

Chủ đề này bao gồm các mô hình mạng nơ-ron mô hình hóa hoặc lấy mẫu từ các phân bố dữ liệu: các bộ tự mã hóa biến phân (variational autoencoders) kết hợp bộ mã hóa và bộ giải mã với một phân bố tiên nghiệm tiềm ẩn, các mạng đối kháng sinh (generative adversarial networks) đối lập bộ sinh với bộ phân biệt, các mô hình tự hồi quy (autoregressive models) dự đoán dữ liệu từng phần tử một, và các mô hình khuếch tán (diffusion models) học cách đảo ngược quá trình thêm nhiễu. Chủ đề này cũng đề cập đến cách các mô hình này được huấn luyện và đánh giá.

Core questions

• Làm thế nào một mạng nơ-ron có thể học cách tạo ra dữ liệu mới thực tế?
• Điều gì phân biệt các phương pháp dựa trên khả năng xảy ra, đối kháng và khuếch tán?
• Các biến tiềm ẩn được sử dụng như thế nào để kiểm soát và cấu trúc quá trình tạo dữ liệu?
• Chất lượng của các mẫu được tạo ra được đánh giá như thế nào?

Key theories

Tạo dữ liệu bằng biến tiềm ẩn

Các bộ tự mã hóa biến phân học một bộ mã hóa ánh xạ dữ liệu đến một phân bố tiềm ẩn và một bộ giải mã tái tạo dữ liệu, cho phép lấy mẫu dữ liệu mới bằng cách rút mã tiềm ẩn từ một phân bố tiên nghiệm.

Huấn luyện đối kháng

Các mạng đối kháng sinh huấn luyện một bộ sinh để đánh lừa một bộ phân biệt cố gắng phân biệt dữ liệu thật với dữ liệu được tạo ra, một trò chơi mà điểm cân bằng của nó tạo ra các mẫu thực tế.

Mô hình hóa tự hồi quy và khuếch tán

Các mô hình tự hồi quy phân tích một phân bố thành tích của các điều kiện được dự đoán theo trình tự, trong khi các mô hình khuếch tán học cách đảo ngược một quá trình thêm nhiễu dần dần, cả hai đều mang lại khả năng tạo dữ liệu chất lượng cao.

Clinical relevance

Các mô hình sinh sâu thúc đẩy tổng hợp hình ảnh và âm thanh, tăng cường dữ liệu, thiết kế thuốc và vật liệu, cũng như các hệ thống trí tuệ nhân tạo sinh tạo ra văn bản và hình ảnh; khả năng tạo ra nội dung tổng hợp thuyết phục của chúng cũng đặt ra những lo ngại đáng kể về việc lạm dụng, tính xác thực và đánh giá.

History

Mô hình hóa sinh với mạng nơ-ron đã phát triển từ máy Boltzmann hạn chế (restricted Boltzmann machines) và mạng niềm tin sâu (deep belief nets) đến các bộ tự mã hóa biến phân và, vào năm 2014, các mạng đối kháng sinh. Các mô hình tự hồi quy đã thúc đẩy việc tạo văn bản và âm thanh, và các mô hình khuếch tán sau đó đã đạt được chất lượng tổng hợp hình ảnh hàng đầu, biến mô hình hóa sinh thành một chủ đề trung tâm của trí tuệ nhân tạo hiện đại.

Key figures

• Ian Goodfellow
• Diederik Kingma
• Yoshua Bengio

Seminal works

• goodfellow2016
• lecun2015
• murphy2012

Frequently asked questions

Mạng đối kháng sinh là gì?

Đó là một cặp mạng được huấn luyện cùng nhau: một bộ sinh tạo ra các mẫu và một bộ phân biệt cố gắng phân biệt dữ liệu thật với dữ liệu được tạo ra. Bộ sinh cải thiện bằng cách học cách đánh lừa bộ phân biệt, và ở trạng thái cân bằng lý tưởng, nó tạo ra các mẫu thực tế.

Các mô hình khuếch tán tạo dữ liệu như thế nào?

Các mô hình khuếch tán học cách đảo ngược một quá trình dần dần thêm nhiễu vào dữ liệu. Bắt đầu từ nhiễu thuần túy, mô hình liên tục loại bỏ một ít nhiễu, từng bước một, cho đến khi một mẫu sạch xuất hiện, điều này đã được chứng minh là rất hiệu quả cho việc tạo hình ảnh chất lượng cao.