Học tăng cường sâu

Học tăng cường sâu sử dụng mạng nơ-ron để xấp xỉ các hàm giá trị hoặc chính sách, mở rộng học tăng cường sang các đầu vào có chiều cao như hình ảnh và các trò chơi phức tạp.

Definition

Học tăng cường sâu là học tăng cường trong đó mạng nơ-ron sâu đóng vai trò là bộ xấp xỉ hàm cho các hàm giá trị, chính sách hoặc mô hình, cho phép các tác nhân học trực tiếp từ các quan sát thô có chiều cao thay vì các đặc trưng trạng thái được thiết kế thủ công.

Scope

Chủ đề này bao gồm sự kết hợp giữa học tăng cường với mạng nơ-ron sâu: mạng Q sâu với hồi ức kinh nghiệm và mạng mục tiêu để ổn định, các phương pháp diễn viên-phê bình sâu và tối ưu hóa chính sách, cũng như sự tích hợp học tập với tìm kiếm như trong các hệ thống chơi game. Nó đề cập đến những thách thức về tính ổn định khi huấn luyện các hàm giá trị bằng cách xấp xỉ hàm và những thành tựu mang tính bước ngoặt đạt được.

Core questions

• Làm thế nào mạng nơ-ron cho phép học tăng cường xử lý đầu vào thô có chiều cao?
• Tại sao việc kết hợp học giá trị với xấp xỉ hàm dễ gây bất ổn?
• Những kỹ thuật nào như hồi ức kinh nghiệm và mạng mục tiêu giúp ổn định quá trình huấn luyện?
• Học tập và tìm kiếm được kết hợp như thế nào trong các tác nhân chơi game?

Key theories

Mạng Q sâu

Việc xấp xỉ các giá trị hành động bằng một mạng sâu, được ổn định bởi hồi ức kinh nghiệm và một mạng mục tiêu được cập nhật chậm, đã cho phép một kiến trúc duy nhất học nhiều trò chơi Atari từ pixel đến cấp độ con người.

Học tập kết hợp với tìm kiếm

Việc ghép nối các mạng chính sách và giá trị sâu với tìm kiếm cây Monte Carlo và huấn luyện thông qua tự chơi đã tạo ra các hệ thống làm chủ trò chơi cờ vây, vượt qua những người chơi mạnh nhất.

Tính ổn định của xấp xỉ hàm

Việc kết hợp khởi động (bootstrapping), học ngoài chính sách (off-policy learning) và xấp xỉ hàm có thể khiến quá trình huấn luyện phân kỳ, vì vậy học tăng cường sâu dựa vào các kỹ thuật cẩn thận để giữ cho các ước tính giá trị ổn định.

Clinical relevance

Học tăng cường sâu đã tạo ra một số minh chứng rõ ràng nhất về trí tuệ nhân tạo, bao gồm khả năng chơi game siêu phàm và những tiến bộ trong robot học và điều khiển, và các kỹ thuật của nó cung cấp thông tin cho việc tinh chỉnh các mô hình lớn dựa trên phần thưởng; chi phí mẫu cao và sự bất ổn trong huấn luyện vẫn là những hạn chế thực tế quan trọng.

History

Mạng Q sâu năm 2015 đã chứng minh rằng học tăng cường với xấp xỉ hàm sâu có thể học trực tiếp từ pixel, và các hệ thống chơi cờ vây năm 2016 đã kết hợp mạng sâu với tìm kiếm và tự chơi để đánh bại những người chơi hàng đầu. Những kết quả này, dựa trên nền tảng học tăng cường được Sutton và Barto hệ thống hóa, đã thiết lập học tăng cường sâu như một hướng nghiên cứu chính.

Key figures

• Volodymyr Mnih
• David Silver
• Demis Hassabis

Seminal works

• mnih2015
• silver2016
• sutton2018

Frequently asked questions

Mạng Q sâu đã chứng minh điều gì?

Nó cho thấy một tác nhân mạng nơ-ron duy nhất có thể học cách chơi hàng chục trò chơi Atari khác nhau trực tiếp từ pixel màn hình và điểm số, đạt hiệu suất cấp độ con người trên nhiều trò chơi mà không cần điều chỉnh cụ thể cho từng trò chơi, sử dụng hồi ức kinh nghiệm và mạng mục tiêu để ổn định.

Tại sao học tăng cường sâu thường không ổn định?

Việc kết hợp các ước tính giá trị khởi động, dữ liệu ngoài chính sách và xấp xỉ mạng nơ-ron có thể khuếch đại lỗi và khiến quá trình huấn luyện phân kỳ. Các kỹ thuật như hồi ức kinh nghiệm, mạng mục tiêu và lựa chọn tốc độ học cẩn thận được sử dụng để giữ cho quá trình học ổn định.