ขอบเขตการวางนัยทั่วไป

ขอบเขตการวางนัยทั่วไปให้การรับประกันเชิงความน่าจะเป็นว่าข้อผิดพลาดที่แท้จริงของแบบจำลองจะเกินข้อผิดพลาดในการฝึกอบรมไปได้มากน้อยเพียงใด โดยพิจารณาจากขนาดตัวอย่างและความสามารถของแบบจำลอง

Definition

ขอบเขตการวางนัยทั่วไปคืออสมการที่ระบุว่า ด้วยความน่าจะเป็นสูงเหนือตัวอย่างการฝึกอบรมแบบสุ่ม ข้อผิดพลาดที่แท้จริงของแบบจำลองที่เรียนรู้จะมีค่าไม่เกินข้อผิดพลาดในการฝึกอบรมบวกกับเทอมที่เพิ่มขึ้นตามความสามารถของแบบจำลองและลดลงตามขนาดตัวอย่าง ซึ่งเป็นการรับรองว่าแบบจำลองสามารถเชื่อถือได้มากน้อยเพียงใดกับข้อมูลที่ไม่เคยเห็นมาก่อน

Scope

หัวข้อนี้ครอบคลุมขอบเขตเชิงทฤษฎีของการวางนัยทั่วไป: ขอบเขตการบรรจบกันแบบเอกรูป (uniform-convergence bounds) โดยอิงจากมิติ Vapnik-Chervonenkis, การวัดความซับซ้อน เช่น ความซับซ้อนของ Rademacher (Rademacher complexity), ขอบเขตที่อิงตามระยะขอบ (margin-based bounds) และแนวคิดความซับซ้อนของตัวอย่างที่ถูกต้องโดยประมาณ (probably approximately correct notion of sample complexity) นอกจากนี้ยังกล่าวถึงว่าขอบเขตเหล่านี้ขึ้นอยู่กับขนาดข้อมูลและความสามารถอย่างไร และเหตุใดจึงมักจะไม่แม่นยำในการใช้งานจริง

Core questions

• ข้อผิดพลาดที่แท้จริงถูกจำกัดอย่างไรในแง่ของข้อผิดพลาดในการฝึกอบรมและความสามารถ?
• ขอบเขตดีขึ้นอย่างไรเมื่อตัวอย่างเพิ่มขึ้น?
• การวัดความซับซ้อนใดบ้างที่ปรากฏในขอบเขตสมัยใหม่?
• เหตุใดขอบเขตการวางนัยทั่วไปจึงมักจะไม่แม่นยำสำหรับแบบจำลองจริง?

Key theories

ขอบเขตการบรรจบกันแบบเอกรูป

ขอบเขตที่อิงตามมิติ Vapnik-Chervonenkis รับประกันว่า ด้วยความน่าจะเป็นสูง ข้อผิดพลาดในการฝึกอบรมจะประมาณข้อผิดพลาดที่แท้จริงอย่างสม่ำเสมอทั่วทั้งคลาสของแบบจำลอง โดยมีช่องว่างลดลงตามรากที่สองของขนาดตัวอย่างหารด้วยความสามารถ

ขอบเขตที่อิงตามระยะขอบและความซับซ้อน

การปรับปรุงโดยใช้ระยะขอบการจำแนกประเภท (classification margin) หรือความซับซ้อนของ Rademacher ให้ขอบเขตที่กระชับขึ้นและขึ้นอยู่กับข้อมูล ซึ่งอธิบายความสำเร็จของตัวจำแนกประเภทที่มีระยะขอบขนาดใหญ่ได้ดีขึ้น

ความซับซ้อนของตัวอย่าง

ขอบเขตจะแปลไปสู่ความซับซ้อนของตัวอย่าง ซึ่งเป็นจำนวนตัวอย่างที่จำเป็นในการเรียนรู้เพื่อให้ได้ความแม่นยำและความเชื่อมั่นตามเป้าหมาย ทำให้ข้อกำหนดด้านข้อมูลของการเรียนรู้ชัดเจนขึ้น

Clinical relevance

ขอบเขตการวางนัยทั่วไปให้การรับรองอย่างเป็นทางการเบื้องหลังคำมั่นสัญญาหลักของการเรียนรู้ของเครื่องจักร ว่าการปรับข้อมูลนำไปสู่การทำนายข้อมูลใหม่ และเป็นแรงจูงใจในการควบคุมการทำให้เป็นปกติ (regularization) และความสามารถ (capacity control) แม้ว่าโดยทั่วไปแล้วจะหลวมเกินไปที่จะทำนายข้อผิดพลาดที่แน่นอน แต่ก็สามารถจับความสัมพันธ์เชิงคุณภาพกับขนาดข้อมูลและความซับซ้อนที่ชี้นำการปฏิบัติได้

History

ขอบเขตทั่วไปชุดแรกมาจากผลลัพธ์การบรรจบกันแบบเอกรูปของ Vapnik และ Chervonenkis ซึ่งต่อมาได้รับการปรับปรุงให้คมชัดขึ้นด้วยการวิเคราะห์ที่อิงตามระยะขอบและความซับซ้อนของ Rademacher กรอบการทำงานที่ถูกต้องโดยประมาณได้ปรับเปลี่ยนสิ่งเหล่านี้ให้เป็นข้อความเกี่ยวกับความซับซ้อนของตัวอย่าง และงานวิจัยล่าสุดกำลังมองหาขอบเขตที่อธิบายการวางนัยทั่วไปของแบบจำลองที่มีพารามิเตอร์มากเกินไป (heavily overparameterized models)

Key figures

• Vladimir Vapnik
• Alexey Chervonenkis
• Peter Bartlett

Seminal works

• vapnik1971
• vapnik1995
• hastie2009

Frequently asked questions

ขอบเขตการวางนัยทั่วไปบอกอะไรคุณ?

ระบุว่า ด้วยความน่าจะเป็นสูง ข้อผิดพลาดของแบบจำลองบนข้อมูลที่ไม่เคยเห็นมาก่อนจะไม่เกินข้อผิดพลาดในการฝึกอบรมไปมากกว่าปริมาณที่ขึ้นอยู่กับความซับซ้อนของคลาสแบบจำลองและปริมาณข้อมูลที่ใช้ ข้อมูลที่มากขึ้นและความสามารถที่ต่ำลงจะทำให้การรับประกันกระชับขึ้น

เหตุใดขอบเขตเหล่านี้จึงมักจะหลวมเกินไปที่จะนำไปใช้โดยตรง?

ขอบเขตแบบคลาสสิกเป็นกรณีที่เลวร้ายที่สุดและไม่ขึ้นกับรูปแบบการกระจายตัวของข้อมูล ดังนั้นจึงใช้ได้กับรูปแบบการกระจายตัวของข้อมูลใดๆ และแบบจำลองใดๆ ในคลาส ความเป็นสากลนี้ทำให้พวกมันมองโลกในแง่ร้าย มักจะทำนายช่องว่างข้อผิดพลาดที่ใหญ่กว่าที่เห็นในการปฏิบัติจริงมาก ดังนั้นจึงถูกใช้เพื่อความเข้าใจมากกว่าเพื่อตัวเลขที่แน่นอน