การประมาณค่าแบบ M และกระบวนการเชิงประจักษ์

การประมาณค่าแบบ M พิจารณาตัวประมาณค่าที่กำหนดโดยการปรับปรุงเกณฑ์ตัวอย่างให้เหมาะสมที่สุดเป็นตระกูลเดียวกัน และทฤษฎีกระบวนการเชิงประจักษ์ให้ทฤษฎีบทขีดจำกัดเอกรูปที่จำเป็นสำหรับการวิเคราะห์ตัวประมาณค่าเหล่านั้น

Definition

ตัวประมาณค่าแบบ M คือค่าสูงสุดของค่าเฉลี่ยตัวอย่างของฟังก์ชันเกณฑ์ และตัวประมาณค่าแบบ Z คือรากของค่าเฉลี่ยตัวอย่างของฟังก์ชันการประมาณค่า กระบวนการเชิงประจักษ์คือความแตกต่างที่ปรับขนาดใหม่ระหว่างการแจกแจงเชิงประจักษ์และการแจกแจงจริง ซึ่งถูกจัดทำดัชนีโดยชั้นของฟังก์ชัน

Scope

หัวข้อนี้ครอบคลุมตัวประมาณค่าแบบ M ที่เพิ่มวัตถุประสงค์สูงสุดและตัวประมาณค่าแบบ Z ที่แก้สมการการประมาณค่า การรวมกันของการประมาณค่าความน่าจะเป็นสูงสุด กำลังสองน้อยที่สุด ควอนไทล์ และตัวประมาณค่าที่แข็งแกร่ง ความสอดคล้องและภาวะปกติเชิงเส้นกำกับของตัวประมาณค่าแบบ M ผ่านการลู่เข้าเอกรูป การแจกแจงเชิงประจักษ์และกระบวนการเชิงประจักษ์ การลู่เข้าอย่างอ่อนไปยังกระบวนการเกาส์เซียน ชั้น Glivenko-Cantelli และ Donsker และเอนโทรปีและเงื่อนไขการจัดกลุ่มที่ควบคุมความซับซ้อน

Core questions

• การประมาณค่าแบบ M และ Z รวมการประมาณค่าความน่าจะเป็นสูงสุด กำลังสองน้อยที่สุด และตัวประมาณค่าที่แข็งแกร่งได้อย่างไร?
• การลู่เข้าเอกรูปแบบใดที่จำเป็นในการพิสูจน์ความสอดคล้องและภาวะปกติเชิงเส้นกำกับของตัวประมาณค่าแบบ M?
• เมื่อใดที่กระบวนการเชิงประจักษ์ลู่เข้าอย่างอ่อนไปยังกระบวนการเกาส์เซียน นั่นคือ เมื่อใดที่ชั้นเป็นแบบ Donsker?
• เอนโทรปีและเงื่อนไขการจัดกลุ่มควบคุมความซับซ้อนของชั้นฟังก์ชันได้อย่างไร?

Key theories

การประมาณค่าแบบ M และ Z

ตัวประมาณค่าที่กำหนดโดยการปรับให้เหมาะสมที่สุดหรือโดยการตั้งค่าเฉลี่ยตัวอย่างเป็นศูนย์มีการวิเคราะห์เชิงเส้นกำกับร่วมกัน: กฎจำนวนมากเอกรูปให้ความสอดคล้องและการทำให้เป็นเชิงเส้นให้ภาวะปกติเชิงเส้นกำกับพร้อมความแปรปรวนแบบแซนด์วิช

การลู่เข้าอย่างอ่อนของกระบวนการเชิงประจักษ์

ในชั้นฟังก์ชันแบบ Donsker กระบวนการเชิงประจักษ์ลู่เข้าอย่างอ่อนไปยังกระบวนการเกาส์เซียน ซึ่งเป็นการขยายทฤษฎีบทขีดจำกัดกลางจากสถิติตัวเดียวไปยังชั้นฟังก์ชันทั้งหมด และเป็นรากฐานของการวิเคราะห์เชิงเส้นกำกับสมัยใหม่

Clinical relevance

การประมาณค่าแบบ M ให้ค่าความคลาดเคลื่อนมาตรฐานแบบแซนด์วิช หรือแบบแข็งแกร่ง ซึ่งใช้เมื่อแบบจำลองอาจมีการระบุผิดพลาด และทฤษฎีกระบวนการเชิงประจักษ์ให้การรับประกันทางทฤษฎีเบื้องหลังขอบเขตการสรุปผลในการเรียนรู้เชิงสถิติ ซึ่งเชื่อมโยงสถิติแบบดั้งเดิมเข้ากับการเรียนรู้ของเครื่อง

History

Huber ได้นำเสนอการประมาณค่าแบบ M สำหรับสถิติที่แข็งแกร่งในปี 1964 โครงการกระบวนการเชิงประจักษ์ ซึ่งพัฒนาโดย Dudley, Pollard และคนอื่นๆ ตลอดช่วงทศวรรษ 1970 และ 1980 และสังเคราะห์ในเอกสารวิชาการของ van der Vaart และ Wellner ในปี 1996 ได้ให้ทฤษฎีขีดจำกัดเอกรูปซึ่งปัจจุบันเป็นมาตรฐานในการวิเคราะห์เชิงเส้นกำกับ

Key figures

• Peter J. Huber
• Aad van der Vaart
• Richard M. Dudley
• Jon A. Wellner

Seminal works

• vanderVaart1998

Frequently asked questions

ความแตกต่างระหว่างตัวประมาณค่าแบบ M และตัวประมาณค่าแบบ Z คืออะไร?

ตัวประมาณค่าแบบ M จะเพิ่มฟังก์ชันวัตถุประสงค์ของตัวอย่างให้สูงสุด ในขณะที่ตัวประมาณค่าแบบ Z จะแก้ระบบสมการการประมาณค่า เมื่อวัตถุประสงค์สามารถหาอนุพันธ์ได้ ทั้งสองจะตรงกัน เนื่องจากค่าสูงสุดคือรากของเกรเดียนต์

เหตุใดทฤษฎีกระบวนการเชิงประจักษ์จึงมีความสำคัญต่อการเรียนรู้ของเครื่อง?

ทฤษฎีบทขีดจำกัดเอกรูปในชั้นฟังก์ชันจำกัดว่าข้อผิดพลาดเชิงประจักษ์สามารถเบี่ยงเบนจากข้อผิดพลาดจริงได้มากน้อยเพียงใดในทุกแบบจำลองที่เป็นไปได้ ซึ่งเป็นสิ่งที่การรับประกันการสรุปผลต้องการอย่างแท้จริง