ระเบียบวิธีของนิวตัน-ราฟสันและระเบียบวิธีสกอริง

ระเบียบวิธีของนิวตัน-ราฟสันและระเบียบวิธีสกอริงที่เกี่ยวข้องจะเพิ่มค่าความน่าจะเป็นสูงสุดโดยการดำเนินการซ้ำๆ โดยอาศัยเกรเดียนต์และความโค้งของล็อกความน่าจะเป็น ซึ่งทำให้เกิดการลู่เข้าอย่างรวดเร็วในบริเวณใกล้เคียงค่าเหมาะสมที่สุด

Definition

ระเบียบวิธีของนิวตัน-ราฟสันและระเบียบวิธีสกอริงเป็นอัลกอริทึมการหาค่าเหมาะสมที่สุดแบบวนซ้ำที่ปรับปรุงการประมาณค่าพารามิเตอร์โดยการแก้แบบจำลองกำลังสองเฉพาะที่ของล็อกความน่าจะเป็น โดยใช้เกรเดียนต์ (สกอร์) และเมทริกซ์เฮสเซียนหรือเมทริกซ์ข้อมูลเพื่อกำหนดขั้นตอน

Scope

หัวข้อนี้ครอบคลุมการวนซ้ำของนิวตัน-ราฟสันที่ประยุกต์ใช้กับสมการสกอร์, การให้คะแนนแบบฟิชเชอร์ซึ่งแทนที่ข้อมูลที่สังเกตได้ด้วยค่าคาดหวัง, ระเบียบวิธีควอซิ-นิวตันที่ประมาณความโค้งจากเกรเดียนต์, บทบาทของขนาดขั้นตอนและการป้องกันการค้นหาเส้น, และความเชื่อมโยงระหว่างความโค้งที่จุดเหมาะสมที่สุดกับความแปรปรวนเชิงเส้นกำกับของตัวประมาณค่า

Core questions

• การประมาณค่ากำลังสองเฉพาะที่สร้างขั้นตอนของนิวตันสำหรับสมการสกอร์ได้อย่างไร?
• การให้คะแนนแบบฟิชเชอร์แตกต่างจากนิวตัน-ราฟสันอย่างไร และเหตุใดจึงมักเป็นที่นิยมมากกว่า?
• ระเบียบวิธีควอซิ-นิวตันประมาณความโค้งโดยไม่ต้องคำนวณเฮสเซียนได้อย่างไร?
• การค้นหาเส้นและการปรับเปลี่ยนทำให้การวนซ้ำมีเสถียรภาพห่างจากจุดเหมาะสมที่สุดได้อย่างไร?

Key concepts

• ฟังก์ชันสกอร์
• เมทริกซ์เฮสเซียนและเมทริกซ์ข้อมูล
• การลู่เข้ากำลังสอง
• การให้คะแนนแบบฟิชเชอร์
• การปรับปรุงแบบควอซิ-นิวตัน
• การค้นหาเส้น

Key theories

การวนซ้ำของนิวตันบนสกอร์

การพิจารณาการประมาณค่าความน่าจะเป็นสูงสุดเป็นการแก้สมการสกอร์ ขั้นตอนของนิวตันใช้เมทริกซ์เฮสเซียนผกผันคูณด้วยเกรเดียนต์และลู่เข้ากำลังสองเมื่อใกล้ถึงค่าสูงสุด

การให้คะแนนแบบฟิชเชอร์และควอซิ-นิวตัน

การแทนที่ข้อมูลที่สังเกตได้ด้วยข้อมูลที่คาดหวังจะให้การให้คะแนนแบบฟิชเชอร์ ซึ่งมักจะมีความเสถียรมากกว่า ในขณะที่การปรับปรุงแบบควอซิ-นิวตันจะสร้างการประมาณความโค้งจากเกรเดียนต์ที่ต่อเนื่องกันเพื่อหลีกเลี่ยงการสร้างเมทริกซ์เฮสเซียนโดยตรง

Clinical relevance

การให้คะแนนแบบฟิชเชอร์เป็นอัลกอริทึมการปรับค่าเริ่มต้นสำหรับแบบจำลองเชิงเส้นทั่วไปผ่านวิธีกำลังสองน้อยที่สุดแบบถ่วงน้ำหนักซ้ำๆ และระเบียบวิธีของนิวตันและควอซิ-นิวตันใช้ในการปรับแบบจำลองทางสถิติที่ไม่เป็นเชิงเส้นจำนวนมาก ความโค้งที่ระเบียบวิธีเหล่านี้คำนวณยังให้ค่าความคลาดเคลื่อนมาตรฐานสำหรับการประมาณค่าด้วย

History

ระเบียบวิธีนิวตัน-ราฟสันสำหรับการหารากมีมาก่อนวิชาสถิติ แต่การนำเสนอการให้คะแนนของฟิชเชอร์ได้เชื่อมโยงเข้ากับการประมาณค่าความน่าจะเป็นสูงสุด การวิเคราะห์เชิงตัวเลขในช่วงกลางศตวรรษที่ 20 ได้เพิ่มระเบียบวิธีควอซิ-นิวตัน ซึ่งทั้งหมดนี้ได้กลายเป็นแกนหลักของการปรับแบบจำลองทางสถิติ

Key figures

• Isaac Newton
• Joseph Raphson
• Ronald A. Fisher
• Jorge Nocedal

Seminal works

• givens2013
• nocedal2006

Frequently asked questions

เหตุใดระเบียบวิธีนิวตัน-ราฟสันจึงลู่เข้าอย่างรวดเร็วใกล้จุดเหมาะสมที่สุด?

ระเบียบวิธีนี้ปรับแบบจำลองกำลังสองเฉพาะที่โดยใช้ทั้งความชันและความโค้งของฟังก์ชันเป้าหมาย ดังนั้นแต่ละขั้นตอนจะเข้าใกล้จุดเหมาะสมที่สุดจริงมาก ทำให้เกิดการลู่เข้ากำลังสอง ข้อเสียคือต้องใช้เมทริกซ์เฮสเซียนและอาจไม่เสถียรเมื่ออยู่ห่างจากผลลัพธ์

เมื่อใดที่ควรใช้การให้คะแนนแบบฟิชเชอร์มากกว่าระเบียบวิธีนิวตัน-ราฟสันธรรมดา?

การให้คะแนนแบบฟิชเชอร์ใช้ข้อมูลที่คาดหวัง ซึ่งมักจะเป็นเมทริกซ์บวกแน่นอนและคำนวณได้ง่ายกว่าเมทริกซ์เฮสเซียนที่สังเกตได้ ทำให้การวนซ้ำมีเสถียรภาพมากขึ้น เป็นระเบียบวิธีมาตรฐานที่อยู่เบื้องหลังการปรับแบบจำลองเชิงเส้นทั่วไป