การประมาณค่ากำลังสองน้อยที่สุด

การประมาณค่ากำลังสองน้อยที่สุด (Least-squares approximation) เป็นการค้นหาฟังก์ชันหรือเวกเตอร์พารามิเตอร์ที่ทำให้ผลรวมของกำลังสองของส่วนเหลือ (squared residuals) มีค่าน้อยที่สุด ซึ่งให้ความเหมาะสมที่สุดในเชิงยุคลิด (L2) และเป็นเครื่องมือมาตรฐานสำหรับการปรับแบบจำลองให้เข้ากับข้อมูลที่มีสัญญาณรบกวนหรือข้อมูลที่มีจำนวนตัวแปรอิสระมากกว่าจำนวนข้อมูล (overdetermined data)

Definition

การประมาณค่ากำลังสองน้อยที่สุด คือการกำหนดองค์ประกอบของชุดการประมาณค่าที่เลือก ซึ่งทำให้ค่า L2 norm (ผลรวมหรือปริพันธ์ของกำลังสองของส่วนเหลือ) ของความคลาดเคลื่อนจากฟังก์ชันเป้าหมายหรือชุดข้อมูลมีค่าน้อยที่สุด

Scope

หัวข้อนี้ครอบคลุมปัญหาการประมาณค่ากำลังสองน้อยที่สุดเชิงเส้น (linear least-squares problem) การกำหนดลักษณะเฉพาะผ่านสมการปกติ (normal equations) และการฉายเชิงตั้งฉาก (orthogonal projection) การหาผลเฉลยที่เสถียรโดยการแยกตัวประกอบ QR (QR factorization) และการแยกค่าเอกฐาน (singular value decomposition) การประมาณค่า L2 แบบต่อเนื่องโดยพหุนามเชิงตั้งฉาก (orthogonal polynomials) และประเด็นด้านสภาพ (conditioning issues) ที่แยกแยะวิธีการหาผลเฉลยที่เชื่อถือได้ออกจากวิธีการที่ไม่น่าเชื่อถือ

Core questions

• ผลเฉลยกำลังสองน้อยที่สุดมีลักษณะทางเรขาคณิตอย่างไรในฐานะการฉายเชิงตั้งฉาก?
• เหตุใดสมการปกติจึงแก้ปัญหาได้ในทางทฤษฎี แต่กลับคุกคามความแม่นยำในทางปฏิบัติ?
• การแยกตัวประกอบ QR และ SVD ให้ผลเฉลยที่เสถียรได้อย่างไร และเมื่อใดที่ SVD มีความจำเป็น?
• พหุนามเชิงตั้งฉากทำให้การประมาณค่ากำลังสองน้อยที่สุดแบบต่อเนื่องมีสภาพดีได้อย่างไร?

Key theories

สมการปกติและการฉายเชิงตั้งฉาก

ผลเฉลยกำลังสองน้อยที่สุดทำให้ส่วนเหลือตั้งฉากกับปริภูมิย่อยที่ใช้ประมาณค่า ซึ่งนำไปสู่สมการปกติ ในทางเรขาคณิต การประมาณค่าที่ดีที่สุดคือการฉายเชิงตั้งฉากของข้อมูลลงบนปริภูมิย่อยนั้น

การหาผลเฉลยที่เสถียรผ่านการแยกตัวประกอบเชิงตั้งฉาก

เนื่องจากการสร้างสมการปกติจะยกกำลังสองของเลขสภาพ (condition number) ผลเฉลยกำลังสองน้อยที่สุดที่แม่นยำจึงคำนวณได้โดยการแยกตัวประกอบ QR หรือสำหรับปัญหาที่มีอันดับไม่เต็มหรือใกล้เอกฐาน (near-singular problems) โดยการแยกค่าเอกฐานและพซูโดอินเวอร์สที่เกี่ยวข้อง

Mechanisms

สำหรับระบบที่ไม่ต่อเนื่องที่มีจำนวนตัวแปรอิสระมากกว่าจำนวนข้อมูล (discrete overdetermined system) การแยกตัวประกอบ QR ของเมทริกซ์ออกแบบ (design matrix) จะช่วยลดปัญหาการประมาณค่ากำลังสองน้อยที่สุดให้เป็นการแก้สมการสามเหลี่ยมที่มีสภาพดี (well-conditioned triangular solve) ซึ่งหลีกเลี่ยงการยกกำลังสองของสภาพในสมการปกติ สำหรับปัญหาที่มีอันดับไม่เต็ม (rank-deficient problems) SVD จะให้ผลเฉลยกำลังสองน้อยที่สุดที่มีนอร์มน้อยที่สุดผ่านมัวร์-เพนโรส พซูโดอินเวอร์ส (Moore-Penrose pseudoinverse) และเผยให้เห็นภาวะอันดับไม่เต็มใกล้เคียง (near-rank-deficiency) ผ่านค่าเอกฐานขนาดเล็ก ในบริบทต่อเนื่อง การขยายในพหุนามเชิงตั้งฉากจะทำให้ปัญหาเป็นแนวทแยง (diagonalizes) ดังนั้นสัมประสิทธิ์จึงถูกคำนวณอย่างอิสระในรูปของผลคูณภายใน (inner products)

Clinical relevance

การประมาณค่ากำลังสองน้อยที่สุดเป็นแกนหลักของการปรับข้อมูลและการถดถอยในสาขาวิทยาศาสตร์และวิศวกรรมศาสตร์ การประมาณค่าพารามิเตอร์และการสอบเทียบ การสร้างสัญญาณและภาพขึ้นใหม่ และปัญหาเชิงเส้นย่อย (linearized subproblems) ภายในกระบวนการหาค่าเหมาะที่สุดแบบไม่เชิงเส้น (nonlinear optimization) การวิเคราะห์สภาพของมันเป็นแนวทางในการเลือกการทำให้เป็นระเบียบ (regularization choices) เมื่อข้อมูลมีสัญญาณรบกวนหรือแบบจำลองมีพารามิเตอร์มากเกินไป (over-parameterized)

History

วิธีการกำลังสองน้อยที่สุดได้รับการตีพิมพ์โดย Legendre ในปี 1805 และพัฒนาโดย Gauss พร้อมกับการให้เหตุผลเชิงความน่าจะเป็น การประมวลผลเชิงตัวเลขของวิธีการนี้ได้รับการเปลี่ยนแปลงในศตวรรษที่ยี่สิบโดยอัลกอริทึมการแยกตัวประกอบเชิงตั้งฉาก โดยเฉพาะอย่างยิ่งการใช้ QR และ SVD ที่นำโดย Golub ซึ่งเข้ามาแทนที่แนวทางสมการปกติที่ไม่เสถียรในซอฟต์แวร์คุณภาพสูง

Key figures

• Carl Friedrich Gauss
• Adrien-Marie Legendre
• Gene H. Golub
• Ake Bjorck

Seminal works

• bjorck1996
• trefethen1997

Frequently asked questions

เหตุใดจึงไม่แก้สมการปกติโดยตรง?

สมการปกติเกี่ยวข้องกับผลคูณของเมทริกซ์ออกแบบกับเมทริกซ์สลับเปลี่ยนของมัน ซึ่งจะยกกำลังสองของเลขสภาพ และอาจทำให้ความแม่นยำลดลงอย่างรุนแรงสำหรับปัญหาที่มีสภาพไม่ดีปานกลาง การแก้ปัญหาผ่าน QR หรือ SVD ทำงานกับเมทริกซ์ดั้งเดิมและมีความเสถียรมากกว่ามาก

การประมาณค่ากำลังสองน้อยที่สุดแตกต่างจากการประมาณค่าแบบมินิแมกซ์อย่างไร?

การประมาณค่ากำลังสองน้อยที่สุดจะลดผลรวม (หรือปริพันธ์) ของกำลังสองของความคลาดเคลื่อน ซึ่งกระจายความคลาดเคลื่อนและไวต่อค่าผิดปกติ (outliers) ในขณะที่มินิแมกซ์จะลดความคลาดเคลื่อนที่ใหญ่ที่สุด การประมาณค่ากำลังสองน้อยที่สุดนำไปสู่สมการเชิงเส้นและคำนวณได้ง่ายกว่า มินิแมกซ์ให้ความคลาดเคลื่อนที่เล็กสม่ำเสมอ