न्यूटन-रैफसन और स्कोरिंग विधियाँ

न्यूटन-रैफसन और संबंधित स्कोरिंग विधियाँ लॉग-संभाव्यता (log-likelihood) के ग्रेडिएंट और वक्रता (curvature) के आधार पर बार-बार कदम उठाकर एक संभाव्यता को अधिकतम करती हैं, जिससे इष्टतम के पास तेजी से स्थानीय अभिसरण (local convergence) प्राप्त होता है।

Definition

न्यूटन-रैफसन और स्कोरिंग विधियाँ पुनरावृत्तीय अनुकूलन एल्गोरिदम (iterative optimization algorithms) हैं जो लॉग-संभाव्यता के एक स्थानीय द्विघात मॉडल को हल करके एक पैरामीटर अनुमान को अद्यतन करती हैं, जिसमें ग्रेडिएंट (स्कोर) और हेसियन या सूचना मैट्रिक्स का उपयोग कदम निर्धारित करने के लिए किया जाता है।

Scope

यह विषय स्कोर समीकरणों पर लागू न्यूटन-रैफसन पुनरावृति, फिशर स्कोरिंग जिसमें प्रेक्षित जानकारी को उसकी अपेक्षा से प्रतिस्थापित किया जाता है, क्वासी-न्यूटन विधियाँ जो ग्रेडिएंट से वक्रता का अनुमान लगाती हैं, स्टेप-साइज़ और लाइन-सर्च सुरक्षा उपायों की भूमिका, और इष्टतम पर वक्रता तथा अनुमानक के एसिम्प्टोटिक विचरण (asymptotic variance) के बीच के संबंध को शामिल करता है।

Core questions

• एक स्थानीय द्विघात सन्निकटन स्कोर समीकरणों के लिए न्यूटन चरण कैसे उत्पन्न करता है?
• फिशर स्कोरिंग न्यूटन-रैफसन से कैसे भिन्न है, और इसे अक्सर क्यों पसंद किया जाता है?
• क्वासी-न्यूटन विधियाँ हेसियन की गणना किए बिना वक्रता का अनुमान कैसे लगाती हैं?
• लाइन सर्च और संशोधन इष्टतम से दूर पुनरावृति को कैसे स्थिर रखते हैं?

Key concepts

• स्कोर फ़ंक्शन
• हेसियन और सूचना मैट्रिक्स
• द्विघात अभिसरण
• फिशर स्कोरिंग
• क्वासी-न्यूटन अद्यतन
• लाइन सर्च

Key theories

स्कोर पर न्यूटन पुनरावृति

अधिकतम-संभाव्यता अनुमान को स्कोर समीकरणों को हल करने के रूप में मानते हुए, न्यूटन चरण व्युत्क्रम हेसियन गुणा ग्रेडिएंट का उपयोग करता है और अधिकतम के करीब होने पर द्विघात रूप से अभिसरण करता है।

फिशर स्कोरिंग और क्वासी-न्यूटन

प्रेक्षित जानकारी को अपेक्षित जानकारी से प्रतिस्थापित करने पर फिशर स्कोरिंग प्राप्त होती है, जो अक्सर अधिक स्थिर होती है, जबकि क्वासी-न्यूटन अद्यतन हेसियन को सीधे बनाए बिना क्रमिक ग्रेडिएंट से एक वक्रता सन्निकटन का निर्माण करते हैं।

Clinical relevance

फिशर स्कोरिंग पुनरावृत्त रूप से भारित न्यूनतम वर्गों (iteratively reweighted least squares) के माध्यम से सामान्यीकृत रैखिक मॉडल के लिए डिफ़ॉल्ट फिटिंग एल्गोरिदम है, और न्यूटन और क्वासी-न्यूटन विधियाँ अनगिनत अरेखीय सांख्यिकीय मॉडल को फिट करती हैं; इन विधियों द्वारा गणना की गई वक्रता अनुमानों के लिए मानक त्रुटियाँ भी प्रदान करती है।

History

न्यूटन-रैफसन मूल-खोज विधि सांख्यिकी से पहले की है, लेकिन फिशर द्वारा स्कोरिंग की शुरुआत ने इसे संभाव्यता अनुमान से जोड़ा; बीसवीं सदी के मध्य के संख्यात्मक विश्लेषण ने क्वासी-न्यूटन विधियों को जोड़ा, जो एक साथ सांख्यिकीय मॉडल फिटिंग की रीढ़ बन गए।

Key figures

• Isaac Newton
• Joseph Raphson
• Ronald A. Fisher
• Jorge Nocedal

Seminal works

• givens2013
• nocedal2006

Frequently asked questions

न्यूटन-रैफसन इष्टतम के पास इतनी जल्दी अभिसरण क्यों करता है?

यह उद्देश्य के ढलान और वक्रता दोनों का उपयोग करके एक स्थानीय द्विघात मॉडल को फिट करता है, इसलिए प्रत्येक कदम वास्तविक इष्टतम के बहुत करीब आता है, जिससे द्विघात अभिसरण होता है। इसका नुकसान यह है कि इसे हेसियन की आवश्यकता होती है और यह समाधान से दूर अस्थिर हो सकता है।

साधारण न्यूटन-रैफसन की तुलना में फिशर स्कोरिंग को कब प्राथमिकता दी जाती है?

फिशर स्कोरिंग अपेक्षित जानकारी का उपयोग करता है, जो अक्सर सकारात्मक-निश्चित (positive-definite) होती है और प्रेक्षित हेसियन की तुलना में गणना करना सरल होता है, जिससे पुनरावृति अधिक स्थिर हो जाती है। यह सामान्यीकृत रैखिक मॉडल को फिट करने के पीछे की मानक विधि है।