एम-अनुमान और आनुभविक प्रक्रियाएँ

एम-अनुमान एक ही परिवार के रूप में एक नमूना मानदंड को अनुकूलित करके परिभाषित अनुमानकों का उपचार करता है, और आनुभविक-प्रक्रिया सिद्धांत उनके विश्लेषण के लिए आवश्यक समान सीमा प्रमेय प्रदान करता है।

Definition

एक एम-अनुमानक एक मानदंड फ़ंक्शन के नमूना औसत का अधिकतमकर्ता होता है, और एक जेड-अनुमानक एक अनुमान लगाने वाले फ़ंक्शन के नमूना औसत का मूल होता है; आनुभविक प्रक्रिया आनुभविक और वास्तविक वितरण के बीच का पुनर्वर्धित अंतर है, जिसे फ़ंक्शन के एक वर्ग द्वारा अनुक्रमित किया जाता है।

Scope

यह विषय एम-अनुमानकों को शामिल करता है जो एक उद्देश्य को अधिकतम करते हैं और जेड-अनुमानकों को जो अनुमान लगाने वाले समीकरणों को हल करते हैं, अधिकतम संभावना, न्यूनतम वर्ग, क्वांटाइल और मजबूत अनुमानकों का एकीकरण, समान अभिसरण के माध्यम से एम-अनुमानकों की संगति और स्पर्शोन्मुख सामान्यता, आनुभविक वितरण और आनुभविक प्रक्रिया, गाऊसी प्रक्रिया के लिए कमजोर अभिसरण, ग्लिवेंको-कैंटेली और डॉन्स्कर वर्ग, और एन्ट्रापी और ब्रैकेटिंग स्थितियाँ जो जटिलता को नियंत्रित करती हैं।

Core questions

• एम- और जेड-अनुमान अधिकतम संभावना, न्यूनतम वर्ग और मजबूत अनुमानकों को कैसे एकीकृत करते हैं?
• एक एम-अनुमानक की संगति और स्पर्शोन्मुख सामान्यता को सिद्ध करने के लिए किस समान अभिसरण की आवश्यकता है?
• आनुभविक प्रक्रिया गाऊसी प्रक्रिया में कमजोर रूप से कब अभिसरित होती है, यानी, एक वर्ग डॉन्स्कर कब होता है?
• एन्ट्रापी और ब्रैकेटिंग स्थितियाँ एक फ़ंक्शन वर्ग की जटिलता को कैसे नियंत्रित करती हैं?

Key theories

एम- और जेड-अनुमान

अनुकूलन द्वारा या नमूना औसत को शून्य पर सेट करके परिभाषित अनुमानक एक सामान्य स्पर्शोन्मुख विश्लेषण साझा करते हैं: बड़ी संख्याओं का एक समान नियम संगति देता है और एक रेखीयकरण सैंडविच विचरण के साथ स्पर्शोन्मुख सामान्यता देता है।

आनुभविक-प्रक्रिया कमजोर अभिसरण

फ़ंक्शन के डॉन्स्कर वर्ग पर आनुभविक प्रक्रिया गाऊसी प्रक्रिया में कमजोर रूप से अभिसरित होती है, जो केंद्रीय सीमा प्रमेय को एक एकल सांख्यिकी से पूरे फ़ंक्शन वर्ग तक सामान्यीकृत करती है और आधुनिक स्पर्शोन्मुख को रेखांकित करती है।

Clinical relevance

एम-अनुमान सैंडविच, या मजबूत, मानक त्रुटियाँ देता है जिनका उपयोग तब किया जाता है जब एक मॉडल गलत निर्दिष्ट हो सकता है, और आनुभविक-प्रक्रिया सिद्धांत सांख्यिकीय शिक्षण में सामान्यीकरण सीमाओं के पीछे सैद्धांतिक गारंटी प्रदान करता है, जो शास्त्रीय सांख्यिकी को मशीन लर्निंग से जोड़ता है।

History

ह्यूबर ने 1964 में मजबूत सांख्यिकी के लिए एम-अनुमान पेश किया। डडली, पोलार्ड और अन्य द्वारा 1970 और 1980 के दशक में उन्नत और वैन डेर वार्ट और वेलनर के 1996 के मोनोग्राफ में संश्लेषित आनुभविक-प्रक्रिया कार्यक्रम ने समान सीमा सिद्धांत प्रदान किया जो अब स्पर्शोन्मुख में मानक है।

Key figures

• Peter J. Huber
• Aad van der Vaart
• Richard M. Dudley
• Jon A. Wellner

Seminal works

• vanderVaart1998

Frequently asked questions

एम-अनुमानक और जेड-अनुमानक में क्या अंतर है?

एक एम-अनुमानक एक नमूना उद्देश्य फ़ंक्शन को अधिकतम करता है, जबकि एक जेड-अनुमानक अनुमान लगाने वाले समीकरणों की एक प्रणाली को हल करता है; जब उद्देश्य अवकलनीय होता है तो दोनों मेल खाते हैं, क्योंकि अधिकतमकर्ता प्रवणता का एक मूल होता है।

मशीन लर्निंग के लिए आनुभविक-प्रक्रिया सिद्धांत क्यों मायने रखता है?

फ़ंक्शन वर्गों पर समान सीमा प्रमेय यह सीमित करते हैं कि अनुभवजन्य त्रुटि सभी उम्मीदवार मॉडलों में वास्तविक त्रुटि से कितनी दूर भटक सकती है, जो ठीक वही है जो सामान्यीकरण गारंटी की आवश्यकता है।