सामान्यीकरण सीमाएँ
सामान्यीकरण सीमाएँ नमूना आकार और मॉडल क्षमता के संदर्भ में, एक मॉडल की वास्तविक त्रुटि उसके प्रशिक्षण त्रुटि से कितनी अधिक हो सकती है, इस पर संभाव्य गारंटी देती हैं।
Definition
एक सामान्यीकरण सीमा एक असमानता है जो बताती है कि, यादृच्छिक प्रशिक्षण नमूने पर उच्च संभावना के साथ, एक सीखे हुए मॉडल की वास्तविक त्रुटि उसकी प्रशिक्षण त्रुटि से अधिक नहीं होती है, साथ ही एक ऐसा पद भी होता है जो मॉडल क्षमता के साथ बढ़ता है और नमूना आकार के साथ घटता है, यह प्रमाणित करता है कि अनदेखे डेटा पर मॉडल पर कितना भरोसा किया जा सकता है।
Scope
यह विषय सामान्यीकरण पर सैद्धांतिक सीमाओं को शामिल करता है: वैपनिक-चेरवोनेंकिस आयाम पर आधारित एकसमान-अभिसरण सीमाएँ, रेडमाकर जटिलता जैसे जटिलता माप, मार्जिन-आधारित सीमाएँ, और नमूना जटिलता की संभाव्यतः अनुमानित रूप से सही धारणा। यह बताता है कि ये सीमाएँ डेटा आकार और क्षमता पर कैसे निर्भर करती हैं और व्यवहार में वे ढीली क्यों होती हैं।
Core questions
- प्रशिक्षण त्रुटि और क्षमता के संदर्भ में वास्तविक त्रुटि को कैसे सीमित किया जाता है?
- नमूना बढ़ने पर सीमा में कैसे सुधार होता है?
- आधुनिक सीमाओं में कौन से जटिलता माप दिखाई देते हैं?
- वास्तविक मॉडलों के लिए सामान्यीकरण सीमाएँ अक्सर ढीली क्यों होती हैं?
Key theories
- एकसमान-अभिसरण सीमाएँ
- वैपनिक-चेरवोनेंकिस आयाम पर आधारित सीमाएँ गारंटी देती हैं कि, उच्च संभावना के साथ, प्रशिक्षण त्रुटि मॉडल वर्ग पर एकसमान रूप से वास्तविक त्रुटि का अनुमान लगाती है, जिसमें क्षमता पर नमूना आकार के वर्गमूल के रूप में अंतर घटता जाता है।
- मार्जिन और जटिलता-आधारित सीमाएँ
- वर्गीकरण मार्जिन या रेडमाकर जटिलता का उपयोग करके परिष्करण अधिक सख्त, डेटा-निर्भर सीमाएँ देते हैं जो बड़े-मार्जिन क्लासिफायर के सफलता को बेहतर ढंग से समझाते हैं।
- नमूना जटिलता
- सीमाएँ नमूना जटिलता में बदल जाती हैं, जो एक लक्ष्य सटीकता और आत्मविश्वास तक सीखने के लिए आवश्यक उदाहरणों की संख्या है, जिससे सीखने की डेटा आवश्यकताएँ स्पष्ट हो जाती हैं।
Clinical relevance
सामान्यीकरण सीमाएँ मशीन लर्निंग के केंद्रीय वादे के पीछे औपचारिक आश्वासन देती हैं, कि डेटा को फिट करने से नए डेटा पर भविष्यवाणी होती है, और वे नियमितीकरण और क्षमता नियंत्रण को प्रेरित करती हैं; हालांकि आमतौर पर सटीक त्रुटि की भविष्यवाणी करने के लिए बहुत ढीली होती हैं, वे डेटा आकार और जटिलता पर गुणात्मक निर्भरता को पकड़ती हैं जो अभ्यास का मार्गदर्शन करती है।
History
पहली सामान्य सीमाएँ वैपनिक और चेरवोनेंकिस के एकसमान-अभिसरण परिणामों से आईं, जिन्हें बाद में मार्जिन-आधारित और रेडमाकर-जटिलता विश्लेषणों द्वारा तेज किया गया। संभाव्यतः अनुमानित रूप से सही ढांचे ने इन्हें नमूना-जटिलता कथनों के रूप में फिर से परिभाषित किया, और हालिया कार्य उन सीमाओं की तलाश करता है जो अत्यधिक अति-प्राचलीकृत (overparameterized) मॉडलों के सामान्यीकरण की व्याख्या करते हैं।
Key figures
- Vladimir Vapnik
- Alexey Chervonenkis
- Peter Bartlett
Related topics
Seminal works
- vapnik1971
- vapnik1995
- hastie2009
Frequently asked questions
- एक सामान्यीकरण सीमा आपको क्या बताती है?
- यह कहता है कि, उच्च संभावना के साथ, अनदेखे डेटा पर मॉडल की त्रुटि उसकी प्रशिक्षण त्रुटि से अधिक नहीं होगी, एक ऐसी मात्रा से अधिक नहीं होगी जो इस बात पर निर्भर करती है कि मॉडल वर्ग कितना जटिल है और कितना डेटा उपयोग किया गया था। अधिक डेटा और कम क्षमता गारंटी को सख्त करती है।
- ये सीमाएँ अक्सर सीधे उपयोग करने के लिए बहुत ढीली क्यों होती हैं?
- शास्त्रीय सीमाएँ सबसे खराब स्थिति वाली और वितरण-मुक्त होती हैं, इसलिए वे किसी भी डेटा वितरण और वर्ग में किसी भी मॉडल के लिए मान्य होती हैं। यह सामान्यता उन्हें निराशावादी बनाती है, अक्सर व्यवहार में देखी गई त्रुटि के अंतर से कहीं अधिक बड़े अंतर की भविष्यवाणी करती है, इसलिए उनका उपयोग सटीक संख्याओं के बजाय अंतर्दृष्टि के लिए अधिक किया जाता है।