न्यूरल भाषा मॉडल और वर्ड एम्बेडिंग

कच्चे पाठ से शब्दों और संदर्भों के सघन सदिश निरूपण सीखना — वर्ड2वेक एम्बेडिंग से लेकर BERT जैसे प्रासंगिक निरूपण तक — जो अर्थ को ज्यामिति के रूप में एन्कोड करते हैं।

Definition

एक वर्ड एम्बेडिंग एक शब्द के अर्थ का प्रतिनिधित्व करने वाला एक सघन वास्तविक-मूल्यवान सदिश है, जिसे इस तरह से सीखा जाता है कि वितरण संबंधी समानता सदिश-स्थान निकटता में परिलक्षित होती है; प्रासंगिक एम्बेडिंग इसे ऐसे निरूपणों तक विस्तारित करते हैं जो आसपास के पाठ पर निर्भर करते हैं।

Scope

भाषा के वितरित और न्यूरल निरूपण को शामिल करता है: वितरण परिकल्पना, वर्ड2वेक और ग्लोव जैसे स्थैतिक वर्ड एम्बेडिंग, न्यूरल भाषा मॉडल, और BERT जैसे पूर्व-प्रशिक्षित ट्रांसफार्मर से प्रासंगिक एम्बेडिंग। यह बताता है कि निरूपण को कैसे प्रशिक्षित, मूल्यांकन और डाउनस्ट्रीम कार्यों में स्थानांतरित किया जाता है। ट्रांसफार्मर वास्तुकला के विवरण और जनरेशन को एक संबंधित विषय में शामिल किया गया है।

Core questions

• वितरण परिकल्पना क्या है और एम्बेडिंग इसे कैसे क्रियान्वित करते हैं?
• वर्ड2वेक सह-घटना से शब्द सदिशों को कैसे सीखता है?
• प्रासंगिक एम्बेडिंग स्थैतिक एम्बेडिंग से कैसे भिन्न होते हैं?
• पूर्व-प्रशिक्षण और स्थानांतरण सीखने ने NLP को क्यों बदल दिया?

Key concepts

• वितरण परिकल्पना
• वर्ड एम्बेडिंग
• वर्ड2वेक
• स्किप-ग्राम
• प्रासंगिक एम्बेडिंग
• पूर्व-प्रशिक्षण और फाइन-ट्यूनिंग
• स्थानांतरण सीखना
• मास्क्ड भाषा मॉडलिंग

Key theories

वितरण परिकल्पना

यह विचार कि समान संदर्भों में आने वाले शब्दों के समान अर्थ होते हैं, जो सह-घटना सांख्यिकी से अर्थ प्राप्त करके सभी एम्बेडिंग विधियों का आधार है।

प्रासंगिक पूर्व-प्रशिक्षण

BERT की तरह, बड़े अलिखित पाठ पर गहरे द्विदिश मॉडल को पूर्व-प्रशिक्षित करना, ताकि संदर्भ-संवेदनशील निरूपण उत्पन्न हो सकें जो थोड़े फाइन-ट्यूनिंग के साथ कई डाउनस्ट्रीम कार्यों में स्थानांतरित हो सकें।

History

हैरिस की वितरण परिकल्पना को पहले गणना-आधारित सदिश-स्थान मॉडल द्वारा, फिर बेंगियो के न्यूरल भाषा मॉडल (2003) और मिकोलोव के कुशल वर्ड2वेक (2013) द्वारा क्रियान्वित किया गया था। ELMo और BERT जैसे प्रासंगिक मॉडल के 2018-2019 में आने से पूर्व-प्रशिक्षण और फाइन-ट्यूनिंग प्रमुख प्रतिमान बन गया।

Debates

एम्बेडिंग वास्तव में क्या एन्कोड करते हैं?

क्या सीखे गए निरूपण वास्तविक अर्थ संबंधी और वाक्यात्मक संरचना को कैप्चर करते हैं या केवल प्रशिक्षण डेटा में मौजूद सह-घटना नियमितताओं और पूर्वाग्रहों को, व्याख्यात्मकता के लिए एक केंद्रीय प्रश्न है।

Key figures

• Yoshua Bengio
• Tomas Mikolov
• Jacob Devlin
• Zellig Harris

Seminal works

• bengio2003
• mikolov2013
• devlin2019

Frequently asked questions

स्थैतिक और प्रासंगिक एम्बेडिंग में क्या अंतर है?

एक स्थैतिक एम्बेडिंग एक शब्द को संदर्भ की परवाह किए बिना एक निश्चित सदिश देता है, इसलिए 'बैंक' का एक ही निरूपण होता है। एक प्रासंगिक एम्बेडिंग प्रत्येक घटना के लिए एक अलग सदिश उत्पन्न करता है, जो एक नदी के किनारे को एक वित्तीय बैंक से अलग करता है।