उपयोगकर्ता और ऑनलाइन मूल्यांकन
उपयोगकर्ता और ऑनलाइन मूल्यांकन वास्तविक या सिम्युलेटेड उपयोगकर्ता इंटरैक्शन के माध्यम से पुनर्प्राप्ति गुणवत्ता को मापते हैं, जिसमें अध्ययन, क्लिक डेटा, ए/बी परीक्षण और इंटरलीविंग का उपयोग किया जाता है, बजाय निश्चित प्रासंगिकता निर्णयों के।
Definition
उपयोगकर्ता और ऑनलाइन मूल्यांकन में ऐसी विधियाँ शामिल हैं जो उपयोगकर्ता इंटरैक्शन के माध्यम से पुनर्प्राप्ति प्रणालियों का आकलन करती हैं, जिसमें कार्य प्रदर्शन और संतुष्टि के नियंत्रित प्रयोगशाला अध्ययनों से लेकर बड़े पैमाने पर ऑनलाइन प्रयोग जैसे ए/बी परीक्षण और इंटरलीविंग शामिल हैं जो वास्तविक उपयोगकर्ताओं के व्यवहार का अवलोकन करके प्रणालियों की तुलना करते हैं।
Scope
यह विषय उपयोगकर्ताओं और उनके व्यवहार पर केंद्रित मूल्यांकन को शामिल करता है: कार्य सफलता और संतुष्टि के इंटरैक्टिव उपयोगकर्ता अध्ययन, क्लिक और ड्वेल टाइम जैसे निहित संकेतों का उपयोग, व्यवहार की व्याख्या करने वाले क्लिक मॉडल, और ए/बी परीक्षण और इंटरलीविंग सहित नियंत्रित ऑनलाइन प्रयोग। यह वास्तविक उपयोगकर्ता लाभ को कैसे मापा जाए, व्यवहार संबंधी संकेतों के पूर्वाग्रहों और ऑनलाइन प्रयोगों के डिजाइन और विश्लेषण को संबोधित करता है। यह आसन्न विषयों में शामिल ऑफ़लाइन परीक्षण-संग्रह मूल्यांकन का पूरक है।
Core questions
- केवल निर्णयों के विरुद्ध प्रासंगिकता के बजाय वास्तविक उपयोगकर्ता संतुष्टि और कार्य सफलता को कैसे मापा जा सकता है?
- उपयोगकर्ता कौन से निहित संकेत प्रदान करते हैं, और वे कितने विश्वसनीय हैं?
- क्लिक मॉडल स्थिति और प्रस्तुति पूर्वाग्रह के लिए कैसे जिम्मेदार होते हैं?
- ए/बी परीक्षण और इंटरलीविंग ऑनलाइन प्रणालियों की तुलना कैसे करते हैं?
- रैंकिंग तुलना के लिए ए/बी परीक्षण की तुलना में इंटरलीविंग अक्सर अधिक संवेदनशील क्यों होता है?
Key concepts
- इंटरैक्टिव उपयोगकर्ता अध्ययन
- कार्य सफलता और संतुष्टि
- निहित प्रतिक्रिया (क्लिक, ड्वेल टाइम)
- क्लिक मॉडल (स्थिति, कैस्केड)
- स्थिति और प्रस्तुति पूर्वाग्रह
- ए/बी परीक्षण
- इंटरलीविंग
- ऑनलाइन मेट्रिक्स और संवेदनशीलता
Key theories
- निहित प्रतिक्रिया और क्लिक मॉडल
- उपयोगकर्ता क्लिक और अन्य इंटरैक्शन प्रचुर मात्रा में लेकिन पक्षपाती प्रासंगिकता संकेत प्रदान करते हैं; स्थिति और कैस्केड मॉडल जैसे क्लिक मॉडल यह औपचारिक रूप देते हैं कि उपयोगकर्ता परिणामों की जांच कैसे करते हैं ताकि क्लिक को प्रासंगिकता के प्रमाण के रूप में व्याख्या किया जा सके।
- नियंत्रित ऑनलाइन प्रयोग
- ए/बी परीक्षण यादृच्छिक रूप से उपयोगकर्ताओं को सिस्टम वेरिएंट में असाइन करता है और परिणाम मेट्रिक्स की तुलना करता है, जबकि इंटरलीविंग दो रैंकिंग को एक सूची में मिलाता है और क्लिकों को जिम्मेदार ठहराता है, अक्सर रैंकिंग गुणवत्ता की अधिक संवेदनशील उपयोगकर्ता-के-भीतर तुलना प्रदान करता है।
Clinical relevance
ऑनलाइन मूल्यांकन ही वह प्राथमिक तरीका है जिससे बड़े खोज, अनुशंसा और ई-कॉमर्स सिस्टम यह तय करते हैं कि कौन से बदलाव किए जाएं, क्योंकि यह वास्तविक उपयोगकर्ता प्रभाव को मापता है। ए/बी परीक्षण और इंटरलीविंग, पूर्वाग्रह को ठीक करने वाले क्लिक मॉडल के माध्यम से व्याख्या किए गए, बड़े पैमाने पर उत्पादन रैंकिंग में निरंतर सुधार लाते हैं।
History
उपयोगकर्ता-केंद्रित आईआर मूल्यांकन ने लंबे समय से इंटरैक्टिव खोज व्यवहार का अध्ययन किया है, लेकिन वेब खोज के उदय ने बड़े पैमाने पर ऑनलाइन मूल्यांकन को व्यावहारिक बना दिया। जोआचिम्स के 2002 के काम ने क्लिकथ्रू डेटा को एक प्रासंगिकता संकेत के रूप में स्थापित किया और इंटरलीविंग की शुरुआत की, नियंत्रित वेब प्रयोग 2000 के दशक के माध्यम से उद्योग में परिपक्व हुए, और 2016 के सर्वेक्षण ने ऑनलाइन मूल्यांकन विधियों को समेकित किया।
Key figures
- Thorsten Joachims
- Filip Radlinski
- Katja Hofmann
- Ron Kohavi
Related topics
Seminal works
- hofmann2016
- joachims2002
- kohavi2009
Frequently asked questions
- इंटरलीविंग क्या है और इसका उपयोग क्यों किया जाता है?
- इंटरलीविंग दो रैंकिंग प्रणालियों के परिणामों को प्रत्येक उपयोगकर्ता को दिखाई गई एक ही सूची में मिलाता है और क्लिकों को उस प्रणाली को जिम्मेदार ठहराता है जिसने प्रत्येक क्लिक किए गए परिणाम में योगदान दिया। क्योंकि प्रत्येक उपयोगकर्ता प्रभावी रूप से दोनों प्रणालियों की एक साथ तुलना करता है, इंटरलीविंग अक्सर रैंकिंग सुधारों का पता लगाने के लिए ए/बी परीक्षण की तुलना में अधिक संवेदनशील होता है।
- क्लिकों को प्रासंगिकता के रूप में सीधे क्यों नहीं लिया जा सकता है?
- उपयोगकर्ता वास्तविक प्रासंगिकता की परवाह किए बिना उच्च-रैंक वाले परिणामों पर क्लिक करते हैं (स्थिति पूर्वाग्रह) और परिणाम कैसे प्रस्तुत किए जाते हैं, इससे प्रभावित होते हैं। क्लिक मॉडल इन पूर्वाग्रहों को ठीक करते हैं ताकि क्लिकों को प्रासंगिकता के अधिक विश्वसनीय प्रमाण के रूप में व्याख्या किया जा सके।