تقييم أنظمة التوصية
يقيس تقييم أنظمة التوصية مدى جودة التوصيات، ويشمل ذلك دقة التنبؤ، وجودة الترتيب، وخصائص تتجاوز الدقة مثل التنوع والجدة والتغطية.
Definition
تقييم أنظمة التوصية هو مجموعة المنهجيات والمقاييس لتقييم جودة نظام التوصية، بما في ذلك مقاييس الدقة والترتيب غير المتصلة بالإنترنت المحسوبة على البيانات المحتجزة، وخصائص مجموعة التوصيات التي تتجاوز الدقة، والتجارب المرتكزة على المستخدم والتجارب عبر الإنترنت.
Scope
يغطي هذا الموضوع كيفية تقييم أنظمة التوصية: التجارب غير المتصلة بالإنترنت باستخدام بيانات التفاعل المحتجزة، ومقاييس الدقة لتنبؤ التقييم ولترتيب أفضل N، ومعايير تتجاوز الدقة بما في ذلك التنوع والجدة والمصادفة وتغطية الكتالوج، بالإضافة إلى دراسات المستخدمين والتجارب عبر الإنترنت. ويتناول الموضوع عيوب التصميم التجريبي الخاصة بالتوصية، مثل تقسيم البيانات وتحيز الشعبية، ويرتبط بأساليب التقييم الأوسع عبر الإنترنت المستخدمة في الوصول إلى المعلومات.
Core questions
- كيف تُقاس جودة التوصية لتنبؤ التقييم مقابل ترتيب أفضل N؟
- لماذا لا تكفي مقاييس الدقة وحدها للحكم على نظام التوصية؟
- كيف يتم تحديد كمية التنوع والجدة والمصادفة والتغطية؟
- كيف يجب تقسيم بيانات التفاعل لتجنب تسرب المعلومات وتحيز الشعبية؟
- كيف تكمل التقييمات غير المتصلة بالإنترنت ودراسات المستخدمين والتقييمات عبر الإنترنت بعضها البعض؟
Key concepts
- دقة تنبؤ التقييم (MAE, RMSE)
- مقاييس ترتيب أفضل N (الدقة، الاستدعاء، nDCG)
- التنوع والجدة
- المصادفة
- تغطية الكتالوج
- التقييم غير المتصل بالإنترنت مقابل التقييم عبر الإنترنت
- تقسيم البيانات وتسرب المعلومات
- تحيز الشعبية
Key theories
- تقييم الدقة والترتيب
- يتم تقييم أنظمة التوصية إما بناءً على مدى جودة تنبؤها بالتقييمات، باستخدام مقاييس الخطأ، أو بناءً على مدى جودة ترتيبها للعناصر، باستخدام مقاييس أفضل N مثل الدقة والاستدعاء والكسب التراكمي المخصوم المعياري، حيث يتوافق الأخير بشكل أفضل مع كيفية استهلاك التوصيات.
- التقييم الذي يتجاوز الدقة
- نظرًا لأن التوصيات الدقيقة ولكن المتكررة أو الواضحة قد لا ترضي المستخدمين، فإن التقييم يأخذ في الاعتبار أيضًا التنوع والجدة والمصادفة والتغطية، مع إدراك أن جودة التوصية متعددة الأبعاد.
Clinical relevance
يحدد التقييم السليم التغييرات في التوصيات التي يتم نشرها ويحمي من تحسين الهدف الخاطئ. تؤثر الاعتبارات التي تتجاوز الدقة مثل التنوع والجدة بشكل مباشر على رضا المستخدم ومشاركته، وترتبط بقضايا أوسع مثل فقاعات التصفية والإنصاف في التوصية.
History
أرسى مقال هيرلوكر وزملاؤه عام 2004 إطارًا صارمًا لتقييم أنظمة التوصية القائمة على التصفية التعاونية، موضحًا المهام والمقاييس. وقد شاعت جائزة Netflix تقييم الدقة القائم على RMSE، وبعد ذلك توسع المجال نحو الترتيب والمقاييس التي تتجاوز الدقة، وتم توحيدها في فصول الكتيبات التي تؤكد على مطابقة التقييم لمهمة المستخدم المقصودة.
Key figures
- Jonathan Herlocker
- Joseph Konstan
- Guy Shani
- Asela Gunawardana
Related topics
Seminal works
- herlocker2004
- shani2011
- ricci2015
Frequently asked questions
- لماذا لا تكفي الدقة لتقييم نظام التوصية؟
- يمكن أن يكون نظام التوصية دقيقًا ولكنه غير مفيد، على سبيل المثال من خلال اقتراح عناصر يعرفها المستخدم بالفعل أو عناصر شبه متطابقة. تلتقط خصائص مثل التنوع والجدة والمصادفة والتغطية جوانب من الفائدة التي تفوتها الدقة، لذا فإن التقييم الجيد يأخذ في الاعتبار أبعادًا متعددة.
- لماذا يعد تقسيم البيانات أمرًا صعبًا في تقييم أنظمة التوصية؟
- بيانات التوصية مرتبة زمنيًا ومنحرفة نحو العناصر الشائعة، لذا فإن التقسيمات العشوائية الساذجة يمكن أن تسرب معلومات مستقبلية أو تكافئ مجرد التوصية بالعناصر الشائعة. هناك حاجة إلى تقسيمات زمنية دقيقة ومقاييس واعية بالتحيز لجعل النتائج غير المتصلة بالإنترنت تنبؤية للأداء الحقيقي.