Explainable Multilayer Perceptron (MLP with Post-hoc Interpretability)

یک MLP ساده با زنجیر کردن جمع‌های وزن‌دار و فعال‌سازی‌های غیرخطی در سراسر لایه‌ها، تابعی را یاد می‌گیرد؛ نتیجه دقیق اما مبهم است. تکنیک‌های توضیح‌پذیری، شبکه آموزش‌دیده را به عنوان یک جعبه سیاه در نظر گرفته و با اندازه‌گیری میزان تأثیر هر ویژگی ورودی بر خروجی، آن را بررسی می‌کنند. به عنوان مثال، مقادیر SHAP، امتیازی از سهم هر ویژگی را بر اساس نظریه بازی‌های تعاونی اختصاص می‌دهند تا مجموع سهم‌ها برابر با تفاوت بین پیش‌بینی و خط پایه باشد. نتیجه این است که ذینفعان نه تنها یک پیش‌بینی، بلکه فهرستی رتبه‌بندی شده از دلایل پشت آن را مشاهده می‌کنند.