Explainable Multilayer Perceptron (MLP with Post-hoc Interpretability)

通常のMLPは、層を重ねた重み付き和と非線形活性化関数を連鎖させることで関数を学習しますが、その結果は正確であるものの不透明です。説明可能性の手法では、学習済みネットワークをブラックボックスとして扱い、各入力特徴量がどのように出力を変化させるかを測定することでそれを調査します。例えば、SHAP値は、協力ゲーム理論に由来する寄与度スコアを各特徴量に割り当てることで、寄与度の合計が予測値とベースライン値との差に等しくなるようにします。その結果、関係者は単なる予測だけでなく、その背後にある理由のランキングリストを見ることができます。