逻辑判别

逻辑判别通过将每个类别的后验概率直接建模为特征的逻辑函数来对观测值进行分类。

Definition

逻辑判别是一种分类方法，它通过逻辑（或softmax）链接建模给定特征的类别成员条件概率，并通过最大似然法拟合模型，而不对特征的分布做任何假设。

Scope

本主题涵盖二元和多项逻辑模型作为判别分类器、其系数的最大似然估计、所得对数几率和决策边界的线性、与生成判别分析的对比，以及系数作为对数几率效应的解释。

Core questions

• 如何直接从特征中建模类别成员概率？
• 逻辑模型所隐含的决策边界的形状是什么？
• 逻辑判别与高斯判别分析有何不同？
• 如何解释估计的系数？

Key theories

后验概率的直接建模

逻辑判别将类别成员的对数几率指定为特征的线性函数，并通过最大似然法对其进行估计，不对特征的边际分布做任何假设。

生成-判别对应关系

在等协方差高斯类别下，后验对数几率是精确线性的，因此逻辑回归和线性判别分析提出相同的边界形式，但它们在不同的假设和似然下对其进行估计。

Clinical relevance

逻辑判别是应用研究中使用最广泛的分类器之一，因为它提供校准的类别概率和可解释的系数，并且对偏离特征正态性具有鲁棒性。

History

用于二元结果的逻辑模型在二十世纪中叶的统计学中发展起来，并被应用于分类环境，成为逻辑判别，为生成判别分析传统提供了判别对应物。

Debates

判别式估计与生成式估计

逻辑判别优化条件似然，并且对特征分布的错误指定往往更具鲁棒性，而生成判别分析在其高斯假设成立时可能更有效。

Key figures

• David Cox
• Geoffrey McLachlan

Seminal works

• hastie2009
• mclachlan1992
• johnson2007

Frequently asked questions

逻辑判别是否假设特征呈正态分布？

不。它建模的是给定特征的类别的条件概率，并且不对特征本身做任何分布假设，这是其鲁棒性的原因之一。

逻辑判别如何扩展到两个以上的类别？

通过多项（softmax）逻辑模型，该模型将每个类别相对于基线的概率指定为线性特征组合的归一化指数。