Viés-Variância e Overfitting

O trade-off viés-variância explica como a complexidade do modelo controla o erro de previsão, com o overfitting e o underfitting sendo os dois modos de falha que um aprendiz deve equilibrar.

Definition

O trade-off viés-variância é o princípio de que o erro de previsão esperado se decompõe em viés, o erro de um modelo ser muito simples para capturar a verdade, e variância, o erro de um modelo ser muito sensível à amostra de treinamento particular, com a complexidade do modelo movendo o erro entre os dois.

Scope

Este tópico aborda a decomposição do erro de previsão esperado em viés, variância e ruído irredutível; o significado de overfitting e underfitting; e o papel da regularização na mudança do equilíbrio. Ele também cobre a curva de erro clássica em forma de U e observações recentes de dupla descida em modelos fortemente superparametrizados.

Core questions

• Como o erro esperado se decompõe em viés, variância e ruído?
• O que caracteriza o overfitting versus o underfitting?
• Como a regularização altera o equilíbrio viés-variância?
• Por que modelos muito flexíveis podem, por vezes, generalizar apesar da alta capacidade?

Key theories

Decomposição viés-variância

Para a perda de erro quadrático, o erro esperado se divide em viés quadrático, variância e ruído irredutível, explicitando como as suposições simplificadoras reduzem a variância ao custo do viés e vice-versa.

Overfitting e regularização

O overfitting ocorre quando um modelo captura ruído em vez de sinal; a regularização penaliza a complexidade para reduzir a variância, trocando um pequeno aumento no viés por uma maior diminuição na variância.

Além do trade-off clássico

Em regimes muito superparametrizados, o erro pode diminuir novamente após o ponto de interpolação, o fenômeno da dupla descida, complicando a imagem clássica de uma única curva em forma de U.

Clinical relevance

O trade-off viés-variância é o cerne prático do ajuste de modelos, guiando as escolhas de tamanho do modelo, força de regularização e contagem de características para minimizar o erro em novos dados; diagnosticar se um modelo está em underfitting ou overfitting é uma etapa rotineira e essencial na aprendizagem de máquina aplicada.

History

A decomposição viés-variância foi articulada para redes neurais e aprendizado por Geman e colegas por volta de 1992 e tornou-se uma lente padrão em estatística e aprendizado de máquina. A teoria da regularização formalizou o controle da complexidade, e as recentes descobertas de dupla descida levaram a um reexame do trade-off para modelos superparametrizados modernos.

Key figures

• Stuart Geman
• Trevor Hastie
• Christopher Bishop

Seminal works

• hastie2009
• bishop2006
• geman1992

Frequently asked questions

Qual é a diferença entre overfitting e underfitting?

Underfitting ocorre quando um modelo é muito simples para capturar o padrão subjacente, resultando em alto viés e baixo desempenho mesmo nos dados de treinamento. Overfitting ocorre quando um modelo é tão flexível que se ajusta ao ruído nos dados de treinamento, resultando em alta variância e baixo desempenho em novos dados.

Como a regularização ajuda?

A regularização adiciona uma penalidade à complexidade do modelo, desencorajando parâmetros extremos ou numerosos. Isso reduz a variância, geralmente ao custo de um pequeno aumento no viés, e assim diminui o erro total em dados não vistos quando a complexidade seria, de outra forma, muito alta.