Limites de Generalização

Os limites de generalização fornecem garantias probabilísticas sobre o quanto o erro verdadeiro de um modelo pode exceder seu erro de treinamento, em termos de tamanho da amostra e capacidade do modelo.

Definition

Um limite de generalização é uma desigualdade que afirma que, com alta probabilidade sobre a amostra de treinamento aleatória, o erro verdadeiro de um modelo aprendido é no máximo seu erro de treinamento mais um termo que cresce com a capacidade do modelo e diminui com o tamanho da amostra, certificando o quanto o modelo pode ser confiável em dados não vistos.

Scope

Este tópico abrange os limites teóricos da generalização: limites de convergência uniforme baseados na dimensão de Vapnik-Chervonenkis, medidas de complexidade como a complexidade de Rademacher, limites baseados em margem e a noção de complexidade de amostra provavelmente aproximadamente correta. Ele aborda como esses limites dependem do tamanho e da capacidade dos dados e por que eles tendem a ser frouxos na prática.

Core questions

• Como o erro verdadeiro é limitado em termos de erro de treinamento e capacidade?
• Como o limite melhora à medida que a amostra cresce?
• Quais medidas de complexidade aparecem nos limites modernos?
• Por que os limites de generalização são frequentemente frouxos para modelos reais?

Key theories

Limites de convergência uniforme

Limites baseados na dimensão de Vapnik-Chervonenkis garantem que, com alta probabilidade, o erro de treinamento aproxima o erro verdadeiro uniformemente sobre a classe de modelos, com a lacuna diminuindo como a raiz quadrada do tamanho da amostra sobre a capacidade.

Limites baseados em margem e complexidade

Refinamentos usando a margem de classificação ou a complexidade de Rademacher fornecem limites mais apertados e dependentes de dados que explicam melhor o sucesso de classificadores de grande margem.

Complexidade da amostra

Os limites se traduzem em complexidade da amostra, o número de exemplos necessários para aprender com uma precisão e confiança alvo, tornando explícitos os requisitos de dados do aprendizado.

Clinical relevance

Os limites de generalização fornecem a garantia formal por trás da promessa central do aprendizado de máquina, de que o ajuste de dados leva à previsão em novos dados, e eles motivam a regularização e o controle de capacidade; embora geralmente muito frouxos para prever o erro exato, eles capturam a dependência qualitativa do tamanho e da complexidade dos dados que orienta a prática.

History

Os primeiros limites gerais vieram dos resultados de convergência uniforme de Vapnik e Chervonenkis, posteriormente aprimorados por análises baseadas em margem e complexidade de Rademacher. O framework provavelmente aproximadamente correto reformulou-os como declarações de complexidade de amostra, e trabalhos recentes buscam limites que expliquem a generalização de modelos fortemente superparametrizados.

Key figures

• Vladimir Vapnik
• Alexey Chervonenkis
• Peter Bartlett

Seminal works

• vapnik1971
• vapnik1995
• hastie2009

Frequently asked questions

O que um limite de generalização lhe diz?

Ele diz que, com alta probabilidade, o erro do modelo em dados não vistos não excederá seu erro de treinamento em mais do que uma quantidade que depende da complexidade da classe de modelos e da quantidade de dados utilizados. Mais dados e menor capacidade apertam a garantia.

Por que esses limites são frequentemente muito frouxos para serem usados diretamente?

Os limites clássicos são de pior caso e independentes da distribuição, então eles valem para qualquer distribuição de dados e qualquer modelo na classe. Essa generalidade os torna pessimistas, muitas vezes prevendo lacunas de erro muito maiores do que as observadas na prática, então eles são usados mais para insight do que para números exatos.