Methodenbewijsdossier

Model Calibration

Model calibration is a post-hoc technique that adjusts the probability outputs of a trained classifier so that predicted confidence scores match empirical outcome frequencies. A classifier is said to be perfectly calibrated if, among all predictions made with confidence p, exactly a fraction p of them are correct. Systematic miscalibration of modern deep neural networks was rigorously documented by Guo et al. (2017), who showed that networks trained with standard cross-entropy loss tend to be overconfident, and proposed temperature scaling as a simple, effective remedy.

Sources recorded, not reviewed

Bronrecord

Citaten letterlijk overgenomen uit het bronrecord van de methode. Hieruit wordt geen verificatie op claimniveau afgeleid.

Probability Calibration of Classifiers

Taxonomisch methodendossier · ml-model / machine-learning

Guo, C., Pleiss, G., Sun, Y., & Weinberger, K. Q. (2017). On calibration of modern neural networks. International Conference on Machine Learning, 1321–1330. · URL

Volledige methode openen

Gecureerde claims

Claims opgeslagen in het bewijsregister, elk met zijn eigen beoordeling.

Nog geen gecureerde claims

Deze weergave verzint geen claimbeoordeling als het register er geen heeft.

Gerelateerde methoden

Gegenereerd uit de methodegraaf en getoond als machinaal voorgestelde relaties — er wordt geen bewijsclaim afgeleid.

Taxonomic bucketConformal Predictionmachine-suggested · Relational suggestion, not evidence.See alsoLogistic Regressionmachine-suggested · Relational suggestion, not evidence.See alsoUncertainty Quantificationmachine-suggested · Relational suggestion, not evidence.