Απόκλιση Kullback-Leibler
Η απόκλιση Kullback-Leibler, γνωστή και ως σχετική εντροπία ή απόκλιση πληροφορίας, μετρά την ασύμμετρη διαφορά μεταξύ δύο κατανομών πιθανότητας. Παρουσιάστηκε από τους Solomon Kullback και Richard Leibler το 1951, αυτό το μέτρο θεωρίας πληροφορίας ποσοτικοποιεί πόσο μια κατανομή πιθανότητας αποκλίνει από μια κατανομή αναφοράς, κυμαινόμενο από 0 (ταυτόσημες κατανομές) έως άπειρο. Αποτελεί θεμέλιο στην θεωρία πληροφορίας, τη μηχανική μάθηση και τη λήψη αποφάσεων με πιθανοτικά πλαίσια.
Διαβάστε ολόκληρη τη μέθοδο
Συνδεθείτε με δωρεάν λογαριασμό για να διαβάσετε αυτή την ενότητα.
Χάρτης μεθόδων
Η γειτονιά των σχετιζόμενων μεθόδων — επιλέξτε έναν κόμβο για εξερεύνηση.
Πηγές
- Kullback, S., & Leibler, R. A. (1951). On information and sufficiency. Annals of Mathematical Statistics, 22(1), 79-86. DOI: 10.1214/aoms/1177729694 ↗
- Cover, T. M., & Thomas, J. A. (1991). Elements of Information Theory. Wiley-Interscience. DOI: 10.1002/0471200611 ↗
Πώς να παραπέμψετε σε αυτή τη σελίδα
ScholarGate. (2026, June 3). Kullback-Leibler Information Divergence. ScholarGate. https://scholargate.app/el/decision-making/kullback-leibler-divergence
Ποια μέθοδος;
Τοποθετήστε αυτή τη μέθοδο δίπλα στις πιο συγγενείς της και διαβάστε τις παράλληλα — η βιβλιοθήκη απλώνει τα βιβλία στο τραπέζι· η επιλογή είναι δική σας.
- Απόσταση HellingerΛήψη Αποφάσεων↔ σύγκριση
- Απόκλιση Jensen-ShannonΛήψη Αποφάσεων↔ σύγκριση
Αναφέρεται από
Εντοπίσατε πρόβλημα σε αυτή τη σελίδα; Αναφέρετέ το ή προτείνετε διόρθωση →