Bayes'sche Netze

Ein Bayes'sches Netz ist ein gerichteter azyklischer Graph, dessen Knoten Zufallsvariablen sind und dessen Kanten bedingte Abhängigkeiten kodieren, was eine kompakte Darstellung einer gemeinsamen Wahrscheinlichkeitsverteilung ermöglicht.

Definition

Ein Bayes'sches Netz ist ein probabilistisches grafisches Modell, das aus einem gerichteten azyklischen Graphen über Zufallsvariablen zusammen mit einer bedingten Wahrscheinlichkeitsverteilung für jede Variable, gegeben ihre Eltern, besteht, die gemeinsam eine vollständige Verteilung über alle Variablen definieren.

Scope

Dieses Thema behandelt die Struktur und Semantik von Bayes'schen (Glaubens-)Netzen: den gerichteten azyklischen Graphen, lokale bedingte Wahrscheinlichkeitsverteilungen, die Kettenregel-Faktorisierung der gemeinsamen Verteilung und die von ihnen kodierten Unabhängigkeitsbeziehungen (die Markov-Bedingung und d-Separation). Es wird erläutert, wie ein Netz als Modell bedingter Unabhängigkeit gelesen wird und wie es eine exponentiell große Verteilung kompakt speichert. Inferenzalgorithmen über diese Netze werden im verwandten Thema der probabilistischen Inferenz behandelt, und das Lernen ihrer Struktur oder Parameter aus Daten gehört zum Unterfeld des maschinellen Lernens.

Core questions

• Wie spezifiziert ein gerichteter azyklischer Graph plus lokale bedingte Verteilungen eine vollständige gemeinsame Verteilung?
• Welche bedingten Unabhängigkeitsbeziehungen kodiert die Struktur des Netzes?
• Wie bestimmt die d-Separation, ob zwei Variablen gegeben beobachtete Evidenz unabhängig sind?
• Warum benötigt die faktorisierte Darstellung weitaus weniger Zahlen als die vollständige gemeinsame Verteilung?

Key concepts

• gerichteter azyklischer Graph
• bedingte Wahrscheinlichkeitstabellen
• Kettenregel-Faktorisierung
• Markov-Bedingung
• d-Separation
• Eltern und Nachkommen
• kompakte gemeinsame Verteilung
• grafisches Modell

Key theories

Faktorisierung über die Markov-Bedingung

Ein Bayes'sches Netz besagt, dass jede Variable bedingt unabhängig von ihren Nicht-Nachkommen ist, gegeben ihre Eltern, sodass die gemeinsame Verteilung in das Produkt der bedingten Verteilung jeder Variablen, gegeben ihre Eltern, faktorisiert wird, was eine enorme Einsparung an Parametern mit sich bringt.

d-Separation und Unabhängigkeit

Das grafische Kriterium der d-Separation liest bedingte Unabhängigkeiten direkt aus der Netzstruktur ab und charakterisiert genau, welche Unabhängigkeitsaussagen vom Graphen impliziert werden, unabhängig von den numerischen Parametern.

Glaubensnetze als plausible Inferenz

Pearls Glaubensnetzwerk-Framework zeigte, wie lokale bedingte Wahrscheinlichkeiten und Nachrichtenübermittlung eine kohärente plausible Inferenz erfassen und gerichtete grafische Modelle als ein fundiertes und praktisches Werkzeug zur Darstellung unsicheren Wissens etablierten.

Clinical relevance

Bayes'sche Netze werden für die medizinische Diagnose, Fehler- und Risikoanalyse, Sensorfusion, genregulatorische und andere biologische Netzwerkmodellierung sowie zur Entscheidungsunterstützung eingesetzt, da sie komplexe probabilistische Abhängigkeiten explizit machen und die Ausbreitung von Evidenz ermöglichen, um Überzeugungen über unbeobachtete Variablen zu aktualisieren.

History

Bayes'sche Netze wurden in den 1980er Jahren von Judea Pearl als grafischer Formalismus für plausible Inferenz entwickelt und in seinem Buch von 1988 vollständig dargelegt. Sie vereinten frühere probabilistische und grafische Ideen, wurden zum kanonischen gerichteten grafischen Modell und wurden später in der Literatur zu probabilistischen grafischen Modellen erweitert und systematisiert.

Key figures

• Judea Pearl
• Daphne Koller
• Nir Friedman
• David Heckerman

Seminal works

• pearl1986
• pearl1988

Frequently asked questions

Warum sind Bayes'sche Netze kompakter als eine vollständige gemeinsame Verteilung?

Eine vollständige gemeinsame Verteilung über n binäre Variablen benötigt etwa 2^n Zahlen. Ein Bayes'sches Netz speichert für jede Variable nur ihre Wahrscheinlichkeit, gegeben ihre Eltern. Wenn jede Variable nur wenige Eltern hat, wächst die Gesamtzahl der Parameter daher ungefähr linear statt exponentiell mit der Anzahl der Variablen.

Was sagt die d-Separation aus?

Die d-Separation ist ein grafischer Test, der allein aus der Netzstruktur bestimmt, ob zwei Mengen von Variablen bedingt unabhängig sind, gegeben eine dritte Menge von beobachteten Variablen. Sie ermöglicht es, Unabhängigkeitsbeziehungen aus dem Graphen abzulesen, ohne die tatsächlichen Wahrscheinlichkeitswerte zu untersuchen.