Cadenas de Markov de Tiempo Discreto
Una cadena de Markov de tiempo discreto es una secuencia de estados aleatorios que evolucionan en tiempo entero, de modo que la distribución del siguiente estado depende solo del estado actual, no del pasado completo.
Definition
Una cadena de Markov de tiempo discreto es un proceso estocástico en un espacio de estados contable indexado por los enteros no negativos, cuya distribución condicional del siguiente estado, dada toda la historia, depende solo del estado presente, codificada por una matriz de probabilidad de transición de un solo paso.
Scope
Esta área cubre la propiedad de Markov y las matrices de transición, la clasificación de estados por comunicación, recurrencia, transitoriedad y periodicidad, la existencia y unicidad de distribuciones estacionarias y límites, las tasas de convergencia y mezcla, y las principales aplicaciones, incluyendo Monte Carlo de cadena de Markov y modelos ocultos de Markov.
Sub-topics
Core questions
- ¿Qué significa la propiedad de Markov y cómo se captura mediante una matriz de transición?
- ¿Cómo se clasifican los estados en clases recurrentes, transitorias y periódicas?
- ¿Cuándo posee una cadena una distribución estacionaria única y converge a ella?
- ¿Qué tan rápido se aproxima una cadena al equilibrio y cómo se explota esto en la simulación?
Key theories
- Propiedad de Markov y ecuaciones de Chapman-Kolmogorov
- El futuro es condicionalmente independiente del pasado dado el presente, por lo que las probabilidades de transición de múltiples pasos se obtienen multiplicando matrices de transición, lo que hace que el comportamiento de n pasos sea computable a partir de la matriz de un solo paso.
- Teorema ergódico para cadenas de Markov
- Una cadena irreducible, aperiódica y recurrente positiva tiene una distribución estacionaria única a la que converge la distribución marginal y contra la cual los promedios temporales de las funciones convergen casi con seguridad, vinculando las frecuencias a largo plazo con la ley estacionaria.
Clinical relevance
Las cadenas de Markov de tiempo discreto modelan paseos aleatorios, instantáneas de colas, genética de poblaciones, algoritmos de clasificación como PageRank y transiciones de estado económico; su teoría de convergencia sustenta el método de Monte Carlo de cadena de Markov, la técnica computacional dominante para el muestreo de distribuciones de probabilidad complejas en estadística, física y aprendizaje automático.
History
Andrey Markov introdujo cadenas con transiciones dependientes pero sin memoria en 1906 para extender la ley de los grandes números más allá de la independencia, ilustrándolas con secuencias de letras en la poesía de Pushkin. Kolmogorov y Doeblin sentaron las bases rigurosas de la teoría de la convergencia en la década de 1930, utilizando fundamentos de la teoría de la medida.
Key figures
- Andrey Markov
- Andrey Kolmogorov
- Wolfgang Doeblin
Related topics
Seminal works
- norris1997
Frequently asked questions
- ¿Qué hace que un proceso sea una cadena de Markov?
- La propiedad de Markov: dado el estado presente, la evolución futura es independiente de cómo la cadena llegó a ese estado, por lo que toda la dinámica se describe mediante probabilidades de transición de un solo paso.
- ¿Cuándo converge una cadena de Markov a una distribución única a largo plazo?
- Cuando es irreducible, aperiódica y recurrente positiva; entonces existe una única distribución estacionaria a la que converge la cadena, independientemente de su estado inicial.