Марковские процессы
Марковский процесс — это случайная эволюция, будущее которой не зависит от ее прошлого при условии знания ее текущего состояния. Эта структура без памяти делает аналитически разрешимым огромный спектр стохастических систем.
Definition
Марковский процесс — это стохастический процесс, обладающий свойством Маркова, согласно которому условное распределение будущего при условии знания всего прошлого зависит только от текущего состояния, так что процесс развивается посредством вероятностей перехода между состояниями.
Scope
Эта область охватывает дискретные цепи Маркова на счетных пространствах состояний с их матрицами перехода, классификацию состояний и возвратность, пуассоновский процесс и его роль как канонической модели случайных поступлений, непрерывные цепи Маркова с их генераторами и прямыми и обратными уравнениями Колмогорова, а также долгосрочную теорию стационарных распределений, эргодичности и сходимости к равновесию.
Sub-topics
Core questions
- Что означает свойство Маркова и почему оно делает процесс разрешимым?
- Как состояния цепи классифицируются на переходные и возвратные, и что управляет возвратом в состояние?
- Как непрерывные марковские процессы описываются генераторами и уравнениями Колмогорова?
- Когда марковский процесс устанавливается в стационарном распределении и как быстро?
Key theories
- Свойство Маркова и ядра перехода
- Обусловленность настоящим делает будущее независимым от прошлого, поэтому динамика полностью кодируется вероятностями перехода, а многошаговые переходы составляются уравнениями Чепмена-Колмогорова, что дает четкое алгебраическое описание эволюции.
- Сходимость к стационарному распределению
- Неприводимая, апериодическая, положительно-возвратная цепь Маркова имеет единственное стационарное распределение, к которому сходится распределение состояния из любого начального положения — это эргодическая теорема, лежащая в основе методов Монте-Карло на основе цепей Маркова и анализа очередей.
Clinical relevance
Марковские процессы моделируют огромное количество прикладных систем: очереди и колл-центры, динамику популяций и эпидемий, последовательности генов и ионные каналы, алгоритмы ранжирования, такие как PageRank, и методы Монте-Карло на основе цепей Маркова, которые лежат в основе современных байесовских вычислений и моделирования в статистической физике.
History
Андрей Марков ввел цепи с зависимыми переходами в 1906 году, чтобы распространить закон больших чисел на зависимые последовательности. Колмогоров и Феллер разработали теорию непрерывного времени с ее дифференциальными уравнениями для вероятностей перехода, а Дуб поместил эту тему в теоретико-мерную основу стохастических процессов.
Key figures
- Andrey Markov
- Andrey Kolmogorov
- Joseph L. Doob
- William Feller
Related topics
Seminal works
- norris1997
Frequently asked questions
- Что такое свойство Маркова простыми словами?
- Это отсутствие памяти: чтобы предсказать будущее процесса, нужно знать только его текущее состояние, а не путь, по которому он к нему пришел; настоящее отсекает прошлое от будущего.
- Почему марковские процессы так широко используются?
- Их структура без памяти делает их аналитически и вычислительно разрешимыми, при этом они способны улавливать подлинную случайность и зависимость во времени, поэтому они служат стандартной динамической моделью в науке, инженерии и вычислениях.