マルコフ過程とは、「次に起こる事象の確率が、現在の状態に至るまでの経過とは関係なく、現在の状態によってのみ決定される確率過程」のことである。次に起こる事象の確率が、ただひとつの過程から決定される場合を特に単純マルコフ過程と呼ぶ。
例:次の表は、ある地方の天気の移り変わりを示したものである。
翌日晴れ | 翌日くもり | 翌日雨 | |
晴れ | 40 | 40 | 20 |
くもり | 30 | 40 | 30 |
雨 | 30 | 50 | 20 |
例えば、晴れの翌日の天気は40%の確率で晴れ、40%の確率でくもり、20%の確率で雨であることを示している。この天気の移り変わりが単純マルコフ過程であると考えたときに、雨の日の2日後が晴れである確率は何%だろうか?
「雨→晴れ→晴れ」(0.3×0.4)、「雨→くもり→晴れ」(0.5×0.3)、「雨→雨→晴れ」(0.2×0.3)の3パターンが考えられる。加法定理より、それらを加えればよい。よって、(雨の日の2日後が晴れである確率)=0.33=33%と求められる。