马尔科夫过程模型使用概率分析来研究一个系统随着反复实验而演变。每次实验都有一个有限数量的可能状态，比如一段特定期间内一个机器正常运转的概率。马尔科夫分析的主要目的是在很长的一段时期内获得每种可能状态的概率。