马尔可夫过程 (Markov Process)
马尔可夫过程(Markov Process)是一类特定的随机过程,其特征是无记忆性(Markov Property),即系统的未来状态仅依赖于当前状态,而与过去的历史无关。简而言之,给定当前状态,系统未来的发展不受过去的影响。
马尔可夫过程的定义
假设有一个随机过程,其中每个状态可以表示为 ( X_t )(时间 ( t ) 的状态)。如果这个过程满足“无记忆性”的性质,即
[ P(X_{t+1} = x | X_t = x_t, X_{t-1} = x_{t-1}, \dots, X_0 = x_0) = P(X_{t+1} = x | X...