马氏链与转移函数
我们已经在第二章的最后看到了马氏性的定义，即\(\rm \mathbb{P}^x(X_{n+1}=y|X_i=x_i,0\leq i\leq
n)=\mathbb{P}(X_{n+1}=y|X_n=x_n)\)，也就是只依赖于现在的位置。另一方面，概率\(\rm\mathbb{P}(X_{n+1}=y|X_n=x_n)\)也可能与时间\(\rm n\)有关，而如果事实上这个概率与\(\rm
n\)无关，我们就说这个随机序列具有时间齐性。
定义 一个满足时间齐性和马氏性的随机序列称为马氏链。
容易看到马氏链的性质其实只跟转移机制有关。\(\forall \rm x,y\in E\)令
\[\rm
p_{x,y}=p(x,y):=\mathbb{P}(X_{n+1}=y|X_n=x)\]
由于时间齐性，这是良定的，直观地叫做从\(\rm
x\)转移到\(\rm
y\)地概率。这样给出地\(\rm
p\)是\(\rm E\times
E\)上的函数，满足
（1）\(\rm
p(x,y)\geq 0\)
（2）\(\rm
\sum_{y\in E}p(x,y)=1\)
这样的一个函数\(\rm p\)称为\(\rm
E\)上的转移函数或者转移概率，它也可以看作一个转移矩阵，作为矩阵是它的每一行元素和为1。由乘法公式，马氏链的有限维分布写作
\[\rm \mathbb{P}(X_i=x_i,0\leq i\leq
n)=\mu_{x_0}p(x_0,x_1)\cdots p(x_{n-1},x_n)\] 其中\(\rm \mu_{x_0}=\mathbb{P}(X_0=x_0)\)
这也就是说，有限维分布由转移概率和初始分布完全决定。我们希望和简单随机游动一样有一族概率\(\rm \mathbb{P}^x\)使得\(\rm X\)在它之下是\(\rm
x\)出发的具有相同转移机制的马氏链。如果有\(\rm \mathbb{P}(X_0=x)\gt 0\)，取概率为\(\rm
\mathbb{P}^x(\mathcal{A})=\mathbb{P}(\mathcal{A}|X_0=x),\mathcal{A}\in\mathcal{F}\)，这个概率满足我们的要求。但当\(\rm \mathbb{P}(X_0=x)=
0\)时，这种方法就失效了。进一步地，如果我们抛去概率空间和马氏链，是否能从任一转移函数反向构造满足我们要求的马氏链呢？这是Kolmogorov相容性定理的内容，限于篇幅不过多展开。我们在下面的讨论中默认这一事实，即
定理4.1.1 给定\(\rm
E\)上一个转移函数\(\rm (p(x,y):x,y\in
E)\)，存在一个可测空间\((\Omega,\mathcal{F})\)，随机序列\(\rm X=\{X_n:n\geq 0\}\)与一族概率\(\rm (\mathbb{P}^x),x\in E\)满足：
\[\rm \mathbb{P}(X_i=x_i,0\leq i\leq
n)=1_{\{X_0=x\}}p(x_0,x_1)\cdots p(x_{n-1},x_n)\]
我们称上面定理中的随机序列和概率族是该转移函数对应的马氏链。
马氏链的存在非常直观，就是在一个空间\(\rm
E\)上一只青蛙以某种规律跳动。结合第二章中的内容，我们不妨样本空间为轨道空间，于是在这种情况下，状态空间为\(\rm
E\)的一个随机序列就是该样本空间上的一个概率测度。
另外我们刚刚看到的马氏链的两个定义是相通的，而后一个比前一个更一般。具体来说，抽取第一个定义中的初始分布\((\rm\mu_x)\)与转移机制\(\rm
p\)，得到后一个定义中的新马氏链，然后令
\[\mathbb{P}^\mu:=\rm \sum_{x\in
E}\mu_x\mathbb{P}^x\] 则新构造的马氏链与原先的同分布。
同样参考前面第二章中关于马氏性和强马氏性的证明依次得到
定理4.1.2 任何非负或有界的随机变量\(\rm Y,n\geq 0,x\in E\)
\[\rm \mathbb{E}^x(Y\circ
\theta_n|\mathcal{F}_n)=\mathbb{E}^{X_n}(Y)\]
定理4.1.3 设\(\tau\)是一个停时，则\(\rm \forall B\in\mathcal{F},x\in E\)有
\[\rm\mathbb{E}^x(1_B\circ
\theta_{\tau};\tau\lt\infty|\mathcal{F}_\tau)=\mathbb{E}^{X_\tau}(1_B)1_{\{\tau\lt\infty\}}\]
下面我们主要讨论转移函数的性质。现在给定转移函数\((\rm p_{x,y})\)与对应的马氏链，\(\rm X=(X_n),(\mathbb{P}^x)\)；记\(\rm n\)步转移概率\(\rm
p^{(n)}_{x,y}:=\mathbb{P}^x(X_n=y),n\geq0,x,y\in E\)显然\(\rm
p^{(0)}_{x,y}=1_{\{x=y\}},p^{(1)}=p\)；事实上\(\rm p^{(n)}\)并不难刻画
引理4.1.4 （Chapman-Kolmogorov）\(\rm\forall n,m\geq 0,x,y\in E\)有
\[\rm p_{x,y}^{(n+m)}=\sum_{z\in
E}p^{(n)}_{x,z}p^{(m)}_{z,y}\] 也即是作为转移矩阵的\(\rm p^{(n)}=p^n\)
定义
设\(\rm x,y\in E\)如果存在\(\rm n\geq0,p^{(n)}_{x,y}\gt 0\)则称\(\rm x\)可达\(\rm
y\)，直观上即可以到达；如果\(\rm
x\)可达\(\rm y\)且\(\rm y\)可达\(\rm
x\)，则称\(\rm
x,y\)互达。称马氏链\(\rm
X\)不可分，如果任何两个状态可以互达。
事实上结合引理4.1.4，自然可以推出互达的反身性，对称性和传递性，于是事实上互达是一个等价关系。也就是说，我们可以按互达将\(\rm
E\)划分为若干等价类，“不可分”即只有一个等价类。
接下来还是研究马氏链的首中时。对\(\rm y\in
E\)令\(\rm
\tau_y=\inf\{n\geq1:X_n=y\}\)（约定\(\inf\emptyset =\infty\)）称为状态\(\rm y\)的首中时。容易验证\(\rm \tau_y\)是一个停时。对\(\rm n\geq 0\)，令\(\rm
f^{(n)}_{x,y}:=\mathbb{P}^x(\tau_y=n)\)显然\(\rm f^{(n)}_{x,y}\leq
p^{(n)}_{x,y}\)于是结合马氏性和之前关于首达概率公式的证明，自然有
定理4.1.5 对\(\rm
n\geq1,x,y\in E\)有
\[\rm
p^{(n)}_{x,y}=\sum^n_{k=1}f^{(k)}_{x,y}p^{(n-k)}_{y,y}\]
再定义\(\rm
f_{x,y}:=\mathbb{P}^x(\tau_x\lt\infty)=\sum_{n\geq1}f^{(n)}_{x,y}\)是过程从\(\rm x\)经有限步抵达\(\rm y\)的概率。
常返态与暂留态
在这一节中我们试图将简单随机游动中的首次返回时结果迁移过来。具体来说，我们想判断从某一点开始的首次返回时不为\(\infty\)的概率有多大。
定义 一个状态\(\rm x\in
E\)被称为常返的，如果\(\rm
x\)出发以概率\(1\)回到\(\rm x\)，即\(\rm
f_{x,x}=1\)，否则称其为暂留。如果所有状态常返，则称该马氏链常返，同理如果所有状态暂留，则称马氏链暂留。
接下来我们研究第\(\rm
k\)次返回的时间。对\(\rm y\in
E\)
\[\rm
\tau^{(0)}:=0,\tau_y^{(k)}:=\tau_y+\tau_y^{(k-1)}\circ\theta_{\tau_y},k\geq1\]
根据推移算子的性质，这里的\(\rm
\tau_y^{(k)}\)即为第\(\rm
k\)次访问\(\rm
y\)的时间，为停时。根据强马氏性：
\[
\begin{align*}
\rm\mathbb{P}^x(\tau_y^{(k)}\lt\infty)&=\rm\mathbb{P}^x(\tau_y\lt\infty;\,\tau_y^{(k-1)}\circ\theta_{\tau_y}\lt\infty)\\
&=\rm\mathbb{E}^x(\mathbb{P}^{X_{\tau_y}}(\tau_y^{(k-1)}\lt\infty);\tau_y\lt\infty)\\
&=\rm
f_{x,y}\mathbb{P}^y(\tau_y^{(k-1)}\lt\infty)=\cdots=f_{x,y}f_{y,y}^{k-1}
\end{align*}
\] 引理4.2.1 \(\rm\forall x,y\in E,k\geq1\)有
\[\rm\mathbb{P}^x(\tau_y^{(k)}\lt\infty)=f_{x,y}f_{y,y}^{k-1}\]
我们基于此进一步刻画常返和暂留：
定理4.2.2
我们有以下常返和暂留的等价条件：
（1）状态\(\rm x\)常返\(\iff\rm\mathbb{P}^x(\overline{\lim}_n\{X_n=x\})=1\iff\sum_np^{(n)}_{x,x}=\infty\)
（2）状态\(\rm x\)暂留\(\iff\rm\mathbb{P}^x(\overline{\lim}_n\{X_n=x\})=0\iff\sum_np^{(n)}_{x,x}\lt\infty\)
证明 在上述引理中令\(\rm
y=x\)于是
\[
\begin{equation*}
\rm\mathbb{P}^x(\overline{\lim}_n\{X_n=x\})=lim_kf_{x,x}^k=\left\{
\begin{aligned}
0\quad \rm f_{x,x}\lt 1\\
1\quad \rm f_{x,x}=1\\
\end{aligned}
\right
.
\end{equation*}
\] 于是只需证明\(\rm f_{x,x}\lt
1\iff\sum_np_{x,x}^{(n)}\lt\infty\)结合首达概率公式和数列变形即得。
我们进一步地将这个结果推广到互达情况下。
定理4.2.3 如果\(\rm x,y\in
E\)互达，则下列两者之一成立：
（1）\(\rm x,y\)都常返，\(\rm\mathbb{P}^x(\overline{\lim}_n\{X_n=y\})=1,\sum_np^{(n)}_{x,y}=\infty\)
（2）\(\rm x,y\)都暂留，\(\rm\mathbb{P}^x(\overline{\lim}_n\{X_n=y\})=0,\sum_np^{(n)}_{x,y}\lt\infty\)
证明 我们依次证明两个性质。首先如果\(\rm x,y\)互达，存在\(\rm i,j\geq1\)使得\(\rm p^{(i)}_{x,y}\cdot p^{(j)}_{y,x}\gt
0\)而\(\rm \forall n\geq1\)
\[\rm p^{(i+n+j)}_{x,x}\geq
p_{x,y}^{(i)}p^{(n)}_{y,y}p^{(j)}_{y,x},p^{(i+n+j)}_{y,y}\geq
p_{x,y}^{(i)}p^{(n)}_{x,x}p^{(j)}_{y,x}\]
于是结合定理4.2.2我们得到\(\rm
x,y\)都是暂留的或者都是常返的。再根据首达概率公式
\[
\begin{align*}
\rm \sum_{n=1}^\infty p^{(n)}_{x,y}&=\rm
\sum^\infty_{n=1}\sum_{k=1}^nf^{(k)}_{x,y}p^{(n-k)}_{y,y}\\
&=\rm \sum^\infty_{k=1}f^{(k)}_{x,y}\sum_{n=k}^\infty
p^{(n-k)}_{y,y}\\
&=\rm f_{x,y}\sum_{n=1}^\infty p^{(n)}_{y,y}
\end{align*}
\] 于是其在\(\rm
y\)常返时为无限，否则有限。再由引理4.2.1
\[\rm\mathbb{P}^x(\overline{\lim}_n\{X_n=y\})=f_{x,y}\rm\mathbb{P}^x(\overline{\lim}_n\{X_n=y\})\]
所以实质上只需验证在\(\rm
y\)常返时有\(\rm f_{x,y}=1\)
具体思路是基于一个基本的观察——\(\rm
y\)常返时从直观上来说从\(\rm
y\)出发会无穷多次访问\(\rm
y\)，即\(\rm
\mathbb{P}^y(\tau_y\circ\theta_k\lt\infty)=1\)，在此基础上用马氏性得到
\[\rm
p_{y,x}^{(k)}=\mathbb{P}^y(X_k=x)=\mathbb{P}^y(X_k=x,\tau_y\circ\theta_k\lt\infty)=\mathbb{E}^y(\mathbb{P}^{X_k}(\tau_y\lt\infty);X_k=x)=f_{x,y}p_{y,x}^{(k)}\]
结合\(\rm y\)可达\(\rm x\)即得结论。
基于上述结论。我们直接得到
推论4.2.4 如果\(\rm y\)常返且\(\rm y\)可达\(\rm
x\)，则\(\rm x\)可达\(\rm y\)
同时定理断言两个互达状态都常返或者都暂留，属于同一类，这种性质叫做类性质。
接下来我们来研究更一般的对称简单随机游动，即在\(\rm
d\)维网格上的对称简单随机游动。事实上，我们可以有如下定理：
定理4.2.5 （Polya）\(\rm
d\)-维对称简单随机游动当\(\rm
d=1,2\)时常返，\(\rm d\geq
3\)时暂留。
具体证明略去，证明思路是依次证明\(\rm d=2\)常返，\(\rm d=3\)暂留，然后证明\(\rm
\mathbb{P}^0(\tau^{(d+1)}\lt\infty)\leq\mathbb{P}^0(\tau^{(d)}\lt\infty)\)（通过投影），进而得出结论。
接下来我们想要把一个马氏链成几个分支，之前我们看到互达是等价关系，但互达等价类不是好的分类，因为分类间仍会相连，无法把转移函数限制在分支上使其仍为转移函数。
定义 设\(\rm
(p_{x,y})\)为\(\rm
E\)上转移函数
1. 子集\(\rm C\subset
E\)是闭的，如果\(\rm \forall x\in
C,\sum_{y\in C}p_{x,y}=1\)
2. 两个状态\(\rm x,y\)称为相邻的如果\(\rm p_{x,y}\gt 0\)或\(\rm
p_{y,x}\gt0\)；称为连通的，如果存在\(\rm
x=x_0,x_1,\cdots,x_n=y\)依次相邻。连通分支指一个连通等价类。
正常返和遍历性
常返指首中时有限，为了进一步区分常返的类型，我们引入正常返和零常返的概念。
定义 设状态\(\rm
y\)为常返的，称它为正常返的，如果平均回转时间有限，即
\[\rm\mathbb{E}^y(\tau_y)=\sum_{n\geq1}nf_{y,y}^{(n)}\lt\infty\]
否则称\(\rm y\)为零常返。
一般来说，一个周期地发生的事件，平吕等于周期的倒数。当\(\rm x\)是常返时，访问\(\rm
x\)差不多就是一个周期事件，所以其频率应该时周期的倒数，也即单位时间访问\(\rm
x\)的次数应该与平均回转时间的倒数差不多。我们给出以下定理，且显然这个定理在\(\rm x\)暂留时也成立
定理4.3.1 对常返态\(\rm x\in
E\)，有
\[\rm lim_n {1\over
n}\sum_{k=1}^n 1_{\{X_k=x\}}=lim_n {1\over
n}\sum_{k=1}^np_{x,x}^{(k)}={1\over \mathbb{E}^x\tau_x}\]
其中第一个极限是\(\rm
\mathbb{P}^x\)几乎处处意义下的。右边的量记作\(\rm\mu_x\)，分母为无穷时等于0
证明 令\(\rm
S_n:=\sum_{k=1}^n 1_{\{X_k=x\}}\)，是\(1\)到\(\rm
n\)时刻\(\rm X\)访问\(\rm x\)的次数，那么自然有
\[\rm\sum_{k=1}^np_{x,x}^{(k)}=\mathbb{E}^xS_n\]
用\(\rm T_n\)表示\(\rm X\)第\(\rm
n\)次访问\(\rm x\)的时间，\(\rm T_0=0\)
\[\rm
\xi_n:=T_n-T_{n-1}=\tau_x\circ\theta_{T_{n-1}}\]
我们的基本观察是以下引理
引理4.3.2 在概率\(\rm \mathbb{P}^x\)下，\(\rm
\xi_1,\cdots,\xi_n,\cdots\)是独立同分布序列。
这个引理的证明在对于马氏性的运用下并不困难，我们进一步利用这一性质。事实上对\(\rm n\geq1,k\geq0\)有\(\rm\{S_n=k\}=\{T_k\leq n\lt
T_{n+1}\}\)，也就是我们有
\[\rm
T_{S_n}\leq n\lt T_{S_n+1}\] 于是
\[\rm {S_n\over T_{S_n+1}}\lt {S_n\over n}\leq
{S_n\over T_{S_n}}\] 上述不等式中令\(\rm n\to \infty\)，由强大数定律得到\(\rm {T_n\over n}\to
\mathbb{E}^x\tau_x\)，于是\(\rm
{S_n\over n}\)几乎处处的极限是\(\rm
\mu_x\),进而由控制收敛定理即得定理结论。
从定理可以看出状态\(\rm
x\)正常返当且仅当\(\rm lim_n {1\over
n}\sum_{k=1}^np_{x,x}^{(k)}\gt 0\)
如果\(\rm x,y\)互达，存在非负整数\(\rm s,t\)使得\(\rm
p_{x,y}^{(s)}\gt0,p_{y,x}^{(t)}\gt0\)，则
\[\rm {1\over
n}\sum_{k=1}^np_{x,x}^{(s+k+t)}\geq p_{x,y}^{(s)}({1\over
n}\sum_{k=1}^np_{x,x}^{(k)})p_{y,x}^{(t)}\]
由此得出两者平均极限都是正的或都是零，也即
推论4.3.3 正常返也是类性质。
注：
上面的定理只能保证平均极限存在，但\(\rm
\lim_np_{x,x}^{(n)}\)不一定存在，主要原因是周期的问题。我们不加证明地给出结论，在马氏链非周期时，该极限存在。
不变测度与平稳分布
本节介绍与正常返密切相关地不变测度与平稳分布。让我们从测度开始，\(\rm E\)上的一个测度等同于\(\rm E\)上一个非负（可能取值无穷）函数\(\rm \mu=(\mu_x)\)，\(\rm E\)上一个\(\sigma\)-有限测度等同于一个非负函数。笔记中所说的测度总是\(\sigma\)-测度，说测度非零或非平凡是指其不恒等于零。
定义 \(\rm
E\)上一个非零测度\(\rm \mu=(\mu_y:y\in
E)\)称为是转移矩阵\(\rm
P\)的或对应的马氏链的不变测度，如果
\[\rm\sum_{x\in E}\mu_xp_{x,y}=\mu_y,y\in
E\] 如果不变测度\(\mu\)是一个概率分布，那么我们说它是平稳分布。
引理4.4.1 一个不可分且有平稳分布的马氏链\(\rm X\)是常返的。
证明
设\(\mu\)是平稳分布。由平稳分布的定义，\(\rm \forall n\geq1,\)
\[\rm\sum_{x\in E}\mu_xp^{(n)}_{x,y}=\mu_y,y\in
E\] 假设\(\rm
X\)暂留（注意由常返的类性质，不可分马氏链一定是常返的或暂留的），则\(\rm
\lim_np_{x,y}^{(n)}=0\)，由控制收敛定理，\(\rm \forall y\in E,\mu_y=0\)，矛盾。
我们接着说明马氏链的不变测度的存在唯一性，当然这里的唯一是缩放意义下的，也可以认为是其平稳分布唯一。
定理4.4.2 不可分常返马氏链的不变测度存在且唯一。
证明 设\(\rm
X\)为不可分常返马氏链，具有转移概率\(\rm (p_{x,y})\)，先来说明存在性：
任取点\(\rm o\in
E,\tau:=\inf\{n\geq1:X_n=o\}\)，再对任何\(\rm x\in E\)定义\(\rm q_{o,x}(n):=\mathbb{P}^o(X_n=x,n\leq
\tau)\)为在第\(\rm
n\)步时在\(\rm x\)且未返回\(\rm o\)的概率，进而给出构造
\[\rm \mu_x:=\sum_{n\geq
1}q_{o,x}^{(n)}=\mathbb{E}^o[\sum_{n=1}^\tau1_{\{X_n=x\}}]\]
下面证明\(\rm (\mu_x)\)即为\(\rm X\)的不变测度。直观看，\(\rm \mu_x\)就是从\(\rm o\)出发首次回到\(\rm o\)这段时间马氏链访问\(\rm x\)的平均次数。
首先\(\rm X\)常返说明\(\rm \mu_o=1\)，其次\(\rm \{\tau\geq n\}=\{\tau\lt
n\}^c\in\mathcal{F}_{n-1}\)，由马氏性当\(\rm n\geq 1\)时
\[
\begin{align*}
\rm
q_{o,x}^{(n)}&=\rm\mathbb{P}^o(X_1\circ\theta_{n-1}=x;n\leq\tau)\\
&=\rm\mathbb{E}^o(\mathbb{P}^{X_{n-1}}(X_1=x);n\leq\tau)\\
&=\rm\sum_y\mathbb{P}^o(\{X_n-1=y,n\leq\tau\})p_{y,x}
\end{align*}
\] 对\(\rm n\)求和得到
\[\rm\mu_x=\sum_y\sum_{n=1}^\tau\mathbb{P}^o(\{X_n-1=y,n\leq\tau\})p_{y,x}=\sum_y\mu_yp_{y,x}\]
这就证明了\(\rm(\mu_x)\)为不变测度。
接着来看唯一性：设\(\rm (v_x:x\in
E)\)也是\(\rm
X\)的非零不变测度，则他们都是正的，定义关于\(\rm (v_x)\)对偶的转移概率
\[\rm \hat{p}_{x,y}:={v_y\over v_x}p_{y,x},x,y\in
E\] 由不变测度的性质推出\((\rm\hat{p}_{x,y}:x,y\in
E)\)也是转移函数，对应的马氏链也实现在同样的样本空间和随机序列\(\rm (X_n)\)上，对应概率\((\rm
\hat{\mathbb{P}}^x)\)，称为对偶马氏链，对应的量用\(\ \hat{\cdot}\ \)表示，显然对任何\(\rm n\geq1\)
\[\rm \hat{p}_{x,y}^{(n)}:={v_y\over
v_x}p_{y,x}^{(n)}\] 且\(\rm
\hat{p}_{x,x}^{(n)}=p_{x,x}^{(n)}\)，于是对偶马氏链也是不可分常返的。
任取点\(\rm
x=x_0,x_1,\cdots,x_{n-1},x_n=y\)，重复用\(\rm v_x\hat{p}_{x,y}=v_yp_{y,x}\)得到
\[\rm
v_x\hat{p}_{x,x_1}\cdots\hat{p}_{x_{n-1},y}=v_yp_{y,x_{n-1}}\cdots
p_{x_1,x}\] 也即
\[\rm
v_x\hat{\mathbb{P}}^x(X_j=x_j,0\lt j\lt
n,X_n=y)=v_y\mathbb{P}^y(X_{n-j}=x_j,0\lt j\lt n,X_n=x)\] 取\(\rm y=o\)即
\[\rm v_x\hat{\mathbb{P}}^x(X_j\not=o,0\lt j\lt
n,X_n=y)=v_y\mathbb{P}^y(X_{n-j}=x_j,0\lt j\lt n,X_n=x)\] 而\(\rm \{n\leq\tau\}=\{X_j\not=o,0\lt j\lt
n\}\)，故
\[\rm
v_x\hat{f}_{x,o}^{(n)}=v_x\hat{\mathbb{P}}^x(n\leq\tau,X_n=o)=v_o\mathbb{P}^o(n\leq\tau,X_n=x)=v_oq_{o,x}^{(n)}\]
两边对\(\rm
n\)求和，右边根据常返性为\(\rm
v_x\)左边则是\(\rm
v_o\cdot\mu_x\)于是\(\rm
v_x=v_o\cdot\mu_x\)对所有\(\rm x\in
E\)成立，这就证明了唯一性。
那进一步的，我们来考虑什么时候有平稳分布。注意\(\rm \sum_x\mu_x=\mathbb{E}^o\tau\)且\(\rm
\mu_o=1\)如果有一个状态正常返，则由类性质均正常返，则不变测度有限，平稳分布存在唯一。反之自然有\(\rm \mathbb{E}^o\tau\lt \infty\)即\(\rm o\)正常返，所有状态正常返。
推论4.4.3 我们将上述讨论的关于不可分常返马氏链\(\rm X\)的结论总结如下
1.
所有状态都是正常返地或者所有状态都是零常返的。
2.
它是正常返的当且仅当它有平稳分布，且此时\(\rm
\pi_x={1\over \mathbb{E}^x{\tau_x}},x\in E\)
可逆马氏链和电路图
我们接下来讨论一类非常特殊的马氏链，即可逆马氏链，它也被称为对称马氏链，即有对称测度的马氏链。我们试图将这种马氏链与物理中的电路图联系起来，以得出有趣的结论和简便的计算方式。我们还是先来看看可逆马氏链的定义。
设\(\rm
X=\{X_n:n\geq0\}\)是状态空间\(\rm
S\)上一个马氏链，转移函数为\(\rm
(p(x,y))\)（这里为了符号协调使用\(\rm
p(x,y)\)而非\(\rm
p_{x,y}\)，这也许让它更像一个函数）一般我们说一个函数对称是有\(\rm
p(x,y)=p(y,x)\)，按照这个定义对称随机游动自然是对称的，但这个定义过于狭窄，我们来引入转移函数关于一个测度对称的概念。
定义 如果存在\(\rm
S\)上的严格正测度\(\pi\)使得\(\rm\forall x,y\in
S,\pi(x)p(x,y)=\pi(y)p(y,x)\)，则称\(\rm X\)或其转移函数在\(\rm S\)上可逆（或者\(\pi\)-对称），\((\rm \pi(x):x\in S)\)被称为对称测度。
这给定义还非常抽象，我们进一步地研究这个性质，容易想到上面的对称容易受到测度\(\pi\)影响，希望能够在转移函数内部考虑，也即是把两边的\(\pi\)消去。于是考虑一个从\(\rm x\)回到\(\rm
x\)的路径\(\rm
x=x_0,x_1,\cdots,x_{n-1},x_n=x\)，那么
\[\rm \pi(x)p(x_0,x_1)\cdots
p(x_{n-1},x_n)=p(x_1,x_0)\pi(x_1)p(x_1,x_2)\cdots
p(x_{n-1},x_n)=\pi(x)p(x_n,x_{n-1})\cdots p(x_1,x_0)\] 也即
\[\rm\prod^n_{i=1}p(x_{i-1},x_i)=\prod^n_{i=1}p(x_i,x_{i-1})\]
也就是说\(\rm
X\)沿贿赂转移的概率与方向无关。这个性质被叫做Kolmogorov回路测试。反过来，如果\(\rm
X\)不可分且满足Kolmogorov回路测试，那么\(\rm X\)可逆。
具体来说任取\(\rm x\in S\)，取\(\rm\pi(x)=1\)，因为\(\rm X\)的不可分性，\(\rm \forall y\in S\)存在道路\(\rm x=x_0,x_1,\cdots,x_n=y\)使得\(\rm p(x_i,x_{i+1})\gt 0,\forall 0\leq i\leq
n-1\)马氏性给出\(\rm\mathbb{P}^x(X_i=x_i,1\leq i\leq
n)=\prod^n_{i=1}p(x_{i-1},x_i)\)为\(\rm
X\)沿上述道路从\(\rm
x\)转移到\(\rm
y\)的概率。再定义
\[\rm\pi(y)={\prod^n_{i=1}p(x_{i-1},x_i)\over\prod^n_{i=1}p(x_i,x_{i-1})}\]
根据\(\rm
X\)沿回路转移概率与方向无关，上述定义与路径无关容易验证\(\pi\)是对称测度，于是\(\rm
X\)是可逆的。所以我们已经证明了以下定理
定理4.5.1 不可分马氏链\(\rm
X\)可逆\(\rm\iff
X\)满足Kolmogorov回路测试。