定义1：设随机过程 { X ( t ) , t ≥ 0 } \{X(t),t\ge 0\} {X(t),t≥0}，状态空间 I = { i 0 , n ≥ 0 } I=\{i_0,n\ge 0\} I={i0,n≥0}，若对任意 0 ≤ t 1 ≤ t 2 ⋯ t n + 1 0 \le t_1 \le t_2 \cdots t_{n+1} 0≤t1≤t2⋯tn+1及 i 1 , i 2 , ⋯ , i n + 1 ∈ I i_1,i_2,\cdots,i_{n+1} \in I i1,i2,⋯,in+1∈I，有 P { X ( t n + 1 ) = i n + 1 ∣ X ( t 1 ) = i 1 , X ( t 2 ) = i 2 , ⋯ , X ( t n ) = i n } = P { X ( t n + 1 ) = i n + 1 ∣ X ( t n ) = i n } P\{X(t_{n+1})=i_{n+1}|X(t_1)=i_1,X(t_2)=i_2,\cdots,X(t_n)=i_n\}=P\{X(t_{n+1})=i_{n+1}|X(t_n)=i_n\} P{X(tn+1)=in+1∣X(t1)=i1,X(t2)=i2,⋯,X(tn)=in}=P{X(tn+1)=in+1∣X(tn)=in}则称 { X ( t ) , t ≥ 0 } \{X(t),t\ge 0\} {X(t),t≥0}为连续时间马尔可夫链。
由定义知，连续时间马尔可夫链是具有马尔可夫性随机过程，即过程在已知现在时间
t
n
t_n
tn及一切过去时刻所处状态的条件下，将来时刻
t
n
+
1
t_{n+1}
tn+1的状态只依赖现在的状态而与过去无关。定义中条件概率的一般形式为
P
{
X
(
s
+
t
)
=
j
∣
X
(
s
)
=
i
}
=
p
i
j
(
s
,
t
)
P\{X(s+t)=j|X(s)=i\}=p_{ij}(s,t)
P{X(s+t)=j∣X(s)=i}=pij(s,t)它表示系统在
s
s
s时刻处于状态
i
i
i，经过时间
t
t
t后转移到状态
j
j
j的转移概率。
定义2： 若上式的转移概率与 s s s无关，则称连续时间马尔可夫连续链具有平稳或齐次的转移概率，此时转移概率简记为 p i j ( s , t ) = p i j ( t ) p_{ij}(s,t)=p_{ij}(t) pij(s,t)=pij(t)其转移概率矩阵简记为 P ( t ) = ( p i j ( t ) ) ( i , j ∈ I , t ≥ 0 ) \boldsymbol{P}(t)=(p_{ij}(t))(i,j\in I,t \ge 0) P(t)=(pij(t))(i,j∈I,t≥0)。
假设在某个时刻，比如说时刻
0
0
0，马尔可夫链进入状态
i
i
i，而且在接下来的
s
s
s个单位时间内过程未离开状态
i
i
i（即未发生转移），问在随后的
t
t
t个单位时间内过程仍不离开状态
i
i
i的概率是多少呢？由马尔可夫性我们知道，过程在时刻
s
s
s处于状态
i
i
i条件下，在区间
[
s
,
s
+
t
]
[s,s+t]
[s,s+t]内仍然处于状态
i
i
i的概率正是它处于状态
i
i
i至少
t
t
t个单位时间的（无条件）概率。若即
τ
i
\tau_i
τi为过程在转移到另一状态之前状态
i
i
i的时间，则对一切
s
,
t
≥
0
s,t\ge 0
s,t≥0，有
P
{
τ
i
>
s
+
t
∣
τ
i
>
s
}
=
P
{
τ
i
>
t
}
P\{\tau_i >s+t|\tau_i>s\}=P\{\tau_i>t\}
P{τi>s+t∣τi>s}=P{τi>t}可见，随机变量
τ
i
\tau_i
τi具有无记忆性，因此
τ
i
\tau_i
τi服从指数分布。
由此可见，一个连续时间马尔可夫链，当它进入状态
i
i
i时，具有如下性质：
（1）在转移到另一个状态之前处于状态
i
i
i的时间服从指数为
v
i
v_i
vi的指数分布。
（2）当过程离开状态
i
i
i时，接着以概率
p
i
j
p_{ij}
pij进入状态
j
j
j，且
∑
j
≠
i
p
i
j
=
1
\sum\limits_{j\ne i}p_{ij}=1
j=i∑pij=1
当
v
i
=
∞
v_i=\infty
vi=∞时，称状态
i
i
i为瞬时状态，因为过程一旦进入此状态立即就离开。若
v
i
=
0
v_i=0
vi=0，则称此状态
i
i
i为吸收状态，因为过程一旦进入此状态就永远不再离开了。
定理1：齐次马尔可夫过程的转移概率具有下列性质：
（1） p i j ≥ 0 ; p_{ij}\ge 0; pij≥0;
（2） ∑ j ∈ I p i j ( t ) = 1 ; \sum\limits_{j\in I}p_{ij}(t)=1; j∈I∑pij(t)=1;
（3） p i j ( t + s ) = ∑ k ∈ I p i k ( t ) p k j ( s ) p_{ij}(t+s)=\sum\limits_{k\in I}p_{ik}(t)p_{kj}(s) pij(t+s)=k∈I∑pik(t)pkj(s)
证： （1）和（2）式由概率定义及
p
i
j
(
t
)
p_{ij}(t)
pij(t)的定义易知，下面证明（3）式，由全概率公式及马尔可夫性可得
p
i
j
(
t
+
s
)
=
P
{
X
(
t
+
s
)
=
j
∣
X
(
0
)
=
i
}
=
∑
k
∈
I
P
{
X
(
t
+
s
)
=
j
,
X
(
t
)
=
k
∣
X
(
0
)
=
i
}
=
∑
k
∈
I
P
{
X
(
t
)
=
k
∣
X
(
0
)
=
i
}
P
{
X
(
t
+
s
)
=
j
∣
X
(
t
)
=
k
}
=
∑
k
∈
I
P
{
X
(
t
)
=
k
∣
X
(
0
)
=
i
}
P
{
X
(
s
)
=
j
∣
X
(
0
)
=
k
}
=
∑
k
∈
I
p
i
k
(
t
)
p
k
j
(
s
)
\begin{aligned}p_{ij}(t+s)&=P\{X(t+s)=j|X(0)=i\}\\&=\sum\limits_{k \in I}P\{X(t+s)=j,X(t)=k|X(0)=i\}\\&=\sum\limits_{k \in I}P\{X(t)=k|X(0)=i\}P\{X(t+s)=j|X(t)=k\}\\&=\sum\limits_{k \in I}P\{X(t)=k|X(0)=i\}P\{X(s)=j|X(0)=k\}\\&=\sum\limits_{k\in I}p_{ik}(t)p_{kj}(s)\end{aligned}
pij(t+s)=P{X(t+s)=j∣X(0)=i}=k∈I∑P{X(t+s)=j,X(t)=k∣X(0)=i}=k∈I∑P{X(t)=k∣X(0)=i}P{X(t+s)=j∣X(t)=k}=k∈I∑P{X(t)=k∣X(0)=i}P{X(s)=j∣X(0)=k}=k∈I∑pik(t)pkj(s)
对于转移概率
p
i
j
(
t
)
p_{ij}(t)
pij(t)，一般还假定它满足：
lim
t
→
0
p
i
j
(
t
)
=
{
1
,
i
=
j
,
0
,
i
≠
j
.
\lim\limits_{t \rightarrow 0}p_{ij}(t)=\left\{\begin{array}{ll}1,&i=j,\\0,& i\ne j.\end{array}\right.
t→0limpij(t)={1,0,i=j,i=j.以上公式为正则性条件。
定义3： 对于任一 t ≥ 0 t\ge 0 t≥0，记 p j ( t ) = P { X ( t ) = j } , p_j(t)=P\{X(t)=j\}, pj(t)=P{X(t)=j}, p j = p j ( 0 ) = P { X ( 0 ) = j } , j ∈ I p_j=p_j(0)=P\{X(0)=j\},\quad j \in I pj=pj(0)=P{X(0)=j},j∈I分别称 { p j ( t ) , j ∈ I } \{p_j(t),j\in I\} {pj(t),j∈I}和 { p j , j ∈ I } \{p_j,j\in I\} {pj,j∈I}为齐次马尔科夫过程的绝对概率分布和初始概率分布。
定理2： 齐次马尔科夫过程的绝对概率及其有限维概率分布具有下列性质：
（1） p j ( t ) ≥ 0 ; p_j(t)\ge 0; pj(t)≥0;
（2） ∑ j ∈ I p j ( t ) = 1 ; \sum\limits_{j\in I}p_j(t)=1; j∈I∑pj(t)=1;
（3） p j ( t ) = ∑ i ∈ I p i p i j ( t ) ; p_j(t)=\sum\limits_{i \in I}p_ip_{ij}(t); pj(t)=i∈I∑pipij(t);
（4） p j ( t + τ ) = ∑ i ∈ I p i ( t ) p i j ( τ ) ; p_j(t+\tau)=\sum\limits_{i\in I}p_i(t)p_{ij}(\tau); pj(t+τ)=i∈I∑pi(t)pij(τ);
（5） P { X ( t 1 ) = i 1 , X ( t 2 ) = i 2 , ⋯ , X ( t n ) = i n } = ∑ i ∈ I p i p i i 1 ( t ) p i 1 i 2 ( t 2 − t 1 ) ⋯ p i n − 1 i n ( t n − t n − 1 ) P\{X(t_1)=i_1,X(t_2)=i_2,\cdots,X(t_n)=i_n\}=\sum\limits_{i\in I}p_ip_{ii_1}(t)p_{i_1i_2}(t_2-t_1)\cdots p_{i_{n-1i_n}}(t_n-t_{n-1}) P{X(t1)=i1,X(t2)=i2,⋯,X(tn)=in}=i∈I∑pipii1(t)pi1i2(t2−t1)⋯pin−1in(tn−tn−1)