中南大學(xué)隨機過程第九章

1、隨機過程與排隊論,數(shù)學(xué)科學(xué)與計算技術(shù)學(xué)院胡朝明Email：math_hu2000@csu.edu.cn2024年3月19日星期二,2024/3/19,胡朝明,37－2,上一講內(nèi)容回顧,齊次馬氏鏈狀態(tài)的分類互通 首達(dá)常返與非常返正常返與零常返狀態(tài)空間分解不可約馬氏鏈狀態(tài)的周期性,2024/3/19,胡朝明,37－3,本講主要內(nèi)容,連續(xù)參數(shù)馬爾可夫鏈轉(zhuǎn)移概率函數(shù)、轉(zhuǎn)移矩陣連續(xù)參數(shù)齊次馬氏鏈初始分布、絕對分布、遍歷性

2、、平穩(wěn)分布轉(zhuǎn)移概率函數(shù)的性質(zhì)狀態(tài)轉(zhuǎn)移速度矩陣生滅過程,2024/3/19,胡朝明,37－4,§3.4 連續(xù)參數(shù)馬爾可夫鏈,類似離散參數(shù)馬氏鏈，只是把離散的時間參數(shù)改為連續(xù)的時間參數(shù)，便可得到類似的結(jié)果。,設(shè)隨機過程{X(t),t?0}，狀態(tài)空間E={0,1,2,,…}。若對于0<t1<t2<…<tn<tn+1及非負(fù)整數(shù)i1,i2,…in,in+1，有P{X(tn+1)＝in+1|X(t

3、1)=i1,X(t2)=i2,…,X(tn)=in}＝P{X(tn+1)＝in+1|X(tn)=in}即馬爾可夫性成立，則稱{X(t),t?0}為連續(xù)參數(shù)馬爾可夫鏈。,2024/3/19,胡朝明,37－5,轉(zhuǎn)移概率函數(shù),設(shè){X(t),t?0}為連續(xù)參數(shù)馬氏鏈，對任意i,j?E＝{0,1,2,…}，任意非負(fù)實數(shù)s,t，條件概率pij(s,t)＝P{X(t+s)=j|X(s)=i}稱為此馬氏鏈{X(t),t?0}的轉(zhuǎn)移概率函數(shù)，顯

4、然,我們稱P(s,t)＝(pij(s,t))i,j?E為此馬氏鏈的轉(zhuǎn)移矩陣。,這里，pij(s,t)的直觀意義是：系統(tǒng)(或質(zhì)點)在時刻s時處于狀態(tài)i，再經(jīng)過t時間轉(zhuǎn)到狀態(tài)j的條件概率。,2024/3/19,胡朝明,37－6,連續(xù)參數(shù)齊次馬氏鏈,若{X(t),t?0}為連續(xù)參數(shù)馬氏鏈的轉(zhuǎn)移概率pij(s,t)與,時間起點s無關(guān)，即pij(s,t)＝P{X(s+t)=j|X(s)=i}＝pij(t)則稱{X(t),t?0}為連續(xù)參

5、數(shù)齊次馬氏鏈。,類似地，,一般地，我們要求齊次馬氏鏈的轉(zhuǎn)移概率函數(shù)滿足如下的連續(xù)性條件：,P(t)＝(pij(t))i,j?E稱為此齊次馬氏鏈的轉(zhuǎn)移矩陣。0?pij(t)?1，,2024/3/19,胡朝明,37－7,絕對分布、遍歷性、平穩(wěn)分布,設(shè){X(t),t?0}為連續(xù)參數(shù)齊次馬氏鏈,則稱{vj，j?E}為齊次馬氏鏈{X(t),t?0}的平穩(wěn)分布。,pj＝P{X(0)=j}，j?E，稱{pj,j?E}為該馬氏鏈的初始分布；P

6、j(t)＝P{X(t)=j}，j?E，稱{pj(t),j?E}為該馬氏鏈的絕對分布；如果轉(zhuǎn)移概率極限存在，,，且與i無關(guān)則稱此連續(xù)參數(shù)齊次馬氏鏈為遍歷的馬氏鏈，此時，我們說該鏈具有遍歷性。,若?j>0， ，則稱{?j,j?E}為齊次馬氏鏈{X(t),t?0}的極限分布。,如果{vj,j?E}滿足,2024/3/19,胡朝明,37－8,轉(zhuǎn)移概率函數(shù)的性質(zhì),0?pij(t)?1，i,j?E；,連續(xù)性條件：,

7、pij(t)滿足C-K方程,矩陣形式:P(t+s)＝P(t)P(s),絕對概率滿足,如果齊次馬氏鏈{X(t),t?0}是遍歷馬氏鏈，則,2024/3/19,胡朝明,37－9,轉(zhuǎn)移概率函數(shù)的性質(zhì)(續(xù)1),設(shè)齊次馬氏鏈{X(t),t?0}的狀態(tài)有限，E={0,1,2,…,s}，如果存在t0>0，使得對任意i,j?E，都有pij(t0)>0，則此齊次馬氏鏈{X(t),t?0}為遍歷的齊次馬氏鏈。即,存在且與i無關(guān)，并且極限

8、分布{?j,j?E}是唯一的平穩(wěn)分布：,對固定的i,j，函數(shù)pij(t)是t>0的一致連續(xù)函數(shù)。,滿足連續(xù)性條件的連續(xù)參數(shù)齊次馬氏鏈{X(t),t?0}存在下列極限,其中qi表示在時刻t時通過狀態(tài)i的通過速度(或通過強度)；qij表示時刻t時從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的速度(或強度)，qij統(tǒng)稱轉(zhuǎn)移速度。,2024/3/19,胡朝明,37－10,狀態(tài)轉(zhuǎn)移速度矩陣,設(shè)連續(xù)參數(shù)齊次馬氏鏈{X(t),t?0}，狀態(tài)空間E={0,1,2,…,s

9、}，下面s+1階方陣：,稱為齊次馬氏鏈{X(t),t?0}的狀態(tài)轉(zhuǎn)移速度矩陣，簡稱Q-矩陣。,由連續(xù)性條件和導(dǎo)數(shù)的定義，顯然有,即P’(+0)＝Q。,2024/3/19,胡朝明,37－11,轉(zhuǎn)移概率函數(shù)的性質(zhì)(續(xù)2),設(shè)齊次馬氏鏈{X(t),t?0}，狀態(tài)空間E={0,1,2,…,s}，其轉(zhuǎn)移速度,設(shè){X(t),t?0}為連續(xù)參數(shù)齊次馬氏鏈，當(dāng)qi<+?， ＝qi 時，滿足柯爾莫哥洛夫后退微分方程,即P

10、’(t)＝QP(t),設(shè){X(t),t?0}為連續(xù)參數(shù)齊次馬氏鏈,當(dāng)qi<+?, ＝qri 時，則有柯爾莫哥洛夫前進(jìn)微分方程,即P’(t)＝P(t)Q,2024/3/19,胡朝明,37－12,轉(zhuǎn)移概率函數(shù)的性質(zhì)(續(xù)3),絕對概率滿足（?？?普朗克方程）,齊次不可約連續(xù)參數(shù)馬氏鏈{X(t),t?0}存在極限分布，即為平穩(wěn)分布{?j,j?E},即?Q＝0（零向量）,2024/3/19,胡朝明,37

11、－13,§3.5 生滅過程,設(shè){X(t),t?0}是連續(xù)參數(shù)齊次馬氏鏈，狀態(tài)空間E＝{0,1,2,…,N}，如果它的狀態(tài)轉(zhuǎn)移速度矩陣為,則稱{X(t),t?0}為生滅過程。,2024/3/19,胡朝明,37－14,生滅過程的轉(zhuǎn)移概率,上述生滅過程{X(t),t?0}的定義可等價地用轉(zhuǎn)移概率pij(t)表示為：,生滅過程的狀態(tài)空間可以推廣到可數(shù)無窮多個狀態(tài)的情形。,2024/3/19,胡朝明,37－15,生滅過程的概率意

12、義,設(shè)X(t)表示時刻t時某生物群體的個數(shù)，{X(t),t?0}為生滅過程，由上式可見，在長度為t的一小段時間內(nèi)，如果忽略t的高階無窮小量o(t)后，生滅過程的狀態(tài)變化只有3種情況：i→i+1，狀態(tài)增加1，可理解為“生”了一個個體，其概率為?it，其生長率為?i；i→i-1，狀態(tài)減少1，可理解為“死”了一個個體，其概率為?it，其生長率為?i；i→i，狀態(tài)不增不減，群體個數(shù)不變，其概率為1-(?i+?i)t；狀態(tài)增加或減少

13、2個或2個以上的概率為0。,生滅過程的所有狀態(tài)都是互通的，但在有限短時間內(nèi)，只能在相鄰兩個狀態(tài)內(nèi)變化，或者“生”一個，或者“死”一個，或者狀態(tài)無變化，故稱之為生滅過程。,2024/3/19,胡朝明,37－16,生滅過程的狀態(tài)轉(zhuǎn)移速度圖,,,?1,,?0,…,…,,?2,,?3,,?4,,?n-1,,?n,,?n+1,,?1,,?n,,?n-2,,?n-1,,?2,,?3,2024/3/19,胡朝明,37－17,生滅過程滿足的柯爾莫哥洛夫

14、方程,柯爾莫哥洛夫后退方程：P’(t)＝QP(t)，P(+0)＝I(單位陣),柯爾莫哥洛夫前進(jìn)方程：P’(t)＝P(t)Q，P(+0)＝I,2024/3/19,胡朝明,37－18,福克－普朗克方程,絕對概率滿足?？耍绽士朔匠蹋?(1),推廣到無限狀態(tài)E{0,1,2,…,n,…}為：,(2),2024/3/19,胡朝明,37－19,?？耍绽士朔匠探獾拇嬖谛?對有限狀態(tài)E＝{0,1,2,…,N}的生滅過程，若滿足pj(t)?0，,，則

15、對任給的初始條件，方程組,(1)的解存在、唯一，而且,對可列無限狀態(tài)E＝{0,1,2,…,n,…}的生滅過程，若,而且滿足pj(t)?0，,，則對任給的初始條件，,方程組(2)的解存在、唯一，且,2024/3/19,胡朝明,37－20,極限定理,對有限狀態(tài)E＝{0,1,2,…,N}的生滅過程，{?j，j=0,1,,2,…,N}存在，與初始條件無關(guān)，且,即{?j，j=0,1,…,N}為平穩(wěn)分布。,對可列無限狀態(tài)E＝{0,1,2,…,n,…

16、}的生滅過程，若有條件,成立，則{?j，j=0,1,2,…}存在，與初始條件無關(guān)，且,令,?j>0，,及,，即{?j，j=0,1,…,n,…}為平穩(wěn)分布。,?j>0，,2024/3/19,胡朝明,37－21,有限狀態(tài)生滅過程的平穩(wěn)分布,有限狀態(tài)E={0,1,2,…,N}的生滅過程{X(t),t?0}是遍歷的齊次連續(xù)參數(shù)馬氏鏈。生滅過程存在極限分布即為平穩(wěn)分布?＝{?j,j?E}。?Q＝0即,2024/3/19,胡朝明

17、,37－22,有限狀態(tài)生滅過程的平穩(wěn)分布的解,解得生滅過程{X(t),t?0}，E={0,1,2,…,N}的平穩(wěn)分布?＝{?j,j?E}為：,當(dāng)?0＝ ?1＝ …＝?N-1＝ ?，?1＝ ?2＝…＝ ?N＝ ?時，有,2024/3/19,胡朝明,37－23,無限狀態(tài)生滅過程的平穩(wěn)分布,無限狀態(tài)E={0,1,2,…,}的生滅過程{X(t),t?0}若滿足,是遍歷的齊次連續(xù)參數(shù)馬氏鏈。生滅過程存在極限分布即為平穩(wěn)分布?＝{?j,j?E}

18、。?Q＝0即,及,2024/3/19,胡朝明,37－24,無限狀態(tài)生滅過程的平穩(wěn)分布的解,解得生滅過程{X(t),t?0}，E={0,1,2,…,}的平穩(wěn)分布?＝{?j,j?E}為：,特別，當(dāng)?0＝ ?1 =?2 ＝ …＝ ?，?1＝ ?2＝ ?3＝ …＝ ?時，只要?/?＜1，則{?j,j?E}存在，且有,2024/3/19,胡朝明,37－25,注,由生滅過程{X(t),t?0} 的平穩(wěn)分布可得：?j?j＝?j-1?j-1此

19、式的概率解釋為：當(dāng)群體大小X(t)處于統(tǒng)計平衡時，在一個很小的時間區(qū)間t時，群體大小增加1的概率(??j-1?j-1)等于群體大小減少1的概率(??j?j)。,當(dāng)?j=0時，生滅過程{X(t),t?0}為純生過程，即“滅”是不可能的；當(dāng)?j=0時，生滅過程{X(t),t?0}為純滅過程，即“生”是不可能的,2024/3/19,胡朝明,37－26,例1,泊松過程{N(t),t?0}是生率為?的純生過程。,狀態(tài)空間E＝{0,1,2,…}狀

20、態(tài)轉(zhuǎn)移速度圖,狀態(tài)轉(zhuǎn)移速度矩陣,2024/3/19,胡朝明,37－27,例1(續(xù)),前進(jìn)方程：P’(t)＝P(t)Q，P(+0)=I即,解得轉(zhuǎn)移概率,也可直接按轉(zhuǎn)移概率的定義來求Pij(t)：(平穩(wěn)獨立增量過程),Pij(t)＝P{N(t+s)=j|N(s)=i},＝P{N(t+s)-N(s)=j-i|N(s)-N(0)=i-0} ＝P{N(t+s)-N(s)=j-i},＝P{N(t)=j-i},獨立增量,增量的平穩(wěn)性,202

21、4/3/19,胡朝明,37－28,例2 機器維修問題,一部機器正常工作時間服從參數(shù)為?的負(fù)指數(shù)分布，,若出故障，維修時間服從參數(shù)為?的負(fù)指數(shù)分布，二者獨立。令X(t)表示時刻t出故障的機器數(shù)，則{X(t),t?0}是一個狀態(tài)空間E＝{0,1}的生滅過程。,狀態(tài)轉(zhuǎn)移速度圖,狀態(tài)轉(zhuǎn)移速度矩陣,前進(jìn)方程：P’(t)＝P(t)Q，P(+0)=I即,2024/3/19,胡朝明,37－29,例2(續(xù)1),解得,極限分布,2024/3/19,

22、胡朝明,37－30,例2(續(xù)2),平穩(wěn)分布(等于極限分布),2024/3/19,胡朝明,37－31,例3,設(shè)有2個通信通道，每個通道正常工作時間服從參數(shù)為,?的負(fù)指數(shù)分布。2個通道出故障是統(tǒng)計獨立的，若通道出故障，由2個維修人員獨立維修。修理的時間服從參數(shù)為?的負(fù)指數(shù)分布。假設(shè)2個通道在t=0時正常工作，設(shè)X(t)表示時刻t時出故障的通道數(shù)，則{X(t),t?0}是狀態(tài)空間E＝{0,1,2}的生滅過程。,狀態(tài)轉(zhuǎn)移速度圖,狀態(tài)轉(zhuǎn)移速度矩陣

23、,2024/3/19,胡朝明,37－32,例3(續(xù)),平穩(wěn)分布?Q＝0，,即,解得,即平穩(wěn)分布?＝(?0,?1,?2),2024/3/19,胡朝明,37－33,例4 電話問題,考慮有3條線路的電話交換臺。呼喚次數(shù)是參數(shù)為?的,泊松過程；通話時間服從參數(shù)為?的負(fù)指數(shù)分布，二者相互獨立。用戶不等待。設(shè)X(t)表示時刻t時通話線路數(shù)，則{X(t)，t?0}是狀態(tài)空間E＝{0,1,2,3}的生滅過程。,狀態(tài)轉(zhuǎn)移速度圖,狀態(tài)轉(zhuǎn)移速度矩陣,2

24、024/3/19,胡朝明,37－34,例4(續(xù)),平穩(wěn)分布?Q＝0，,即,解得,即平穩(wěn)分布?＝(?0,?1,?2,?3)，其中,2024/3/19,胡朝明,37－35,本講主要內(nèi)容,連續(xù)參數(shù)馬爾可夫鏈轉(zhuǎn)移概率函數(shù)、轉(zhuǎn)移矩陣連續(xù)參數(shù)齊次馬氏鏈初始分布、絕對分布、遍歷性、平穩(wěn)分布轉(zhuǎn)移概率函數(shù)的性質(zhì)狀態(tài)轉(zhuǎn)移速度矩陣生滅過程,2024/3/19,胡朝明,37－36,下一講內(nèi)容預(yù)告,排隊論簡介排隊的概念基本的排隊系統(tǒng)排隊系統(tǒng)