Phương pháp monte carlo mô phỏng các quá trình ngẫu nhiên (LV01699)

Tập chỉ số T thường được chọn là một tập con đếm được hoặc liên tụccủa R, do đó một quá trình ngẫu nhiên thường được coi như một biếnngẫu nhiên theo thời gian, với X t là trạng thái của

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

LUẬN VĂN THẠC SĨ TOÁN HỌC

Người hướng dẫn khoa học: TS HÀ BÌNH MINH

Hà Nội - 2015

Đầu tiên, tôi xin bày tỏ lòng biết ơn sâu sắc đến TS Hà Bình Minh,

người thầy đã định hướng chọn đề tài, trực tiếp tận tình hướng dẫn vàgiúp đỡ tôi hoàn thành luận văn này

Tôi xin chân thành cảm ơn Ban Giám Hiệu, Phòng Đào tạo Sau Đạihọc, Khoa Toán cùng các thầy cô trong trường Đại học Sư Phạm Hà Nội

2 đã nhiệt tình giúp đỡ, giảng dạy, tạo điều kiện tốt nhất cho tôi trongthời gian học tập và nghiên cứu tại trường

Cuối cùng, tôi muốn gửi lời cảm ơn chân thành tới gia đình, bạn bè vàđồng nghiệp, những người đã luôn động viên khích lệ giúp tôi hoàn thànhluận văn này

Xin chân thành cảm ơn!

Hà Nội, tháng 06 năm 2015

Học viên

Ngô Thị Hồng

Luận văn được hoàn thành tại trường Đại học Sư phạm Hà Nội 2 dưới

sự hướng dẫn của TS Hà Bình Minh.

Tôi xin can đoan rằng số liệu và kết quả nghiên cứu trong luận văn này

là trung thực và không trùng lặp với các đề tài khác

Trong quá trình nghiên cứu và hoàn thành luận văn tôi đã kế thừanhững thành quả khoa học của các nhà khoa học và đồng nghiệp với sựtrân trọng và biết ơn

Tôi xin cam đoan rằng các thông tin trích dẫn trong luận văn đã đượcchỉ rõ nguồn gốc

Hà Nội, tháng 06 năm 2015

Học viên

Ngô Thị Hồng

Mục lục

Mục lục i

Danh mục kí hiệu và chữ viết tắt iii

Chương 1 Các kiến thức cơ bản về quá trình ngẫu nhiên 3 1.1 Biến ngẫu nhiên và đặc trưng 3

1.1.1 Biến ngẫu nhiên một chiều 3

1.1.2 Biến ngẫu nhiên nhiều chiều 4

1.1.3 Các đặc trưng của biến ngẫu nhiên 5

1.1.4 Một số quy luật phân phối thường gặp 6

1.2 Quá trình ngẫu nhiên 7

1.2.1 Tính chất Gauss 8

1.2.2 Tính Markov 9

1.2.3 Tính martingale 10

1.2.4 Tính tự hồi quy 12

1.2.5 Tính dừng và tính khả nghịch 12

1.3 Xích Markov 13

1.3.1 Lớp các trạng thái 14

1.3.2 Tính khả nghịch 15

1.4 Quá trình bước nhảy Markov 16

Chương 2 Phương pháp Monte Carlo sinh số ngẫu nhiên 21 2.1 Sinh biến ngẫu nhiên với phương pháp Monte Carlo 21

2.2 Phương pháp biến đổi ngược 24

2.3 Phương pháp chấp nhận-loại bỏ 27

2.4 Sinh biến ngẫu nhiên liên tục 31

2.4.1 Sinh biến ngẫu nhiên liên tục tuân theo phân phối chuẩn 31

2.4.2 Sinh biến ngẫu nhiên liên tục tuân theo phân phối mũ 31

2.4.3 Sinh biến ngẫu nhiên liên tục tuân theo phân phối Gamma 33

2.4.4 Sinh biến ngẫu nhiên liên tục tuân theo phân phối Chi-Square 35

2.5 Sinh biến ngẫu nhiên rời rạc 37

2.5.1 Sinh biến ngẫu nhiên rời rạc tuân theo phân phối nhị thức 37

2.5.2 Sinh biến ngẫu nhiên rời rạc tuân theo phân phối Poisson 38

2.5.3 Sinh biến ngẫu nhiên rời rạc tuân theo phân phối đều 42

Chương 3 Phương pháp Monte Carlo sinh quá trình ngẫu nhiên 44 3.1 Quá trình Gauss 45

3.1.1 Quá trình Gauss Markov 49

3.2 Xích Markov 50

3.3 Quá trình bước nhảy Markov 53

3.4 Quá trình Poisson 57

3.5 Quá trình Wiener (chuyển động Brown) 61

Kết luận 71

Phụ lục 73

Danh mục kí hiệu và chữ viết tắt

a.s Hầu chắc chắn

cdf Hàm phân phối đồng thời

Cov Hiệp phương sai

FFT Biến đổi Fourier nhanh

iid Độc lập cùng phân phối

diag(a) Ma trận đường chéo các điểm trên đường chéo đều bằng a

B σ-đại số Borel trên R

Bn σ-đại số Borel trên Rn

O Vô cùng lớn bậc cao hơn

Ber Phân phối Bernoulli

DU Phân phối rời rạc đều

Gamma Phân phối Gamma

InvGamma Phân phối Gamma ngược

Lévy Phân phối Lévy

P oi Phân phối Poisson

Stable Phân phối dừng

Mở đầu

1 Lí do chọn đề tài

Quá trình ngẫu nhiên giúp ta hiểu biết được các yếu tố ngẫu nhiên ảnhhưởng như thế nào đến những thứ từ đơn giản đến phức tạp, như giá cả,thị trường chứng khoán, Với sự phát triển của máy tính, đặc biệt là tốc

độ tính toán ngày càng được cải thiện, việc mô phỏng những quá trìnhngẫu nhiên trên máy tính trở nên khả thi Do vậy, chúng tôi chọn đề tài sửdụng phương pháp Monte Carlo để mô phỏng các quá trình ngẫu nhiên.Các quá trình ngẫu nhiên sau sẽ được khảo sát trong đề tài:

• Quá trình ngẫu nhiên Gauss (Gauss processes)

• Xích Markov (Markov chains)

• Quá trình bước nhảy Markov (Markov jump processes)

• Quá trình Poisson (Poisson processes)

• Quá trình Wiener (Wiener process)

2 Mục đích và nhiệm vụ nghiên cứu

Sử dụng phương pháp Monte Carlo để mô phỏng các quá trình ngẫunhiên

3 Đối tượng và phạm vi nghiên cứu

Quá trình ngẫu nhiên, phương pháp Monte Carlo,

4 Phương pháp nghiên cứu

Sử dụng ngôn ngữ lập trình MATLAB,

5 Đóng góp mới của đề tài

Luận văn có đóng góp về mặt lập trình, thực hiện thuật toán

CHƯƠNG 1

Các kiến thức cơ bản về quá trình

ngẫu nhiên

1.1 Biến ngẫu nhiên và đặc trưng

Giả sử (Ω, F,P) là không gian xác suất và (R, B) là không gian đo, B

là σ- đại số các tập Borel

1.1.1 Biến ngẫu nhiên một chiều

Định nghĩa 1.1 Gọi biến ngẫu nhiên X(ω) là hàm đo được xác định trên

{ω : X(ω) ∈ B} là phần tử của F

Biến ngẫu nhiên rời rạc là biến ngẫu nhiên chỉ nhận một số hữu hạnhoặc vô hạn đếm được các giá trị Chẳng hạn, X là biến ngẫu nhiên rờirạc đặc trưng cho các khả năng có thể xảy ra khi tung một con xúc xắccân đối và đồng chất, khi đó X nhận một trong các giá trị 1, 2, 3, 4, 5, 6

với các xác suất tương ứng là 16

Biến ngẫu nhiên liên tục là biến ngẫu nhiên mà các giá trị của nó cóthể nhận giá trị bất kỳ trong một khoảng con nào đó của R Chiều caocủa thành viên trong lớp được coi là một biến ngẫu nhiên liên tục

Hàm phân phối xác suất của biến ngẫu nhiên

Khi nghiên cứu biến ngẫu nhiên, người ta quan tâm đến một đặc trưngquan trọng là sự phân phối xác suất của biến ngẫu nhiên Ta xét địnhnghĩa sau

Định nghĩa 1.2 Xác suất Px(B) = P [ω : X(ω) ∈ B], B ∈ B được gọi là

Nếu xét B = ( −∞, x), x ∈ R thì phân phối xác suất Px(−∞, x) =

P[ω : X(ω) < x] là hàm của x và ký hiệu là F (x)

Định nghĩa 1.3 Gọi F (x) = P[ω : X(ω) < x], x ∈ x ∈ R là hàm phân

1.1.2 Biến ngẫu nhiên nhiều chiều

Giả sử X1, X2, , X n là n biến ngẫu nhiên, xác định trên không gianxác suất (Ω, F,P), lấy giá trị trên không gian đo (R, B) với B là một σ-đại số Borel các tập con của R

Định nghĩa 1.4. X = (X1, X2, , X n) được gọi là biến ngẫu nhiên n

Tương tự biến ngẫu nhiên một chiều, ta có định nghĩa hàm phân phốixác suất của biến ngẫu nhiên X

Định nghĩa 1.5 Với mỗi tập Borel B ∈ B n , trong đó B n là một σ - đại

X1, X2, , X n

Khi xét đến các biến ngẫu nhiên khác nhau, chúng ta quan tâm đến sựđộc lập giữa chúng Ta có định nghĩa sau

Định nghĩa 1.6 Các biến ngẫu nhiên X1, X2, , X n được gọi là độc lập với nhau nếu F X1,X2, ,X n (x1, x2, , x n ) = F X1(x1)F X2(x2) F X n (x n ),

với ∀(x1, x2, , x n) ∈ Rn

1.1.3 Các đặc trưng của biến ngẫu nhiên

Định nghĩa 1.7 (Kỳ vọng của biến ngẫu nhiên) Giả sử biến ngẫu

• NếuX, Y là hai biến ngẫu nhiên độc lập, khi đóE(XY ) = E(X)E(Y )

Để đo lường sự phân tán của các giá trị có thể có của biến ngẫu nhiênxung quanh giá trị trung bình của nó người ta đưa ra khái niện phươngsai

Định nghĩa 1.8 (Phương sai của biến ngẫu nhiên) Phương sai của

1.1.4 Một số quy luật phân phối thường gặp

Quy luật phân phối chuẩn

Biến ngẫu nhiên X có phân phối chuẩn (Gauss) dạng tổng quát ký hiệu

Quy luật phân phối Gamma

Biến ngẫu nhiên X có phân phối Gamma nếu hàm mật độ có dạng

Quy luật phân phối Student

Biến ngẫu nhiên X có phân phối Student với k bậc tự do nếu hàm mật độ

1.2 Quá trình ngẫu nhiên

Định nghĩa 1.9 Trong không gian xác suất (Ω, F,P), một quá trình ngẫu

trạng thái của quá trình ngẫu nhiên.

Tập chỉ số T thường được chọn là một tập con đếm được hoặc liên tụccủa R, do đó một quá trình ngẫu nhiên thường được coi như một biếnngẫu nhiên theo thời gian, với X t là trạng thái của quá trình ngẫu nhiêntại thời điểm t

Ví dụ 1.1 ( Quá trình Bernoulli)

1, 2, quá trình được gọi là quá trình Bernoulli với không gian trạng thái

{E = 0, 1} và tập chỉ số {T = 1, 2, } Một ví dụ thực tế của quá trình Bernoulli là khi ta tung một đồng xu đồng chất và cân đối với xác xuất là

p = 0.5 , minh họa qua Hình 1.1.

Hình 1.1: Một quá trình Bernoulli với p = 0.5

Việc mô tả và nghiên cứu quá trình ngẫu nhiên với giá trị thực theothời gian được xác định bởi các khái niệm dưới đây Giả sử T là một trongcác tập N,Z,R+,R

Họ {F t } = {F t , t ∈ T} các σ −đại số thỏa mãn F t ⊆ F t+s với ∀s ≥ 0

và t ∈ T được gọi là một lọc hay lịch sử Một lọc gọi là liên tục phải nếu

F t = F t+:=∩

s>t F s với mọi t Có thể coi lọc như một luồng thông tin về

một vài hiện tượng tự nhiên Một quá trình ngẫu nhiên {X t , t ∈ T} được

gọi là thích ứng với lọc {F t } nếu X t là {F t }− đo được với ∀t ∈ T Dễthấy, F s với s ≤ t chứa thông tin trong quá khứ của quá trình ngẫu nhiêncho tới thời điểm t Một biến ngẫu nhiên τ ∈ T được gọi là thời điểm dừng đối với lọc {F t } nếu với mỗi t ∈ T biến cố {τ 6 t } ∈ F t Có thể coi

τ là một thời điểm dừng nếu ta có thể xác định nó đã xảy ra tại thời điểm

t căn cứ trên thông tin (chứa trong F t) cho đến thời điểm t

Ví dụ 1.2 ( Quá trình Bernoulli- tiếp)

Có rất nhiều quá trình ngẫu nhiên bắt nguồn từ một quá trình Bernoulli

{X t , t = 1, 2, } Ví dụ, chọn S0 = 0 và S t = S t −1 + X t , t = 1, 2,

S1, , S t có thể được biết từ X1, , X t và ngược lại Cho τ n là thời điểm

Phần tiếp theo chúng ta tìm hiểu các lớp quá trình ngẫu nhiên, đượcphân loại trên cơ sở các tính chất đặc trưng

1.2.1 Tính chất Gauss

Định nghĩa 1.10 Một quá trình ngẫu nhiên giá trị thực {X t , t ∈ T} được gọi là có tính Gauss nếu mọi phân phối hữu hạn chiều của nó đều có tính

∑n

trường hợp tổng quát của biến ngẫu nhiên Gauss nhiều chiều.

Phân phối xác suất của một quá trình Gauss hoàn toàn được xác định

bởi hàm kỳ vọng

µ t = EX t , t ∈ T

và hàm hiệp phương sai

σ s,t = Cov (X s , X t ) , s, t ∈ T.

Quá trình Gauss trung bình không là quá trình Gauss với µ t = 0 với mọi

t Chúng ta sẽ trở lại với việc sinh quá trình ngẫu nhiên có tính chất Gauss

ở Chương 3

Định nghĩa 1.11 ( Quá trình Wiener) Quá trình Wiener {W t , t > 0}

có thể định nghĩa là một quá trình Gauss trung bình không với hàm hiệp phương sai

σ s,t = min {s, t} , s, t ≥ 0

1.2.2 Tính Markov

Định nghĩa 1.12 Một quá trình ngẫu nhiên {X t , t ∈ T} trên (Ω, F,P)

với T ⊆ R và không gian trạng thái E ( được trang bị một σ -đại số E ) gọi

thỏa mãn tính Markov:

P(X t+s ∈ A|F t) = P(X t+s ∈ A|X t) (1.2)Trong đó F t là thông tin quá khứ của quá trình ngẫu nhiên tính đếnthời điểm t Quá trình Markov được gọi là thuần nhất thời gian (time- homogeneous) nếu xác suất có điều kiệnPs(x, A) = P(X t+s ∈ A|X t = x)

không phụ thuộc vàotvới mỗi scố định HàmPs được gọi là hạch chuyển

s bước (s-step transition kernel) của quá trình Markov Khi (1.2) đúng vớibất kì thời điểm dừng τ của mỗi t cố định, {X t } được gọi là có tính Markov mạnh.

Tính Markov có thể được biểu thị dưới dạng

(X t+s |X u , u ≤ t) ∼ (X t+s |X t) (1.3)

nhằm nhấn mạnh thuộc tính của quá trình ngẫu nhiên trong tương laikhi có thông tin trong quá khứ không khác với khi chỉ biết thông tin củatrạng thái hiện thời Nói cách khác, với một quá trình ngẫu nhiên có tínhMarkov, phân phối có điều kiện trong tương lai X t+s chỉ phụ thuộc vàothời điểm của quá trình tại thời điểm hiện tại X t Từ bây giờ trở đi, tagiả sử quá trình Markov là thời gian thuần nhất Quá trình Markov rất

đa dạng, tùy vào cách chúng ta chọn tập T và không gian trạng thái E.Trong hầu hết các trường hợp thực tế, ta thường lấy T = N hoặc R+ và

E ⊆Rn Trong nhiều trường hợp P t được xác định có dạng

trong trường hợp rời rạc Ở đây, p t (x, y) là mật độ hạch chuyển Trong

trường hợp này phân phối hữu hạn chiều của quá trình Markov được xácđịnh bởi họ hạch chuyển {P t , t ≥ 0} và phân phối khởi tạo X0 của quátrình Markov

Trạng thái X t của quá trình ngẫu nhiên có thể giải thích như vận maytại thời điểm t của một con bạc chơi bài Trong trường hợp này, một quátrình Martingale coi như một một cuộc chơi công bằng, với ý, vận may củacon bạc trong tương lai được kỳ vọng là không đổi so với vận may hiệnthời, với việc thông tin về ván bài trong quá khứ và hiện tại được đưa raminh bạch.

Một quá trình ngẫu nhiên X được gọi là Martingale dưới trên nếu (1.6)

thay dấu ” = ” thành dấu ”≥ ”

Các tính chất của các quá trình ngẫu nhiên martingale

1) Tính chính quy của quĩ đạo: Cho {X t , t ∈ T} là Martingale dưới

mà t 7→ EX t liên tục Khi đó, X liên tục phải và giới hạn trái

2) Bị chặn trên: Cho {X t , t = 0, 1, 2, } là L p-martingale với p ≥ 1

4) Định lí dừng chọn: Cho X = {X t , t ≥ 0} là một martingale (dướimartingale) và τ1, τ1, là dãy các thời điểm dừng sao cho τ i ≤ K i

với một vài K1, K2, , < ∞ Khi đó, X τ i , i = 1, 2, là một (dưới)martingale tương ứng với lọc {F τ i }

5) Dừng chọn: Cho X = {X t , t ≥ 0} là một martingale và τ là mộtthời điểm dừng hữu hạn Nếu X khả tích đều, khi đó X τ = E[X ∞ |F t]

và EX τ = EX0

6) Tiêu chuẩn martingale: Cho X = {X t , t ≥ 0} là một martingale

mà E|X τ | < ∞ và EX τ = EX0 tại các thời điểm dừng bị chặn

τ ≤ K ≤ ∞ Khi đó X là một quá trình martingale

7) Martingale dưới bao hàm martingale: Cho X = {X t , t ≥ 0}

là một martingale dưới trên t ∈ [0, T ] nếu EX τ = EX0 thì X làmartingale trên với t ∈ [0, T ]

1.2.4 Tính tự hồi quy

Định nghĩa 1.14 Một quá trình ngẫu nhiên giá trị thực X = {X t , t ≥ 0}

được gọi là tự hồi quy nếu tồn tại các thời điểm T0 ≤ T1 < T2 < T3 < ,

Với việc cho trước lịch sử của quá trình cho đến thời điểm T n, quá trình

sau thời điểm T n thể hiện như khi khởi tạo {T n } được gọi là thời điểm hồi quy Khi T0 = 0 quá trình được gọi là thuần nhất ngược lại quá trình

được gọi là trễ.

1.2.5 Tính dừng và tính khả nghịch

Định nghĩa 1.15 Một quá trình ngẫu nhiên {X t , t ∈ T} được gọi là dừng

mạnh nếu phân phối của vectơ ngẫu nhiên (X t1, , X t n) và (X t1+s , , X t n +s)

Nói cách khác, phân phối của quá trình dừng mạnh không đổi theo thờigian chuyển Còn quá trình dừng yếu thì hàm phương sai không đổi theothời gian chuyển Một quá trình dừng mạnh là thỏa mãn tính dừng yếunếu tồn tại kỳ vọng và hàm phương sai; tức EX t2 < ∞, t ∈ T Tuy nhiên,quá trình dừng yếu không nhất thiết là quá trình dừng mạnh Một ngoại

lệ đáng chú ý là quá trình Gauss, phân phối hữu hạn chiều của nó chỉ phụ

thuộc vào tính tương quan và hiệp phương sai.

Quá trình ngẫu nhiên dừng mạnh {X t } với tập chỉ số là Z hoặc R

được gọi là khả nghịch nếu với mỗi số nguyên dương n và với mọi

t1, , t n, vectơ (X t1, , X t n) có cùng phân phối với (X −t1, , X −t n).Một liên tưởng thú vị là khả năng tua đi, tua lại khi xem video

1.3 Xích Markov

Định nghĩa 1.16 Một quá trình Markov với tập chỉ số T đếm được gọi

là một xích Markov.

Nếu tập chỉ số là N hoặc Z thì gọi là xích thuần nhất theo thời gian

Từ đây trở đi ta giả sử tập chỉ số là N hoặc Z

Như đã trình bày ở phần trên, hạch chuyểnP t (a, A)của quá trình Markovthuần nhất theo thời gian tổng quát cho ta biết xác suất xích bắt đầu từ

x đến kết thúc trong tập A sau t bước rời rạc Chúng ta lưu ý rằng xíchMarkov là hạch chuyển một bước P1 Nếu không gian trạng thái E là đếmđược, ví dụ E = N, ta có thể viết hàm mật độ (rời rạc) dưới dạng

p (x, y) = P1(x, {y}) = P(X t+1 = y |X t = x) , x, y ∈ N (1.7)

Ta có thể sắp xếp các xác suất chuyển một bước trong một ma trận chuyển một bước P với vị trí thứ (x, y) được cho bởi p (x, y) Nghĩa là,

P t tương ứng với t bước chuyển thành phần (x, y) của ma trận p t (x, y) =

P t (x, {y}) Chú ý rằng các thành phần của P t trong mỗi hàng là không

âm và có tổng bằng 1 Một ma trận như vậy gọi là ma trận ngẫu nhiên.

Nếu mỗi cột có tổng bằng 1 thì ma trận được gọi là ngẫu nhiên bội (doubly stochastic).

Khi E không đếm được, ví dụ E = R , và P t có mật độ là p t như trong(1.7) Ma trận chuyển một bước được thay thế bằng mật độ chuyển mộtbước p (x, y) = p1(x, y)

Một cách rất thuận tiện cho việc mô tả một xích Markov X các trạng

thái rời rạc là thông qua đồ thị chuyển của nó Các trạng thái được biểu

diễn bởi các giao điểm của đồ thị, và dương ngặt (> 0), xác suất chuyển

p (x, y) từ trạng thái x sang trạng thái y và được biểu diễn bằng một mũitên từ x đến y với độ lớn p (x, y) Một ví dụ của đồ thị chuyển là Hình1.2

Hình 1.2: Đồ thị chuyển của một xích Markov rời rạc

1.3.1 Lớp các trạng thái

Cho X = {X t , t = 0, 1, 2, } là một xích Markov thuần nhất theo thờigian với không gian trạng thái E Cho x, y là các trạng thái tùy ý nằmtrong E Gọi T là thời điểm mà xích bắt đầu thăm đến trạng thái y lầnđầu, hoặc là lần quay lại y đầu tiên nếu xích bắt đầu tại y; và N y là sốlần đến y kể từ thời điểm 0 trở đi Ta viết Py (A) với mỗi biến cố A Ta

kí hiệu toán tử kỳ vọng tương ứng là Ey Các trạng thái của xích Markovthường được phân lớp như sau:

1) Trạng thái y được gọi là trạng thái lặp nếu Py (T < ∞) = 1; ngoài

ra được gọi là trạng thái nhất thời Một trạng thái lặp y được gọi

là trạng thái lặp dương nếu Ey T < ∞; ngoài ra được gọi là trạng thái lặp không (null-recurrent).

2) Trạng thái y được gọi là tuần hoàn với chu kỳ δ nếu δ > 2 là

số nguyên dương lớn nhất để Py (T = nδ, n ≥ 1) = 1 Nếu δ = 1 thì

trạng thái được gọi là phi tuần hoàn.

3) Nếu p t (x, y) > 0, khi đó x được gọi là dẫn tới y viết là x → y.Nếu x → y và y → x thì x, y được gọi là có tương tác và viết là

x ↔ y Tập các trạng thái C ⊆ E được gọi là lớp tương tác nếu,

với bất kì cặp x, y ∈ C, x ↔ y hơn nữa nếu với mọi x ∈ C không có

y ∈ E \ C sao cho x ↔ y Nếu E chỉ bao gồm các lớp tương đương

thì xích Markov được gọi là tối giản.

4) Tập các trạng thái A ⊆ E sao cho ∑

y ∈A p (x, y) = 1, ∀x ∈ A được

gọi là tập đóng Trạng thái x được gọi là trạng thái hấp thụ

(absorbing state) nếu {x} là đóng

Hình 1.2 biểu diễn một đồ thị chuyển của xích Markov với 3 lớp tương tác

1.3.2 Tính khả nghịch

Định lý sau đưa ra một tiêu chuẩn đơn giản cho tính khả nghịch dựatrên xác suất chuyển

Định lý 1.1 (Xích Markov nghịch đảo)

Một xích Markov dừng là nghịch đảo khi và chỉ khi tồn tại một tập hợp

cục bộ (địa phương)

π (x) p (x, y) = π (y) p (y, x) , ∀x, y ∈ E (1.8)

Định lý 1.2 (Tiêu chuẩn Kolmogorov)

Xích Markov dừng là khả nghịch khi và chỉ khi xác suất chuyển trạng thái thỏa mãn

p (x1, x2) p (x2, x3) p (x n −1 , x n ) p (x n , x1) = p (x1, x n ) p (x n , x n −1 ) p (x2, x1)

(1.9)

với mọi vòng các trạng thái hữu hạn x1, , x n , x1.

Ý tưởng này rất trực quan là Nếu quá trình trong trạng thái thời điểmtiến nhiều khả năng đi qua một vòng khép kín nhất định theo một hướnghơn là ngược hướng nhau, khi đó trong thang thời điểm lùi nó đi theo mộthướng khác với dáng điệu khác, và vì vậy ta có một tiêu chuẩn để pháthiện hướng của thời gian Nếu như “vòng lặp” không xảy ra thì quá trìnhphải khả nghịch.

1.4 Quá trình bước nhảy Markov

Định nghĩa 1.17 Một quá trình bước nhảy Markov là một quá trình

Để đơn giản ta giả sử rằng một quá trình bước nhảy Markov là thuầnnhất theo thời gian và tập chỉ số hoặc là R hoặc R+ Cho p t (x, y) =

P t (x, {y}) = P(X t = y |X0 = x) ký hiệu cho xác suất chuyển từ x tới

y trong thời gian t ≥ 0 Tương tự như xích Markov với không gian trạngthái rời rạc, ta có thể sắp xếp các xác suất chuyển vào trong một matrận (p t (x, y)) Để tiện lợi, ta vẫn ký hiệu ma trận đó là P t Ta gọi họ {P t , t ≥ 0} hoặc P t được xem như là một hàm của t, một hàm chuyển (a transition function) Hàm chuyển được gọi là chuẩn (standard) nếu

limt ↓0 P t = I và trung thực (honest) nếu P t1 = 1, với 1 là vectơ cột của

1 Ở đây chúng ta chỉ xem xét các hàm chuẩn

Tương tự với ma trận chuyển một bước với xích Markov là Q-ma trận

Trạng thái x được gọi là ổn định nếu q x < ∞; và là trạng thái tức thìnếu q x = ∞ Nếu q x = 0 thì trạng thái x được gọi là hấp thụ.

Một quá trình bước nhảy Markov thường được định nghĩa bằng một

ma trận Q thỏa mãn hai tính chất ở trên Một ma trận như thế được gọi

là Q-ma trận Nó được gọi là ổn định nếu các trạng thái của nó là ổn định, được gọi là bị chặn đều nếu supx q x < ∞, và được gọi là bảo toàn

nếu Q1 = 0 Q được gọi là chính quy nếu nó bảo toàn và phương trình

Qz = λz, −1 ≤ z i ≤ 1, ∀i,

có duy nhất nghiệm tầm thường z = 0 với ∀λ > 0

Định lý 1.3 Tính chất tiệm cận của quỹ đạo

1) Cho quá khứ của nó, xác suất mà X nhảy từ trạng thái hiện tại x

Hình 1.3: Tính chất tiệm cận của một quá trình bước nhảy Markov

Hình 1.4: Đồ thị xác suất chuyển của quá trình sinh ra và mất đi

thời được xác định giống như cách ta xác định với xích Markov Tuy nhiênkhông có khái niệm về tính tuần hoàn cho quá trình bước nhảy Markov

Ví dụ 1.3 ( Quá trình sinh ra và mất đi)

Một quá trình sinh ra và mất đi là một quá trình bước nhảy Markov

xích Markov liên quan đến các quá trình loại này.

Chú ý rằng quá trình nhảy từ trạng thái này sang trạng thái kế tiếp theo

K i,i −1 = d i / (b i + d i ) , i = 1, 2, Hơn nữa, nó mất một khoảng thời gian

là Exp (b0) ở trạng thái 0 và mất khoảng thời gian là Exp (b i + d i) trong

tương tự, hàm chuyển hữu hạn chiều thỏa mãn phương trình Kolmogrov lùi:

Định lý 1.5 ( Hàm chuyển cực tiểu)

tồn tại thì nó là nghiệm duy nhất của phương trình tiến và lùi.

Quá trình bước nhảy Markov với P t M khi đó hàm chuyển của nó đượcgọi là Q-quá trình cực tiểu và tương ứng với quá trình bước nhảy Markov

X trong định lý 1.5

Với một quá trình bước nhảy Markov ta luôn chỉ biết về Q-ma trận Q,

và thử lại trực tiếp hay không P t M không hề dễ và khó có thể thực hiện.Tuy nhiên, ta có thể xác định giá trị của P t M gián tiếp thông qua Q nhưđịnh lý sau

Định lý 1.6 ( Q-ma trận chính quy)

Nếu Q là ma trận chính quy khi đó nghiệm cực tiểu của phương trình Kolmogorov lùi là tồn tại và do đó là nghiệm duy nhất của phương trình tiến và phương trình lùi Nói riêng, đây là trường hợp khi Q bảo toàn và

bị chặn đều.

Trong hầu hết các ứng dụng của quá trình bước nhảy Markov đượcđịnh nghĩa bởi một Q-ma trận bảo toàn bị chặn đều (cụ thể, Q-ma trận

có số chiều hữu hạn) Ma trận chuyển (hàm) là nghiệm duy nhất của cácphương trình vi phân Kolmogorov, và có thể viết được dưới dạng ma trậnlũy thừa là

2.1 Sinh biến ngẫu nhiên với phương pháp Monte

Carlo

Phần lớn các phương pháp sinh biến ngẫu nhiên khởi đầu với các sốngẫu nhiên tuân theo phân phối đều trong khoảng (0, 1) GọiU là ký hiệucho các biến ngẫu nhiên Với khả năng của máy tính điện tử hiện nay,chúng ta có thể dễ dàng sinh các biến giả ngẫu nhiên theo phân phối đều

Trong MATLAB, hàm rand dùng để sinh các biến ngẫu nhiên có phân phối đều Có một số đối số tùy chọn với hàm rand chúng ta cần lưu ý khi

sử dụng Hàm rand không có đối số trả về một biến ngẫu nhiên U Để

có được một ma trận m × n các biến ngẫu nhiên có phân phối đều, ta sử

dụng cú pháp rand(m, n) Lưu ý: nếu gọi lệnh rand (n), ta được một

ma trận n × n các phần tử ngẫu nhiên có phân phối đều

Dãy các số ngẫu nhiên được sinh trong MATLAB phụ thuộc vào hạt giống

(seed) hoặc trạng thái (state) của bộ sinh số ngẫu nhiên.Trạng thái của bộ

sinh số ngẫu nhiên được đưa về trạng thái mặc định mỗi khi khởi độngchương trình Do đó các dãy ngẫu nhiên được sinh ra mỗi khi chúng takhởi động MATLAB là giống nhau Đây là điều cần lưu ý khi chúng tamuốn sinh một mẫu ngẫu nhiên cụ thể, như minh họa trong ví dụ kế

tiếp Khi gọi lệnh ran(‘state’,0), MATLAB chuyển bộ sinh số ngẫu nhiên

về trạng thái khởi tạo Nếu chúng ta muốn định rõ trạng thái khác, sử

dụng cú pháp(‘state’,j) để chuyển bộ sinh số ngẫy nhiên về trạng thái j

Để lấy trạng thái hiện tại, dùng lệnh S = rand(‘state’), với S là một

vectơ 35 phần tử Để chuyển trạng thái của bộ sinh sang S dùng lệnh

rand(‘state’,S).

Một lưu ý là chúng ta có thể các số ngẫu nhiên có phân phối đều trênkhoảng (a, b) biến đổi đơn giản

X = (b − a).U + a.

Ví dụ 2.1 Trong ví dụ này, chúng tôi minh họa cách sử dụng của hàm

rand trong MATLAB.

đáng quan tâm Để làm điều này, chúng ta cần chỉ rõ trạng thái của bộsinh số ngẫu nhiên, như ví dụ sau.

Ví dụ 2.2 Thực hành với hàm rand.

% sinh ba mẫu ngẫu nhiên kích thước 5 phần tử

x = zeros(3,5); % Khai báo bộ nhớ

10 20 30 40 50 60 70 80 90

HISTOGRAM OF UNIFORM RANDOM VARIABLES

X

Hình 2.1: Biểu đồ tần suất của một mẫu ngẫu nhiên có phân phối đều trong khoảng (0,1)

0,9528 0,7041 0,9539 0,5982 0,8407

Chúng ta có thể dễ dàng khôi phục năm biến số ngẫu nhiên sinh trong

rand(’state’,2)

xt = rand(1,5);

Với hai lệnh này chúng ta nhận được

xt = 0, 8752 0, 3179 0, 2732 0, 6765 0, 0712.

giống như trên.

2.2 Phương pháp biến đổi ngược

Phương pháp biến đổi ngược có thể được dùng để sinh các biến số ngẫunhiên từ một phân phối liên tục Hàm phân phối F có phân phối đều trênkhoảng (0, 1):

Nếu U là biến ngẫu nhiên có phân phối đều trên khoảng (0, 1), chúng ta

có thể thu được biến số ngẫu nhiên X mong muốn từ quan hệ

Thuật toán phương pháp biến đổi ngược trường hợp liên tục được tómlược như sau.

biến ngẫu nhiên liên tục):

Kỹ thuật này có thể sử dụng trong trường hợp khi ta muốn sinh biến ngẫunhiên rời rạc X có hàm mật độ cho bởi

biến ngẫu nhiên rời rạc):

Ví dụ 2.3 Chúng ta sinh một biến ngẫu nhiên rời rạc X có hàm hàm mật độ cho bởi

elseif u<= sum(pr(1:2))

% it has to be between 0.3 and 0.5

X(i)=x(2);

else

X(i)=x(3); % it has to be between 0.5 and 1

thì chúng ta có thể sinh các biến mong muốn sử dụng thủ tục nêu dưới đây.Hằng số c là cần thiết vì chúng ta phải điều chỉnh g(y) luôn lớn hơn f (x).Chúng ta sinh các điểm từ cg(y), trong đó các điểm nằm trong đường cong

f (y) được chấp nhận, các điểm còn lại bị loại bỏ Để đảm bảo hiệu quả,

số lượng các điểm loại bỏ yêu cầu càng nhỏ càng tốt

Thuật toán 2.3 Phương pháp chấp nhận-loại bỏ ( trường hợp

biến ngẫu nhiên liên tục):

U ≤ f (Y ) cg(Y ) ,

thì chấp nhận X = Y, nếu không lặp lại bước 3

Ví dụ 2.4 Chúng ta sẽ minh họa phương pháp chấp nhận-loại bỏ bằng

β = 1 với hàm mật độ xác suất

f (x) = 2x, 0 < x < 1. (2.6)

Do 0 < x < 1 , chúng ta sử dụng hàm g(y) có phân phối đều Chúng ta cần tìm một hằng số tác động vào phân phối đều để hàm mới lớn hơn hàm mật

độ có phân phối beta cần xác định Hằng số này được lấy bởi giá trị lớn

tạp hơn, ta dùng lệnh fminsearch trong MATLAB Mã lệnh MATLAB

biến chấp nhận và loại bỏ.

c = 2; % constant

n=100; % generate 100 rv’s

% set up the arrays to store variates

x = zeros(1,n); % random variates

xy = zeros(1,n); % corresponding y values

rej = zeros(1,n); % rejected variates

rejy = zeros(1,n); % corresponding y values

irv=1;

irej=1;

while irv <= n

y = rand(1); % random number from g(y)

u = rand(1); % random number for comparison

Ở hình 2.2, chúng ta cho thấy các biến được chấp nhận và loại bỏ trong

Chúng ta có thể dễ dàng điều chỉnh phương pháp này để sinh các biếnngẫu nhiên có phân phối rời rạc

Hình 2.2: Các điểm chấp nhận ’o’ và các điểm loại bỏ ’*’ trong quá trình sinh biến ngẫu nhiên

Thuật toán 2.4 Phương pháp chấp nhận-loại bỏ (trường hợp

biến ngẫu nhiên rời rạc):

2.4 Sinh biến ngẫu nhiên liên tục

2.4.1 Sinh biến ngẫu nhiên liên tục tuân theo phân phối chuẩn Hàm randn trong MATLAB có tác dụng sinh các biến ngẫu nhiên chuẩn tắc và có chức năng tương tự hàm rand đã được thảo luận trong

phần trước Với biến ngẫu nhiên có phân phối đều U, chúng ta có thể xácđịnh biến ngẫu nhiên chuẩn tắc X với trung vị µ và phương sai σ2 bằngmột phép đổi biến Thật vậy, gọi Z là một thể hiện của biến ngẫu nhiên

chuẩn tắc (có thể được sinh bởi hàm randn) ta tìm được X mong muốnthông qua công thức

2.4.2 Sinh biến ngẫu nhiên liên tục tuân theo phân phối mũ

Phương pháp biến đổi ngược có thể được dùng để sinh biến số ngẫunhiên tuân theo phân phối mũ Hàm phân phối cho biến số ngẫu nhiêntheo cấp số mũ với tham số λ được cho bởi

F (x) = 1 − e −λx , 0 < x < ∞. (2.8)Gọi

% Change bar heights to make it correspond to

% the theoretical density - see Chapter 5

Hình 2.3: Hàm mật độ xác suất của các biến ngẫu nhiên được sinh trong ví dụ 2.5

và đường cong của hàm mật độ lý thuyết với λ = 2.

2.4.3 Sinh biến ngẫu nhiên liên tục tuân theo phân phối Gamma

Trong phần này, tôi trình bày một thuật toán để sinh một biến ngẫunhiên có phân phối gamma với các tham số (t, λ), trong đó t là một sốnguyên Nhắc lại, hàm phân phối của một biến ngẫu nhiên gamma với cáctham số (t, λ) có công thức

Tổng của t biến độc lập tuân theo phân phối mũ với cùng tham số λ

là một biến mẫu nghiên có phân phối γ với tham số (t, λ) Điều này dẫnđến công thức biến đổi sau dựa trên t số ngẫu nhiên có phân phối đều t,

X = −1

λ log(U1)− · · · − 1

λ log(U t ). (2.12)