Phương pháp monte carlo mô phỏng các quá trình ngẫu nhiên (LV01699)

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI ————————————— NGÔ THỊ HỒNG PHƯƠNG PHÁP MONTE CARLO MÔ PHỎNG CÁC QUÁ TRÌNH NGẪU NHIÊN LUẬN VĂN THẠC SĨ TOÁN HỌC Hà Nội - 2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI ————————————— NGÔ THỊ HỒNG PHƯƠNG PHÁP MONTE CARLO MÔ PHỎNG CÁC QUÁ TRÌNH NGẪU NHIÊN Chuyên ngành: Toán Ứng dụng Mã số: 60 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC Người hướng dẫn khoa học: TS HÀ BÌNH MINH Hà Nội - 2015 Lời cảm ơn Đầu tiên, xin bày tỏ lòng biết ơn sâu sắc đến TS Hà Bình Minh, người thầy định hướng chọn đề tài, trực tiếp tận tình hướng dẫn giúp đỡ hoàn thành luận văn Tôi xin chân thành cảm ơn Ban Giám Hiệu, Phòng Đào tạo Sau Đại học, Khoa Toán thầy cô trường Đại học Sư Phạm Hà Nội nhiệt tình giúp đỡ, giảng dạy, tạo điều kiện tốt cho thời gian học tập nghiên cứu trường Cuối cùng, muốn gửi lời cảm ơn chân thành tới gia đình, bạn bè đồng nghiệp, người động viên khích lệ giúp hoàn thành luận văn Xin chân thành cảm ơn! Hà Nội, tháng 06 năm 2015 Học viên Ngô Thị Hồng Lời cam đoan Luận văn hoàn thành trường Đại học Sư phạm Hà Nội hướng dẫn TS Hà Bình Minh Tôi xin can đoan số liệu kết nghiên cứu luận văn trung thực không trùng lặp với đề tài khác Trong trình nghiên cứu hoàn thành luận văn kế thừa thành khoa học nhà khoa học đồng nghiệp với trân trọng biết ơn Tôi xin cam đoan thông tin trích dẫn luận văn rõ nguồn gốc Hà Nội, tháng 06 năm 2015 Học viên Ngô Thị Hồng i Mục lục Mục lục Danh mục kí hiệu chữ viết tắt Chương Các kiến thức trình ngẫu nhiên 1.1 Biến ngẫu nhiên đặc trưng i iii 3 1.1.1 Biến ngẫu nhiên chiều 1.1.2 Biến ngẫu nhiên nhiều chiều 1.1.3 Các đặc trưng biến ngẫu nhiên 1.1.4 Một số quy luật phân phối thường gặp 1.2 Quá trình ngẫu nhiên 1.2.1 Tính chất Gauss 1.2.2 Tính Markov 1.2.3 Tính martingale 10 1.2.4 Tính tự hồi quy 12 1.2.5 Tính dừng tính khả nghịch 12 1.3 Xích Markov 13 1.3.1 Lớp trạng thái 14 1.3.2 Tính khả nghịch 15 1.4 Quá trình bước nhảy Markov Chương Phương pháp Monte Carlo sinh số ngẫu nhiên 16 21 2.1 Sinh biến ngẫu nhiên với phương pháp Monte Carlo 21 2.2 Phương pháp biến đổi ngược 24 ii 2.3 Phương pháp chấp nhận-loại bỏ 27 2.4 Sinh biến ngẫu nhiên liên tục 31 2.4.1 Sinh biến ngẫu nhiên liên tục tuân theo phân phối chuẩn 31 2.4.2 Sinh biến ngẫu nhiên liên tục tuân theo phân phối mũ 31 2.4.3 Sinh biến ngẫu nhiên liên tục tuân theo phân phối Gamma 33 2.4.4 Sinh biến ngẫu nhiên liên tục tuân theo phân phối Chi-Square 35 2.5 Sinh biến ngẫu nhiên rời rạc 37 2.5.1 Sinh biến ngẫu nhiên rời rạc tuân theo phân phối nhị thức 37 2.5.2 Sinh biến ngẫu nhiên rời rạc tuân theo phân phối Poisson 38 2.5.3 Sinh biến ngẫu nhiên rời rạc tuân theo phân phối 42 Chương Phương pháp Monte Carlo sinh trình ngẫu nhiên 44 3.1 Quá trình Gauss 3.1.1 Quá trình Gauss Markov 45 49 3.2 Xích Markov 50 3.3 Quá trình bước nhảy Markov 53 3.4 Quá trình Poisson 57 3.5 Quá trình Wiener (chuyển động Brown) 61 Kết luận 71 Phụ lục 73 iii Danh mục kí hiệu chữ viết tắt a.s cdf Hầu chắn Hàm phân phối đồng thời Cov FFT iid pdf Var Hiệp phương sai Biến đổi Fourier nhanh Độc lập phân phối Hàm mật độ Phương sai d → def = iid ∼, ∼iid x+ diag(a) B Bn E P O Ber DU exp Gamma InvGamma Lévy N P oi Stable U Hội tụ phân phối Kí hiệu Độc lập phân phối với x+ = max {x, 0} Ma trận đường chéo điểm đường chéo a σ -đại số Borel R σ -đại số Borel Rn Kỳ vọng Độ đo xác suất Vô lớn bậc cao Phân phối Bernoulli Phân phối rời rạc Phân phối mũ Phân phối Gamma Phân phối Gamma ngược Phân phối Lévy Phân phối chuẩn Phân phối Poisson Phân phối dừng Phân phối Mở đầu Lí chọn đề tài Quá trình ngẫu nhiên giúp ta hiểu biết yếu tố ngẫu nhiên ảnh hưởng đến thứ từ đơn giản đến phức tạp, giá cả, thị trường chứng khoán, Với phát triển máy tính, đặc biệt tốc độ tính toán ngày cải thiện, việc mô trình ngẫu nhiên máy tính trở nên khả thi Do vậy, chọn đề tài sử dụng phương pháp Monte Carlo để mô trình ngẫu nhiên Các trình ngẫu nhiên sau khảo sát đề tài: • Quá trình ngẫu nhiên Gauss (Gauss processes) • Xích Markov (Markov chains) • Quá trình bước nhảy Markov (Markov jump processes) • Quá trình Poisson (Poisson processes) • Quá trình Wiener (Wiener process) Mục đích nhiệm vụ nghiên cứu Sử dụng phương pháp Monte Carlo để mô trình ngẫu nhiên Đối tượng phạm vi nghiên cứu Quá trình ngẫu nhiên, phương pháp Monte Carlo, Phương pháp nghiên cứu Sử dụng ngôn ngữ lập trình MATLAB, Đóng góp đề tài Luận văn có đóng góp mặt lập trình, thực thuật toán CHƯƠNG Các kiến thức trình ngẫu nhiên 1.1 Biến ngẫu nhiên đặc trưng Giả sử (Ω, F, P) không gian xác suất (R, B) không gian đo, B σ - đại số tập Borel 1.1.1 Biến ngẫu nhiên chiều Định nghĩa 1.1 Gọi biến ngẫu nhiên X(ω) hàm đo xác định Ω lấy giá trị R, nghĩa tập Borel B ∈ B X −1 (B) = {ω : X(ω) ∈ B} phần tử F Biến ngẫu nhiên rời rạc biến ngẫu nhiên nhận số hữu hạn vô hạn đếm giá trị Chẳng hạn, X biến ngẫu nhiên rời rạc đặc trưng cho khả xảy tung xúc xắc cân đối đồng chất, X nhận giá trị 1, 2, 3, 4, 5, với xác suất tương ứng 16 Biến ngẫu nhiên liên tục biến ngẫu nhiên mà giá trị nhận giá trị khoảng R Chiều cao thành viên lớp coi biến ngẫu nhiên liên tục 67 Thuật toán sinh sau sử dụng tính chất Markov tính chất Gauss trình Wiener Thuật toán 3.11 Sinh trình Wiener: • Bước 1: Cho = t0 < t1 < t2 < · · · < tn tập thời gian rời rạc với mô trình mong muốn iid • Bước 2: Sinh Z1 , , ZN ∼ U (0, 1) đầu Wtk = k ∑ √ tk − tk−1 Zi , k = 1, , n i=1 Thuật toán đúng, {Wtk } sinh theo phân phối tương ứng chúng Để đạt xấp xỉ liên tục trình Wiener, dùng phép nội suy tuyến tính điểm Wt1 , , Wtn Nói cách khác, đoạn [tk−1 , tk ] , k = 1, , n trình liên tục gần {Ws , s ∈ [tk−1 , tk ]} qua : Ws = Wtk (s − tk−1 ) + Wtk−1 (tk − s) , s ∈ [tk−1 , tk ] (tk − tk−1 ) Thuật toán 3.12 Sinh trình Wiener qua khai triển Karhunen-Loève: iid • Bước 1: Sinh Z1 , , ZN ∼ U (0, 1) với n đủ lớn • Bước 2: Đầu xấp xỉ với trình Wiener thời điểm t: √ ( ) n ∑ (2k − 1) πt 2b W (t) = sin Zk (2k − 1) π 2b k=1 với b > 68 Quá trình {Bt , t ≥ 0} thỏa mãn Bt = µt + σWt , t ≥ 0, {Wt } trình Wiener, gọi chuyển động Brown với hệ số trôi µ hệ số khuếch tán σ Nó gọi chuyển động Brown tiêu chuẩn µ = σ = ( trình Wiener) Một số tính chất chuyển động Brown sau suy trực tiếp từ tính chất trình Wiener Một số tính chất thêm cho 1) Phương trình vi phân ngẫu nhiên: Chuyển động Brown nghiệm phương trình vi phân ngẫu nhiên dBt = µdt + σdWt , t ≥ 0, B0 = ( ) Khi Bt − B0 ∼ N µt, σ t , mật độ chuyển qt (x, y) cho hạch Gauss (y−x−µt) pt (x, y) = √ e− σ2 t , t ≥ 0, x, y ∈ R, 2πσ t chúng thỏa mãn phương trình quay lui Kolmogorov ∂ ∂ σ2 ∂ pt (x, y) = µ pt (x, y) + pt (x, y) ∂t ∂x ∂x2 phương trình tiến Kolmogorov ∂ ∂ σ2 ∂ pt (x, y) = −µ pt (x, y) + pt (x, y) ∂t ∂y ∂y Lưu ý chuyển động Brown tiêu chuẩn (quá trình Wiener) phương trình truyền nhiệt Laplace 2) Phân phối thời điểm chạm: Cho µ > 0, σ > 0, cho τx thời điểm {Bt } lần chạm x ≥ Khi τx ∼ ) ( W ald x/µ, x2 /σ 3) Xác suất thoát: Xác suất để trình chuyển động Brown tồn khoảng [a, b] qua b, thời điểm khởi đầu x ∈ [a, b],  − 2µa − 2µx  e σ2 −e σ2 , µ ̸= 2µa 2µb Px (τb < τa ) = e− σ2 −e− σ2 (3.10)  (x−a) b−a , µ = 69 tương ứng với thời điểm thoát τ = {τa , τb } có kỳ vọng  2µa 2µx  b−a e− σ2 −e− σ2 − x−a , µ ̸= 2µb µ − 2µa µ − Ex τ = e σ2 −e σ2  (b−x)(x−a) ,µ = σ2 4) Giá trị cực đại: Hệ (3.14) với µ < x ≥ 0, ( ) P maxBt > x = P0 (τx < ∞) = e2µx/σ , t Chỉ rằng, với chuyển động Brown thời điểm ( ) với hệ số trôi âm µ giá trị cực đại có phân phối mũ Exp −2µ/σ Sinh trình chuyển động Brown thời điểm t1 , , tn sau trực tiếp từ định nghĩa Thuật toán 3.13 Sinh chuyển động Brown: • Bước 1: Tạo kết Wt1 , , Wtn trình Wiener thời điểm t1 , , tn • Bước 2: Quay lại Bti = µti + σWti , i = 1, , n kết chuyển động Brown thời điểm t1 , , tn Cho {Wt,i , t ≥ 0} , i = 1, , n trình Wiener độc lập cho Wt = (Wt,1 , , Wt,n ) Quá trình {Wt , t ≥ 0} gọi trình Wiener n chiều Ví dụ 3.7 (Quá trình Wiener ba chiều) Sử dụng MATLAB sinh quĩ đạo trình Wiener ba chiều thời điểm 0, 1/N, 2/N, , 1, với N = 104 Chương trình MATLAB biểu diễn wp3d.m đưa vào phần phụ lục Hình 3.12 quĩ đạo trình 70 Hình 3.12: Quá trình Weiner chiều {Wt , ≤ t ≤ 1} 71 Kết luận Như vậy, luận văn tập trung nghiên cứu khảo sát trình ngẫu nhiên như: Quá trình ngẫu nhiên Gauss, xích Markov, Quá trình bước nhảy Markov, trình Wiener trình Poisson với phương pháp Monte Carlo ngữ lập trình MATLAB mô trình ngẫu nhiên Như luận văn đạt mục tiêu đề Mặc dù cố gắng luận văn không tránh khỏi thiếu xót mong nhận góp ý quý thầy cô đồng nghiệp Cuối cùng, lần em xin cảm ơn thầy, cô giảng dạy tạo điều kiện tốt cho em học tập hoàn thành luận văn Em xin cảm ơn thầy TS Hà Bình Minh tận tình hướng dẫn em thực luận văn trường Đại học sư phạm Hà Nội Em xin trân thành cảm ơn! 72 Tài liệu tham khảo [1] Dirk P Kroese, Thomas Taimre, Zdravko I Botev, Handbook of Monte Carlo Methods, Wiley, 2011 [2] Reuven Y Rubinstein, Dirk P Kroese, Simulation and the Monte Carlo Method, Second Edition, Wiley, 2008 [3] Dirk P Kroese, Thomas Taimre, Zdravko I Botev, Reuven Y Rubinstein, Solutions Manual to Accompany ‘Simulation and the Monte Carlo Method’, Wiley, 2007 73 Phụ lục Mã nguồn chương trình viết chạy MATLAB R2007b findneigh m %/ findneigh m function A = findneigh(i,j,m) % , find neighbors of the (i,j)-th site of an m by m grid if i==1 if j==1 A = [1,1;1,2;2,1]; elseif j==m A = [1,m;1,m-1;2,m]; else A = [1,j;1,j-1;1,j+1;2,j]; end elseif i==m if j==1 A = [m,1;m,2;m-1,1]; elseif j==m A = [m,m;m,m-1;m-1,m]; else A = [m,j;m,j-1;m,j+1;m-1,j]; end else 74 if j==1 A = [i,1;i,2;i-1,1;i+1,1]; elseif j==m A = [i,m;i,m-1;i+1,m;i-1,m] ; else A = [i,j;i,j-1;i,j+1;i+1,j;i-1,j] ; end end brownian2d.m % brownian_2d.m simulates a two-dimensional Brownian motion N=10000; T=70; h=T/N; % number of steps to take % maximum time % time step t=(0:h:T); sigma = 1.0; % t is the vector [0 1h 2h 3h Nh] % strength of noise x=zeros(size(t)); y=zeros(size(t)); % place to store x locations % place to store y locations x(1)=0.0; y(1)=0.0; for i=1:N % initial x location % initial y location % take N steps x(i+1)=x(i)+sigma*sqrt(h)*randn; y(i+1)=y(i)+sigma*sqrt(h)*randn; 75 end; plot(x,y); grid on % axis([0 T -3 8]); % add a grid to axes % set axis limits gpsparsechol.m %gp_sparsechol m clear clc m = 200; d1 = 1; d2 = -0.25 ; nels = m*(5*m-4); %0 preallocate memory t o form spars e precisio n matrix a = zeros(1,nels) ; b = zeros(1,nels) ; c = zeros(1,nels) ; %compute the links and weights for the precision matrix k=0; for i=1:m for j=1:m A = findneigh(i,j,m) ; nnb = size(A,1) ; for h=1:nnb a(k+h) = ij2k(i,j,m) ; b(k+h) = ij2k(A(h,1),A(h,2),m) ; if h==1 76 c(k+h) = d1 ; else c(k+h) = d2 ; end end k = k+nnb; end end Lambda = sparse(a,b,c,m^2,m^2) ; D = chol(Lambda,’lower’) ; Z = randn(m^2,1) ; x = D\Z;% generat e th e Gaussia n proces s colormap gray , brighten(-0.2 ) imagesc(reshape(x,m,m) ) % plo t th e resul t hypercube.m %hypercube m clear clc N = n = x = for 200 ;%So mau 20 ;%so chieu zeros(N,n) ; t=1: N I = ceil(rand*n) ;%Chon vi tri ngau nhien x(t+1,:) = x(t,: ); %copy x(t+1,I) = ~x(t+1,I);%Lat bit tai vi tri end b = 0.5.^[1:n] ; 77 y = x*b’ ; hold on plot(0:N,y,’.’) , plot(0:N,y ) hold off maze.m %maze.m clear clc n = 101; a = 0.5; b = 1/3 ; P=[0 a 0 0 0 0 a 0 a b b 0 0 b 0 0 0 0 ; 0; 0 0; a 0 0; b b 0; 0 ; b 0 b ; 0 0]; x = zeros(1 ,n ) ;x(1)= 3; for t=1:n-1 x(t+1) =min(find(cumsum(P(x(t),:))>rand)); end hold on plot(0:n-1,x,’.’) plot(0:n-1,x) ho1d off 78 mjprep.m %mjprep.m clc clear all lam1=1; lam2 =2 ; mu1= ; mu2 = ; clf Q = [-(lam1 + lam2) , lam1 , lam2, 0, 0; mu1, -(mu1+ lam2) , 0, lam2, 0; mu2, 0, -(mu2 + lam1) , 0, lam1; , 0, mu1, -mu1, ; , mu2, 0, 0, -mu2]; q = -diag(Q) ; K = diag(1./q)* Q + eye(5) ; T = ; n=0 ; t=0 ; y = 1; yy = [y] ; tt = [t] ; while t < T A = -log(rand)/q(y) ; y = min(find(cumsum(K(y,:))> rand)) ; t = t + A; tt = [tt,t ] ; yy= [yy,y ] ; n=n+1; end for i=1:n line([tt(i),tt(i+1)], [yy(i),yy(i)],’Linewidth’,3); 79 line([tt(i+1),tt(i+1)],[yy(i),yy(i+1)],’LineStyle’,’:’ ); end axis([0,T,1,5.1]) trpcauchy.m %rpcauchy.m clc clear Delta=10^(-5); N=10^5; Z=randn(1,N+1)./rand(1,N+1); times=(0:1:N).*Delta; Z=Delta.*Z; Z(1)=0; X=cumsum(Z); plot(times,X) BPATH1.m %BPATH1 Brownian path simulation clear randn(’state’,100) % set the state of randn T = 1; N = 500; dt = T/N; dW = zeros(1,N); % preallocate arrays W = zeros(1,N); % for efficiency 80 dW(1) = sqrt(dt)*randn; W(1) = dW(1); for j = 2:N dW(j) = sqrt(dt)*randn; % since W(0) = is not allowed % general increment W(j) = W(j-1) + dW(j); end plot([0:dt:T],[0,W],’r-’) % plot W against t xlabel(’t’,’FontSize’,16) ylabel(’W(t)’,’FontSize’,16,’Rotation’,0) wp3d.m %wp3d.m clear N=10^4; T=1; dt=T/N; X=cumsum([0,0,0;rand(N,3)*sqrt(dt)],1); plot3(X(:,1),X(:,2),X(:,3)) ohompoich m clear clc for i=1:6 N = poissrnd(20); x = rand(N,2); 81 k = convhull(x(:,1),x(:,2)); %[K,v ] = convhulln(x); subplot(2,3,i); plot(x(k,1),x(k,2),’r-’,x(:,1),x(:,2),’.’) end pois.m %pois.m T = 50; t= 0; n = 0; tt = [t] ; while t < T t = t - log(rand) ; if (rand < sin(t)^2 ) tt = [tt,t] ; n = n+1 ; end end nn = 0:n; for i =1:n line([tt(i ) ,tt(i+1) ] , [nn(i),nn(i) ],’Linewidth’,2) ; end [...]... của các phương trình vi phân Kolmogorov, và có thể viết được dưới dạng ma trận lũy thừa là ∞ k k ∑ t Q Qt Pt = e = k! k=0 21 CHƯƠNG 2 Phương pháp Monte Carlo sinh số ngẫu nhiên Trong Chương này chúng tôi trình bày các kỹ thuật cơ bản của phương pháp Monte Carlo sinh biến ngẫu nhiên và áp dụng các kỹ thuật này sinh các biến ngẫu nhiên có phân phối mong muốn 2.1 Sinh biến ngẫu nhiên với phương pháp Monte. .. tập các chỉ số Tập các giá trị của Xt , ký hiệu là E , được gọi là không gian trạng thái của quá trình ngẫu nhiên Tập chỉ số T thường được chọn là một tập con đếm được hoặc liên tục của R, do đó một quá trình ngẫu nhiên thường được coi như một biến ngẫu nhiên theo thời gian, với Xt là trạng thái của quá trình ngẫu nhiên tại thời điểm t Ví dụ 1.1 ( Quá trình Bernoulli) Một ví dụ của quá trình ngẫu nhiên. .. ngẫu nhiên với phương pháp Monte Carlo Phần lớn các phương pháp sinh biến ngẫu nhiên khởi đầu với các số ngẫu nhiên tuân theo phân phối đều trong khoảng (0, 1) Gọi U là ký hiệu cho các biến ngẫu nhiên Với khả năng của máy tính điện tử hiện nay, chúng ta có thể dễ dàng sinh các biến giả ngẫu nhiên theo phân phối đều Trong MATLAB, hàm rand dùng để sinh các biến ngẫu nhiên có phân phối đều Có một số đối... nghĩa 1.11 ( Quá trình Wiener) Quá trình Wiener {Wt , t 0} có thể định nghĩa là một quá trình Gauss trung bình không với hàm hiệp phương sai σs,t = min {s, t} , s, t ≥ 0 1.2.2 Tính Markov Định nghĩa 1.12 Một quá trình ngẫu nhiên {Xt , t ∈ T } trên (Ω, F, P) với T ⊆ R và không gian trạng thái E ( được trang bị một σ -đại số E ) gọi là một quá trình Markov nếu ∀s 0, t ∈ T và A ∈ E quá trình ngẫu nhiên thỏa... hàm tự hiệp phương sai Nói cách khác, phân phối của quá trình dừng mạnh không đổi theo thời gian chuyển Còn quá trình dừng yếu thì hàm phương sai không đổi theo thời gian chuyển Một quá trình dừng mạnh là thỏa mãn tính dừng yếu nếu tồn tại kỳ vọng và hàm phương sai; tức EXt2 < ∞, t ∈ T Tuy nhiên, quá trình dừng yếu không nhất thiết là quá trình dừng mạnh Một ngoại lệ đáng chú ý là quá trình Gauss,... thuộc tính của quá trình ngẫu nhiên trong tương lai khi có thông tin trong quá khứ không khác với khi chỉ biết thông tin của trạng thái hiện thời Nói cách khác, với một quá trình ngẫu nhiên có tính Markov, phân phối có điều kiện trong tương lai Xt+s chỉ phụ thuộc vào thời điểm của quá trình tại thời điểm hiện tại Xt Từ bây giờ trở đi, ta giả sử quá trình Markov là thời gian thuần nhất Quá trình Markov... phân phối Gauss Quá trình Gauss có thể được coi như trường hợp tổng quát của biến ngẫu nhiên Gauss nhiều chiều Phân phối xác suất của một quá trình Gauss hoàn toàn được xác định 9 bởi hàm kỳ vọng µt = EXt , t ∈ T và hàm hiệp phương sai σs,t = Cov (Xs , Xt ) , s, t ∈ T Quá trình Gauss trung bình không là quá trình Gauss với µt = 0 với mọi t Chúng ta sẽ trở lại với việc sinh quá trình ngẫu nhiên có tính... trả về một biến ngẫu nhiên U Để có được một ma trận m × n các biến ngẫu nhiên có phân phối đều, ta sử dụng cú pháp rand(m, n) Lưu ý: nếu gọi lệnh rand (n), ta được một ma trận n × n các phần tử ngẫu nhiên có phân phối đều 22 Dãy các số ngẫu nhiên được sinh trong MATLAB phụ thuộc vào hạt giống (seed) hoặc trạng thái (state) của bộ sinh số ngẫu nhiên. Trạng thái của bộ sinh số ngẫu nhiên được đưa về... } là các biến ngẫu nhiên độc lập cùng phân phối, tức là với điều kiện trên Xs , s ≤ Tn quá trình {XTn +t , t ≥ 0} có cùng phân phối với {XT0 +t , t ≥ 0} Nói cách khác, quá trình hồi quy là tự quay lại tại các thời điểm T0 , T1 Với việc cho trước lịch sử của quá trình cho đến thời điểm Tn , quá trình sau thời điểm Tn thể hiện như khi khởi tạo {Tn } được gọi là thời điểm hồi quy Khi T0 = 0 quá trình. .. nghiệm ở cả hai phương trình tiến, lùi và là giá trị cực tiểu có nghĩa là PtM ≤ Pt với bất kỳ nghiệm Pt nào khác của phương trình tiến hoặc lùi Nếu PtM là tồn tại thì nó là nghiệm duy nhất của phương trình tiến và lùi Quá trình bước nhảy Markov với PtM khi đó hàm chuyển của nó được gọi là Q -quá trình cực tiểu và tương ứng với quá trình bước nhảy Markov X trong định lý 1.5 Với một quá trình bước nhảy