Tìm hiểu quá trình hồi phục (Renewal Processes) và ứng dụng

BÁO CÁO BÀI TẬP LỚNQUÁ TRÌNH NGẪU NHIÊN ỨNG DỤNGĐề tài: Tìm hiểu quá trình hồi phục (Renewal Processes) và ứng dụngMục lụcMở đầu1Phần 12Quá trình hồi phục (Renewal Processes)21. Định nghĩa22. Tính chất của Quá trình hồi phục22.1. Strong Law of Large Number (SLLN Luật số lớn)22.2. Elementary renewal theorem (Định lí cơ bản)33. Quá trình hồi phục có phải quá trình đếm không?3Phần 24Quá trình hồi phục có hoàn lại (Renewal Reward Processes)41. Định nghĩa42. Tính chất của Quá trình hồi phục có hoàn lại42.1. Strong Law of Large Number (SLLN Luật số lớn)42.2. Elementary theorem (Định lí cơ bản)4Phần 35Ứng dụng và minh họa với Matlab51. Minh họa Quá trình hồi phục bằng Matlab52. Minh họa Quá trình hồi phục có hoàn lại bằng Matlab7Phụ lục9Tài liệu tham khảo10

ĐẠI HỌC BÁCH KHOA HÀ NỘI

Viện Công nghệ thông tin và Truyền thông

BÁO CÁO BÀI TẬP LỚN

QUÁ TRÌNH NGẪU NHIÊN VÀ ỨNG DỤNG

Đề tài: Tìm hiểu quá trình hồi phục (Renewal Processes) và ứng dụng

Mục lục

Mở đầu

Trong thực tế rất nhiều sự kiện xảy ra một cách ngẫu nhiên và chúng đã được mô hình hóa bằng các lí thuyết về xác suất, thống kê và quá trình ngẫu nhiên Một trong các vấn đề thường gặp là việc đếm các sự kiện ngẫu nhiên xảy ra trong một

mô hình ngẫu nhiên nào đó Để giải quyết việc này, mô hình về các quá trình đếm (counting processes) được đưa ra và một ví dụ điển hình là quá trình Poisson

(Poisson processes)

Học phần Xác suất - Thống kê đã đề cập tới phân phối Poisson và ứng dụng của

nó Trên quan điểm về quá trình ngẫu nhiên, quá trình Poisson là một quá trình đếm dùng để xác định số lượng sự kiện ngẫu nhiên đã xảy ra và thời điểm chúng xuất hiện trong một khoảng thời gian cho trước Nhiều mô hình ngẫu nhiên trên thực tế có thể được mô tả bằng quá trình Poisson như sự phân rã hạt nhân (phóng xạ), các loại hàng đợi như tổng đài điện thoại, web server …

Tuy nhiên không phải tất cả các sự kiện ngẫu nhiên trong thực tế đều tuân theo phân phối Poisson Vì vậy, về mặt lí thuyết ta có thể tổng quát hóa quá trình

Poisson bằng một quá trình ngẫu nhiên khác có phân phối của các sự kiện là G tổng quát Quá trình đang đề cập đến đây gọi là quá trình hồi phục (renewal

processes).

Phần 1 Quá trình hồi phục (Renewal Processes)

1 Định nghĩa

Với là một chuỗi các biến ngẫu nhiên có hàm phân phối , nhận các giá trị trên và có kì vọng

- gọi là các điểm hồi phục (renewal points)

- Đoạn [ ] gọi là khoảng hồi phục (renewal, renewal cycle)

- gọi là thời gian trễ

Khi đó biến ngẫu nhiên định nghĩa bởi:

(Là giá trị lớn nhất của sao cho )

sẽ chỉ ra số lượng khoảng hồi phục đã xảy ra cho tới thời điểm t Vì vậy nó được gọi là quá trình hồi phục

2 Tính chất của Quá trình hồi phục

2.1 Strong Law of Large Number (SLLN - Luật số lớn)

Gọi là thời gian sống trung bình (expected lifetime) Ta có:

Với là số lượng khoảng hồi phục (sự kiện) đã xảy ra cho tới thời điểm , công thức này chỉ ra số lượng sự kiện xảy ra trên một đơn vị thời gian trong thời gian dài (long run, )

Chứng minh

Dễ dàng thấy là điểm hồi phục cuối cùng trước và là điểm hồi phục đầu tiên sau :

Ta có:

- (luật số lớn với i.i.d.)

- (tương tự và

Tức là cận trên và cận dưới của đều tiến đến , từ đó ta có điều phải chứng minh.

2.2 Elementary renewal theorem (Định lí cơ bản)

Định nghĩa hàm hồi phục:

]

Ta có:

Chứng minh định lí này dựa vào Đẳng thức Wald về thời gian dừng (stopping time) của một chuỗi i.i.d Ta không đề cập đến chứng minh này ở bản báo cáo này

3 Quá trình hồi phục có phải quá trình đếm không?

Quá trình hồi phục cũng là quá trình đếm bởi vì nó có đầy đủ các tính chất của 1 quá trình đếm: N(t) biểu thị số khoảng hồi phục cho đến thời điểm t

- = 0

- chỉ nhận các giá trị là số tự nhiên

- < với s < t

- = – , , chỉ số khoảng hồi phục từ thời điểm s đến thời điểm t

Phần 2 Quá trình hồi phục có hoàn lại (Renewal Reward Processes)

1 Định nghĩa

Ta có là một quá trình hồi phục với các điểm hồi phục là

Với một chuỗi biến ngẫu nhiên i.i.d có trung bình , ta định nghĩa quá trình hồi phục có hoàn lại như sau:

Quá trình này chỉ ra mức chi phí đạt được cho tới thời điểm đang xét

2 Tính chất của Quá trình hồi phục có hoàn lại

2.1 Strong Law of Large Number (SLLN - Luật số lớn)

Vẫn với thời gian sống trung bình , ta có:

Tính chất này chỉ ra lượng chi phí hoàn lại trung bình trong thời gian dài (long run) bằng

2.2 Elementary theorem (Định lí cơ bản)

Với , ta có:

Phần 3 Ứng dụng và minh họa với Matlab

• Quá trình hồi phục có thể dùng để biểu diễn miền thời gian sử dụng các máy móc

• Tuy nhiên trong thực tế kinh doanh, việc thay thế máy móc hay bất kì công cụ nào đều tiêu tốn một chi phí nhất định, đồng thời sự kiện này có thể xảy ra bất kì lúc nào, trước hoặc sau khi máy bị hỏng (cũng là ngẫu nhiên)

• Chi phí thay đổi (hồi phục) sự kiện có thể là âm (mất đi) hoặc dương (nhận thêm)

• Vì vậy, quá trình hồi phục có thể được tổng quát hóa thêm một bước bằng cách đưa vào khái niệm về chi phí hồi phục sự kiện (hoàn lại – reward) và ta gọi nó là renewal reward process

Phần mềm Matlab có các hàm hỗ trợ như sau:

Y = random(name,A,B,C,[m,n, ]) – tạo số random với phân phối “name” và các tham

số A, B, C trên ma trận cỡ mxnx…

B = cumsum(A) – tính tổng dọc theo mảng A

stairs(X,Y) – vẽ đồ thị dạng bậc thang với đầu vào là các ma trận X,Y

1 Minh họa Quá trình hồi phục bằng Matlab

Mã Matlab

num = 1; % số lượng quá trình hồi phục cần minh họa

maxtime = 10; % thời điểm tối đa được minh họa

% khởi tạo ma trận toàn 0 để tính toán và vẽ đồ thị dễ hơn

rntimes = zeros(1, num);

% tạo điểm hồi phục và ghi vào các cột của ma trận

% hàm random này cho các số ngẫu nhiên theo phân phối mũ có trung bình bằng 2

% hàm random này có thể thay thế bằng các hàm sinh số ngẫu nhiên dương khác

i = 1;

while (min(rntimes(i, :))<=maxtime)

rntimes = [rntimes; rntimes(i, :)+random(' exp ',2,[1, num])];

i = i+1;

end ;

% tìm các điểm phục hồi vượt quá maxtime và gán lại bằng maxtime

ex_i = find(rntimes>maxtime);

rntimes(ex_i) = maxtime;

% khởi tạo các bước nhảy của quá trình hồi phục và đưa vào các cột ma trận

rncount = [zeros(1, num); ones(size(rntimes, 1)-1, num)];

% đặt lại giá trị đếm của các điểm vượt quá bằng 0

rncount(ex_i) = 0;

% cộng lại các giá trị đếm và vẽ đồ thị

rncount = cumsum(rncount);

stairs(rntimes, rncount);

Kết quả

Một ví dụ thực tế của quá trình hồi phục là việc sử dụng một loại máy sản xuất có thời gian sử dụng (thời gian sống) là biến ngẫu nhiên có phân phối nào đó, và một máy mới được thay thế khi máy cũ bị hỏng Ta có thể dễ dàng thấy thời gian sử dụng mỗi máy là thể hiện của chuỗi biến và thời điểm phải thay thế máy đó là Vì vậy chính là quá trình hồi phục để đếm số lượng máy đã phải sử dụng cho tới thời điểm t và nó có thể chỉ ra một số các vấn đề khác mà người quản lí quan tâm

2 Minh họa Quá trình hồi phục có hoàn lại bằng Matlab

Mã Matlab

num = 1; % số lượng quá trình hồi phục cần minh họa

maxtime = 10; % thời điểm tối đa được minh họa

% khởi tạo ma trận toàn 0 để tính toán và vẽ đồ thị dễ hơn

rntimes = zeros(1, num);

% tạo điểm hồi phục và ghi vào các cột của ma trận

% hàm random này cho các số ngẫu nhiên theo phân phối mũ có trung bình bằng 2

% hàm random này có thể thay thế bằng các hàm sinh số ngẫu nhiên dương khác

i = 1;

while (min(rntimes(i, :))<=maxtime)

rntimes = [rntimes; rntimes(i, :)+random(' exp ',2,[1, num])];

i = i+1;

end;

% tìm các điểm phục hồi vượt quá maxtime và gán lại bằng maxtime

ex_i = find(rntimes>maxtime);

rntimes(ex_i) = maxtime;

% khởi tạo các bước nhảy của quá trình và đưa vào các cột ma trận

rncount = [zeros(1, num);

rand(size(rntimes, 1)-1, num)];

% đặt lại giá trị đếm của các điểm vượt quá bằng 0

rncount(ex_i) = 0;

% cộng lại các giá trị đếm và vẽ đồ thị

rncount = cumsum(rncount);

stairs(rntimes, rncount);

Kết quả

Không chỉ được sử dụng để mô tả về việc sử dụng và thay thế máy móc, quá trình hồi phục có hoàn lại còn có thể mô tả quá trình sản xuất sản phẩm, trong đó thời gian cần thiết để cho ra một sản phẩm là ngẫu nhiên Nếu sản phẩm đó đạt chuẩn thì nó sẽ trả về cho nhà sản xuất một khoản thưởng (dương) còn nếu nó hỏng thì nhà sản xuất phải mất chi phí để tiêu hủy nó (âm) Quá trình hồi phục có hoàn lại trong trường hợp này sẽ chỉ ra được mức lợi nhuận mà nhà sản xuất đạt được sau một thời gian cho trước

Phụ lục

Chuỗi ngẫu nhiên i.i.d (Independent, identically distributed)

Là một chuỗi các số ngẫu nhiên hoặc một chuỗi các biến ngẫu nhiên có chung hàm phân phối và độc lập đối với nhau

Luật số lớn (Strong Law of Large Numbers)

Với là một chuỗi biến ngẫu nhiên i.i.d thì:

w p 1 = với xác suất bằng 1

Chỉ ra rằng khi thực hiện một phép thử càng nhiều lần thì trung bình cộng các giá trị đo được càng tiến đến gần với trung bình của sự kiện ngẫu nhiên

Tài liệu tham khảo

Poisson process Wikipedia [Online] http://en.wikipedia.org/wiki/Poisson_process.

Renewal Theory Wikipedia [Online] http://en.wikipedia.org/wiki/Renewal_theory.

Law of large numbers Wikipedia [Online] http://en.wikipedia.org/wiki/Law_of_large_numbers.

Renewal Limit Theorems [Online] http://www.math.uah.edu/stat/renewal/LimitTheorems.html Renewal Reward Processes [Online] http://www.math.uah.edu/stat/renewal/Reward.html