Ứng dụng xích markov trong xây dựng mô hình dự đoán

Phân loại quá trình ngẫu nhiên Có thể phân loại các quá trình ngẫu nhiên theo các đặc trưng sau:  Không gian trạng thái;  Tập chỉ số thời gian T;  Quan hệ độc lập, quy luật phân bố x

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

TONG HER

ỨNG DỤNG XÍCH MARKOV TRONG XÂY DỰNG MÔ HÌNH DỰ ĐOÁN

Chuyên ngành: KHOA HỌC MÁY TÍNH

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Thái Nguyên - 2022

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

TONG HER

ỨNG DỤNG XÍCH MARKOV TRONG XÂY DỰNG MÔ HÌNH DỰ ĐOÁN

Chuyên ngành: KHOA HỌC MÁY TÍNH

Mã số: 848 01 01

LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: TS TRẦN QUANG QUÝ

Thái Nguyên - 2022

LỜI CẢM ƠN

Đầu tiên, tôi xin gửi lời cảm ơn sâu sắc nhất tới thầy TS Trần Quang Quý,

thầy đã tận tình hướng dẫn và chỉ bảo và giúp đỡ tôi thực hiện luận văn này

Tôi xin chân thành cảm ơn Ban giám hiệu trường Đại học Công nghệ thông tin và Truyền thông đã quan tâm tới các học viên quốc tế; Các thầy, cô giáo trong trường đã tận tình giảng dạy và tạo điều kiện thuận lợi để tôi có thể học tập và rèn luyện trong suốt thời gian theo học tại Trường

Tôi xin chân thành cảm ơn những người thân và các bạn bè đã chia sẻ, giúp

đỡ tôi hoàn thành luận văn này

Mặc dù đã hết sức cố gắng, nhưng do thời gian và kinh nghiệm nghiên cứu còn có nhiều hạn chế, tiếng Việt chưa thực sự thông thạo nên luận văn vẫn còn một số thiếu sót Kính mong các Thầy/Cô và các bạn góp ý để tôi có thể kịp thời chỉnh sửa

Tôi xin chân thành cảm ơn!

Thái Nguyên, tháng 10 năm 2022

Học viên thực hiện

Tong HER

LỜI CAM ĐOAN

Tôi xin cam đoan nội dung và kết quả nghiên cứu trong luận văn này là trung thực và những nội dung trùng lặp với các đề tài khác đều đã được chú thích tham khảo theo đúng quy định Tôi cũng xin cam đoan mọi sự giúp đỡ cho việc thực hiện luận văn này đã được cảm ơn và các thông tin trích dẫn trong luận văn

đã được chỉ rõ nguồn gốc

Thái Nguyên, tháng 10 năm 2022

TONG HER

1

MỤC LỤC

MỤC LỤC 1

MỤC LỤC HÌNH ẢNH 2

MỤC LỤC BẢNG BIỂU 3

DANH MỤC VIẾT TẮT 4

MỞ ĐẦU 6

CHƯƠNG 1: TỔNG QUAN VỀ XÍCH MARKOV 7

1.1 Tìm hiểu về quá trình Markov ngẫu nhiên 7

1.2 Tìm hiểu về xích Markov với thời gian rời rạc (DTMC) 13

1.3 Các định nghĩa liên quan đến xích Markov 21

CHƯƠNG 2: XÍCH MARKOV RỜI RẠC VÀ THUẦN NHẤT 23

2.1 Ma trận xác suất chuyển vị 23

2.2 Phân phối ban đầu 32

2.3 Ví dụ về xích Markov rời rạc và thuần nhất 33

2.4 Mở rộng: Xích Markov có hữu hạn trạng thái 36

CHƯƠNG 3: ỨNG DỤNG XÍCH MARKOV VÀ XÂY DỰNG MÔ HÌNH DỰ ĐOÁN TÀI CHÍNH 42

3.1 Ứng dụng xích Markov 42

3.1.1 Cấu trúc gói xích Markov trong R 42

3.1.2 Cú pháp sử dụng phân tích xác suất đối tượng xích Markov 47

3.1.3 Cú pháp, hàm sử dụng để phân tích thời gian rời rạc (DTMC) 54

3.1.4 Xây dựng chương trình mô phỏng dự đoán thời tiết 56

3.2 Xây dựng mô hình dự đoán tài chính 59

3.2.1 Dự đoán dữ liệu tuần tự 59

3.2.2 Ma trận chuyển tiếp 61

3.2.3 Triển khai mô hình dự đoán hành vi thị trường chứng khoán 62

3.2.4 Thu thập dữ liệu S&P 500 64

3.2.5 Kết quả từ mô hình dự báo 70

KẾT LUẬN 72

TÀI LIỆU THAM KHẢO 73

2

MỤC LỤC HÌNH ẢNH

Hình 1.1 Mô phỏng quá trình ngẫu nhiên 8

Hình 2.1 Các trạng thái của xích Markov được biểu thị 25

Hình 2.2 Trạng thái lặp lại và tạm thời 37

Hình 3.1 Mô phỏng xích Markov 45

Hình 3.2 Nhập và xuất đối với một đối tượng xích Markov 46

Hình 3.3 Xích Markov MathematicaMC 53

Hình 3.4 Dữ liệu mẫu trong huấn luyện mô hình Markov 60

Hình 3.5 Mô hình chuyển trạng thái Markov 60

Hình 3.6 Hiển thị 10 dữ liệu chứng khoán đầu tiên 69

Hình 3.7 Hiển thị 10 dữ liệu chứng khoán cuối cùng (mới nhất) 69

Hình 3.8 Trực quan dữ liệu GSPC 69

3

MỤC LỤC BẢNG BIỂU

Bảng 1.1 Bảng phân phối xác suất cho X(0) 21

Bảng 2.1 Xác suất trạng thái trong 15 thời kỳ 26

Bảng 2.2 Bảng ma trận xác suất chuyển đổi 29

Bảng 2.3 Phân phối xác xuất tại các siêu thị 34

Bảng 2.4 Phân phối xác suất cho X(1) 35

Bảng 3.1 Các phương thức để xử lý đối tượng xích Markov 44

Bảng 3.2 Các tập dữ liệu được đính kèm thư viện markovchain 47

Bảng 3.3 Các file đính kèm thư viện markovchain mô phỏng 47

Bảng 3.4 Các phương thức trong gói markovchain 48

Bảng 3.5 Các hàm thống kê Markovchain 54

Bảng 3.6 Ví dụ về dữ liệu chứng khoán, giá đóng cửa S&P 500 64

4

DANH MỤC VIẾT TẮT

Chữ viết tắt Chữ đầy đủ

AIC Akaike Information Criterion

ARIMA Autoregressive Integrated Moving Average

BIC Bayessian Information Criterion

BPNN Back Propagation Neural Network

CMC Comerical Higher Order Markov Chain

DJIA Dow Jones Industrial Average Index

IMC Improved Higher Order Markov Chain

5

MAPE Mean Absolute Percentage Error

6

MỞ ĐẦU

Đầu thế kỉ XX, nhà Toán học nổi tiếng người Nga A A Markov đã đưa ra

mô hình Toán học để mô tả chuyển động của các phần tử chất lỏng trong một bình kín Sau này mô hình được phát triển và mang tên là “Quá trình Markov” Nhiều

mô hình ngẫu nhiên trong Kinh tế, kỹ thuật, dân số học, di truyền học đều được dựa trên cơ sở là quá trình Markov Xích Markov là một trường hợp riêng của quá trình Markov khi ta có thể đánh số được các trạng thái

Xích Markov được ứng dụng rộng rãi làm mô hình thống kê của nhiều quá trình đời thực, như là nghiên cứu hệ thống điều khiển hành trình trong các xe mô

tô, hàng đợi hay hàng người đến sân bay chờ làm thủ tục, tỉ giá hối đoái tiền tệ và

sự biến đổi của dân số quần thể Quá trình Markov là cơ sở cho phương pháp mô phỏng ngẫu nhiên xích Markov Monte Carlo, được dùng để mô phỏng việc lấy mẫu từ một phân bố xác suất phức tạp, và có ứng dụng trong thống kê Bayes, nhiệt động lực học, cơ học thống kê, vật lý, hóa học, kinh tế, tài chính, xử lý tín hiệu, lý thuyết thông tin và trí tuệ nhân tạo

Năm 1998, Lawrence Page, Sergey Brin, Rajiv Motwani và Terry Winograd đã công bố bài báo “ The PageRank Citation Ranking: Bringing Order

to the Web ”, trong bài báo mô tả thuật toán PageRank (hay còn gọi là thuật toán xếp hạng trang) nổi tiếng và hiện nay đã trở thành nền tảng của Google Chưa đầy hai thập kỷ sau, Google đã trở thành một gã khổng lồ, và cho dù thuật toán của hãng đã phát triển rất nhiều, PageRank vẫn là "biểu tượng" trong các thuật toán xếp hạng của Google Một trong những nền tảng quan trọng của PageRank chính

là xích Markov

Trong nội dung của luận văn này trình bày các khái niệm chính về quá trình ngẫu nhiên rời rạc, xích Markov và ứng dụng của xích Markov trong việc xây dựng mô hình dự đoán trong thực tế

7

CHƯƠNG 1: TỔNG QUAN VỀ XÍCH MARKOV

1.1 Tìm hiểu về quá trình Markov ngẫu nhiên

Hầu hết các hiện tượng xảy ra trong tự nhiên và xã hội đều có tính chất ngẫu nhiên, đó là sự phản ánh của các mối ràng buộc phức tạp mà ta không biết trước được Trong xác suất Thống kê chúng ta đã biết khái niệm biến ngẫu nhiên, véc tơ ngẫu nhiên, đó là các biến nhận giá trị nào đó phụ thuộc vào các yếu tố ngẫu nhiên Khi các biến ngẫu nhiên phụ thuộc vào thời gian ta có quá trình ngẫu nhiên

Lý thuyết quá trình ngẫu nhiên lần đầu tiên được nghiên cứu liên quan đến bài toán dao động và nhiễu của các hệ vật lý Quá trình ngẫu nhiên là một mô hình toán học của quá trình thực nghiệm mà sự phát triển bị chi phối bởi các quy luật xác suất Quá trình ngẫu nhiên cung cấp những mô hình hữu ích để nghiên cứu nhiều lĩnh vực khác nhau như vật lý thống kê, viễn thông, điều khiển, phân tích chuỗi thời gian, sự tăng trưởng dân số và các ngành khoa học quản lý Các tín hiệu video, tín hiệu thoại, dữ liệu máy tính, nhiễu của một hệ thống viễn thông, nhiễu điện trong các thiết bị điện, số khách hàng đến một điểm phục vụ, chỉ số chứng khoán trong thị trường chứng khoán… là các quá trình ngẫu nhiên

Quá trình ngẫu nhiên có nhiều ứng dụng đó là quá trình Markov (quá trình không nhớ, memoryless) và quá trình dừng

Chuỗi Markov là một quá trình Markov có không gian trạng thái rời rạc, thời gian rời rạc và thuần nhất Chuỗi Markov thường gặp trong bài toán chuyển mạch của hệ thống viễn thông

Trong chương này ta nghiên cứu một cách khái quát khái niệm quá trình ngẫu nhiên với chuỗi Markov thời gian rời rạc

Khái niệm về quá trình ngẫu nhiên

Giả sử một tín hiệu nào đó mà tại mỗi thời điểm t nhận các giá trị phụ thuộc

hệ các biến cố {𝐸𝑖, 𝑖 𝜖 𝑁} của phép thử Tín hiệu này nhận giá trị là 𝑥(𝑡, 𝐸𝑖) tại thời điểm t và khi biến cố Ei xảy ra Như vậy {𝑥(𝑡, 𝐸𝑖)} là một hàm mẫu của quá trình ngẫu nhiên 𝑋(𝑡)

Quá trình ngẫu nhiên𝑋(𝑡) vừa phụ thuộc thời gian t , vừa phụ thuộc yếu tố ngẫu nhiên Ei

8

Hình 1.1 Mô phỏng quá trình ngẫu nhiên Một cách tổng quát một quá trình ngẫu nhiên là một họ các biến ngẫu nhiên {𝑋(𝑡, 𝜔); 𝑡 𝜖 𝑇} xác định trong cùng một phép thử Các quá trình này vừa phụ thuộc vào thời gian t và khi cố định tham số t thì 𝑋(𝑡, 𝜔) là biến ngẫu nhiên theo

ω Các giá trị nhận được theo thời gian t được gọi là hàm mẫu hoặc một thể hiện

của quá trình ngẫu nhiên Tập chỉ số T thường biểu diễn tham số thời gian

Do tác động của các yếu tố ngẫu nhiên nên một tín hiệu {𝑋(𝑡, 𝜔); 𝑡 𝜖 𝑇} được truyền đi là một quá trình ngẫu nhiên Tín hiệu cụ thể nhận được là hàm mẫu (một thể hiện) của quá trình ngẫu nhiên {𝑋(𝑡, 𝜔); 𝑡 𝜖 𝑇}

Để đơn giản trong cách viết người ta ký hiệu quá trình ngẫu nhiên {𝑋(𝑡); 𝑡 𝜖 𝑇} thay cho {𝑋(𝑡, 𝜔); 𝑡 𝜖 𝑇}, hàm mẫu tương ứng được ký hiệu {𝑋(𝑡); 𝑡 𝜖 𝑇}

Phân loại quá trình ngẫu nhiên

Có thể phân loại các quá trình ngẫu nhiên theo các đặc trưng sau:

 Không gian trạng thái;

 Tập chỉ số thời gian T;

 Quan hệ độc lập, quy luật phân bố xác suất của các biến ngẫu nhiên X(t)

9

Tập trung phân tích quá trình Markov tuân thủ theo 4 giả thiết:

 Có một số hữu hạn các trạng thái;

 Xác suất thay đổi trạng thái không thay đổi theo thời gian;

 Chúng ta có thể dự đoán bất kỳ trạng thái tương lai dựa trạng thái trước đó

và ma trận xác suất chuyển đổi;

 Qui mô và cấu trúc của hệ thống không thay đổi trong quá trình phân tích

Phân loại quá trình ngẫu nhiên theo tập trạng thái E:

Ta ký hiệu 𝐸 là tập các giá trị của 𝑋(𝑡) và gọi là không gian trạng thái của quá trình, mỗi giá trị của X(t) được gọi là một trạng thái

 Nếu 𝐸 là tập đếm ngược thì {𝑋(𝑡); 𝑡 𝜖 𝑇} gọi là quá trình có trạng thái rời rạc;

 Nếu 𝐸 là 1 khoảng của tập số thực ℝ thì {𝑋(𝑡); 𝑡 𝜖 𝑇} gọi là quá trình thực hoặc quá trình trạng thái liên tục;

 Nếu 𝐸 tập con của tập số phức ℂ thì {𝑋(𝑡); 𝑡 𝜖 𝑇} là quá tình trạng thái phức;

 Nếu 𝐸 ⊂ ℝ𝑘 thì {𝑋(𝑡); 𝑡 𝜖 𝑇} là quá trình trạng thái k - véc tơ

Phân loại quá trình ngẫu nhiên theo tập các chỉ số 𝑻:

 Nếu 𝑇 ⊂ ℤ thì quá trình {𝑋(𝑡); 𝑡 𝜖 𝑇} được gọi là quá trình có thời gian rời rạc hoặc tham số rời rạc Trường hợp này ta ký hiệu 𝑋𝑛 thay cho 𝑋(𝑡) và gọi là một dãy ngẫu nhiên;

 Nếu T = [0 , ∞ ) hoặc 𝑇 = ℝ thì {𝑋(𝑡); 𝑡 𝜖 𝑇} được gọi là quá trình có thời gian liên tục [1]

Phân loại theo các tính chất xác suất của quá trình ngẫu nhiên

Quá trình ngẫu nhiên trở thành biến ngẫu nhiên khi thời gian cố định tại thời điểm nào đó Mỗi biến ngẫu nhiên có các đặc trưng thống kê như kỳ vọng, phương sai, các moment… Các đặc trưng này nhận được từ hàm phân bố xác suất Các hàm phân bố xác suất được xác định từ hàm mật độ xác suất (trường hợp liên tục), hoặc hàm khối lượng xác suất (trường hợp rời rạc) Hai biến ngẫu nhiên nhận được tại hai thời điểm của quá trình có các đặc trưng (kỳ vọng, phương sai, hiệp phương sai…) xác định từ hàm phân bố xác suất đồng thời của hai biến ngẫu nhiên này

10

Tổng quát hơn, biến ngẫu nhiên N chiều nhận được tại N thời điểm có các đặc trưng xác định từ hàm phân bố xác suất đồng thời của các biến ngẫu nhiên này

Đặc biệt với quá trình thời gian rời rạc { 𝑋𝑛} thì tính chất gia số độc lập dẫn đến dãy các biến ngẫu nhiên 𝑍0 = 𝑋0, 𝑍𝑖 = 𝑋𝑖 − 𝑋𝑖−1; 𝑖 = 1,2, … là độc lập Ngoài ra nếu ta biết luật phân bố của từng biến ngẫu nhiên 𝑍0, 𝑍1, … thì ta biết được luật phân bố của mọi 𝑋𝑖, 𝑖 = 0,1, …

Thật vậy, điều này được suy từ cách tìm phân bố xác suất của tổng các biến ngẫu nhiên độc lập:

𝑋𝑖 = 𝑍0+ 𝑍1+ ⋯ + 𝑍𝑖

c) Quá trình gia số độc lập dừng

Quá trình gia số độc lập {𝑋(𝑡); 𝑡 ∈ 𝑇 } được gọi là quá trình gia số độc lập dừng nếu ∀𝑠, 𝑡, 𝑠 < 𝑡; ∀ℎ ≥ 0; 𝑋(𝑡) − 𝑋(𝑠) 𝑣à 𝑋(𝑡 + ℎ) − 𝑋(𝑠 + ℎ) có cùng phân bố Quá trình Poisson, Wiener là hai ví dụ của quá trình gia số độc lập dừng

d) Quá trình Martingal

Quá trình {𝑋(𝑡); 𝑡 ∈ 𝑇 } được gọi là quá trình Martingal nếu với bất kỳ 𝑡1 <

𝑡2 < ⋯ < 𝑡𝑛+1 và 𝑎1, 𝑎2, 𝑎3, … , 𝑎𝑛 thì

𝐸(𝑋(𝑡𝑛+1)|𝑋(𝑡1) = 𝑎1, … , 𝑋(𝑡𝑛) = 𝑎𝑛) = 𝑎𝑛Martingal có thể xem như là mô hình mô tả trò chơi may rủi, trong đó 𝑋(𝑡)

là số tiền của người chơi ở thời điểm t Tính chất Martingal nói rằng số tiền trung

bình của người chơi sẽ có ở thời điểm 𝑡𝑛+1 bằng số tiền anh ta có ở thời điểm 𝑡𝑛

và không phụ thuộc vào những gì anh ta có trước đó trong quá khứ

11

Nếu {𝑋(𝑡); 𝑡 ∈ 𝑇 } là quá trình gia số độc lập với kỳ vọng bằng 0 thì {𝑋(𝑡); 𝑡 > 0 } là quá trình Martingal với thời gian liên tục

e) Quá trình Markov

Quá trình {𝑋(𝑡); 𝑡 ∈ 𝑇 } được gọi là quá trình Markov nếu:

Với mọi thời điểm 𝑡1 < 𝑡2 < < 𝑡𝑛, với mọi giá trị 𝑎1, 𝑎2, , 𝑎𝑛 cho trước, với mọi thời điểm 𝑡 > 𝑡𝑛 và với mọi a, ta có

𝑃{𝑋(𝑡) ≤ 𝑎|𝑋(𝑡1) = 𝑎1, … , 𝑋(𝑡𝑛) = 𝑎𝑛} = 𝑃{𝑋(𝑡) ≤ 𝑎|𝑋(𝑡𝑛) = 𝑎𝑛} (1) Nghĩa là quy luật xác suất trong tương lai chỉ phụ thuộc hiện tại và độc lập với quá khứ Nói cách khác quá trình Markov mô tả các hệ không có trí nhớ (memoryless)

Với mọi t > s; với mọi tập giá trị A ⊂ R và giá trị a ta ký hiệu

𝑝(𝑠, 𝑎; 𝑡, 𝐴) = 𝑃{𝑋(𝑡) ∈ 𝐴|𝑋(𝑠) = 𝑎} (2)

và gọi là hàm xác suất chuyển từ thời điểm s đến thời điểm t

Như vậy công thức (1) được viết lại

𝑃{𝑋(𝑡) ≤ 𝑎|𝑋(𝑡1) = 𝑎1, … , 𝑋(𝑡𝑛) = 𝑎𝑛} = 𝑝(𝑠, 𝑎; 𝑡, 𝐴), trong đó 𝐴 = (−∞, 𝑎] Quá trình Markov với không gian trạng thái rời rạc được gọi là chuỗi Markov (hay xích Markov, Markov chains) Chuỗi Markov với thời gian rời rạc và thuần nhất được xét trong mục tiếp theo

Quy luật phân bố xác suất của biến ngẫu nhiên rời rạc được xét qua hàm khối lượng xác suất, vì vậy tính chất Markov – công thức (1) đối với chuỗi Markov {𝑋𝑛; 𝑛 = 0,1,2, … } với thời gian rời rạc được viết lại như sau:

𝑃{𝑋𝑛+1 ≤ 𝑎|𝑋(𝑡1) = 𝑎1, … , 𝑋(𝑡𝑛) = 𝑎𝑛} = 𝑝(𝑠, 𝑎; 𝑡, 𝐴)

f) Quá trình dừng (stationary)

Xét quá trình ngẫu nhiên {𝑋(𝑡); 𝑡 ∈ 𝑇 } có thời gian 𝑇 = ℝ, ℝ+, ℤ ℎ𝑜ặ𝑐 ℕ Nói một cách khái quát một quá trình ngẫu nhiên là quá trình dừng nếu các tính chất thống kê của quá trình không phụ thuộc thời gian Các tính chất thống

kê của quá trình được xác định bởi các hàm phân bố đồng thời của quá trình tại các thời điểm Các khái niệm dừng cụ thể phụ thuộc mức độ không phụ thuộc thời gian

 Quá trình dừng bậc nhất nếu với mọi h, với mọi 𝑡1 ∈ 𝑇 hai biến ngẫu

nhiên

𝐸 𝑋(𝑡) = 𝑐𝑜𝑛𝑠𝑡 𝐸[𝑋(𝑡 + 𝜏)𝑋(𝑡)̅̅̅̅̅̅] chỉ phụ thuộc vào 𝜏 Trong đó 𝑋(𝑡)̅̅̅̅̅̅ là số phức liên hợp của số phức 𝑋(𝑡)

Dựa vào kết quả này, ta mở rộng khái niệm dừng bậc hai theo nghĩa rộng

 Dừng theo nghĩa rộng hay dừng hiệp phương sai (wide sense

stationary or covariance stationary) nếu thỏa mãn hai điều kiện sau:

I 𝐸 𝑋(𝑡) = 𝑚 = 𝑐𝑜𝑛𝑠𝑡

II Với mọi 𝐸[𝑋(𝑡 + 𝜏)𝑋(𝑡)̅̅̅̅̅̅] chỉ phụ thuộc vào 𝜏 Đặt

𝑅𝑋𝑋(𝜏) = 𝐸[𝑋(𝑡 + 𝜏)𝑋(𝑡)̅̅̅̅̅̅]

Gọi là hàm tương quan của quá trình {𝑋(𝑡); 𝑡 ∈ 𝑇 }

Quá trình dừng bậc hai là quá trình dừng theo nghĩa rộng, nhưng theo điều ngược lại không đúng

 Quá trình dừng bậc N nếu: với mọi ℎ, với mọi 𝑡1 < 𝑡2 < < 𝑡𝑛 ∈

𝑇 hai véc tơ ngẫu nhiên

(𝑋(𝑡1), 𝑋(𝑡2), … , 𝑋(𝑡𝑛)) 𝑣à (𝑋(𝑡1+ ℎ), 𝑋(𝑡2+ ℎ), … , 𝑋(𝑡𝑁 + ℎ))

Quá trình dừng bậc N cũng là quá trình dừng bậc 𝑘, với mọi 𝑘 ≤ 𝑁

13

 Dừng theo định nghĩa chặt (strictly stationary) nếu quá trình dừng mọi

bậc Nghĩa là: Với mọi h > 0, với mọi N, với mọi 𝑡1 < 𝑡2 < < 𝑡𝑛 ∈

𝑇 hai véc tơ ngẫu nhiên

(𝑋(𝑡1), 𝑋(𝑡2), … , 𝑋(𝑡𝑛)) 𝑣à (𝑋(𝑡1+ ℎ), 𝑋(𝑡2+ ℎ), … , 𝑋(𝑡𝑁 + ℎ))

có cùng phân bố xác suất

Nói riêng mọi 𝑋(𝑡) có cùng phân bố

1.2 Tìm hiểu về xích Markov với thời gian rời rạc (DTMC)

Một xích Markov với thời gian rời rạc (discrete time Markov chain, viết

tắt là DTMC) là một dãy các biến ngẫu nhiên X1,X2, ,X n, được đặc trưng bởi

tính Markov Tính Markov được hiểu là phân phối của trạng thái kế tiếp X n1

chỉ phụ thuộc vào trạng thái hiện tại X n mà không phụ thuộc vào các trạng thái

trước đó X n1,X n2, ,X1 (còn được gọi là tính mất trí nhớ) Có nghĩa:

)

| (

) , ,

,

| (X n 1 x n1 X1 x1 X2 x2 X n x n P X n 1 x n 1 X n x n

Tập hợp các trạng thái S s1,s2, ,s r,  của X ncó thể hữu hạn hoặc

đếm được và được gọi là không gian trạng thái của xích

Sự thay đổi của một xích từ trạng thái này sang trạng thái khác được gọi

là sự chuyển trạng thái hoặc bước nhảy

Xác suất p ij thay đổi từ s i đến s j qua bước nhảy đầu tiên được gọi là xác

Một DTMC được gọi là thuần nhất theo thời gian nếu tính chất được chỉ

ra trong phương trình (4) dưới đây được thỏa mãn:

P(X n1 s j | X n s i)P(X n s j | X n1 s i) (4) Tính thuần nhất theo thời gian nói rằng những xác suất chuyển dọc theo

thời gian là không đổi

Nếu một xích Markov là thuần nhất theo thời gian thì

ở vị trí ( j i, ) biểu diễn xác suất chuyển p ij

Ví dụ: Nếu r 3 thì ma trận chuyển P được thể hiện bởi:

31

23 22

21

13 12

11

p p

p

p p

p

p p

p P

Phân phối trên mỗi trạng thái có thể được viết dưới dạng một véc tơ hàng

ngẫu nhiên x (có nghĩa 𝑥𝑖 = 1, 𝑥𝑖 ≥ 0 ) Chẳng hạn, nếu trạng thái hiện thời của xích là s2 thì x(0 1 0) Từ đó ta có quan hệ giữa x(1) và x(0) là x(1)  x(0).P

và suy ra chúng ta có thể viết x(2)  x(0).P2và x(n)  x(0).P n (n 0 ) và véc tơ x (n)

là phân phối giữa các trạng thái của xích được dự báo sau n bước

Tính chất và sự phân lớp các trạng thái

Một trạng thái s được gọi là kết xuất từ trạng thái j s i (viết s i s j) nếu

một hệ thống được bắt đầu từ trạng thái s i và có xác suất dương để đạt đến trạng

thái s tại một thời điểm nhất định, nghĩa là tồn tại j n0 để (n) 0

ij

j

i s

s  và s j s i thì s i và s được gọi là liên thông j

Một lớp liên thông được định nghĩa là một tập các trạng thái liên thông với

nhau Một DTMC có thể được tạo thành bởi một hay nhiều lớp liên thông

DTMC được tạo bởi chỉ một lớp liên thông được gọi là tối giản

Một lớp liên thông được gọi là đóng nếu không có một trạng thái nào của

lớp đi tới được một trạng thái ngoài lớp đó

Nếu p ii  1 thì s i được gọi là trạng thái hấp thụ (absorbing) Một trạng thái

hấp thụ tương ứng với một lớp liên thông đóng được tạo nên bởi chỉ một mình

)

|(

) (

1

i k j k n

n ij

i k j k

ij

s X s X

P p

s X s X

P p

15

Dạng chính tắc của ma trận chuyển của một DTMC là một ma trận khối,

tại đó các lớp liên thông đóng được thể hiện tại nơi bắt đầu của một ma trận chéo

Trạng thái s i được gọi là có chu kì k i nếu bất kì sự lặp lại nào của trạng

thái s i cũng đều phải trải qua một bội của k i bước Điều đó có nghĩa

} 0 )

| (

:

i UCLN n P X s X s

k Nếu k i  1 thì trạng thái s i được gọi là

không tuần hoàn Ngược lại nếu k i  1 thì trạng thái s i tuần hoàn với chu kỳ k i

Nói cách khác, s i được gọi là tuần hoàn nếu nó có thể gặp lại chính nó sau một

số k i 1 cố định (các) bước (hoặc bội của k i), ngược lại thì nó không tuần hoàn

j

s thuộc cùng một lớp liên thông thì chúng có cùng chu kì k i Từ đó, mỗi trạng

thái của một DTMC tối giản cũng có tính tuần hoàn Tính tuần hoàn này cũng

được coi là tính tuần hoàn của DTMC

Có thể để phân tích thời điểm đạt đến một trạng thái nhất định Lần qua

đầu tiên từ trạng thái

n kj ik

n

h( ) ( 1) (7)

Nếu trong định nghĩa của lần qua đầu tiên ta đặt s i  s j , ta thu được lần

quay lại đầu tiên T i infn1: X n s i | X0 s i Một trạng thái s iđược gọi là

hồi quy nếu nó chắc chắn được thấy tại một thời điểm nào đó sau khi xuất phát

bởi trạng thái s i, có nghĩa là PT i   |X0 s i 1 Ngược lại s i được gọi là tạm

thời nếu có một xác suất dương sao cho xích chẳng bao giờ quay lại s i, nghĩa là

T i   | X0 s i 0

P

Cho một xích Markov thuần nhất theo thời gian với ma trận chuyển P, một

phân phối dừng z là một véc tơ hàng ngẫu nhiên mà z = z.P với 0  z j  1 ivà

16

j

j

z 1 Nếu một DTMC  X n tối giản và tuần hoàn thì nó có phân phối giới hạn

và phân phối này là phân phối dừng Từ đó, nếu P là ma trận chuyển của xích cỡ k

k và z (z1,z2, ,z k) là một véc tơ riêng của P sao cho 1

z thì ta có

Z P n

n 





lim

Trong đó Z là một ma trận có tất cả các hàng bằng z Phân phối dừng của

 X n được biểu diễn bởi z [2]

1.2.1 Trạng thái và xác suất trạng thái

Các trạng thái được dùng để xác định tất cả các điều kiện có thể xảy ra của một quá trình hay một hệ thống Ví dụ, một thiết bị có thể ở một trong 2 trạng thái tại bất kỳ thời điểm nào: đang hoạt động tốt hay không tốt Chúng ta có thể gọi trạng thái thứ nhất là sự vận hành tốt của thiết bị và trạng thái thứ hai là sự vận hành không tốt của thiết bị

Quả thật, có thể xác định trạng thái cụ thể cho nhiều quá trình hoặc hệ thống Nếu chỉ có 3 cửa hàng tạp hoá ở một thị trấn nhỏ, một người dân có thể là khách hàng của một trong ba cửa hàng tại bất kỳ thời điểm nào Do đó, có 3 trạng thái tương ứng với 3 cửa hàng tạp hoá Nếu các sinh viên có thể theo một trong 3 chuyên ngành trong lĩnh vực quản trị (ví dụ quản trị kinh doanh tổng quát, quản trị kinh doanh quốc tế hay hệ thống thông tin quản trị), mỗi chuyên ngành có thể được xem như một trạng thái

Trong phân tích Markov, chúng ta đồng thời giả thiết các trạng thái vừa có tính bao phủ chung và loại trừ lẫn nhau Tính bao phủ chung có nghĩa là chúng ta

có thể liệt kê tất cả các trạng thái có thể xảy ra của một hệ thống hay quá trình Thảo luận của chúng ta về phân tích Markov giả thiết rằng có một số lượng hữu hạn các trạng thái cho bất kỳ hệ thống Tính loại trừ lẫn nhau nghĩa là hệ thống có thể ở một trạng thái duy nhất tại bất kỳ thời điểm nào Một sinh viên chỉ có thể đăng ký học một trong 3 chuyên ngành quản trị tại một thời điểm Điều đó cũng

có nghĩa một người chỉ có thể là một khách hàng của một trong 3 cửa hàng tạp hoá tại bất kỳ thời điểm nào

Sau khi đã xác định các trạng thái, bước kế tiếp là xác định xác suất để hệ thống ở trạng thái này Các thông tin này được trình bày bằng vector xác suất trạng thái

Ký hiệu 𝜋(𝑖) là vector xác suất trạng thái cho thời kỳ i:

17

𝜋(𝑖) = (𝜋1, 𝜋2, 𝜋3… 𝜋3) Trong đóng: n là số trạng thái và 𝜋𝑗 là xác suất ở trạng thái j (j=1,2,3,…n) Hãy xem xét vài trường hợp:

Vector xác suất trạng thái của một thiết bị:

Trong một vài tình huống, khi chúng ta chỉ xem xét đến một đối tượng, chẳng hạn một thiết bị thì chúng ta hoàn toàn có khả năng biết chắc chắn trạng thái của đối tượng đó Ví dụ, nếu chúng ta đang quan sát duy nhất một thiết bị thì tại một thời điểm có thể biết thiết bị đang hoạt động tốt hay không Do đó, vector trạng thái có thể được biểu diễn như sau:

𝜋(1) = (1 0)Trong đó: π(1) là vector trạng thái của thiết bị trong thời kỳ 1, cụ thể:

 π1 = 1 là xác suất ở trạng thái 1

 π2 = 0 là xác suất ở trạng thái 2

Thông tin này cho biết xác suất để thiết bị hoạt động tốt (trạng thái 1) và xác suất để thiết bị hoạt động không tốt (trạng thái 2) trong thời kỳ đầu tiên Tuy nhiên, trong hầu hết các trường hợp, chúng ta xem xét đến nhiều hơn một đối tượng

Vector xác suất trạng thái của 3 cửa hàng tạp hóa:

Hãy xem xét các vector trạng thái của người dân sống trong thị trấn nhỏ có

3 cửa hàng tạp hoá Có tổng cộng 100000 khách hàng thường mua sắm tại 3 cửa hàng tạp hoá này trong bất kỳ tháng nào Có 40000 khách hàng có thể mua sắm tại cửa hàng A, được gọi là trạng thái 1; có 30000 khách hàng có thể mua sắm tại cửa hàng B, được gọi là trạng thái 2 và có 30000 người có thể mua sắm tại cửa hàng C, được gọi là trạng thái 3 Xác suất để một người sẽ mua sắm tại một trong

ba cửa hàng tạp hoá như sau:

 Trạng thái 1: xác suất khách hàng mua sắm tại cửa hàng A là 40000/100000=0,40

 Trạng thái 2: xác suất khách hàng mua sắm tại cửa hàng B là 30000/100000=0,30

 Trạng thái 3: xác suất khách hàng mua tại sắm cửa hàng C là 30000/100000=0,40

Do vậy, vector xác suất trạng thái được biểu diễn như sau:

18

𝜋(1) = (0,4 0,3 0,3) Trong đó: π(1) là vector xác suất trạng thái cho 3 cửa hàng tạp hoá ở thời kỳ

1, cụ thể:

 π1=0,4 là xác suất để khách hàng mua sắm tại cửa hàng A;

 π2=0,3 là xác suất để khách hàng mua sắm tại cửa hàng B;

 π3=0,3 là xác suất để khách hàng mua sắm tại cửa hàng C

Đồng thời vector xác suất trạng thái cho biết thị phần của từng cửa hàng trong thời kỳ đầu tiên Do vậy, cửa hàng A chiếm 40% thị trường, cửa hàng B chiếm 30% và cửa hàng C chiếm 30% thị trường ở thời kỳ 1

Sau khi xác định các trạng thái ban đầu và xác suất trạng thái, bước tiếp theo

là tìm ma trận xác suất chuyển đổi Ma trận này cùng với xác suất trạng thái được

sử dụng nhằm dự đoán tương lai

Ma trận xác suất chuyển đổi

Ma trận cho phép chuyển từ một trạng thái hiện tại đến một trạng thái tương lai gọi là ma trận xác suất chuyển đổi Đây là ma trận xác suất có điều kiện để chuyển đến trạng thái tương lai từ trạng thái hiện tại

Gọi 𝑝𝑖𝑗 là xác suất có điều kiện để chuyển đến trạng thái j trong tương lai từ trạng thái hiện tại i

Ví dụ: 𝑃12 là xác suất để sự kiện ở trạng thái 2 trong tương lai nếu như sự kiện ở trạng thái 1 trong thời kỳ trước đó

Gọi P là ma trận xác suất chuyển đổi và sẽ có công thức như sau:

Các giá trị của mỗi 𝑝𝑖𝑗 thường được xác định bằng thực nghiệm

Ví dụ: nếu chúng ta đã quan sát theo thời gian là 10% số khách hàng đang

mua sắm tại cửa hàng 1 (Trạng thái 1) sẽ chuyển đến mua sắm tại cửa hàng 2 (Trạng thái 2) trong thời kỳ kế tiếp thì chúng ta biết được 𝑝12 = 0,1 hoặc 10%

Ma trận xác suất chuyển đổi của 3 cửa hàng tạp hóa

19

Giả thiết chúng ta xác định được ma trận xác suất chuyển đổi cho 3 cửa hàng tạp hoá bằng cách sử dụng các dữ liệu quá khứ Kết quả phân tích của chúng ta được giới thiệu trong ma trận sau:

𝑃 = [

0,8 0,1 0,10,1 0,7 0,20,2 0,2 0,6

]

Xác suất ở mỗi hàng biểu diễn các xác suất của mỗi cửa hàng và có tổng bằng 1 Sau khi đã xác định xác suất trạng thái và ma trận xác suất chuyển đổi, chúng ta có khả năng dự đoán xác suất trạng thái trong tương lai

1.2.2 Dự đoán trong tương lai

Một trong các mục đích của phân tích Markov là dự đoán tương lai Sau khi

đã biết vector xác suất trạng thái và ma trận xác suất chuyển đổi thì việc xác định xác suất trạng thái tại một thời điểm trong tương lai tương đối đơn giản Bằng cách phân tích này, chúng ta có khả năng tính toán được xác suất để một người mua sắm tại một trong các cửa hàng tạp hoá trong tương lai Bởi vì xác suất này tương đương với thị phần nên chúng ta có thể tính toán thị phần tương lai của các cửa hàng A, B và C Khi thời kỳ hiện tại là 1, tính toán xác suất trạng thái cho thời

kỳ kế tiếp (thời kỳ 2) được tính theo công thức sau:

𝜋(2) = 𝜋(1)𝑃 Tổng quát hơn, nếu chúng ta đang ở thời kỳ n thì việc tính toán xác suất trạng thái cho thời kỳ n + 1 theo công thức sau:

𝜋(𝑛 + 1) = 𝜋(𝑛)𝑃 Phương trình (6-4) có thể được sử dụng để trả lời cho câu hỏi về thị phần trong thời kỳ kế tiếp của các cửa hàng tạp hoá Các tính toán cụ thể như sau: 𝜋(2) = 𝜋(1)𝑃 = [0,4 0,3 0,3] [

0,8 0,1 0,10,1 0,7 0,20,2 0,2 0,6

] = [0,41 0,31 0,28]

Như vậy, thị phần cửa hàng A và cửa hàng B tăng trong khi thị phần cửa hàng C giảm Liệu xu hướng này có tiếp tục trong tương lai hay không? Cuối cùng cửa hàng C có mất toàn bộ thị phần của họ hay không? Hay 3 cửa hàng sẽ đạt được trạng thái thị phần ổn định? Những vấn đề như vậy có thể được giải đáp khi chúng ta thảo luận về các điều kiện cân bằng

20

1.2.3 Ứng dụng phân tích markov

Như vậy, thị phần cửa hàng A và cửa hàng B tăng trong khi thị phần cửa hàng C giảm Liệu xu hướng này có tiếp tục trong tương lai hay không? Cuối cùng cửa hàng C có mất toàn bộ thị phần của họ hay không? Hay 3 cửa hàng sẽ đạt được trạng thái thị phần ổn định? Những vấn đề như vậy có thể được giải đáp khi chúng ta thảo luận về các điều kiện cân bằng

Ông chủ của phân xưởng lắp ráp đã theo dõi sự vận hành của các máy móc trong vài năm Trong hai năm vừa qua, quan sát thấy 80% thời gian máy móc vận hành tốt trong tháng này nếu nó đã vận hành tốt trong tháng trước đó Điều đó đồng thời có nghĩa chỉ có 20% thời gian máy móc đã vận hành không tốt trong tháng này khi nó đã vận hành tốt trong tháng trước đó Thêm vào đó, 90% thời gian máy móc trong trạng thái không vận hành tốt trong tháng này nếu nó đã được vận hành không tốt trong tháng trước Chỉ có 10% thời gian máy móc vận hành tốt trong tháng này khi nó đã không được vận hành tốt trong tháng trước đó Hay nói cách khác, thiết bị có thể tự điều chỉnh sai sót khi nó không vận hành tốt trong quá khứ và khả năng này chiếm 10% thời gian Các thông tin này dùng để xây dựng ma trận xác suất chuyển đổi Trạng thái 1 là trạng thái máy móc vận hành tốt và trạng thái 2 là trạng thái máy móc vận hành không tốt Ma trận xác suất chuyển đổi cho thiết bị này có thể mô tả như sau:

𝑃 = [0,8 0,20,1 0,9] Trong đó:

 p11 = 0,8 là xác suất máy móc sẽ vận hành tốt trong tháng này nếu nó vận hành tốt trong tháng trước

 p12 = 0,2 là xác suất máy móc sẽ vận hành không tốt trong tháng này nếu nó vận hành tốt trong tháng trước;

 p22 = 0,1 là xác suất máy móc sẽ vận hành tốt trong tháng này nếu nó vận hành không tốt trong tháng trước;

 p21 = 0,9 là xác suất máy móc sẽ vận hành không tốt trong tháng này nếu nó vận hành không tốt trong tháng trước

Hai xác suất ở hàng đầu tiên trong ma trận là các xác suất máy móc vận hành tốt và vận hành không tốt nếu nó vận hành tốt trong tháng trước Bởi vì các trạng thái này có tính bao phủ chung và tính loại trừ lẫn nhau nên tổng xác suất theo hàng bằng 1

21

Xác suất để máy móc vận hành tốt trong một tháng sau là bao nhiêu? Xác suất để máy móc vận hành tốt trong 2 tháng là bao nhiêu? Để giải đáp câu hỏi này, chúng ta áp dụng công thức (6-4) và kết quả như sau:

𝜋(2) = 𝜋(1)𝑃 = [1 0] [0,8 0,20,1 0,9] = [0,8 0,2]

Do vậy, xác suất để máy móc sẽ vận hành tốt sau một tháng với điều kiện nó đang vận hành tốt vào tháng này là 0,8 Xác suất để máy móc sẽ không vận hành tốt sau một tháng là 0,2 Bây giờ chúng ta có thể sử dụng kết quả này để xác định xác suất máy móc sẽ vận hành tốt sau 2 tháng

𝜋(3) = 𝜋(2)𝑃 = [0,8 0,2] [0,8 0,2

0,1 0,9] = [0,66 0,34]

Kết quả này cho thấy trong thời kỳ thứ ba hay tháng thứ ba, xác suất để máy móc vẫn vận hành tốt là 0,66 Xác suất để máy móc không vận hành tốt là 0,34 Tất nhiên, chúng ta có thể tiếp tục tính toán này nhiều lần nếu chúng ta muốn tính toán xác suất trạng thái cho các tháng trong tương lai

1.3 Các định nghĩa liên quan đến xích Markov

Nhiều mô hình ngẫu nhiên trong Vận trù học, Kinh tế, Kĩ thuật, Dân số học,

Di truyền học, dựa trên cơ sở là quá trình Markov Đặc biệt, hiện tại một lĩnh

vực mới về Tin - Sinh học (Bioinformatics) chuyên nghiên cứu về gene ứng dụng

rất mạnh các vấn đề của lí thuyết các quá trình Markov Trong ngành Cơ điện hiện nay nhiều chuyên gia lí thuyết và thực hành cũng rất quan tâm tới quá trình Markov nói chung, cũng như các quá trình sinh-tử hay quá trình hồi phục nói riêng

Ví dụ: Xét một hệ thống vật lí tiến triển theo thời gian Tại thời điểm t = 0,

hệ thống có thể rơi vào một trong ba trạng thái (hay vị trí) 1, 2 hoặc 3 một cách ngẫu nhiên Kí hiệu X(0) là vị trí của hệ thống tại thời điểm t = 0, thì X(0) là một biến ngẫu nhiên, có thể nhận các giá trị 1 hoặc 2 hoặc 3 với các xác suất nhất định Giả sử rằng căn cứ vào các kết quả quan sát hay nghiên cứu, chúng ta có bảng phân phối xác suất sau cho X(0):

Bảng 1.1 Bảng phân phối xác suất cho X(0)

Tại các thời điểm tiếp theo, chẳng hạn, t = 1, 2, 3, … vị trí của hệ thống sẽ được mô tả bởi các biến ngẫu nhiên X(1), X(2), X(3), … với các bảng phân phối

Tập hợp các vị trí có thể có của hệ gọi là không gian trạng thái Không gian trạng thái được kí hiệu là S Trong ví dụ trên, nếu giả sử rằng X(t) chỉ có thể nhận một trong ba giá trị 1, 2, 3 ∀t, thì S = {1, 2, 3}

Giả sử trước thời điểm s, hệ đã ở trạng thái nào đó, còn tại thời điểm s, hệ

ở trạng thái i Chúng ta muốn đánh giá xác suất để tại thời điểm t (t >s), hệ sẽ ở trạng thái j Nếu xác suất này chỉ phụ thuộc vào bộ bốn (s, i, t, j), tức là P[X(t) = j/X(s) = i] = p(s, i, t, j) là đúng ∀i, ∀j, ∀s, ∀t thì điều này có nghĩa là, sự tiến triển của hệ trong tương lai chỉ phụ thuộc vào hiện tại (tình trạng của hệ tại thời điểm s), và hoàn toàn độc lập với quá khứ (tính không nhớ) Đó chính là tính Markov Lúc này quá trình ngẫu nhiên X(t) được gọi là quá trình Markov

Trong ví dụ trên P[X(1) = 2/X(0) = 1] là xác suất có điều kiện của sự kiện X(1) = 2 (tại thời điểm t =1, hệ thống nằm tại vị trí 2) với điều kiện X(0) = 1 (tại thời điểm t = 0, hệ thống nằm tại vị trí 1) Nếu quá trình ngẫu nhiên có tính Markov thì xác suất này chỉ phụ thuộc vào tình trạng của hệ tại thời điểm s = 0 và hoàn toàn độc lập với các tình trạng của hệ trong quá khứ (trước thời điểm s = 0)

Định nghĩa 3

Xét một xích Markov Nếu xác suất chuyển trạng thái p(s, i, t, j) = p(s+h, i, t+h, j),∀i, ∀j, ∀s, ∀t và ∀h > 0, thì ta nói rằng xích Markov thuần nhất theo thời gian

mà không làm mất đi tích tổng quát của tập chỉ số rời rạc T của quá trình ngẫu nhiên các số tự nhiên {0, 1 , 2, } Các quan sát liên tiếp xác định sự ngẫu nhiên

𝑋0, 𝑋1, 𝑋2… … 𝑋𝑛… Tại thời điểm 0, 1, 2, , n, tương ứng Về mặt hình thức xích Markov {𝑋𝑛, 𝑛 = 0, 1, 2, … } là một quy trình ngẫu nhiên thỏa mãn mối quan

hệ sau gọi là thuộc tính Markov

Với mọi số tự nhiên n và các trạng thái 𝑋𝑛:

𝑃{𝑋𝑛+1 = 𝑥𝑛+1|𝑋𝑛 = 𝑥𝑛, 𝑋𝑛−1 = 𝑥𝑛−1, … , 𝑋0 = 𝑥0}

= 𝑃(𝑋𝑛+1 = 𝑥𝑛+1|𝑋𝑛 = 𝑥𝑛 )

Thay vì sử dụng 𝑋𝑖 để biểu diễn các trạng thái của chuỗi Markov, từ đó chúng ta sẽ sử dụng các biến như i, j và k Xác suất có điều kiện 𝑃{𝑋𝑛+1 = 𝑥𝑛+1|𝑋𝑛 = 𝑥𝑛}, sẽ được viết về dạng 𝑃{𝑋𝑛+1 = 𝑗|𝑋𝑛 = 𝑖}, dạng này

gọi là xác suất chuyển tiếp một giai đoạn, hoặc gọi là xác suất chuyển vị của chuỗi

Markov Các xác suất có điều kiện trên sẽ thực hiện chuyển đổi từ trạng thái 𝑥𝑛 =

𝑖 sang trạng thái 𝑥𝑛+1 = 𝑗 khi tham số thời gian tăng từ n thành n+1 Được định nghĩa là:

𝑝𝑖𝑗 = 𝑃{𝑋𝑛+1 = 𝑗|𝑋𝑛 = 𝑖}

Ma trận P(n) được hình thành bằng cách đặt 𝑝𝑖𝑗(𝑛) vào hàng i và cột j, ma trận này gọi là ma trận xác suất chuyển vị:

Các phần tử của ma trận P(n) chỉ thỏa mãn 2 tính chất sau:

0 ≤ 𝑝𝑖𝑗(𝑛) ≤ 1

Chúng ta thay thế Pij(n) bằng Pij, vì các phép chuyển không còn phụ thuộc vào n

Đối với một chuỗi markov không thuần nhất

𝑝𝑖𝑗(0) = 𝑃{𝑋1 = 𝑗|𝑋0 = 𝑖} ≠ 𝑃{𝑋2 = 𝑗|𝑋1 = 𝑖} = 𝑝𝑖𝑗(1)

Như chúng ta đề ra, trong một chuỗi Markov thời gian rời rạc đồng nhất, các xác suất pij(n) = P{Xn+1 = j|Xn = i} không phụ thuộc vào n và được viết là:

𝑝𝑖𝑗 = 𝑃{𝑋𝑛+1 = 𝑗|𝑋𝑛 = 𝑖} với mọi 𝑛 ∈ 𝑧 Sau đó ma trận 𝑃(𝑛) phải được thay thế bằng ma trận P

Sự phát triển của chuỗi Markov theo thời gian như sau Giải sử nó bắt đầu

ở giai đoạn đầu với thời gian 0 và trạng thái ban đầu i Với một số bước thời gian (vô hạn), chuỗi có thể đổi trạng thái tại mỗi bước chỉ ở các bước thời gian này Ví

dụ, nếu thời điểm bước n chuỗi Markov ở trạng thái i, thì chuyển động tiếp theo của nó sẽ ở trạng thái j với xác xuất 𝑝𝑖𝑗(𝑛) Đặc biệt, nếu 𝑝𝑖𝑗(𝑛) > 0, trường hợp xảy ra được gọi là vòng lặp, thì chuỗi với xác suất 𝑝𝑖𝑖(𝑛) vẫn sẽ giữ ở trạng thái hiện tại

Xác suất ở trạng thái j ở thời điểm n + 1 và ở trạng thái k ở thời điểm n +

2, cho rằng chuỗi Markov ở trạng thái I tại thời điểm n là:

25

𝑃{𝑋𝑛+𝑚 = 𝑎, 𝑋𝑛+𝑚−1 = 𝑏, … , 𝑋𝑛+2 = 𝑘, 𝑋𝑛+1 = 𝑗|𝑋𝑛 = 𝑖} = 𝑝𝑖𝑗𝑝𝑗𝑘… 𝑝𝑐𝑏𝑝𝑏𝑎Với mọi giá trị của n

Chuỗi Markov thường được minh họa bằng đồ thị Hình tròn hoặc hình bầu dục được sử dụng để biểu thị trạng thái Xác suất chuyển tiếp một bước được biểu thị bằng các mũi tên có hướng, thường xuyên, nhưng không phải lúc nào cũng được gắn nhãn với các giá trị của xác suất chuyển đổi Không có mũi tên có hướng chỉ

ra rằng không thể chuyển đổi một bước [3]

Hình 2.1 Các trạng thái của xích Markov được biểu thị

2.1.1 Điều kiện cân bằng

Tiếp tục xem xét ví dụ về sự vận hành của máy móc, có thể suy đoán rằng cuối cùng các xác suất trạng thái sẽ là 0 hoặc 1 Điều này thường không xảy ra Thông thường chúng ta sẽ gặp xác suất trạng thái cân bằng Một cách để tính toán xác suất trạng thái cân bằng là sử dụng phân tích Markov cho một số lượng lớn thời kỳ Điều này có khả năng nhận thấy nếu các giá trị tương lai tiến gần một giá trị ổn định Ví dụ, có thể lập lại phân tích Markov trong 15 thời kỳ cho ví dụ về

sự vận hành của máy móc Kết quả tính toán được thể hiện ở Bảng 2

Máy móc khởi đầu vận hành tốt (trạng thái1) trong thời kỳ thứ nhất Trong thời kỳ thứ 5, chỉ có 0,4934 xác suất để máy móc tiếp tục vận hành tốt và đến thời

kỳ 10, xác suất này chỉ còn 0,360235 Trong thời kỳ thứ 15, xác suất để máy móc tiếp tục vận hành tốt là khoảng 0,34 Xác suất để máy móc vận hành tốt tại một thời kỳ tương lai là giảm dần nhưng giảm với mức độ chậm Chuyện gì mong đợi xảy ra trong thời gian dài hạn ? Nếu chúng ta thực hiện việc tính toán cho 100 thời

kỳ, chuyện gì xảy ra Liệu có trạng thái cân bằng trong trường hợp này? Nhìn vào Bảng 2, cân bằng sẽ đạt tại trạng thái có giá trị 0,333333 hay 1/3

26

Thời kỳ Trạng

thái 1

Trạng thái 2

Thời

kỳ

Trạng thái 1

Trạng thái 2

Bảng 2.1 Xác suất trạng thái trong 15 thời kỳ

Theo định nghĩa, điều kiện cân bằng tồn tại nếu xác suất trạng thái không thay đổi sau một số lượng lớn thời kỳ Do đó, tại thời điểm cân bằng, xác suất trạng thái cho thời kỳ tương lai phải bằng với xác suất trạng thái cho thời kỳ hiện tại Đây chính là chìa khoá để giải quyết xác suất trạng thái cân bằng Mối quan

hệ này có thể được biểu diễn như sau:

Tại thời điểm cân bằng: 𝜋(𝑡ℎờ𝑖 𝑘ỳ 𝑡𝑖ế𝑝) = 𝜋(𝑡ℎờ𝑖 𝑘ỳ ℎ𝑖ệ𝑛 𝑡ạ𝑖) hay:

𝜋 = 𝜋𝑃 Phương trình trên chứng tỏ tại cân bằng, xác suất trạng thái cho thời kỳ kế tiếp bằng xác suất trạng thái cho thời kỳ hiện tại

Đối với ví dụ máy móc của Tolsky, điều này có thể biểu diễn như sau:

𝜋 = 𝜋𝑃 (𝜋1 𝜋2) = (𝜋1 𝜋2) [0,8 0,2

tự, chúng ta cần thiết bỏ qua một phương trình để thu được hệ 3 phương trình với

3 ẩn số Tóm tại, khi đi tìm điều kiện cân bằng, luôn cần thiết phải bỏ một phương trình để cho tổng số phương trình ngang bằng với số ẩn số

Giải hệ phương trình cho ví dụ về máy móc thì thu được kết quả π1= 1/3 và π2 = 2/3 So sánh với kết quả ở Bảng 6-1 Như bạn đã thấy, xác suất trạng thái cân bằng cho trạng thái 1 là 1/3 và xác suất trạng thái cân bằng cho trạng thái 2 là 2/3 Đó là những giá trị mà bạn có thể dự đoán từ các kết quả trong bảng Phân tích này cho thấy chỉ cần biết ma trận xác suất chuyển đổi để xác định xác suất trạng thái cân bằng Các giá trị ban đầu của xác suất trạng thái không ảnh hưởng đến xác suất trạng thái cân bằng Việc phân tích để xác định xác suất trạng thái cân bằng khi có nhiều trạng thái thì hoàn toàn giống với trường hợp này Nếu có

3 trạng thái, chúng ta phải giải 3 phương trình để tìm 3 trạng thái cân bằng; nếu

có 4 trạng thái, chúng ta phải giải 4 phương trình đồng thời để tìm 4 trạng thái cân bằng chưa biết

Chúng ta có thể muốn tự chứng minh các trạng thái cân bằng mà chúng ta vừa tính toán đúng là các trạng thái cân bằng Điều này có thể thực hiện bằng cách nhân xác suất trạng thái cân bằng với ma trận xác suất trạng thái Kết quả sẽ bằng các trạng thái cân bằng

2.1.2 Trạng thái hấp thụ và ma trận cơ bản

Giả thiết rằng việc chuyển từ một trạng thái đến một trạng thái khác giữa hai thời kỳ nào đó là việc có thể thực hiện đối với một quá trình hay hệ thống Trong vài trường hợp, nếu chúng ta đang ở một trạng thái nhất định thì không thể chuyển sang một trạng thái khác trong tương lai Nói một cách khác, khi đang ở một trạng thái cụ thể thì khả năng bị “hấp thụ” với trạng thái này và tiếp tục bị giữ nguyên

Trạng thái 1 (π1): đã thanh toán tất cả các hoá đơn

Trạng thái 2 (π2): nợ khó đòi, quá hạn nhiều hơn 3 tháng

Trạng thái 3 (π3): quá hạn ít hơn một tháng

Trạng thái 4 (π4): quá hạn từ một tháng đến 3 tháng

Tại bất kỳ một thời kỳ nào, trong trường hợp này là một tháng, một khách hàng có thể ở một trong 4 trạng thái Đối với ví dụ này, giả thiết rằng nếu hoá đơn chưa thanh toán có thời hạn dài nhất đã quá hạn trên 3 tháng thì tự động được xếp vào trạng thái – nợ khó đòi Do đó, một khách hàng có thể đã thanh toán đầy đủ (trạng thái 1), có hoá đơn chưa thanh toán có thời hạn dài nhất đã quá hạn ít hơn một tháng (trạng thái 3), có hoá đơn chưa thanh toán có thời hạn dài nhất đã quá hạn từ một tháng đến 3 tháng (trạng thái 4) hoặc có hoá đơn chưa thanh toán có thời hạn dài nhất đã quá hạn trên 3 tháng, được gọi là nợ khó đòi (trạng thái 2) Chúng ta xây dựng ma trận xác suất chuyển đổi cho 4 trạng thái Ma trận này phản ảnh xu hướng của các khách hàng dịch chuyển giữa 4 trạng thái các khoản phải thu từ tháng này đến tháng kế tiếp Xác suất ở trạng thái đã thanh toán của bất kỳ một hoá đơn cho một tháng trong tương lai nếu như một khách hàng ở khoản mục đã thanh toán cho hàng hoá đã mua là 100% Hoàn toàn không có khả năng đối với một khách hàng đã thanh toán đầy đủ tiền hàng vào một tháng và trở nên nợ khoản tiền đó vào một tháng trong tương lai Một trạng thái hấp thụ khác

là trạng thái khoản nợ khó đòi Nếu một hóa lai không được thanh toán trong 3 tháng, chúng ta giả thiết là công ty này sẽ xoá khoản nợ này và không cố gắng thu khoản nợ này trong tương lai Do vậy, một khi một khách hàng ở khoản mục nợ khó đòi thì sẽ ở nguyên trạng thái này Đối với bất kỳ trạng thái hấp thụ nào, xác suất để khách hàng ở nguyên trạng thái đó trong tương lai là 1 và xác suất để khách hàng này ở bất kỳ trạng thái khác là 0

29

Nhưng trước khi xây dựng ma trận xác suất chuyển đổi, chúng ta cần biết xác suất cho 2 trạng thái khác - khoản nợ ít hơn một tháng và khoản nợ từ một tháng đến 3 tháng Đối với một khách hàng ở trạng thái nợ quá hạn ít hơn 1 tháng thì có xác suất 0,6 sẽ ở trạng thái đã thanh toán; có xác suất bằng 0 ở trạng thái nợ khó đòi; có xác suất 0,2 ở nguyên trạng thái nợ quá hạn ít hơn một tháng và xác suất 0,2 sẽ ở trạng thái nợ quá hạn từ 1 tháng đến 3 tháng Lưu ý xác suất ở trạng thái nợ khó đòi bằng 0 vì không có thể chuyển từ trạng thái 3, nợ quá hạn ít hơn một tháng đến trạng thái 2, quá hạn trên 3 tháng chỉ trong vòng một tháng Đối với một khách hàng ở trạng thái nợ quá hạn từ 1 tháng đến 3 tháng, có xác suất 0,4 sẽ ở trạng thái đã thanh toán đầy đủ; có xác suất 0,1 sẽ ở trạng thái nợ khó đòi;

có xác suất 0,3 sẽ ở trạng thái nợ ít hơn 1 tháng và có xác suất 0,2 ở nguyên trạng thái nợ từ 1 đến 3 tháng trong tháng kế tiếp Bằng cách nào có thể xác định được xác suất chuyển từ trạng thái nợ từ 1 đến 3 tháng ở tháng này thành trạng thái nợ

ít hơn một tháng trong tháng kế tiếp? Bởi vì các trạng thái nợ được xác định theo hoá đơn chưa thanh toán có thời hạn dài nhất nên có thể thanh toán một hoá đơn

có thời hạn từ 1 đến 3 tháng và giữ nguyên hoá đơn khác có thời hạn ít hơn 1 tháng Nói một cách khác, bất kỳ khách hàng có thể có nhiều hơn một hoá đơn chưa thanh toán tại bất kỳ thời điểm nào Với những thông tin này, chúng ta có thể xây dựng được ma trận xác suất chuyển đổi của bài toán Kết quả được trình bày trên bảng 2.2

Bảng 2.2 Bảng ma trận xác suất chuyển đổi

Dựa vào bảng 2.2, ta bố trí các xác suất chuyển đổi trạng thái ma trận như bảng 2.2

đủ hay nợ khó đòi sẽ giúp cho công ty quản lý khoản nợ khó đòi và dòng tiền Việc phân tích này yêu cầu sử dụng ma trận cơ bản

0,2 0,20,3 0,2]

I là ma trận đơn vị (ma trận vuông có các thành phần nằm trên đường chéo bằng 1 và các thành phần khác bằng không)

31

Bây giờ, chúng ta sử dụng ma trận cơ sở để dự đoán các khoản nợ khó đòitrong dài hạn Trước tiên, chúng ta nhân ma trận cơ sở F với ma trận A Kết quả tính toán như sau:

FA = [1,38 0,34

0,52 1,38] × [

0,6 00,4 0,1] = [

0,97 0,030,86 0,14] Kết quả tính toán của ma trận FA có ý nghĩa quan trọng Nó chỉ rõ xác suất

để một khoản tiền đang ở các trạng thái không hấp thụ cuối cùng chuyển thành một trong các trạng thái hấp thụ Dòng đầu tiên của ma trận cho biết xác suất một khoản tiền thuộc khoản mục nợ quá hạn ít hơn một tháng cuối cùng sẽ chuyển thành các khoản mục đã thanh toán đủ và nợ khó đòi Xác suất để một khoản tiền

nợ quá hạn ít hơn một tháng sẽ được thanh toán đầy đủ là 0,97 và xác suất để khoản tiền này biến thành khoản nợ quá hạn là 0,03 Dòng thứ 2 có nội dung giải thích tương tự cho trạng thái không hấp thụ khác – khoản mục nợ quá hạn từ 1 tháng đến 3 tháng Do vậy, 0,86 là xác suất để một khoản nợ có thời hạn từ 1 đến

3 tháng cuối cùng sẽ được thanh toán đủ và 0,14 là xác suất để một khoản nợ này biến thành khoản nợ khó đòi

Ma trận cơ sở có thể sử dụng cho nhiều mục đích khác nhau Nếu chúng ta biết khoản nợ quá hạn ít hơn một tháng và khoản nợ quá hạn từ 1 đến 3 tháng, chúng ta có thể xác định số tiền sẽ được thanh toán đầy đủ và khoản tiền có nguy cơ trở thành khoản nợ khó đòi Gọi ma trận M thể hiện số tiền ở trong mỗi trạng thái không hấp thụ:

M = (2000 5000)

Số tiền sẽ được thanh toán đầy đủ và khoản tiền trở thành nợ khó đòi có thể được tính toán bằng cách nhân ma trận M với ma trận FA vừa được tính toán ở trên Khoản tiền được thành toán đầy đủ và khoản nợ khó đòi được tính như sau: MFA = (2000 5000) [0,97 0,030,86 0,14] = (6240 760)

32

Như vậy trong tổng số 7000$ (2000$ nợ quá hạn ít hơn 1 tháng và 5000 nợ quá hạn từ một đến 3 tháng) thì 6240$ sẽ được thanh toán đầy đủ và 760$ cuối cùng trở thành khoản nợ khó đòi

Chúng ta có thể sử dụng phân tích Markov để dự đoán trạng thái tương lai

và xác định các điều kiện cân bằng đồng thời phân tích các trường hợp đặc biệt của phân tích Markov theo đó có một hay nhiều các trạng thái hấp thụ

2.2 Phân phối ban đầu

Định nghĩa: Phân phối của hệ tại thời điểm n được cho bời công thức sau:

𝑝𝑗(𝑛) = 𝑃(𝑋𝑛 = 𝑗); 𝑛 = 0, 1, 2, … ; 𝑗 ∈ 𝐸 Đặt 𝜋(𝑛) = (𝑝𝑗(𝑛), 𝑗 ∈ 𝐸) và gọi 𝜋 = 𝜋(0) là phân phối ban đầu của hệ

Ta quy ước viết 𝜋(𝑛) = (𝑝𝑗(𝑛), 𝑗 ∈ 𝐸) là vector hàng Dễ dàng ta thấy rằng:

Π(𝑛) = Π𝑃(𝑛),

Π(𝑛+1) = Π(𝑛)𝑃,

Π(𝑛+1) = Π(1)𝑃(𝑛),

Π(𝑛+𝑚) = Π(𝑛)𝑃(𝑚) Thật vậy, theo công thức xác suất đầy đủ ta có

(𝑋𝑛) là dãy các đại lượng ngẫu nhiên rời rạc

Π là phân phối ban đầu

33

𝑃 là ma trận xác suất chuyển

Những vấn đề chính đối với xích Markov là:

 Tìm điều kiện để tồn tại 𝜋𝑗 = lim

𝑛→∞𝑝𝑖𝑗(𝑛) độc lập với i

 Phân phối dừng có tồn tại không? Có duy nhất không? Và cách tìm

nó

Nhận xét: Xích Markov hoàn toàn được xác định một cách duy nhất bởi

bộ ba (𝑋𝑛, Π, 𝑃), nhưng nếu thay 𝑃 bởi 𝑃(2) Thì tính duy nhất không còn đúng nữa

Ví dụ, với:

𝑃(2) = (1 0

0 1) Thì:

2.3 Ví dụ về xích Markov rời rạc và thuần nhất

Trong mục này ta đưa ra khái niệm về ma trận xác suất chuyển trạng thái của một xích Markov rời rạc và thuần nhất theo thời gian với không gian trạng thái gồm N phần tử Trong trường hợp xích Markov rời rạc và thuần nhất có không gian trạng thái với số phần tử vô hạn đếm được, khái niệm về ma trận xác suất chuyển trạng thái sẽ được xây dựng một cách tương tự

Ví dụ: Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B, và

C (A, B, C được coi là các vị trí 1, 2, 3 của hệ thống siêu thị này) Giả sử rằng, trong từng tháng mỗi khách hàng luôn trung thành với một siêu thị Ngoài ra, cũng giả sử rằng trong tháng đầu số khách vào các siêu thị lần lượt là 200, 500 và 300; tức là có 20% khách hàng vào siêu thị A, 50% vào B và 30% vào C Như vậy, có thể dự đoán rằng một khách hàng vào A với xác suất 0,2; vào B với xác suất 0,5

34

và vào C với xác suất 0,3 Để mô tả tình trạng phân chia thị phần trong tháng đầu (tháng 0) của hệ thống siêu thị trên, chúng ta thiết lập biến ngẫu nhiên X(0) với quy tắc: nếu khách hàng mua hàng ở siêu thị A thì đặt X(0)=1, ở siêu thị B thì đặt X(0) = 2, còn ở siêu thị C thì X(0) = 3 Lúc đó, X(0) có bảng phân phối xác suất sau:

lệ phần trăm (%) khách hàng vào các siêu thị A, B và C

Những tháng sau, ta giả sử xác suất để một người khách, đã vào mua hàng

ở siêu thị A tháng trước, vào lại A trong tháng sau luôn là 0,8; chuyển sang mua hàng ở B luôn là 0,1 và chuyển sang C luôn là 0,1 Xác suất để một người khách,

đã vào mua hàng ở siêu thị B tháng trước chuyển sang A luôn là 0,07; vào lại B luôn là 0,9 và chuyển sang C luôn là 0,03 Còn xác suất để một người khách, đã vào siêu thị C tháng trước chuyển sang A luôn là 0,083; chuyển sang B luôn là 0,067 và vào lại C luôn là 0,85 Lúc đó các xác suất chuyển của khách hàng được cho thông qua ma trận xác suất chuyển trạng thái P (còn gọi là ma trận chuyển sau một bước)

𝑃 = (

0,07 0,9 0,030,083 0,067 0,85

) = [𝑝𝑖𝑗]3×3

Để mô tả tình trạng phân chia thị phần trong tháng t (t = 1, 2, 3, …) của hệ thống siêu thị trên, có thể thiết lập biến ngẫu nhiên X(t) với quy tắc tương tự như khi thiết lập X(0): nếu khách hàng mua hàng ở siêu thị A thì đặt X(t) = 1, ở siêu thị B thì đặt X(t) = 2, còn ở siêu thị C thì X(t) = 3 Vấn đề đặt ra là X(t) có bảng phân phối xác suất như thế nào

Trước hết ta đi tìm bảng phân phối xác suất cho X(1) Xét 𝑝12 = P[(X(1) = 2/X(0) =1] = 0,1 là xác suất để một người khách, đã vào mua hàng ở siêu thị A tháng 0 chuyển sang mua hàng ở siêu thị B trong tháng 1 Ngoài ra, P[X(t+1) = 2/X(t) = 1] = 0,1 ∀t là số tự nhiên, vì theo giả thiết của bài toán thì xác suất để

Dễ thấy rằng trong tháng 1 số khách hàng mua hàng tại siêu thị A là 200 × 0,8 + 500 × 0,07 + 300 × 0,083 = 219,9 (≈ 220); số khách hàng mua hàng tại siêu thị B là 200 × 0,1 + 500 × 0,9 + 300 × 0,067 = 490,1 (≈ 490); còn số khách hàng mua hàng tại siêu thị C sẽ là 200 × 0,1 + 500 × 0,03 + 300 × 0,85 = 290 Do tổng

số khách hàng là 1000, nên X(1) có bảng phân phối xác suất sau:

Bảng 2.4 Phân phối xác suất cho X(1)

Vậy véc tơ phân phối xác suất tại thời điểm t = 1 là Π(1) = [𝜋1(1), 𝜋2(1),

𝜋3(1)] cho biết tỉ lệ phần trăm khách hàng vào các siêu thị A, B và C trong tháng

1 Bằng phép tính ma trận cũng tìm được Π(1) như sau:

Π(1) = Π(0) × 𝑃 = [0,2 0,5 0,3] × (

0,07 0,9 0,030,083 0,067 0,85

)

= [0,234297 0,48251 0,283193]

Sau đây ta đi tìm ma trận xác suất chuyển trạng thái sau hai bước Kí hiệu

𝑝12(2) là xác suất chuyển từ vị trí 1 sang vị trí 2 sau hai bước Theo công thức xác suất toàn phần ta có:

𝑝12(2) = 𝑃[𝑋(2) = 2/𝑋(0) = 1] = 𝑃[𝑋(1) = 1/𝑋(0) = 1] × 𝑃[𝑋(2) =2/𝑋(1) = 1]

+ 𝑃[𝑋(1) = 2 / 𝑋(0) = 1] × 𝑃[𝑋(2) = 2/𝑋(1) = 2]