a. Khái nhiệm
Chuỗi Markov: Trong toán học, một chuỗi Markov đặt theo tên nhà toán học người Nga Andrei Andreyevich Markov, là một quá trình ngẫu nhiên theo thời gian với tính chất Markov.
Xích Markov là một dãy X1, X2, X3,... gồm các biến ngẫu nhiên. Tập tất cả các giá trị có thể có của các biến này được gọi là không gian trạng thái S, giá trị của Xn là trạng thái của quá trình (hệ) tại thời điểm n.
Nếu việc xác định (dự đoán) phân bố xác suất có điều kiện của Xn+1 khi cho biết các trạng thái quá khứ là một hàm chỉ phụ thuộc Xn thì:
P(Xn+1=x|X0,X1,X2,…Xn)=P(Xn+1=x|Xn) (1.1)
Trong đó: x là một trạng thái nào đó của quá trình (x thuộc không gian trạng thái S). Đó là thuộc tính Markov.
Một cách đơn giản để hình dung một kiểu chuỗi Markov cụ thể là qua một ôtômat hữu hạn (finite state machine). Nếu hệ ở trạng thái y tại thời điểm n thì xác suất mà hệ sẽ chuyển tới trạng thái x tại thời điểm n+1 không phụ thuộc vào giá trị của thời điểm n mà chỉ phụ thuộc vào trạng thái hiện tại y. Do đó, tại thời điểm n bất kỳ, một xích Markov hữu hạn có thể được biểu diễn bằng một ma trận xác suất, trong đó phần tử x, y có giá trị bằng P(Xn+1=x|Xn=y)và độc lập với chỉ số thời gian n (nghĩa là để xác định trạng thái kế tiếp, ta không cần biết đang ở thời điểm nào mà chỉ cần biết trạng thái ở thời điểm đó là gì). Các loại xích Markov hữu hạn rời rạc này còn có thể được biểu diễn bằng đồ thị có hướng, trong đó các cung được gắn nhãn bằng
xác suất chuyển từ trạng thái tại đỉnh (vertex) đầu sang trạng thái tại đỉnh cuối của cung đó.
Các xích Markov có liên quan tới chuyển động Brown và Tổng hợp ergodic, hai chủ đề quan trọng của vật lý trong những năm đầu của thế kỷ 20, nhưng Markov có vẻ phải tham gia vào quá trình phát triển của toán học, còn gọi là sự mở rộng của luật số lớn cho các sự kiện độc lập.
b. Ứng dụng của Markov
Các hệ thống Markovian xuất hiện nhiều trong vật lí, đặc biệt là cơ học thống kê, bất cứ khi nào xác suất được dùng để biểu diễn các chi tiết chưa được biết hay chưa được mô hình hóa của một hệ thống, nếu nó có thể giả định rằng thời gian là bất biến và không có mối liên hệ trong quá khứ cần nghĩ đến mà không bao gồm sự miêu tả trạng thái. Xích Markov có thể dùng để mô hình hóa nhiều quá trình trong lí thuyết hàng đợi và thống kê. Bài báo nổi tiếng của Claude Shannon năm 1948 “A mathematical theory of communication”, là một bước trong việc tạo ra lãnh vực lí thuyết thông tin, mở ra bằng cách giới thiệu khái niệm của entropy thông qua mô hình hóa Markov của ngôn ngữ tiếng Anh. Mỗi mô hình đã lý tưởng hóa có thể nắm bắt được nhiều hệ thống được thống kê điều đặn. Thậm chí không cần miêu tả đầy đủ cấu trúc, giống như là những mô hình tín hiệu, hiệu quả trong việc giải mã dữ liệu thông qua kỹ thuật viết code entropy. Nó cũng hiệu quả trong việc ước lượng trạng thái và xác định mẫu. Hệ thống điện thoại di động trên thế giới dùng giải thuật Viterbi để sửa lỗi, trong khi các mô hình Markov ẩn (với xác suất chuyển đổi Markov ban đầu là không được biết và phải được ước lượng từ dữ liệu) được dùng rất nhiều trong nhận dạng tiếng nói và trong tin sinh học, chẳng hạn để mã hóa vùng/dự đoán gene.
Trong ngành quản lý đất đai: người ta còn ứng dụng GIS, RS và chuỗi Markov vào phân tích sự thay đổi sử dụng đất, từđó dự báo được tình hình sử dụng đất trong giai đoạn kế tiếp.
Ngoài ra Chuỗi Markov có rất nhiều ứng dụng như: Các hệ thống Markov xuất hiện nhiều trong vật lí, đặc biệt là cơ học thống kê. Chuỗi Markov có thể dùng để mô hình hóa nhiều quá trình trong lí thuyết hàng đợi và thống kê. PageRank của một trang web dùng bởi Google được định nghĩa bằng một chuỗi Markov. Chuỗi Markov cũng có nhiều ứng dụng trong mô hình sinh học, đặc biệt là trong tiến trình dân số. Một ứng dụng của chuỗi Markov gần đây là ở thống kê địa chất. Chuỗi Markov cũng có thể ứng dụng trong nhiều trò game. Trong ngành quản lý đất đai: ngƣời ta còn ứng dụng GIS, RS và chuỗi Markov vào phân tích sự thay đổi sử dụng đất, là ứng dụng mà đề tài nghiên cứu đáng hướng đến.