Ngày nay , nhu cầu trong việc thu nhận và xử lí các tín hiệu như: tín hiệu âm thanh, hình ảnh, video, … trong thế giới tự nhiên đặt ra một vấn đề quan trọng trong việc xây dựng các cơ sở lí thuyết, các mô hình toán học để ứng dụng và thực tế. Những tín hiệu như trên là thể hiện các quá trình ngẫu nhiên được quan sát hay đo lường các giá trị biến ngẫu nhiên tại các thời điểm khác nhau. Việc nghiên cứu các đặc trưng thống kê của các quá trình ngẫu nhiên cũng như đưa ra mô hình tổng quát về các dạng quá trình ngẫu nhiên khác nhau (như quá trình ổn định, quá trình đếm, quá trình hồi phục,…) đem lại cho chúng ta những cơ sơ toán học để ứng dụng trong xử lí tín hiệu thực.
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG -o0o - BÁO CÁO MƠN: Q TRÌNH NGẪU NHIÊN VÀ ỨNG DỤNG Đề tài 7: Tìm hiểu trình ổn định (Stationary Processes), trình Ergodic áp dụng Giảng viên: PGS.TS Nguyễn Thị Hồng Lan Danh sách nhóm: Nguyễn Cao Duy Trần Văn Dương 20164814 20160873 Hoàng Minh Định 20161040 Vũ Ngọc Sơn 20163580 Nguyễn Văn Thanh 20163648 HÀ NỘI, 12 - 2018 MỤC LỤC MỞ ĐẦU NỘI DUNG I Quá trình ngẫu nhiên ổn định .4 Tổng quan trình ổn định .4 Quá trình ổn định nghĩa hẹp Quá trình ổn định nghĩa rộng II Quá trình dừng Ergodic .7 Khái niệm Tính chất q trình Ergodic III Áp dụng Python 10 Khái niệm .10 Tính chất q trình Ergodic 10 KẾT LUẬN 16 TÀI LIỆU THAM KHẢO 17 MỞ ĐẦU Ngày , nhu cầu việc thu nhận xử lí tín hiệu như: tín hiệu âm thanh, hình ảnh, video, … giới tự nhiên đặt vấn đề quan trọng việc xây dựng sở lí thuyết, mơ hình tốn học để ứng dụng thực tế Những tín hiệu thể trình ngẫu nhiên quan sát hay đo lường giá trị biến ngẫu nhiên thời điểm khác Việc nghiên cứu đặc trưng thống kê trình ngẫu nhiên đưa mơ hình tổng qt dạng q trình ngẫu nhiên khác (như trình ổn định, trình đếm, trình hồi phục,…) đem lại cho sơ toán học để ứng dụng xử lí tín hiệu thực Trong phạm vi đề tài số 7, nhóm chúng em nghiên cứu trình ổn định, trình Ergodic áp dụng chúng Các thành viên nhóm phân cơng nhiệm vụ sau: Vũ Ngọc Sơn : làm slide, thuyết trình Trần Văn Dương : tìm hiểu lý thuyết Hồng Minh Định : tìm hiểu chữa tập Nguyễn Cao Duy : thực hành, vận dụng Python Nguyễn Văn Thanh : làm báo cáo tổng kết Qua báo cáo đề tài, nhóm hi vọng cung cấp cho người đọc kiến thức sở hai loại trình ứng dụng bật chúng thực tế Hà Nội, ngày 17 tháng 12 năm 2018 PHẦN I: QUÁ TRÌNH ỔN ĐỊNH Tổng quan trình ổn định: - Quá trình ngẫu nhiên ổn định (Stationary Stochastic Processes) trình - ngẫu nhiên bất biến dịch theo số thời gian Q trình ngẫu nhiên ổn định bậc tính chất thống kê X(ti) X(ti - + c) với số Quá trình ổn định bậc tính chất thống kê cặp { X(t1), X(t2)} { X(t1+c), X(t2+c)} với số c Quá trình ổn định nghĩa hẹp: 2.1 Khái niệm: Một trình ổn định theo nghĩa hẹp hay ổn định chặt bậc n (nth – other Strict – Sense Stationary – S.S.S ) thỏa mãn điều kiện sau với ti số c : Trong fx hàm mật độ đồng thời biến: với 2.2 Tính chất : - Ổn định chặt bậc 1, hàm mật độ phân phối không phụ thuộc thời gian: + Hàm mật độ phân phối bậc 1: + Kỳ vọng: - Ổn định chặt bậc 2, hàm mật độ phân phói phụ thuộc vào sai khác thời gian: + Hàm mật độ phân phối bậc 2: + Hàm tự tương quan: Quá trình ổn định nghĩa rộng: 3.1 Khái niệm: Một trình ngẫu nhiên X(t) gọi ổn định theo nghĩa rộng hay trình ổn định bậc thỏa mãn: - Trung bình theo thời gian số: - Hàm tự tương quan phụ thuộc vào khoảng cách thời điểm: Đặc biệt , lượng trung bình q trình ổn định khơng phụ thuộc vào t có giá trị R(0) Hai tiến trình và gọi trình WWS đồng thời trình WWS hiệp phương sai chéo phụ thuộc vào và: Ví dụ: Giả sử trình ổn định theo nghĩa rộng: Ta xác định tham số liên quan biến: Xét ta có: Định nghĩa cho ta hàm tương quan trình ngẫu nhiên theo nghĩa rộng phụ thuộc vào hệ số hiệp phương sai bằng: Vì vậy, hàm tự hiệp phương sai hệ số tự hiệp phương sai biến ngẫu nhiên 3.2 Tính chất : - Sự ổn định theo nghĩa hẹp ngầm thỏa mãn điều kiện ổn định theo nghĩa rộng Tuy nhiên điều ngược lại lúc - Xét trình ngẫu nhiên Gausian, suy độ ổn định theo nghĩa rộng kéo theo thõa mãn điều kiện ổn định chặt ( ổn định theo nghĩa hẹp) biến Gausian phối hợpvới số thời gian bất kỳ, - nên tức hàm tự hiệp phương sai WSS phụ thuộc khoảng cách thời gian thời điểm - Quá trình ngẫu nhiên ổn định theo nghĩa rộng có trung bình (zero-mean) hàm phương sai hàm tự tương quan phụ thuộc vào - Một trình Gauss với trung bình khơng () hàm covariance có dạng gọi trình ổn định Ornstein- Uhlenbeck PHẦN II: Q TRÌNH ERGODIC Khái niệm: Q trình ổn định bậc hai gọi trình dừng Ergodic trung bình theo thời gian trung bình theo tập hợp Một ví dụ đơn giản q trình Ergodic thực tế: Xét tín hiệu hình ảnh vật thể trình ngẫu nhiên Nếu ta chứng minh có tính dừng Ergodic việc ta dùng cảm biến ảnh (máy ảnh) “chụp” lấy tín hiệu nhiều thời điểm khác để tính trung bình theo thời gian có kết với việc ta dùng thật nhiều cảm biến để chụp tín hiệu thời điểm để tính trung bình theo khơng gian Tất nhiên thực tế việc kiểm tra q trình có phải q trình dừng Ergodic hay khơng thường khó Ngồi việc chuyển đổi tính trung bình theo thời gian trung bình theo không gian cần xem xét cho hợp lí Phân loại: Tính dừng Ergodic có hai dạng: Ergodic kỳ vọng Ergodic hiệp phương sai 2.1 Ergodic kỳ vọng: Định nghĩa: trình ngẫu nhiên dừng nhân giá trị thực {X(t)} gọi ergodic kỳ vọng kỳ vọng µ q trình trung bình thời gian quỹ đạo Giới hạn theo phương trung bình: Đặt: Với giá trị trung bình thời gian Khi , giới hạn giá trị trung bình quỹ đạo tồn trục số 2.2 Ergodic hiệp phương sai: Định nghĩa: Quá trình dừng nhận giá trị thực {X(t)} gọi ergodic phương sai phương sai V phương sai theo thời gian quỹ đạo bất kỳ, tức : Ergodic phương sai chia theo trường hợp: Trường hợp kỳ vọng biết Trường hợp chưa biết kỳ vọng Ergodic tự hiệp phương sai Ergodic hiệp phương sai chéo Giới hạn theo bình phương trung bình: Trường hợp biết kỳ vọng: ta thay kỳ vọng vào cơng thức tính bình thường Trường hợp chưa biết kỳ vọng: Cần dùng trung bình thời gian để ước lượng, sau tính ước lượng Ergodic hiệp phương sai: Nếu {} có kỳ vọng biết, xét { } Nếu {} có kỳ vọng chưa biết,có thể dùng XT để ước lượng xét { } với lưu ý kết khác xác với T lớn Như giả sử trình quy tâm, tức Ergodic hiệp phương sai chéo Hai trình nhận giá trị thực, dừng đồng thời {X(t)} {Y(t)} dọi ergodic hiệp phương sai chéo trình dừng ergodic tự hiệp phương sai,hơn hiệp phương sai chúng: Chú ý : Tính chất Ergodic kỳ vọng Ergodic tự hiệp phương sai hay sử dụng Chính q trình có hai tính chất gọi Ergodic suy rộng 10 PHẦN III: ÁP DỤNG PYTHON Giới thiệu vài thư viện Python : Numpy Matplotlib hai thư viện dành cho ngơn ngữ lập trình Python, giúp xử lý toán liên quan đến định dạng liệu kiểu đặc biệt, phân tích mơ chúng biểu đồ Khi sử dụng hai thư viện, sử dụng tính mơ tính tốn giống ngơn ngữ MATLAB Python 1.1 Numpy: - NumPy thư viện mở rộng định nghĩa tốn học lập trình để tương tác với kiểu liệu số lớn, chuỗi số (nhiều chiều), vector ma trận - Numpy cung cấp đầy đủ phép toán, hàm hỗ trợ tốn cao cấp để tính tốn kiểu liệu 1.2 Matplotlib: - Matplotlib thư viện hỗ trợ vẽ biểu đồ ngôn ngữ lập trình Python - Matplotlib cung cấp phương thức giao tiếp (API) để vẽ, nhúng biểu đồ thông qua lập trình Các hàm vẽ Matplotlib có cú pháp gần giống với hàm vẽ có MATLAB 1.3 Bổ sung: Bên cạnh hai thư viện giới thiệu trên, Python thư viện Pandas chuyên để xử lý bảng số, chuỗi phụ thuộc thời gian Tuy nhiên, không sử dụng Pandas Bài toán áp dụng : Trong thực tế, xem xét trình ngẫu nhiên, ta thường xem xét thông qua liệu rời rạc Các liệu có từ thu thập, sinh từ hàm phân phối có NumPy Để xém xét tính chất q trình ngẫu nhiên rời rạc đó, ta mơ liệu rời rạc lên phần mềm vẽ biểu đồ, tính tốn dựa số liệu cung cấp từ liệu 11 Ở đây, ta sử dụng kết hợp hai thư viện NumPy, Matplotlib để thực phân tích tính tốn mơ 2.1 - Ví dụ mơ nhiễu trắng Gauss: Xét thấy, nhiễu trắng Gauss có hàm phân phối khơng phụ thuộc vào thời gian, nên ta dễ dàng sinh liệu tương ứng thông qua phân phối Gauss Với kỳ vọng độ lệch chuẩn xác định: μ=7 σ = 2.5 Sinh chuỗi số theo phân phối Gauss 600 đơn vị thời gian Như vậy, chuỗi thu có 600 phần tử import numpy as np from matplotlib import pyplot mu, sigma = 7, 2.5 x = np.random.normal(mu, sigma, 600) # White Noise pyplot.xlabel('t') pyplot.ylabel('x') pyplot.plot(x) pyplot.show() # Sai lech giua ky vong Muy va gia tri trung binh thuc te print("muy = ", mu) print("mean = ", np.mean(x)) print("|muy - mean| = ", abs(mu - np.mean(x))) Hàm np.random.normal() cung cấp NumPy, dùng để sinh giá trị random theo phân phối chuẩn Ở ta sử dụng np.random.normal(mu, sigma, 600) để sinh 600 số theo hàm phân phối N(mu, sigma) Hàm pyplot.xlabel, pyplot.ylabel dùng để gán tên cho trục tọa độ biểu đồ Hàm pyplot.plot(x) để vẽ chuỗi x lên biểu đồ Do chuỗi x khơng có tham số thời gian t, nên pyplot.plot() coi phần tử x tạo ta thời điểm t phần tử thứ t chuỗi x Hàm pyplot.show() để hiển thị cửa sổ chứa biểu đồ sau vẽ 12 Ba dòng lệnh cuối dùng để in giá trị μ, trung dãy x, chênh lệch chúng Ta thu biểu đồ sau: Sai lệch kỳ vọng giá trị trung bình thực tế: muy = mean = 6.96945242366 |muy - mean| = 0.0305475763426 Chúng ta dễ dàng thấy sai lệch muy mean không đáng kể, chuỗi sinh xác nhiễu trắng 2.2 - Ví dụ nhận dạng q trình ngẫu nhiên: Trong ví dụ này, xét đến liệu thống kê tổng số ca sinh giới tính nữ ngày năm 1959 California Bộ liệu gồm 365 dòng ứng với 365 ngày năm 1959 Mỗi dòng liệu định dạng theo: 1959-mm-dd, x Trong 1959-mm-dd ngày năm 1959, x số ca sinh giới tính nữ Nhận xét: Biến ngẫu nhiên X: số ca sinh giới tính nữ ngày California Quá trình ngẫu nhiên x(t) số ca sinh giới tính nữ ngày năm 1959 California 13 Mô trình x(t) biểu đồ: import numpy as np from matplotlib import dates from matplotlib import pyplot from datetime import datetime data_series = dtype=['datetime64[D]', np.genfromtxt('./female-birth.csv', 'i8'], delimiter=',', skip_header=1, skip_footer=1, names=['date', x]) date = data_series['date'].astype(datetime) x = data_series[x] def simulate(): pyplot.gca().tick_params(pad=15) ax = pyplot.gca().xaxis ax.set_minor_locator(dates.MonthLocator()) ax.set_minor_formatter(dates.DateFormatter('%b')) ax.set_major_locator(dates.YearLocator()) ax.set_major_formatter(dates.DateFormatter('%Y')) pyplot.xlabel('t') pyplot.ylabel('X') pyplot.plot(date, x) pyplot.show() simulate() Lần này, liệu có dạng ngày tháng, ta sử dụng thêm module để định dạng hiển thị ngày tháng matplotlib.dates datetime Cú pháp np.genfromtxt() cho phép ta đọc liệu từ file ký tự, định dạng dạng bảng Ở đây, có cột ngày tháng date, cột số ca sinh x Từ đó, ta gán cho chuỗi date x giá trị tương ứng 14 Các cú pháp set_major*, set_manor* dùng để thiết lập định dạng hiển thị thông số trục tọa độ Ở đây, dùng để thiết lập cho trục ngày tháng (trục t) Ta thu biểu đồ sau: Để đánh giá xem trình có ổn định hay khơng, ta ta biểu diễn dạng phân phối tần suất Nếu thấy có dạng phân phối Gauss, ta đưa khẳng định ổn định Chúng ta thêm đoạn code sau chương trình gọi hàm check1() def check1(): pyplot.hist(x) pyplot.show() Hàm pyplot.hist(x) cho phép vẽ biểu đồ tần suất dạng cột (histogram) 15 Có thể dễ dàng thấy, phân phối tương đồng với phân phối Gauss Ngoài ra, ta đánh giá thơng qua trung bình phương sai Khi trung bình phương sai khoảng thời gian liên tiếp chênh lệch lớn, ta coi ổn định def check2(): split = (int)(x.size/ 2) x1, x2 = x[0:split], x[split:] mean1, mean2 = np.mean(x1), np.mean(x2) var1, var2 = np.var(x1), np.var(x2) print('mean1=%f, mean2=%f' % (mean1, mean2)) print('variance1=%f, variance2=%f' % (var1, var2)) Các hàm np.mean(), np.var() trả cho giá tri trung bình phương sai chuỗi số Từ t thu kết sau: mean1=39.763736, mean2=44.185792 variance1=49.213410, variance2=48.708651 16 KẾT LUẬN Quá trình ngẫu nhiên ổn định trình dừng Ergodic mơ hình lý thuyết dù đời từ lâu đến mang nhiều ý nghĩa Qua việc nghiên cứu mơ hình này, ta có thêm phương pháp hữu dụng việc xử lí tín hiệu thực tế Ví dụ, qua tốn xử lí tín hiệu ảnh phần “Quá trình Ergodic”, ta thấy việc chọn lựa hợp lí tính trung bình theo thời gian hay tính trung bình theo khơng gian giúp ta tiết kiệm nhiều chi phí việc tính tốn, xử lí tín hiệu Điều ứng dụng nhiều tốn xử lí tín hiệu nhiều lĩnh vực khác y tế, tài chính, truyền hình, Cũng tầm quan trọng mơ hình thực tế mà thấy đến tận ngày chúng giảng dạy phổ biến nhiều trường Đại học, Cao đẳng khối kĩ thuật Trong phạm vi đề tài, nhóm chúng em cố gắng cung cấp cho người đọc kiến thức nhât mô hình đồng thời đưa ví dụ, tốn minh họa cho lí thuyết Trong q trình đọc tham khảo nhận thấy có sai sót nào, mong bạn hay liên hệ, góp ý để nhóm cải thiện tài liệu tốt Xin cảm ơn 17 TÀI LIỆU THAM KHẢO [1] Jochen Geiger, section 2: Renewal processes, Applied Stochastic Processes, 2007 [2] Athanasios Papoulis, chapter 10: General Concepts, Probability, Random [3] Variables, and Stochastic Processes, third edition, McGraw-Hill, Inc [4] Documents on: https://python.org/, try cập cuối ngày 17/12/2018 18 ... I Quá trình ngẫu nhiên ổn định .4 Tổng quan trình ổn định .4 Quá trình ổn định nghĩa hẹp Quá trình ổn định nghĩa rộng II Quá trình dừng Ergodic ... ĐỊNH Tổng quan q trình ổn định: - Quá trình ngẫu nhiên ổn định (Stationary Stochastic Processes) trình - ngẫu nhiên bất biến dịch theo số thời gian Quá trình ngẫu nhiên ổn định bậc tính chất thống... điểm khác Việc nghiên cứu đặc trưng thống kê q trình ngẫu nhiên đưa mơ hình tổng quát dạng trình ngẫu nhiên khác (như trình ổn định, trình đếm, trình hồi phục,…) đem lại cho sơ tốn học để ứng