Tìm hiểu lý thuyết ước lượng quá trình ngẫu nhiên, vấn đề ước lượng tuyến tính bình phương nhỏ nhất và lọc dự đoán. Phương pháp bình phương nhỏ nhất là phương pháp ước lượng các thông số bằng cách tối thiểu hóa các sai lệch bình phương giữa các dữ liệu được quan sát và các giá trị kỳ vọng( xem phương pháp tối ưu hóa).
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THƠNG TIN BÁO CÁO BỘ MƠN Q TRÌNH NGẪU NHIÊN VÀ ỨNG DỤNG Đề tài 14 : Tìm hiểu lý thuyết ước lượng trình ngẫu nhiên, vấn đề ước lượng tuyến tính bình phương nhỏ lọc dự đốn I Phương pháp ước lượng bình phương nhỏ ( MSE) 1.Phương pháp chung Phương pháp bình phương nhỏ phương pháp ước lượng thơng số cách tối thiểu hóa sai lệch bình phương liệu quan sát giá trị kỳ vọng( xem phương pháp tối ưu hóa) Ta nghiên cứu phương pháp toán hồi quy, với biến thiên biến gọi biến phụ thuộc Y phần giải thích qua biến thiên biến lại dược gọi biến hiệp biến(xem hồi quy tuyến tính đa biến) Ví dụ biến thiên kết thi Y chủ yếu biến thiên lực cần cù X học sinh, hay biến thiên thời gian sinh tồn chủ yếu biến điều kiện mơi trường X Cho giá trị X, dự đốn tốt Y trung bình f(x) Y theo X ta nói Y hàm số X cộng với nhiễu Y=f(X)+Nhiễu Hàm f gọi hàm hồi quy Hàm ước lượng biến mẫu n kết (x1,y1)…(xn,yn) Giả sử f có số hữu hạn số p≤ n thông số β = (β1, ,βp) ,,f = fβ Ta ước lượng β, f = fβ giá trị phù hợp với liệu Các ước lượng bình phương tối thiểu ký hiệu là giá trị b tối thiểu hóa tất giá trị b có = Các tiêu chí để bình phương nhỏ biện pháp tính tốn thuận tiện phù hợp Nó tương ứng với ước lượng khả cực đại nhiễu bình thường có phân phối với phương sai nhau.các biện pháp khác phù hợp sử dụng Ví dụ độ lệch tuyệt đối tốt với phương pháp kiểm định Outliers (xem phương pháp kiểm định Robust) Tuyến tính hồi quy: Xét trường hợp với f β hàm tuyến tính β (X1,… Xp ) đại diện cho biến quan sát sử dụng f β (X), có nghĩa là: f β (X)=X1β 1+…+Xpβp Để ghi lại ước lượng bình phương nhỏ cho hàm hồi quy tuyến tính mẫu, ta sử dụng ký hiệu ma trận thuận tiện Cho y = X ma trận liệu kích thước n x p n quan sát p biến X = = (x1, ,xp) Với xj vector cột chứa n quan sát biến j (j chạy từ đến n).Biểu thị độ dài bình phương vector n chiều v ||v||2 = v’v = Sau biểu thức (1) viết sau: ||y-Xb||2 Đó khoảng cách bình phương vector y tổ hợp tuyến tính b cột từ ma trận X Khoảng cách tối thiểu hóa cách lấy tham chiếu y không gian kéo dài cột X ( xem hình ) Giả sử X có cột thứ hạng đầy đủ,nghĩa khơng có cột X viết thành tổ hợp tuyến tính cột khác.Sau ước lượng bình phương nhỏ β viết thành: = (X’ X)-1 X’ y ( Hình 1: chiếu vector y mặt phẳng kéo dài x ) 2-Phương sai LSE Ma trận với X ma trận hiệp phương sai bằng: (X’ X)-1σ2 ( Với σ2 phương sai nhiễu) Như ước lượng σ2, ta có: = || y – X ||2 = (Với phần dư ra:) Do ma trận hiệp phương sai ước lượng qua: (X’X)-12 Ví dụ 1: Các ước lượng phương sai là: Với phần tử thứ j đường chéo (X' X)-1 Khoảng tin cậy βj thu cách lấy ước lượng bình phương nhỏ ± khoảng: • ±c • Trong c phụ thuộc vào mức độ tin cậy Với khoảng tin cậy 95% giá trị c = 1.96 n lớn Với n nhỏ giá trị c cần phải lựa chọn thận trọng cách sử dụng bảng phân phối Student với n - p bậc tự Ví dụ 2: Xét hồi quy với số , tuyến tính với giới hạn bậc • • • Ta có n=100 xi = với i=1, n Ma trận X bằng: X= Từ ta có X’X= (X’ X)-1= • Ta mơ n biến ngẫu nhiên độc lập chuẩn bình thường e1, ,en.và i chạy từ đến n: Yi=1-3xi+ei Như vậy, ví dụ tham số = Hơn với σ = 1.Bởi mô nên giá trị biết.Để tính tốn ước lượng bình phương nhỏ ta cần giá trị X’y trường hợp thì: X’y= • Như ước lượng bình phương tối thiếu là: = • Từ kiện để bài, ta đồng thơi tính ước lượng phương sai nhiễu.Và tìm giá trị = 0.883 Các kiện biểu diễn hình 2.Đường nét đứt thể hồi quy f β (X).Đường liền nét thể hồi quy ước lượng (X) Các hồi quy ước lượng gần đường thẳng.Thật vậy,giá trị số hạng bậc hai nhỏ:=-0.0446.Các ước lượng phương sai = 1.8009 x 0.883= 1.5902 Sử dụng c =1.96 công thức (7), ta tìm khoảng tin cậy -0.0446 ± 1.96 = [-2.5162, 2.470] Như vậy, β3 khác không không đáng kể mức 5% ta bác bỏ giả thiết H0:β3 = Dưới đây,ta xem xét kiểm định thống kê chung để kiểm nghiệm giả thuyết β Trong trường hợp cụ thể kiểm định thống kê có dạng == 0.0012 • • • (1) Sử dụng số liệu kiểm định thống kê tương đương với sử dụng phương pháp dựa khoảng tin cậy Thật vậy, (T)2 < (1.96)2 ta không bác bỏ giá thuyết H0: β3 =0 Theo giả thuyết H0: β3 = ta sử dụng ước lượng bình phương nhỏ = (X0’X0)-1X0’y = Điều quan trọng cần lưu ý thiết lập β3 không thay đổi giá trị ước lượng bình phương nhỏ β1 β2 ≠ • Điều tương quan với Ta xác minh điều thơng qua ma trận tương quan là: 3-Kiểm tra giả thuyết tuyến tính Các vấn đề thử nghiệm xem xét ví dụ số cụ thể trường hợp thử nghiệm đặc biệt giả thuyết H0 tuyến tính: Aβ = với A số ma trận r x p Như mốt số ví dụ giả thuyết, giả sử ta muốn kiểm tra hệ số H0: β1 = β2 Điều có nghĩa hạn chế r=1 ta biến A thành ma vector hàng x p: A=(1,-1,0, ,0) Nói chung, ta giả định khơng có tuyến tính phụ thuộc vào r hạn chế Aβ = Để kiểm tra giả thuyết tuyển tính,ta sử dụng số liệu thống kê: = Với ước lượng bình phương nhỏ H0:Aβ = 0.Trong ví dụ cụ thể,thống kê biểu thức (1) Khi nhiễu phân phối bình thường giá trị quan trọng thấy bảng phân phối F với r n - p bậc tự do.Đối với n lớn giá trị quan trọng lấy bảng phân phối χ2 với bậc tự r II Lọc dự đốn 1-Bình phương nhỏ lọc dự đốn Thiết kế lọc tối ưu đòi hỏi kiến thức phương pháp mơmen bậc • Tuy nhiên, thống kê cho thấy thơng tin khơng đơn giản có sẵn ứng dụng thực tế, mà có số đo đầu vào tín hiệu đáp ứng mong muốn • Để giải vấn đề : Ước lượng mơmen bậc cần thiết từ liệu có sẵn Thiết kế lọc tối ưu 2-Nguyên tắc bình phương nhỏ Trong ước lượng bình phương nhỏ nhất, giảm thiểu tổng bình phương lỗi ước lượng – tiêu chí cho việc thiết kế lọc tối ưu • Ứng dụng: Mơ hình hố tín hiệu, Mã hố dự đốn tuyến tính, Thử nghiệm lọc thích hợp • Tuỳ thuộc vào liệu có sẵn, có cách để thiết kế ước lượng tối ưu: Nếu biết mômen bậc 2, sử dụng tiêu chí MMSE thiết kế lọc tối ưu cho tất liệu với số liệu thống kê tương tự Nếu có khối liệu, sử dụng tiêu chí LSE để thiết kế ước lượng tối ưu cho liệu 3-Ước lượng tuyến tính bình phương nhỏ Vấn đề: Cho liệu {y(n)} {xk(n)}, thiết kế ước lượng (n) cấp ước lượng đáp ứng mong muốn y(n) cách sử dụng sữ kết hợp tuyến tính liệu xk(n) với ≤ k ≤ M Như vậy: = tối thiếu • Giải pháp: • (n)= Cho y=y(n), e=e(n), =(c1(n),c2(n), ,cM(n))T, =(x1(n),x2(n), ,xk(n))T Hàm mục tiêu • J== o • J=E{e}2=E{(y-)2} việc thiết kế lọc tuyến tính tối ưu J tối thiểu =0 => = ==0 => = = => => x => = xy = xy Khi x = xy = • Phương trình xc* =*xy gọi phương trình bình phương 4-Bộ lọc bình phương nhỏ FIR Lý thuyết ước lượng tuyến tính LS áp dụng cho việc thiết kế lọc FIR Giả sử lấy số đo mong muốn y(n) tín hiệu đầu vào x(n) khoảng thời gian ≤ n ≤ N -1 Giả sử tín hiệu cố định ⇒ hệ số lọc bất biến Theo (8.a), ta có: {xk(0)}=[x(0) 0 0] {xk(1)}=[x(1) x(0) 0] • =[0 … x(N-1) x(N-2)] =[ 0 … 0 x(N-1)] Hàm nhiễu E(n)=y(n) • Hàm mục tiêu J== • Nói chung có cách để lựa chọn dải Ni ≤ n ≤ N f sử dụng lọc dự báo No windowing Prewindowing Postwindowing Full windowing • • • Ni=M-1 , Nf =N-1 Ni=0, Nf =N-1 Ni=M-1 , Nf =N+M-2 Ni=0 , Nf = N+M-2 Nếu N >> M, khác biệt hiệu phương pháp khác không đáng kể Phương pháp No-windowing Full-windowing biết đến lý thuyết xử lý tín hiệu phương pháp tự tương quan hiệp phương sai Có thể coi lọc tối ưu Rx r*xy xấp xỉ => x = xy = III ÁP DỤNG PHƯƠNG PHÁP BÌNH PHƯƠNG CỰC TIỂU TRONG MATLAB Trong phần ta xét cách áp dụng phương pháp dự đốn bình phương cực tiểu vào toán nhất: Ước lượng hàm thỏa mãn điều kiện bình phương cực tiểu với giá trị thu sử dụng lọc dự đốn để dự đốn giá trị tín hiệu tương lai dựa vào giá trị thu Cả tốn xét với mơ hình tuyến tính (bậc nhất) Ước lượng hàm bậc thỏa mãn điều kiện bình phương cực tiểu a Bài toán Tại thời điểm t=0,1,2,…,n ta thu giá trị x 0,x1,…,xn Biết giá trị xi phụ thuộc vào thời gian theo quan hệ X=F(t) nhiễu từ thiết bị đo hay môi trường, giá trị thu không tuân theo quan hệ X=F(t) cách xác Với trường hợp xét hàm bậc nhất, ta cần ước lượng tham số a b cho hàm =a.X+b tốt theo tiêu chí bình phương nhỏ nhất: =Min b Hướng giải Ta biết lời giải cho tốn thu cách tính ma trận Trong ma trận A tính dựa thời gian t i, cách tính phụ thuộc vào mơ hình ước lượng xét Chẳng hạn, với mơ hình tuyến tính ma trận A có dạng Từ kết tính ma trận H ta xác định hệ số cần ước lượng a,b tương ứng với H(1) H(2) c Áp dụng giải toán MATLAB c.1 Các hàm sử dụng chương trình - Hàm randn(m,n): Tạo ma trận kích thước m*n với phần tử biến ngẫu nhiên phân phối chuẩn - Hàm inv(A): Tính ma trận nghịch đảo ma trận A - Hàm plot(x,y,option): Vẽ biểu đồ với x trục hoành, y trục tung tùy chọn dạng đồ thị, màu, cách kí hiệu điểm,… - Hàm zeros(m): Tạo ma trận vng kích thước m*m với phần tử có giá trị - Kí hiệu u’ vector chuyển vị vector u c.2 MATLAB code giải thích Trong ví dụ này, ta lấy x y biến ngẫu nhiên điểm biểu diễn chúng “phân tán” (hệ số tương quan x y thấp), không tập trung gần đường thẳng nên dù tham số ước lượng đạt điều kiện bình phương cực tiểu chúng ý nghĩa thực tiễn Do vậy, ta chọn hàm tuyến tính cụ thể, thêm nhiễu áp dụng phương pháp LSE để “ước lượng lại” hệ số Trong thực tế ta thay x y đầu vào thời gian số liệu thu c.3 Kết nhận xét Nhận xét: Ta thu tham số a b cho hàm thỏa mãn tiêu chí bình phương cực tiểu Để biết sai số bình phương (LS error), ta viết thêm dòng lệnh: Sử dụng lọc dự đoán MATLAB a Bài toán Cho tập giá trị trình ngẫu nhiên thời gian rời rạc, ta cần dự đoán giá trị tương lai Cụ thể là, cho giá trị x(n-1), x(n-2),…,x(n-M), ta cần dự đoán giá trị x(n) Ta biểu diễn dự đốn dạng hàm M giá trị khứ: Trong ví dụ này, ta xét đến dự đốn tuyến tính, tức f hàm bậc biến x(n-1), x(n-2),…,x(n-M), tức là: (Trong ak số) Công việc ta ước lượng số ak cho dự đoán x(n) thỏa mãn điều kiện bình phương cực tiểu b Hướng giải Đặt u(k) ma trận dọc chứa giá trị thu thời điểm t=2: -Tính đầu -Cập nhật -Cập dự đoán tại: vector hệ số: nhật ma trận P: Trong bước, dự đoán dựa vào chênh lệch giá trị dự đoán với giá trị thực tế thu để đưa thay đổi cho vector hệ số ma trận P c Áp dụng giải MATLAB c.1 Các hàm sử dụng chương trình - Hàm zeros(m,n): Tạo ma trận kích thước m*n với phần tử - Hàm eye(m): Tạo ma trận đơn vị kích thước m*m - Hàm flipud(A(m:n)): Đảo vị trí phần tử có số thứ tự từ m đến n vectorA - Kí hiệu u’ vector chuyển vị vector u - Hàm plot(x,y,option): Vẽ biểu đồ với x trục hoành, y trục tung tùy chọn dạng đồ thị, màu, cách kí hiệu điểm,… c.2 MATLAB code giải thích Trong ví dụ ta giả thiết hàm thu có dạng sin c.3 Kết nhận xét Đầu tiên ta vẽ đồ thị tín hiệu thu theo thời gian (màu xanh): Sau đồ thị ta vẽ đồ thị tín hiệu dự đốn thu nhờ lọc dự đoán (màu đỏ): Ta thấy sau vài giá trị có khác biệt, phần lớn giá trị dự đoán xác (đồ thị đỏ đồ thị xanh hồn tồn trùng nhau) Như thuật tốn lọc tuyến tính sử dụng phương pháp LSE hồn tồn xác IV Bài tập Bài 25 (bài 10-20) Chứng minh x(t) trình SSS (Ổn định theo nghĩa hẹp) ɛ biến ngẫu nhiên độc lập x(t) trình y(t) = x(t- ɛ) trình SSS Giải x(t) trình SSS P{x(t)≤y}=Fx(y) khơng phụ thuộc vào t Ta có biến ngẫu nhiên x(t) độc lập Vì Fy(y)=P{ x(t- ɛ)≤y| ɛ = ɛ } = P{ x(t- ɛ)≤y} = Fx(y) độc lập với t Quá trình y(t)= x(t- ɛ) trình SSS ( điều phải chứng minh) Bài 26 (bài 11-6) Cho trình Wiener w(t) tham số α.Ta tạo trình x(t)=w(t2) y(t)=w2(t) Chứng minh x(t) phân phối chuẩn trung bình (“zero mean”) 1/ RX(t1;t2)= 2/ RY(t1;t2)=α2t1t2+2 Giải Nếu x(t)=w(t2) RX(t1;t2)=E{w()w()}= Nếu y(t)=w2(t) RY(t1;t2)=E{w2(t1)w2(t2)}=E{w2(t1)} E{w2(t2)} + 2E2{w(t1)w(t2)}=α2t1t2+2 ... giải vấn đề : Ước lượng mômen bậc cần thiết từ liệu có sẵn Thiết kế lọc tối ưu 2-Nguyên tắc bình phương nhỏ Trong ước lượng bình phương nhỏ nhất, giảm thiểu tổng bình phương lỗi ước lượng. ..I Phương pháp ước lượng bình phương nhỏ ( MSE) 1 .Phương pháp chung Phương pháp bình phương nhỏ phương pháp ước lượng thông số cách tối thiểu hóa sai lệch bình phương liệu quan... kế lọc tuyến tính tối ưu J tối thiểu =0 => = ==0 => = = => => x => = xy = xy Khi x = xy = • Phương trình xc* =*xy gọi phương trình bình phương 4-Bộ lọc bình phương nhỏ FIR Lý thuyết ước