Ước lượng trung bình bình phương

Ước lượng trung bình bình phương

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ________________*________________ BÁO CÁO BÀI TẬP LỚN Môn: Quá trình ngẫu nhiên và ứng dụng Giảng viên hướng dẫn: PGS.Nguyễn Thị Hoàng Lan Hà Nội tháng 11 năm 2011 Báo cáo quá trình ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 1 Lời nói đầu Loài người chúng ta đã trải qua hàng ngàn năm lịch sử, trong suốt quá trình phát triển, chúng ta vẫn luôn cố gắng tìm hiểu thế giới xung quanh mình, nhưng trong tự nhiên còn chứa đựng biết bao điều bí ẩn khi ngay cạnh chúng ta, các quá trình, sự vật, hiện tượng đều xáy ra một cách hết sức ngẫu nhiên và rất khó đoán biết trước. Để đáp ứng nhu cầu đó, xác suất thống kê và đặc biệt, các lý thuyết ngẫu nhiên ra đời để giúp chúng ta có một công cụ khoa học tốt hơn trong việc khám phá tự nhiên và ứng dụng nó vào các chế tạo, sáng kiến, phát minh hay trong chính cuộc sống hàng ngày của mình. Vì lẽ đó, chúng em nhận thức được việc học tập và nghiên cứu về quá trình ngẫu nhiên và các ứng dụng của nó thực sự rất quan trọng và đây sẽ là hành trang giúp chúng em tiếp tục tiến bước trên con đường sắp tới. Chúng em xin gửi lời cám ơn chân thành tới cô Nguyễn Thị Hoàng Lan, người đã cung cấp kiến thức nền tảng và định hướng chúng em tìm hiểu về vấn đề “Ước lượng trung bình bình phương”, cám ơn cô đã tạo điều kiện để chúng em tự tìm hiểu và nhiệt tình trao đổi giúp chúng em có một nhận thức đúng hơn về vấn đề này. Do thời gian chuẩn bị gấp rút cũng như sự hạn chế về nhận thức của bản thân, bài viết không tránh khỏi thiếu sót, kính mong cô cùng các bạn góp ý để bài viết được hoàn thiện hơn và chúng em nhận thức chuẩn xác hơn. Chúng em xin chân thành cám ơn! Hà Nội, ngày 21 tháng 11 năm 2011 Báo cáo quá trình ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 2 Vấn đề ước lượng trung bình bình phương Mean Square Estimation – MS Bài toán: X 1 , X 2 , ……, X n là chuỗi các biến ngẫu nhiên quan sát được, tìm đánh giá ước lượng biến ngẫu nhiên Y từ chuỗi X 1 , X 2 , ……, X n sao cho ước lượng của Y là tốt nhất. Quan sát được X 1 , X 2 , ……, X n là chuỗi các biến ngẫu nhiên, tìm ước lượng của Y theo quan hệ Ŷ = ϕ (X 1 , X 2 , ……, X n ) = ϕ (X). Hàm ϕ (.) là hàm ước lượng đối với Y, hàm này có thể là tuyến tính hay phi tuyến tính. Hàm chỉ tiêu: Sai số trung bình bình phương nhỏ nhất. Sai số ε(X) = Y – Ŷ = Y - ϕ (X) là biến ngẫu nh3iên Nguyên tắc: Tìm ước lượng Y sao cho E{| ε | 2 } nhỏ nhất. Khi X cố định ở một giá trị, ϕ (X) không còn là biến ngẫu nhiên, vì thế, giá trị nhỏ nhất của E{|Y - ϕ (X) | 2 |X} tương đương với: ϕ ∂ ∂ E{|Y - ϕ (X) | 2 |X} = 0 → E{|Y - ϕ (X) | X }|X} = 0 Hay: E{Y|X} - ϕ (X) | X } = 0. Ta lại có: E{ ϕ (X) | X } = ϕ (X). Báo cáo quá trình ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 3 Khi X = x, ϕ (X) cố định ở một giá trị ϕ (x), chúng ta nhận được ước lượng mong muốn Ŷ = ϕ (X) = E{Y|X} 1. Ước lượng tuyến tính (Linear Estimation) Ước lượng tuyến tính trung bình bình phương của Y dưới dạng quan hệ sau: Ŷ k = a 1 X 1 + a 2 X 2 + ……… + a n X n (1.1) Trong đó a i là các tham số cần tìm để đạt ước lượng tốt nhất (Best Linear Estimator) theo định nghĩa trung bình bình phương nhỏ nhất đối với Y k , k = 1, 2, …,m. Khi đó giá trị ước lượng trung bình bình phương P = E{|Y – Ŷ | 2 } = E {|Y – (a 1 X 1 + a 2 X 2 + ……… + a n X n )| 2 } (1.2) của ước lượng sai số ε = Y – Ŷ là ước lượng nhỏ nhất. Nguyên tắc trực giao: P nhỏ nhất nếu vector sai số ε = Y – Ŷ là trực giao với Vector thu thập được X i , tức là: E {|Y – (a 1 X 1 + a 2 X 2 + ……… + a n X n ) X i |} = 0 với i = 1, 2, ……, n (1.3) Chứng minh: Từ (1.3), với i = (1, 2, ….,n) ta có hệ sau: R 11 a 1 + R 21 a 2 + ……. R n1 a n = R 01 R 12 a 1 + R 22 a 2 + ……. R n2 a n = R 02 (1.4) ……. R 1n a 1 + R 2n a 2 + ……. R nn a n = R 0n Với R ij = E {X i X j } và R 0j = E{Y X j } Báo cáo quá trình ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 4 Để giải hệ ta đặt X = [X 1 , X2, ……… , X n ], A = [a 1 , a 2 , ………, a n ] và R 0 = [ R 01 , , R 0n ] Và ma trận tương quan R = E{X t X} với X t là chuyển vị của X, Suy ra AR = R 0 , điều này tương đương với A = R 0 R -1 (1.5) Thay các giá trị a i vào (1.2) ta sẽ được sai số trung bình bình phương tuyến tính. Vì ε(X) = Y – Ŷ ⊥ Xi, i = 1, 2, …., n → Y – Ŷ ⊥ Ŷ Vì thế: P = E{(Y – Ŷ)Y} = E{ Y 2 } – AR 0 t (1.6) Chú ý rằng nếu rằng hạng của ma trận R là m<n, vetctor thu thập được là phụ thuộc tuyến tính, trong trường hợp này, ước lượng Ŷ có thể viết như một tổng tuyến tính bao gồm một tập hợp m thành phần độc lập tuyến tính, của vetctor thu thập được X. Giải thích hình học: Coi tập biến ngẫu nhiên X là vector trong không gian, tổng Ŷ = a 1 X 1 + a 2 X 2 + ……… + a n X n là một vector trong không gian con Y n của vector thu thập được X i và sai số ε(X) = Y – Ŷ là một vector từ Y tới Ŷ. Chiều dài của ε là nhỏ nhất nếu ε là trực giao với X i , vì nếu nó trực giao với không gian dữ liệu con Y n . Ước lượng Ŷ chính là hình chiếu của Y trên Y n . Nếu Y là một vector trong Y n thì Ŷ = Y và P = 0. Trong trường hợp này, n+1 biến ngẫu nhiên Y, X 1 , X 2 , ……., X n là phụ thuộc tuyến tính và định thức Δ n+1 và định thức của ma trận tương quan bằng 0. Báo cáo quá trình ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 5 Nếu Y ⊥ Ŷ thì Ŷ =0 và P = E{|Y| 2 }. Đây là trường hợp nếu Y trực giao với tất cả dữ liệu X i , tức là nếu R oj = 0 với mọi j≠0. 2. Ước lượng không đồng nhất (không đều) Ước lượng 1.1 có thể cải tiến nếu thêm một hằng số vào tổng. Vấn đề bây giờ là xác định n+1 tham số α k sao cho nếu: Ŷ = α 0 + α 1 X 1 + … + α n X n (1.7) Thì kết quả sai số trung bình bình phương là nhỏ nhất. Vấn đề này có thể rút gọn về trường hợp đồng nhất nếu ta thay thế số hạng α 0 bởi tích α 0 X 0 với X 0 =1. Áp dụng 1.3, mở rộng dữ liệu với X 0 , X 1 , X 2 , ……., X n 0i = 0i ≠ { } 1 { i i E X η = E{X 0 X i }= Ta thu được hệ sau: α 0 + η 1 α 1 + ……………… + η n α n = η s η 1 α 0 + R 11 α 1 +……………….+ R 1n α n = R 01 …………………… (1.8) η n α 0 + R n1 α 1 + ………………+ R nn α n = R n0 Chú ý rằng nếu η s = η i = 0 thì (1.8) rút gọn về (1.4), kết quả α 0 = 0, α n = a n 3. Ước lượng phi tuyến (nonlinear estimation) X là tập dữ liệu của quá trình ngẫu nhiên quan sát được. Đặt hàm g(X) là hàm bất kỳ của X. Báo cáo quá trình ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 6 Ta có, ước lượng tốt nhất: e = |Y – E[Y|X] 2 | → min. Chúng ta thấy rằng: E{e g(X)} = 0, Suy ra e = Y – E{Y|X} g(⊥ X). Chứng minh: Ta có: E{e g(X)} = E{(Y – E[Y | X]) g(X)} = E{Y g(X)} – E{E[Y | X] g(X)} = E{Y g(X)} – E {E[Yg(X) | X]} = E{Yg(X)} – E {Yg(X)} = 0 Vì vậy trong trường hợp phi tuyến tính, nguyên tắc trực giao sai số là trực giao với bất kỳ hàm nào của dữ liệu quan sát được. P = E{[Y – g(X) 2 ]} (1.9) Chúng ta thừa nhận rằng P là nhỏ nhất nếu: ( ) { | } ( | ) Y g X E Y X Yf Y X dY ∞ −∞ = = ∫ (1.10) Hàm f Y (Y|X) là điều kiện trung bình (mặt hồi quy của biến ngẫu nhiên Y) giả sử X = x. Chứng minh: P =E{[Y – g(X) 2 ]} = E {E{Y- g(X) 2 |X}} (1.11) Vì tất cả các giá trị đều dương, nên P là nhỏ nhất nếu điều kiện sai số trung bình bình phương 2 2 {[ ( )] | } [ ( )] ( | ) Y E Y g X X Y g X f Y X dY ∞ −∞ − = − ∫ là nhỏ nhất Ở trên, g(X) là hằng số. Vì vậy, tích phân là nhỏ nhất nếu g(X) được cho bởi (1.10) Nguyên tắc trực giao chung Từ 1.3 ta có E{[Y – Ŷ](C 1 X 1 + …….+ C n X n )} = 0 (1.12) với mọi C 1 , ….,C n ; Điều này cho thấy nếu Ŷ là ước lượng trung bình bình phương tuyến tính của Y, sai số ước lượng trung bình bình phương ε = Y – Ŷ là trực giao với bất kỳ hàm tuyến tính Báo cáo quá trình ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 7 Y = C 1 X 1 + …….+ C n X n của dữ liệu X i . Nhận thấy, nếu g(X) là ước lượng trung bình bình phương phi tuyến tính của Y, sai số ước lượng Y – g(X) là trực giao với bất kỳ hàm w(X), tuyến tính hay phi tuyến tính của X i . E{[Y – g(X)]w(X)} = 0 (1.13) Chứng minh: Theo công thức 7-60 giáo trình Probability, Random Variables, and Stochastic Processes (third Editon Athanasios Papoulis): { } 1 2 2 1 | X E Y X r η η σ σ − = + Suy rộng ra ta có: E{[Y – g(X)]w(X)} = E{w(X)E(Y – g(X)|X}} (1.14) Từ tính tuyến tính của giá trị kỳ vọng của biến ngẫu nhiên và (1.10) ta có: E{Y – g(X)|x} = E{Y|x} – E{g(X)|x} = 0 Và kết quả (1.13) 4. Phân phối Chuẩn và mật độ có điều kiện của biến ngẫu nhiên tuân theo phân phối chuẩn 4.1 Phân phối chuẩn Sử dụng các kết quả trên, ta nhận thấy rằng nếu các biến ngẫu nhiên Y, X 1 ,…, X n là phân phối chuẩn đồng thời với kỳ vọng bằng 0, ước lượng tuyến tính hay phi tuyến của Y bằng: Ŷ = a 1 X 1 + a 2 X 2 + ……… + a n X n = g(X) = E{Y|X} (1.15) Chứng minh: Biến ngẫu nhiên Y – Ŷ và X i là phân phối chuẩn đồng thời với kỳ vọng bằng 0 và trực giao, vì vậy chúng là độc lập. Từ đó: E{Y – Ŷ|x} = E{Y – Ŷ} = 0 = E{Y|x} – E{Ŷ|x} Vì E{Ŷ|x} = Ŷ nên ⇒ (1.15) Báo cáo quá trình ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 8 4.2 Mật độ có điều kiện của biến ngẫu nhiên chuẩn: Chúng ta sử dụng các kết quả trước để đơn giản hóa việc xác định mật độ có điều kiện biến ngẫu nhiên chuẩn. Hàm mật đọ có điều kiện f Y (Y|x) của Y assuming X is the ratio of two exponentials the exponents of which are quadratics, vì vậy nó là chuẩn. Để xác định nó, ta tìm trung bình và phương sai có điều kiện của Y. Ta thừa nhận: E{Y|x} = Ŷ E{(Y – Ŷ) 2 |x} = E{(Y – Ŷ) 2 } = P (1.16) Trước tiên, theo (1.15), thứ hai từ Y – Ŷ trực giao và độc lập với X ta có: 2 1 1 [Y (a X )] /2 1 1 ( | , , ) 2 n n a X P n f Y X X e P π − − + + = (1.17) 4.3 Các ví dụ: Ví dụ 1: Cho các biến ngẫu nhiên X 1 và X 2 là phân phối chuẩn đồng thời với kỳ vọng bằng 0. Hãy xác định mật độ có điều kiện f(X 2 |X 1 ). Giải: Ta có: E(X 2 |X 1 ) = aX 1 a = 12 11 R R 2 1 2 |X X σ = P = E{(X 2 – aX 1 )X 2 } = R 22 – aR 12 Thay vào (1.17) ta được: 2 2 1 ( aX ) /2 2 1 1 ( | ) 2 X P f X X e P π − − = Ví dụ 2: Tìm mật độ 3 2 1 ( | , )f X X X Giải: Trong trường hợp này: 3 1 2 1 1 2 2 { | , }E X X X a X a X= + Báo cáo quá trình ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 9 Với a 1 , a 2 được suy ra từ hệ: 11 1 12 2 13 21 1 22 2 23 { R a R a R R a R a R + = + = Hơn nữa, theo (1.16), (1.6) 3 1 2 2 | , 33 13 1 23 2 ( ) X X X P R R a R a σ = = − + Và theo kết quả (1.17): 2 3 1 1 2 2 3 1 2 ( ) /2 | , 1 2 X a X a X P X X X f e P π − − − = Ví dụ 3: Trong ví dụ này, chúng ta sẽ tìm mật độ hai chiều (X 2 , X 3 |X 1 ) bao gồm ước lượng 5 tham số (xem 6.15): 2 trung bình có điều kiện, 2 phương sai có điều kiện và hiệp phương sai của 2 biến ngẫu nhiên X 2 và X 3 assuming X 1 Giải: Trước hết, 4 tham số được xác định như trong ví dụ 1: 12 2 1 1 11 { | } R E X X X R = 13 3 1 1 11 { | } R E X X X R = 2 1 2 2 12 | 22 11 X X R R R σ = − 3 1 2 2 13 | 33 11 X X R R R σ = − Hiệp phương sai có điều kiện 2 3 1 13 12 | 2 1 3 1 1 1 11 11 ( )( )| X X X R R C E X X X X X x R R   = − − =     (1.18) Ta đã biết 12 2 1 11 R X X R − và 13 3 1 11 R X X R − là độc lập của X 1 , vì vậy điều kiện X 1 = x 1 trong (1.18) có thể bỏ. Khai triển ra ta được: Báo cáo quá trình ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 10 [...]... vấn đề là cần xây dựng các phương pháp ước lượng hợp lý và tối thiểu hóa được sai số cho việc ước lượng để có thể tiến sát hơn với quá trình thực xảy ra trong tự nhiên Và phương pháp ước lượng trung bình bình phương nhỏ nhất (MMSE) đã phần nào đáp ứng được các yêu cầu đó, tuy nhiên trong phạm vi tìm hiểu về vấn đề ước lượng trung bình bình phương, bài viết không đề cập tới phương pháp này, các bạn quan... ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 15 Kết luận Lý thuyết ước lượng ra đời đã giúp chúng ta rất nhiều trong việc dự đoán các hiện tượng tự nhiên, ước lượng trung bình bình phương đã góp phần đưa các quá trình tự nhiên tiến gần hơn với cuộc sống của chúng ta Nó đã giúp con người hiểu hơn về các quá trình ngẫu nhiên bằng việc ước lượng, xấp xỉ, đưa chúng về với các dạng... k} và {xk}, theo đó, ước lượng (8.68) của biến ngẫu nhiên Y có thể được biểu diễn theo số hạng của tập {ik}: Ŷ = b1i1 + … + bnin = BIt Với hệ số bk are such that Y - Ŷ ⊥ ik 1≤k≤n ⇒ E{(Y − BI t ) I } = 0 = E{YI } − B ⇒ B = E{YI } = E{YXΓ} = R0Γ (8.94) Trở lại ước lượng (8.68) của Y, ta kết luận: Báo cáo quá trình ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 14 Ŷ= BI t = BΓt... và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 12 2 γ 12 R11 + γ 2 R21 2 E{i2x1} = 0 = 2 , điều kiện E{i } =1 từ phương trình thứ 2 k r k r Tương tự từ i vuông góc với i , theo 8.88 thì i vuông góc với x với r . Nhóm 4 Vấn đề ước lượng trung bình bình phương 7 Y = C 1 X 1 + …….+ C n X n của dữ liệu X i . Nhận thấy, nếu g(X) là ước lượng trung bình bình phương phi tuyến tính của Y, sai số ước lượng Y –. Nhóm 4 Vấn đề ước lượng trung bình bình phương 14 Kết luận Lý thuyết ước lượng ra đời đã giúp chúng ta rất nhiều trong việc dự đoán các hiện tượng tự nhiên, ước lượng trung bình bình phương đã góp. 2011 Báo cáo quá trình ngẫu nhiên và ứng dụng | Nhóm 4 Vấn đề ước lượng trung bình bình phương 2 Vấn đề ước lượng trung bình bình phương Mean Square Estimation – MS Bài toán: X 1 , X 2 , ……, X n