Báo cáo trình bày về ước lượng trung bình bình phương Mean Square Estimatiom MSE. So sánh ước lượng trung bình bình phương (Mean Square Estimation MSE) và ước lượng bình phương nhỏ nhất (Least Squared Estimation LMS). Chương trình thử nghiệm sử dụng Matlab mô phỏng MSE
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ──────── * ─────── BÁO CÁO BÀI TẬP LỚN Môn học: Quá trình ngẫu nhiên ứng dụng Đề tài: Tìm hiểu ước lượng MS so sánh với ước lượng LMS Nhóm sinh viên thực hiện: Nguyễn Văn Tuấn 2011 2710 Thái Thị Lộc 2012 2020 Nguyễn Thị Nga 2012 2136 Nguyễn Gia Tuyến 2012 2716 Lê Ngọc Hưng 2012 1860 Giảng viên hướng dẫn: PGS.TS Nguyễn Thị Hoàng Lan HÀ NỘI – THÁNG 12 NĂM 2015 MỤC LỤC LỜI NÓI ĐẦU PHÂN CÔNG CÔNG VIỆC Ước lượng trung bình bình phương MSE I Tổng quan ước lượng trung bình bình phương 1.1 Mô tả toán 1.2 Ước lượng tuyến tính 1.3 Ước lượng phi tuyến So sánh MSE LMS 2.1 Giống 2.2 Khác II Bài tập 11 Bài tập 8.8 11 Bài tập 8.18 11 III Thử nghiệm ước lượng MS sử dụng MatLab 13 TÀI LIỆU THAM KHẢO 16 LỜI NÓI ĐẦU Hiện nay, với phát triển khoa học – kỹ thuật, công nghệ ứng dụng xử lý tín hiệu trình ngẫu nhiên ngày phổ biến Để công nghệ có xác cao, với chi phí thấp nhiều lý thuyết lọc nhiễu, chặn nhiễu… áp dụng vào Trong đó, lý thuyết ước lượng vấn đề mà công nghệ bỏ qua Dựa yêu cầu tập, kiến thức thực tế học, nhóm chúng em lựa chọn đề tài: “Tìm hiểu ước lượng MSE so sánh với ước lượng LMS” Với mong muốn tìm hiểu kỹ ước lượng MSE ứng dụng thực tế, đồng thời so sánh với ước lượng gần tương tự với LMS để đưa đánh giá việc sử dụng hai phương pháp thực tế Trong báo cáo này, chúng em trình bày số phần sau: Phần I: Tìm hiểu phương pháp ước lượng MSE, phương pháp ước lượng tuyến tính phi tuyến Tìm hiểu nguyên tắc trực giao So sánh ước lượng MSE ước lượng LMS Phần II: Làm số tập minh họa Phần III: Thử nghiệm ước lượng MSE sử dụng MatLab toán lọc nhiễu Chúng em xin chân thành cám ơn giúp đỡ PGS.TS Nguyễn Thị Hoàng Lan trình giảng dạy góp ý cho cáo Do thời gian tìm hiểu không nhiều chưa có nhiều kinh nghiệm nên báo cáo gặp lỗi không đáng có Chúng em mong nhận góp ý cô giáo để cáo hoàn thiện Hà Nội, Tháng 12 Năm 2015 PHÂN CÔNG CÔNG VIỆC Thành viên Thái Thị Lộc Lê Ngọc Hưng Nguyễn Gia Tuyến Nguyễn Văn Tuấn Nguyễn Thị Nga Nội dung công việc Tìm hiểu phương pháp ước lượng trung bình bình phương MSE So sánh hai phương pháp ước lượng MSE LMS Thử nghiệm phương pháp MSE sử dụng MatLab Làm tập 8.8 Làm tập 8.18 I Ước lượng trung bình bình phương MSE Tổng quan ước lượng trung bình bình phương 1.1 Mô tả toán Bài toán: , , … , dãy biến ngẫu nhiên thu nhận được, tìm ước lượng cho biến ngẫu nhiên Y cho ước lượng Y tốt Mô hình ước lượng biến ngẫu nhiên Y theo quan hệ sau: = ( , ,…, ) = ( ) Với hàm ( ) hàm ước lượng Y, hàm hàm tuyến tính hàm phi tuyến Hàm tiêu: Dựa quan hệ mô hình ước lượng biến ngẫu nhiên Y, để tìm ước lượng tốt Y, ta xét sai số ước lượng sau: = − = − ( ) Chỉ tiêu ước lượng: Sử dụng phương pháp tối thiểu hóa sai số trung bình bình phương (Minimum of the Mean Square Error - MMSE)để xác định ước lượng tốt biến ngẫu nhiên Y sau: = {| | } = − = {| − ( )| } ⟶ Tùy thuộc vào mối quan hệ Y X mà có loại ước lượng MS khác Có thể ước lượng tuyến tính (Linear MSE) ước lượng phi tuyến (Nonlinear MSE) 1.2 Ước lượng tuyến tính Tìm ước lượng tuyến tính Y dạng quan hệ với tập liệu thu nhận sau: = + + ⋯+ = Trong đó, giá trị hệ số cần tìm để đạt ước lượng tốt theo nghĩa sai số trung bình bình phương cực tiểu , = 1, Dựa phương pháp tối thiểu hóa sai số trung bình bình phương – Minimum of the Mean Square Error (MMSE), ta cần tìm cực tiểu của: {| | } = − = − Ta cần chọn giá trị , , … , cho sai số trung bình bình phương {| | } nhỏ Giả sử ký hiệu giá trị nhỏ sai số trung bình bình phương, ta có: = , − ,…, Để tìm cực tiểu, ta cần dựa tính chất đạo hàm, ta có: {| | } = , = , , … , Từ đây, suy ra: {| | } = Mặt khác, ta lại có: ( −∑ = | | ) = ∗ = = − (∑ ) =− Sử dụng kết ta có: {| | } = − { ∗ }= Hay, ước lượng tuyến tính tốt thỏa mãn điều kiện: { ∗ } = , = , , … , Nguyên tắc trực giao: xét sai số ước lượng = ( −∑ ), tập liệu thu nhận , = ⟶ , cho ước lượng tuyến tính tốt trực giao với Hay nói cách khác, ước lượng tuyến tính giá trị , , … , phải chọn cho sai số ước lượng tập liệu thu nhận trực giao với Sử dụng kết nguyên tắc trực giao, giá trị sai số trung bình bình phương xác định là: = , {| | } = ,…, , { ,…, ∗} ∗ = = , , − ,…, { ,…, ∗} − , { ,…, ∗ } Sử dụng nguyên tắc trực giao, dễ thấy vế thứ công thức có giá trị Vậy giá trị cực tiểu sai số trung bình bình phương là: = { ∗} = ∗ − = {| | } − { ∗} Với giá trị , , … , giá trị chọn cho sai số ước lượng liệu thu nhận trực giao với 1.3 Ước lượng phi tuyến Hoàn toàn tương tự trường hợp ước lượng tuyến tính, trường hợp phi tuyến biến ngẫu nhiên thu nhận biểu diễn dạng hàm không tuyến tính Nguyên tắc trực giao phi tuyến: Xét hàm hàm biểu diễn tập liệu , , … , quan sát | ước lượng tốt cho Y theo Với sai số ước lượng = − | , ta có: = Tức là, sai số ước lượng trực giao với hàm biểu diễn tập liệu thu nhận Vấn đề đặt cần xác định ước lượng trung bình bình phương trường hợp phi tuyến xác định hàm cho sai số ước lượng trung bình bình phương nhỏ Sai số trung bình bình phương biểu diễn sau: = − Sai số trung bình bình phương trường hợp phi tuyến nhỏ khi: = | Với hàm kiện | = | xác suất có điều kiện Y với điều So sánh MSE LMS 2.1 Giống Về chất LMS trường hợp mở rộng ước lượng MS Cả hai loại ước lượng dựa việc ước lượng sai số trung bình bình phương giá trị biến ngẫu nhiên thu biến ngẫu nhiên mong muốn Hai phương pháp ước lượng sử dụng phổ biến ứng dụng xử lý tín hiệu, lọc nhiễu, … 2.2 Khác Đối với ước lượng MSE tuyến tính, sai số trung bình bình phương giá trị biến ngẫu nhiên thu nhận giá trị mong muốn nhận có phương trình sau: = {| | } = − = − Giá trị biến ngẫu nhiên cần ước lượng biểu diễn dạng tuyến tính biến ngẫu nhiên thu nhận được: = + + ⋯+ Đối với ước lượng LMS tuyến tính, mối quan hệ biến ngẫu nhiên cần ước lượng biến ngẫu nhiên thu nhận được biểu diễn sau: = + Trong đó, Y giá trị biến ngẫu nhiên thu nhận được, biến ngẫu nhiên cần ước lượng Ta cần ước lượng hay tối thiểu hóa hàm tiêu sau: = − = {( − ( + )) } Xét với ước lượng không độ lệch (b=0), sử dụng phương pháp tối thiểu hóa sai số trung bình bình phương, ta tìm được: ( , ) ( )− = ( − )= ( − ) Từ so sánh trên, ta có số nhận xét sau: Ước lượng LMS trường hợp cụ thể ước lượng MSE Ước lượng MSE phức tạp hơn, yêu cầu tính toán cao cần biết nhiều thông tin mối quan hệ giá trị thu nhận giá trị đầu Ngược lại, ước lượng LMS dễ tìm tính toán dễ dàng Vì cần biết nhiều thông tin nên ước lượng MSE cho kết tốt ước lượng LMS 10 II Bài tập minh họa Bài tập 8.8 { | , }| Đề bài: Chứng { | } = với { | , }= + ước lượng MS tuyến tính Y với điều kiện , Giải: Sai số trung bình bình phương ước lượng MS là: = − = {| − ( + )| } Để sai số trung bình bình phương ước lượng MSE nhỏ sai số ước lượng = − trực giao với tập liệu thu nhận được, tức là: { } = 0, = 1,2 ⟺ − =0 )| } = ⟺ {| − ( + } − {( ) }=0 ⟺ { + } = {( ) } ⟺ { + Không tính tổng quát, xét = 1, ta có: { ) ]| } | } = {[( + )| } ⟺ { | } = {( + Theo ta có: { | , } = + { | , }| ⟹ { | } = Bài tập 8.18 Đề bài: Chứng minh rằng, + + ước lượng MS tuyến tính không đồng S với điều kiện , { − | − , − } = ( − ) + ( − ) Giải: Theo ước lượng MS tuyến tính không đồng nhất, ta có = + + Ta có sai số ước lượng MS là: ) = −( + + ⟺ = ( − ) − [ ( − ) + ( − )] Ước lượng MS tốt sai số ước lượng = Hay nói cách khác, sai số ước lượng tập liệu thu nhận trực giao với 11 Từ đây, suy ra: ⊥ Từ lập luận suy ra: =0 ⟺( − )−[ ( − ⟺( − )=[ ( − ⟹ {( − )| − , )| − , − } ⟺ {( − )| − , { ( − )| − ⟹ {( − )| − , ⇒ ⊥( − ) ) + ( − )] = ) + ( − )] − } = { ( − ) + − } = − }= ( ( − − )+ )| ( ( − − }+ − ) 12 III Thử nghiệm ước lượng MSE sử dụng MatLab 1.1 Mô tả toán Trong thiết kế thu tương quan cho kênh kết nối sở kênh vào / liệu Nếu đầu vào kênh khoảng thời gian biến ngẫu nhiên X, đầu tương ứng kênh Y ước lượng tương quan X dựa đầu Y là: = Trong đó, chọn để sai số trung bình bình phương nhỏ = Giá trị = {( − − tính là: = 1.2 ) } [ [ ] ] Phân tích toán Nếu ta có tập liệu quan sát X từ đầu vào kênh thời gian đủ dài, Y đầu tương ứng, ta ước lượng phương trình: [ = [ ] ] Và ước lượng trung bình bình phương phương trình: = [( − 1.3 ) ] Thử nghiệm toán sử dụng MatLab Xét kênh đầu vào X liệu tuân theo phân phối chuẩn đoạn [0,1] Và kênh đầu Y tương ứng theo phương trình Y = X + Z, với Z biến ngẫu nhiên đóng vai trò nhiễu có phân phối Gaussian Z = N(0,1), độc lập với X Các câu lệnh chương trình sau: % Hàm mse_of_channel % Tham số: n – số biến ngẫu nhiên quan sát % Giá trị trả về: theta – giá trị chọn để sai số trung bình bình phương nhỏ % MSE – giá trị sai số trung bình bình phương 13 function [theta, MSE] = mse_of_channel(n) % tạo giá trị ngẫu nhiên cho đầu vào x = rand(1,n); % tính giá trị đầu y = x + randn(1,n); % Tính giá trị để ước lượng nhỏ theta = mean(x.*y)/mean(y.^2); % tính sai số MSE MSE = mean((x-theta.*y).^2); % Vẽ hình biểu diễn minh họa plot(x,y,x,theta.*y); Kết thu sau chạy file mse_of_channel.m là: theta = 0.2565; MSE = 0.2467; Cùng với hình vẽ thể giá trị biến ngẫu nhiên X thu được thể chấm màu xanh dương chấm màu xanh thể giá trị biến ngẫu nhiên ước lượng 14 15 TÀI LIỆU THAM KHẢO Bài giảng Quá trình ngẫu nhiên ứng dụng, PGS.TS Nguyễn Thị Hoàng Lan, Viện Công nghệ thông tin truyền thông, Đại học Bách Khoa Hà Nội Probability, Random Variables and Stochastic Processes, 4th Edition, Athanasios Papoulis, S Unaikrishna Pillai, McGraw-Hill Higher Education, New York 2002 16 [...]... trình như sau: % Hàm mse_ of_channel % Tham số: n – số biến ngẫu nhiên quan sát được % Giá trị trả về: theta – giá trị được chọn để sai số trung bình bình phương là nhỏ nhất % MSE – giá trị sai số trung bình bình phương 13 function [theta, MSE] = mse_ of_channel(n) % tạo các giá trị ngẫu nhiên cho đầu vào x = rand(1,n); % tính giá trị đầu ra y = x + randn(1,n); % Tính giá trị để ước lượng nhỏ nhất theta... của một kênh trong thời gian đủ dài, và Y là đầu ra tương ứng, ta có thể ước lượng được bởi phương trình: [ = [ ] ] Và ước lượng trung bình bình phương bằng phương trình: = [( − 1.3 ) ] Thử nghiệm bài toán sử dụng MatLab Xét kênh đầu vào X là các dữ liệu tuân theo phân phối chuẩn trong đoạn [0,1] Và kênh đầu Y tương ứng theo phương trình Y = X + Z, với Z là một biến ngẫu nhiên đóng vai trò là nhiễu... − ) 12 III Thử nghiệm ước lượng MSE sử dụng MatLab 1.1 Mô tả bài toán Trong thiết kế bộ thu tương quan cho một kênh kết nối cơ bản trên cơ sở kênh vào / ra dữ liệu Nếu đầu vào của kênh trong một khoảng thời gian nào đó là biến ngẫu nhiên X, và đầu ra tương ứng của kênh là Y thì ước lượng tương quan của X dựa trên đầu ra Y là: = Trong đó, nhất được chọn để sai số trung bình bình phương là nhỏ = Giá trị... mean(x.*y)/mean(y.^2); % tính sai số MSE MSE = mean((x-theta.*y).^2); % Vẽ hình biểu diễn minh họa plot(x,y,x,theta.*y); Kết quả thu được sau khi chạy file mse_ of_channel.m là: theta = 0.2565; MSE = 0.2467; Cùng với đó là hình vẽ thể hiện các giá trị của biến ngẫu nhiên X thu được được thể hiện bằng các chấm màu xanh dương và các chấm màu xanh lá thể hiện giá trị của biến ngẫu nhiên đã được ước lượng 14 15 TÀI LIỆU ... hiểu phương pháp ước lượng trung bình bình phương MSE So sánh hai phương pháp ước lượng MSE LMS Thử nghiệm phương pháp MSE sử dụng MatLab Làm tập 8.8 Làm tập 8.18 I Ước lượng trung bình bình phương. .. VIỆC Ước lượng trung bình bình phương MSE I Tổng quan ước lượng trung bình bình phương 1.1 Mô tả toán 1.2 Ước lượng tuyến tính 1.3 Ước lượng phi tuyến... phương pháp ước lượng MSE, phương pháp ước lượng tuyến tính phi tuyến Tìm hiểu nguyên tắc trực giao So sánh ước lượng MSE ước lượng LMS Phần II: Làm số tập minh họa Phần III: Thử nghiệm ước lượng