TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MÔ HÌNH VARIANCE CỰC TIỂU VÀ SO SÁNH VỚI ƯỚC LƯỢNG GAUSSMARKOV.PHÂN TÍCH VÀ ÁP DỤNG THỬ NGHIỆM. 1.Giới thiệu ước lượng tham số thống kê•Xét biến ngẫu nhiên X, biết P(x,β): mô hình xác suất (pdf) của biếnngẫu nhiên X, phụ thược tham số β chưa biết, lần quan sát thứ I, được biểu diễn như sau: Xi = β + ni , i= 1,2,…,n.•Với n quan sát được X1 = x1, X2 = x2,…, Xn = xn , các xi gọi là các mẫu quan sát được của biến ngẫu nhiên X
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ──────── *** ──────── BÀI TẬP LỚN QUÁ TRÌNH NGẪU NHIÊN VÀ ỨNG DỤNG ĐỀ TÀI: TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MƠ HÌNH VARIANCE CỰC TIỂU VÀ SO SÁNH VỚI ƯỚC LƯỢNG GAUSS-MARKOV PHÂN TÍCH VÀ ÁP DỤNG THỬ NGHIỆM Hà Nội, ngày tháng 12 năm 2016 MỤC LỤC MỤC LỤC LỜI NÓI ĐẦU .3 PHÂN CÔNG CÔNG VIỆC TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MƠ HÌNH VARIANCE CỰC TIỂU I Giới thiệu ước lượng tham số thống kê Kiến thức cần biết ước lượng Minimum Variance Mơ hình Variance cực tiểu II SO SÁNH ƯỚC LƯỢNG VARIANCE CỰC TIỂU VỚI ƯỚC LƯỢNG GAUSS-MARKOV 10 Ước lượng Gauss-Markov 10 a) Mơ hình Gauss-MarKov 10 b) Ước lượng Gauss-Markov 10 So sánh ước lượng variance cực tiểu với ước lượng Gauss-Markov 11 a Giống 11 b Khác 12 III VÍ DỤ ÁP DỤNG 13 Ví dụ 13 Ví dụ 14 IV PHÂN TÍCH ÁP DỤNG, THỬ NGHIỆM MƠ PHỎNG MATLAB 15 Mơ hình tuyến tính 15 Các bước mô Matlab 15 a Tóm tắt 15 b Các bước cụ thể 16 V Kết chạy mô 18 KẾT LUẬN – ĐÁNH GIÁ 21 TÀI LIỆU THAM KHẢO 22 LỜI NÓI ĐẦU Trong sống, quan sát, thu thập thơng tin, tín hiệu ln mong nhận giá trị xác, điều khơng xảy có nhiều yếu tố bên ngồi làm ảnh hưởng đến tín hiệu Vậy làm để thu thơng tin, tính hiệu với độ xác tương đối mức cho phép Các phương pháp ước lượng đời để phục vụ điều Một ước lượng giá trị tính tốn từ mẫu thử người ta hy vọng giá trị đại diện cho giá trị cần xác định tổng thể Tất hướng tới ước lượng “không độ lệch” (unbiassed), hội tụ (converge), hiệu (efficient) Một phương pháp ước lượng áp dụng nhiều vào thực tế sống ước lượng variance cực tiểu, loại ước lượng tham số Nhóm sinh viên cúng em xin cảm ơn PGS.TS Nguyễn Thị Hoàng Lan hướng dẫn bảo cho chúng em tìm hiểu đề tài thú vị ứng dụng nhiều thực tế Mặc dù cố gắng để hoàn thành báo cáo, song chắn khơng khỏi thiếu sót, chúng em mong nhận ý kiến đóng góp giáo tất bạn Nhóm sinh viên thực Nhóm 13 PHÂN CƠNG CƠNG VIỆC • • • • Bùi Trung: tìm hiểu lý thuyết phần “ước lượng tuyến tính – mơ hình variance cực tiểu” Nguyễn Ngọc Linh: tìm hiểu lý thuyết phần: “so sánh với ước lượng Gauss-Markov” Hoàng Phú Hoan, Nguyễn Tuấn Minh làm tập Nguyễn Thành Huy: phân tích áp dụng thử nghiệm mơ dùng Matlab I TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MƠ HÌNH VARIANCE CỰC TIỂU Giới thiệu ước lượng tham số thống kê Xét biến ngẫu nhiên X, biết P(x,β): mơ hình xác suất (pdf) biến ngẫu nhiên X, phụ thược tham số β chưa biết, lần quan sát thứ I, biểu diễn sau: Xi = β + ni , i= 1,2,…,n Với n quan sát X1 = x1, X2 = x2,…, Xn = xn , xi gọi mẫu quan sát biến ngẫu nhiên X Chỉ tiêu ước lượng cho tối thiểu hóa sai số: e = (X) - β Quá trình ước lượng tham số β dựa phân phối xác suất X, kết tìm (X), kết ước lượng tham số thống kê β X cho đạt kết tốt Tham số β chiều hay nhiều chiều Lời giải lí tưởng: (X) = β ( ước lượng không độ lệch) Kiến thức cần biết ước lượng Minimum Variance Nếu x biến ngẫu nhiên giá trị thực, phân bố xác suất P x định nghĩa là: o P(ξ) = Prob(x ≤ ξ) Các "dẫn xuất" p (ξ) phân phối xác suất P (ξ) gọi hàm mật độ xác suất (pdf) biến x, nghĩa là: o p(ξ) ≥ với ξ Giá trị kỳ vọng hàm g (x) định nghĩa là: Giá trị kỳ vọng x là: Phương sai x là: Đối với vector ngẫu nhiên x = [x1,x2, , xn]T o Có phân bố xác suất định nghĩa: P(ξ1, ξn) = Prob(x1 ≤ ξ1, , xn ≤ ξn) o Ma trận hiệp phương sai cov(x) xác định bởi: o Hai biến ngẫu nhiên xi xj gọi không tương quan gia tăng độc lập nếu: Mơ hình Variance cực tiểu Giả sử mơ hình tuyến tính: o W thuộc Rm x n ma trận biết m o ϵ thuộc R vector ngẫu nhiên với giá trị trung bình T hiệp phương sai (ϵϵ ) = Q o β vector ngẫu nhiên thuộc Rn với số liệu thống kê biết o y kết phép đo khơng xác Rm Muốn ước lượng vector ngẫu nhiên chưa biết β ∈ Rn dựa y ∈ Rm ta đặt : Trong K ma trận chưa biết thuộc Rn x m Ước lượng tốt đo cách tối thiểu hóa giá trị kỳ vọng giá trị sai số ngẫu nhiên, nghĩa : Giả sử ( (yyT))-1 tồn Khi ta chứng minh ước lượng variance cực tiểu β tính bởi: Ước lượng khơng phụ thuộc vào W ϵ Chứng minh cách đơn giản: o Viết cột K theo hàng nghĩa là: K = [KT1, KT2, …, KTn]T o Để f (y, βi) biểu thị pdf chung y βi: − Ta có: − Điều kiện cần là: o Dễ thấy: o Khi đó, thay vào điều kiện trên, ta thu được: o Ước lượng lệch trừ khi: o Trong trường hợp phổ biến : o Ước lượng giả định dạng: o Khi ước lượng variance cực tiểu cho bởi: o Giả sử rằng: T (ϵϵ ) = Q € Rm x m T (β β ) = R € Rn x n T (ϵ β ) = € Rm x n o Ước lượng variance cực tiểu viết lại là: o Chứng minh cơng thức: o Ta có K = [ yT] ( (yyT))-1 o Ta có: [ yT] = [ (W +∈)T] = [ (W )T+ [ [ o T T T W + ∈ ]= T ]W + [ y ]= [ yTT ] = [ T T Ta có: (yy ) = [(W +∈)(W +∈)T] T T T T T ∈T] W ]+ [ [ ∈T] = R*WT T T T T (yyT) = [W (W ) +∈(W ) +W ∈ + ∈∈ ] (yyT) = [W WT+∈ WT+W ∈ + T ∈∈ ] (yyT) =W [ ] W + T T [∈ T ]WT+W [ ∈T]+ [∈∈T] (yyT) = W*R*WT+Q o Vậy ta có: K = R*WT*( W*R*WT+Q)-1 ∈T ] II SO SÁNH ƯỚC LƯỢNG VARIANCE CỰC TIỂU VỚI ƯỚC LƯỢNG GAUSS-MARKOV Ước lượng Gauss-Markov Trước so sánh hai loại ước lượng, tìm hiểu sơ qua ước lượng Gauss-Markov để có nhìn tổng thể loại ước lượng a) Mơ hình Gauss-MarKov Trong thực tế tín hiệu thu nhận có mơ hình tín hiệu quan sát là: Trong đó: mxn o W thuộc R ma trận biết m o ϵ thuộc R vector ngẫu nhiên với trung bình khơng T hiệp phương sai Cov(ϵϵ ) = Q o y tín hiệu quan sát, đầu phép đo khơng xác, m y thuộc R Muốn ước lượng vector tham số chưa biết β thuộc R n từ y thuộc Rm tiến hành: Với K ma trận chưa biết, K thuộc Rm x n Cần ước lượng tham số β theo tiêu chí tối thiểu hóa sai số trung bình bình phương ước lượng: o Bởi y chứa nhiễu ngẫu nhiên, vector ngẫu nhiên o Cả ước lượng hiệu vector ngẫu nhiên o Thống kê vector ngẫu nhiên định ϵ K chúng b) Ước lượng Gauss-Markov Nhận xét rằng: Coi ước lượng không độ lệch: o Nhận xét: o Dự kiến rằng: KW = In o Vấn đề trở thành, cho ma trận Q đối xứng xác định dương, tối thiếu hóa K thuộc Rm x n theo KQKT, áp dụng vào KW = In o Đây dạng vấn đề tiêu chuẩn tối thiểu Vấn đề có giải pháp tương tự o Giải pháp tối ưu cho bởi: o Ước lượng phương sai cực tiểu không độ lệch β cho bởi: o Trường hợp đặc biệt Q = Im vấn đề bình phương cực tiểu cổ điển o Giải pháp bình phương cực tiểu cổ điển cung cấp ước lượng phương sai cực tiểu không độ lệch β, nhiễu liệu nhiễu trắng Nó tranh luận giải pháp ước lượng β i ước lượng phương sai cực tiểu không độ lệch βi với i riêng lẻ o Đây ước lượng phương sai cực tiểu không độ lệch thực So sánh ước lượng variance cực tiểu với ước lượng Gauss-Markov a Giống Bài toán đặt với ước lượng giống với dạng thức mơ hình tín hiệu quan sát được: Tìm ước lượng β dựa y cách đặt Và theo tiêu chí tối thiểu hóa sai số trung bình bình phương: Nói cách khác, khởi đầu tiêu chí ước lượng nhau, cách thức thực ước lượng khác Chi tiết khác ước lượng trình bày phần sau b Khác Ước lượng Gauss-Markov là: Ước lượng variance cực tiểu: Từ công thức trên, dễ dàng nhận thấy R-1=0 ước lượng tương đượng Nhưng R-1=0 nghĩa gì? o Phương sai vơ hạn β ước lượng tinh vi hơn, có nghĩa hồn tồn khơng biết trước β tất trường hợp Khi β coi biến ngẫu nhiên (trước ta xét vector ngẫu nhiên), kích thước m quan sát y không cần rộng T -1 o (WRW + Q) tồn Q xác định dương (giống với giả thiết ban đầu ước lượng Gauss-Markov) o Mỗi phép đo đơn cung cấp thêm thơng tin để thiết lập ước lượng gốc III VÍ DỤ ÁP DỤNG Ví dụ Xét tín hiệu cố định A, nhúng vào biến nhiễu Gausian trắng (WGN White Gausian Noise) w[n]: x[n] = A + w[n] (n = 0,1, N-1) với ̇ =A tham số cần ước lượng từ liệu quan sát Hàm ước lượng: = x[n] có phải ước lượng MVU (Minimum Variance Unbiased) cho A hay không? Giải:Để chứng minh hàm ước lượng ước lượng MVU cho A, ta cần chứng minh thỏa mãn : - E[ ] = : Ước lượng khơng có độ lệch - Min variance Ta chứng minh: + Ta có : E( ) = E( x[n] ) = (1) Suy ước lượng khơng có độ lệch + Và có : var( ) = var( x[n] ) = E(x[n]) = A = NA = A = var(x[n]) = Mặt khác theo mơ hình xác suất pdf x phụ thuộc tham số ta có : p(x; ) = Mà: = Theo giới hạn Cramer-Rao Lower Bound(CRLB): Suy : (2) Từ (1) (2) rút kết luận: Vậy mẫu ước lượng MVU cho A Ví dụ Ví dụ 4: Xét tín hiệu cố định A, nhúng WGN: X[n] = A + W[n] Xét: T(x) Giải: Ta có N 1 n0 x[n] Tìm hàm g để: E{g[T(x)]} = ϴ = A N 1 E[T(x)] = E[ n0 x[n] ]=N =Nϴ Do đó: E[ N Vì ϴ = g(T(x)) = N ước lượng MVU cho ϴ N 1 n0 N 1 n0 x[n] ]=ϴ x[n] , hàm g cần tìm, đồng thời IV PHÂN TÍCH ÁP DỤNG, THỬ NGHIỆM MƠ PHỎNG MATLAB Mơ hình tuyến tính Một tín hiệu liên tục y(t) mơ hình hóa đa thức bậc p-1 với nhiễu trắng Gauss: Giả sử ta cho trước {y(t)}N-1n=0 Ta có: Mơ hình tuyến tính là: Mục tiêu: ước lượng tham số β Các bước mô Matlab a Tóm tắt Đầu vào mơ hình gồm có: o Một vector yN-1 giá trị quan sát o Một ma trận Wn x p ma trận hệ số quan sát Đầu ra: o Ước lượng vector tham số β Việc mô thực với p=3 N 50, 100, 200 Các bước thực hiện: o Bước 1: sinh ma trận W o Bước 2: sinh vector y o Bước 3: vẽ lên biểu đồ tín hiệu quan sát (chính vector ) o Bước 4: tính toán ước lượng o Bước 5: dựa vào ước lượng vừa tính để vẽ tín hiệu y(t) với tham số ước lượng lên biểu đồ o Bước 6: dựa vào tham số xác tín hiệu y(t) (là tham số dùng để tạo nên vector y ban đầu) để vẽ tín hiệu y(t) xác khơng nhiễu lên biểu đồ b Các bước cụ thể Bước 1: sinh ma trận W o Với p=3 ma trận có dạng: o Để sinh ma trận W ta cần sinh N giá trị t 0, t1, … tn-1 tăng dần dạng vector t, vector sinh ngẫu nhiên theo phân phối miền liên tục [-100,100]: t = random('unif', -100, 100, N, 1); t = sort(t); o Sau ta tính vector t2 với đặc điểm phần tử t2 bình phương phần tử tương ứng bên t: t2 = t; for i = 1:N t2(i,1) = t(i,1)*t(i,1); end o Ma trận W ghép vector thành cột : vector đơn vị N x với toàn số ones(N, 1), vector t vector t2 W = [ones(N,1), t, t2]; Bước 2: tính vector o Để tính vector β3 x theo cơng thức mơ hình tuyến tính, ta cần có vector , vector sinh ngẫu nhiên theo phân phối miền liên tục [-100,100] : beta = random('unif', -100, 100, 3, 1); o Ta sinh vector nhiễu trắng noise = wgn(N,1,100); o Vector y vector thu nhận bị ảnh hưởng nhiễu y = W * beta + noise ; Bước 3: Vẽ lên biểu đồ tín hiệu quan sát plot(t, y); Bước 4: Tính ước lượng o Ta sử dụng công thức ước lượng Minimum Variance: beta_MV = inv(transpose(W)*inv(Q)*W+inv(R))* transpose(W)*inv(Q)*y; vector nhiễu I theo phân phối chuẩn Gaussian N(0, 2*I) với phương sai vector I ma trận đơn vị nên Q-1 =I nên: beta_MV= inv(transpose(W)*W+inv(R)) * transpose(W) *y; Bước 5: Vẽ tín hiệu với tham số ước lượng, biểu diễn nét mảnh: hold all; t = transpose([-100:1:100]); t2 = t; for i = 1:201 t2(i,1) = t(i,1)*t(i,1); end W = [ones(201, 1), t, t2]; y = W * beta_MVUE; h = plot(t, y); set(h, 'LineWidth', 1); Bước 6: Vẽ tín hiệu với tham số xác, biểu diễn nét đứt dày: y = W * beta; h = plot(t, y, ' '); set(h, 'LineWidth', 2); Kết chạy mô a Với N= 50: b Với N= 100: c Với N= 200: V KẾT LUẬN – ĐÁNH GIÁ Kết đạt được: o Bài báo cáo truyền tải nội dung mà nhóm hướng tới: ước lượng variance cực tiểu khác biệt với ước lượng GaussMarkov o Quá trình tìm hiểu lí thuyết, thực hành ví dụ, matlab giúp thành viên nhóm có hiểu biết sâu lĩnh vực ước lượng môn học, đồng thời phát triển khả thuyết trình, làm việc nhóm,… Khuyết điểm cần cải thiện: o Bài báo cáo chưa thục đầy đủ vấn đề, kiến thức môn học có hạn khả tìm kiếm tiếng anh chưa tốt o Còn vài cơng thức tính tốn chưa giải thích chứng minh Tài liệu tham khảo Ref Linear Estimation Chapter Slide: Quá trình ngẫu nhiên ứng dụng – PGS TS Nguyễn Thị Hoàng Lan ... TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MƠ HÌNH VARIANCE CỰC TIỂU I Giới thiệu ước lượng tham số thống kê Kiến thức cần biết ước lượng Minimum Variance Mơ hình Variance cực tiểu. .. SÁNH ƯỚC LƯỢNG VARIANCE CỰC TIỂU VỚI ƯỚC LƯỢNG GAUSS-MARKOV Ước lượng Gauss-Markov Trước so sánh hai loại ước lượng, tìm hiểu sơ qua ước lượng Gauss-Markov để có nhìn tổng thể loại ước lượng. .. CƠNG VIỆC • • • • Bùi Trung: tìm hiểu lý thuyết phần ước lượng tuyến tính – mơ hình variance cực tiểu Nguyễn Ngọc Linh: tìm hiểu lý thuyết phần: “so sánh với ước lượng Gauss-Markov” Hoàng Phú