mô hình xác suất của dãy chỉ số sáng hàng ngày

TRƢỜNG ĐẠI HỌC CẦN THƠ KHOA KHOA HỌC TỰ NHIÊN BỘ MÔN TOÁN  LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC MÔ HÌNH XÁC SUẤT CỦA DÃY CHỈ SỐ SÁNG HÀNG NGÀY GIÁO VIÊN HƢỚNG DẪN SINH VIÊN THỰC HIỆN TS TRẦN VĂN LÝ PHAN THỊ NGỌC NGÂN Bộ môn Toán – Khoa KHTN MSSV: 1117486 NGÀNH TOÁN ÚNG DỤNG K37 CẦN THƠ – 12/2014 LỜI CẢM ƠN  Trong suốt trình học tập hoàn thành luận văn này, em đƣợc hƣớng dẫn, giúp đỡ quý báu Thầy Cô, anh chị bạn Với lòng kính trọng biết ơn sâu sắc em xin đƣợc bày tỏ lời cảm ơn chân thành tới: Thầy Trần Văn Lý, ngƣời Thầy tận tâm, nhiệt tình hƣớng dẫn, truyền đạt kinh nghiệm quý báu để em thực luận văn Em xin chân thành gửi lời cảm ơn quý Thầy, quý Cô Khoa Khoa học Tự nhiên, trƣờng Đại học Cần Thơ truyền dạy kiến thức, kinh nghiệm, kỹ cho em suốt năm học vừa qua Em xin cảm ơn cô CVHT Lê Thị Mỹ Xuân tận tình hƣớng dẫn, động viên giúp đỡ em suốt thời gian học Xin cảm ơn anh, chị trƣớc bạn sát cánh bên tôi, ủng hộ, giúp đỡ, chia sẻ kinh nghiệm giúp đỡ thời gian làm đề tài, nhƣ tháng ngày học đại học Em không quên cảm ơn gia đình, chỗ dựa vững cho em, hỗ trợ, động viên tạo điều kiện tốt cho em suốt thời gian qua Mặc dù, em cố gắng hoàn thiện luận văn tất nhiệt tình lực mình, nhiên luận văn tránh khỏi thiếu sót Em mong nhận đƣợc đóng góp quý báu quý Thầy, quý Cô bạn để luận văn đƣợc hoàn thiện Cuối , em xin chúc Thầy Cô, anh chị bạn đạt nhiều sức khỏe thành công sống! Cần Thơ, ngày tháng 12 năm 2014 Sinh viên thực PHAN THỊ NGỌC NGÂN i DANH MỤC CÁC BẢNG Trang Bảng 1: Số liệu xạ đo đƣợc từ ngày 1/10/2013-17/10/2013 28 Bảng 2: Số liệu xạ đo đƣợc từ ngày 17/10/2013-31/10/2013 29 Bảng 3: Số liệu số sáng hàng ngày tháng 10/2013 30 Bảng 4: Dữ liệu mô lần 1, N=2 50 Bảng 5: Dữ liệu mô lần 5, N=2 51 Bảng 6: Dữ liệu mô lần 10, N=2 52 Bảng 7: Dữ liệu mô lần 1, N=4 54 Bảng 8: Dữ liệu mô lần 5, N=4 55 Bảng 9: Dữ liệu mô lần 10, N=4 56 Bảng 10: Bảng giá trị C ứng với cho  trƣớc 58 Bảng 11: Các hàm hạt nhân thƣờng dùng 62 ii DANH MỤC CÁC HÌNH Trang Hình 1: Biểu đồ minh họa cho dãy số sáng hàng ngày tháng 10/2013 31 Hình 2: Biểu đồ thể số sáng hàng ngày tháng 10/2013 32 Hình 3: Biểu đồ thể phát triển ma trận xác suất chuyển A, N=2 38 Hình 4: Biểu đồ thể phát triển ma trận xác suất chuyển A, N=4 47 Hình 5: Biểu đồ mô lần thứ dãy số sáng hàng ngày, N=2 50 Hình 6: Biểu đồ mô lần thứ dãy số sáng hàng ngày, N=2 51 Hình 7: Biểu đồ mô lần thứ 10 dãy số sáng hàng ngày, N=2 52 Hình 8: Biểu đồ mô lần thứ dãy số sáng hàng ngày, N=4 54 Hình 9: Biểu đồ mô lần thứ dãy số sáng hàng ngày, N=4 55 Hình 10: Biểu đồ mô lần thứ 10 dãy số sáng hàng ngày, N=4 56 Hình 11: Đồ thị cdf mẫu liệu, N=2 59 Hình 12: Đồ thị cdf mẫu liệu, N=4 61 Hình 13: Đồ thị hàm hạt nhân với số làm mịn h chuẩn 65 Hình 14: Đồ thị hàm hạt nhân với số làm mịn h nhỏ 66 iii MỤC LỤC LỜI CẢM ƠN i DANH MỤC CÁC BẢNG ii DANH MỤC CÁC HÌNH iii MỤC LỤC iv LỜI MỞ ĐẦU 1 LÝ DO CHỌN ĐỀ TÀI MỤC ĐÍCH NGHIÊN CỨU PHƢƠNG PHÁP NGHIÊN CỨU ĐỐI TƢỢNG NGHIÊN CỨU CẤU TRÚC CỦA LUẬN VĂN Chƣơng MÔ HÌNH MARKOV ẨN VÀ CÁC VẤN ĐỀ LIÊN QUAN 1.1.XÍCH MARKOV 1.1.1.Các công thức tính xác suất liên quan 1.1.1.1.Xác suất có điều kiện 1.1.1.2.Công thức nhân 1.1.1.3.Công thức xác suất đầy đủ 1.1.2.Định nghĩa trình ngẫu nhiên 1.1.3.Định nghĩa xích Markov 1.1.4.Phƣơng trình Chapman-Kolmogorov 1.1.5.Phân phối dừng 1.1.6.Phân loại trạng thái xích Markov 1.1.6.1.Các trạng thái liên thông phân lớp 1.1.6.2.Chu kỳ trạng thái 1.1.6.3.Trạng thái hồi quy không hồi quy 1.1.6.4.Tiêu chuẩn hồi quy không hồi quy 1.2.QUÁ TRÌNH MARKOV ẨN 10 1.2.1.Giới thiệu 10 iv 1.2.2.Xác suất quỹ đạo 12 1.3.CÁC VẤN ĐỀ LIÊN QUAN KHÁC 13 1.3.1.Phƣơng pháp Monte-carlo 13 1.3.2.Thuật toán EM (Expectation Maximization) 14 1.3.2.1.Kì vọng có điều kiện 14 1.3.2.2.Hàm hợp lí log-likelihood 15 1.3.2.3.Thuật toán 16 Chƣơng MÔ HÌNH MARKOV ẨN CHO DÃY CHỈ SỐ SÁNG 17 2.1.BỨC XẠ MẶT TRỜI VÀ CHỈ SỐ SÁNG HÀNG NGÀY 17 2.1.1.Bức xạ mặt trời 17 2.1.2.Bức xạ khí 17 2.1.2.1.Bức xạ tiêu chuẩn khí 17 2.1.2.2.Bức xạ nằm ngang khí 17 2.1.3.Bức xạ toàn phần 18 2.1.3.1.Bức xạ trực tiếp 18 2.1.3.2.Bức xạ khuếch tán 18 2.1.4.Chỉ số sáng hàng ngày 18 2.2.XÂY DỰNG MÔ HÌNH MARKOV ẨN CHO DÃY CHỈ SỐ SÁNG HÀNG NGÀY: QUÁ TRÌNH TRẠNG THÁI ẨN, QUÁ TRÌNH QUAN SÁT ĐƢỢC (DÃY) 23 2.2.1.Quá trình trạng thái ẩn 24 2.2.2.Quá trình quan sát đƣợc (dãy số sáng) 24 2.3.ƢỚC LƢỢNG LỌC CÁC THAM SỐ CỦA MÔ HÌNH 25 2.3.1.Ma trận chuyển xác suất 26 2.3.2.Trung bình 26 2.3.3.Độ lệch chuẩn 26 Chƣơng ƢỚC LƢỢNG THAM SỐ CỦA MÔ HÌNH TỪ DỮ LIỆU THỰC 28 3.1.CÁC DỮ LIỆU THỰC DÙNG ĐỂ ƢỚC LƢỢNG 28 3.1.1.Nguồn liệu 28 3.1.2.Tính toán liệu 30 v 3.2.CHỌN SỐ TRẠNG THÁI CỦA MÔ HÌNH 31 3.3.ƢỚC LƢỢNG LỌC CÁC THAM SỐ CỦA MÔ HÌNH 33 Chƣơng ỨNG DỤNG CỦA MÔ HÌNH 49 4.1.DỮ LIỆU MÔ PHỎNG VÀ TEST SO SÁNH PHÂN PHỐI CỦA DỮ LIỆU THỰC VÀ DỮ LIỆU MÔ PHỎNG 49 4.1.1.Dữ liệu mô 49 4.1.2.Test so sánh phân phối liệu thực liệu mô 57 4.1.2.1.Kiểm định Kolmogorov-Smirnov test 57 4.1.2.2.Tiến hành kiểm định Matlab 58 4.2.ƢỚC LƢỢNG MẬT ĐỘ CHỈ SỐ SÁNG TỪ DỮ LIỆU MÔ PHỎNG 61 4.2.1.Ƣớc lƣợng hạt nhân 61 4.2.2.Ƣớc lƣợng với liệu thực 63 PHẦN KẾT LUẬN 67 TÀI LIỆU THAM KHẢO 68 vi LỜI MỞ ĐẦU LÝ DO CHỌN ĐỀ TÀI Số liệu xạ theo địa phƣơng yêu cầu bắt buộc việc thiết kế hệ thống sử dụng lƣợng mặt trời, nhƣ nghiên cứu việc sử dụng thiết bị địa phƣơng Ngoài ra, số liệu xạ theo có độ tin cậy cao giúp ích nhiều việc tính toán toán kĩ thuật lĩnh vực nông nghiệp, lƣợng, môi trƣờng đặc biệt lĩnh vực dự báo thời tiết Tuy nhiên, thực tế việc thu thập số liệu dễ dàng tốn nhiều thời gian Ở nƣớc phát triển, số liệu xạ theo đƣợc đo đạt cách có hệ thống từ lâu trạm quan trắc cung cấp số liệu xạ theo vùng thời gian dài Còn nƣớc ta, đa phần trạm quan trắc đo xạ lần, trạm khí tƣợng thủy văn khu vực phía nam có trạm Cần Thơ đo xạ từ năm 2002 nhƣng thiết bị trục trặc nên số liệu không đầy đủ việc đo ngừng lại sau năm Do đó, số liệu sử dụng việc nghiên cứu, thiết kế thiết bị lƣợng mặt trời nhƣ toán khác Với tình hình nhƣ việc giải vấn đề thiếu số liệu xạ theo cần thiết Do đó, em chọn đề tài “Mô hình xác suất dãy số sáng hàng ngày” áp dụng số liệu đo đƣợc Cần Thơ cho luận văn Luận văn đề cập đến việc sử dụng mô hình thống kê toán học (cụ thể mô hình Markov ẩn) cho phép tạo chuỗi số liệu xạ theo ngày từ thông số đo dễ hay tốn nhƣ số nắng Từ đó, dự đoán đƣợc dãy số liệu xạ tƣơng lai cách dễ dàng MỤC ĐÍCH NGHIÊN CỨU Tổng kết lý thuyết liên quan đến xích markov, tiêu chuẩn lựa chọn số trạng thái tiêu chuẩn Smirnov ƣớc lƣợng tham số xây dựng mô hình Markov ẩn Ứng dụng lý thuyết trình bày cho số ứng dụng từ số liệu thực cụ thể PHƢƠNG PHÁP NGHIÊN CỨU Xử lý số liệu thu đƣợc phần mềm Matlab Phân tích, tổng hợp hệ thống hóa tài liệu liên quan đến Mô hình Markov ẩn Xây dựng mô hình xác suất cho dãy số sáng hàng ngày từ số liệu thu thập ĐỐI TƢỢNG NGHIÊN CỨU Đối tượng nghiên cứu: Mô hình Markov ẩn dãy số sáng hàng ngày Phạm vi nghiên cứu: Các số liệu số nắng đƣợc thu thập Cần Thơ CẤU TRÚC CỦA LUẬN VĂN Luận văn gồm có phần mở đầu, phần nội dung phần kết luận, phần nội dung gồm có chƣơng: Chƣơng 1: Mô hình Markov ẩn vấn đề liên quan Giới thiệu tổng quan mô hình Markov ẩn tổng kết lý thuyết liên quan đến mô hình Chƣơng 2: Mô hình Markov ẩn cho dãy số sáng Giới thiệu sơ lƣợc số sáng hàng ngày, lý thuyết xây dựng mô hình Markov ẩn ƣớc lƣợng thông số mô hình Chƣơng 3: Ước lượng tham số mô hình từ liệu thực Phân tích, xử lý số liệu tiến hành ƣớc lƣợng thông số mô hình từ số liệu thực đƣợc xử lý Từ đó, xây dựng mô hình xác suất cho dãy số sáng hàng ngày Chƣơng 4: Ứng dụng mô hình Mô liệu từ thông số tìm đƣợc Chƣơng 3, từ kiểm tra phân phối mẫu liệu thực mẫu liệu mô Ứng dụng mô hình xây dựng với lý thuyết liên quan đến mô hình cho mẫu liệu thực tế Chƣơng MÔ HÌNH MARKOV ẨN VÀ CÁC VẤN ĐỀ LIÊN QUAN 1.1 Xích Markov 1.1.1 Các công thức tính xác suất liên quan 1.1.1.1 Xác suất có điều kiện a Định nghĩa Cho (  , 𝒜, P ) không gian xác suất, A 𝒜, P  A  Xác suất biến cố B đƣợc tính biết biến cố A xảy đƣợc gọi xác suất có điều kiện, ký hiệu P  B A đƣợc xác định nhƣ sau: P  B A  P  A  B P  A b Tính chất (i)  P  B A  (ii) P  A A  (iii) P  A / B    P  A / B 1.1.1.2 Công thức nhân Giả sử Ai  𝒜, i  1, , n biến cố Khi P  n i 1  Ai  P  A1  P  A2 A1  P  An A1 An 1  1.1.1.3 Công thức xác suất đầy đủ Giả sử không gian đƣợc biểu diễn với dạng tổng   H1  H   Hn biến cố xung khắc đôi H1 , H , , H n Với A biến cố ta có công thức: n P  A   P  H i P  A H i  i 1 1.1.2 Định nghĩa trình ngẫu nhiên Định nghĩa 1.1.2.1 (Quá trình ngẫu nhiên) Quá trình ngẫu nhiên, ký hiệu  X t , t  T  , tập hợp đại lƣợng ngẫu nhiên, nghĩa với t  T X t đại lƣợng ngẫu nhiên Sau nhiều bƣớc mô ta có đƣợc liệu mô sau Mô lần thứ I 10 Y(i) 0.3603 0.4275 0.4008 0.3342 0.5938 0.4286 0.6337 0.5726 0.4670 0.6467 i 11 12 13 14 15 16 17 18 19 20 Y(i) 0.5840 0.5943 0.4183 0.5264 0.3995 0.5420 0.5948 0.4968 0.5376 0.5609 i 21 22 23 24 25 26 27 28 29 30 31 Y(i) 0.4769 0.5168 0.4262 0.5557 0.5534 0.4522 0.5476 0.3939 0.4108 0.6374 0.4655 Bảng 7: Dữ liệu mô lần thứ nhất, N=4 Mo phong cua day chi so sang hang Kh 0.9 0.8 0.7 Kh 0.6 0.5 0.4 0.3 0.2 0.1 10 15 20 thoi gian (ngay) 25 30 Hình 8: Biểu đồ mô lần thứ dãy số sáng hàng ngày, N=4 54 35 Mô lần thứ I 10 Y(i) 0.4395 0.4874 0.4533 0.5604 0.4384 0.3573 0.4076 0.4322 0.6354 0.3278 i 11 12 13 14 15 16 17 18 19 20 Y(i) 0.4824 0.6405 0.2395 0.3980 0.6014 0.3183 0.5524 0.5506 0.4017 0.2011 i 21 22 23 24 25 26 27 28 29 30 31 Y(i) 0.4374 0.5680 0.6135 0.4063 0.5187 0.4320 0.6432 0.4961 0.4701 0.6463 0.5487 Bảng 8: Dữ liệu mô lần thứ 5, N=4 Mo phong cua day chi so sang hang Kh 0.9 0.8 0.7 Kh 0.6 0.5 0.4 0.3 0.2 0.1 10 15 20 thoi gian (ngay) 25 30 Hình 9: Biểu đồ mô lần thứ dãy số sáng hàng ngày, N=4 55 35 Mô lần thứ 10 I 10 Y(i) 0.4256 0.5886 0.5426 0.4979 0.5515 0.4358 0.5623 0.4591 0.4560 0.2654 i 11 12 13 14 15 16 17 18 19 20 Y(i) 0.4461 0.4312 0.5308 0.6262 0.4179 0.6243 0.6133 0.5626 0.3709 0.6430 i 21 22 23 24 25 26 27 28 29 30 31 Y(i) 0.4552 0.3831 0.4393 0.5463 0.3685 0.5927 0.5507 0.5700 0.3929 0.2542 0.4490 Bảng 9: Dữ liệu mô lần thứ 10, N=4 Mo phong cua day chi so sang hang Kh 0.9 0.8 0.7 Kh 0.6 0.5 0.4 0.3 0.2 0.1 10 15 20 thoi gian (ngay) 25 30 Hình 10: Biểu đồ mô lần thứ 10 dãy số sáng hàng ngày, N=4 56 35 4.1.2 Test so sánh phân phối liệu thực liệu mô 4.1.2.1 Kiểm định Kolmogorov-Smirnov test Giả sử  X1 , , X n  Y1 , , Ym  hai mẫu ngẫu nhiên độc lập đƣợc rút từ hai họ hàm phân bố liên tục F1  x  F2  x  tƣơng ứng Bài toán đặt liệu F1  x   F2  x  hay F1  x   F2  x  Dựa vào hai mẫu cho ta có đƣợc hai hàm phân bố thực nghiệm F1,n  x  F2,m  x  Khi đó, thống kê Kolmogorov-Smirnov cho hai hàm phân bố thực nghiệm Dn,m  sup F1,n  x   F2,m  x  x Dn,m  sup  F1,n  x   F2,m  x   x Trong thực tế, đƣợc tính nhƣ sau Dn,m  max F1,n  x   F2,m  x  x (4.1) Smirnov chứng minh đƣợc F1  F2 0, x   nm    lim P  Dn,m  x     i 2 n , m  n  m     1 exp  2i x , x   i 1 Gnedenko Koroluc chứng minh F1  F2  nm    0, x  lim P  Dn,m  x    2 x n , m 1  e , x   nm   Từ kết ta có miền tiêu chuẩn để bác bỏ giả thuyết F1  F2 nhƣ sau nm Dn, m  C nm Trong C đƣợc xác định từ K  C     với mức ý nghĩa  đƣợc cho trƣớc 57 (4.2) (4.3) Giá trị C ứng với  đƣợc cho bảng sau  0.10 0.05 0.025 0.01 0.005 0.001 C 1.22 1.36 1.48 1.63 1.73 1.95 Bảng 10: Bảng giá trị C ứng với cho  trƣớc Tiêu chuẩn Smirnov đòi hỏi n, m tƣơng đối lớn (n, m >30) Trƣờng hợp n, m nhỏ ta dùng tiêu chuẩn Wilcoxon Trong luận văn mẫu liệu đƣợc sử dụng có kích thƣớc 31>30, nên ta sử dụng tiêu chuẩn Smirnov để kiểm định Tuy nhiên, thực hành việc tính toán tay phức tạp nên ta sử dụng hàm “kstest2” phần mềm Matlab để kiểm định giả thuyết cho toán 4.1.2.2 Tiến hành kiểm định Matlab Đặt giả thuyết : F1  F2 Ta tiến hành kiểm định phần mềm Matlab với chƣơng trình mô nhƣ sau  Trƣờng hợp N=2 Chương trình kiểm định function kiemdinh_N2 load('chisosang') y=chisosang; load('khmophong2') z=khmophong2; % Kiểm định k-s test h=kstest2(y,z) % h=0 chấp nhận giả thuyết, h=1 bác bỏ giả thuyết [f1,x1] = ecdf(y); [f2,x2] = ecdf(z); figure; hold on; stairs(x1,f1,'b-','LineWidth',2);%ve thi ecdf 58 stairs(x2,f2,'r-','LineWidth',2); xlabel('x'); ylabel('f(x)'); legend('du lieu thuc','du lieu mo phong','Location','NorthWest') set(gca,'FontSize',12) %Tang kich thuoc phong chu title('kiem dinh k-s voi N=2') grid on;  Kết kiểm định sau h =  Chấp nhận giả thuyết Kiem dinh k-s voi N=2 0.9 Du lieu thuc Du lieu mo phong 0.8 0.7 f(x) 0.6 0.5 0.4 0.3 0.2 0.1 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 x Hình 11: Đồ thị cdf hai mẫu liệu, N=2 Kết luận: Từ kết kiểm định h=0 nhìn vào đồ thị ta kết luận hai mẫu liệu thực mẫu liệu mô có phân phối 59  Trƣờng hợp N=4 Chương trình kiểm định function kiemdinh_N4 load('chisosang') y=chisosang; load('khmphong') z=khmphong; % Kiểm định k-s test h=kstest2(y,z) % h=0 chấp nhận giả thuyết, h=1 bác bỏ giả thuyết [f1,x1] = ecdf(y); [f2,x2] = ecdf(z); figure; hold on; stairs(x1,f1,'b-','LineWidth',2);%ve thi ecdf stairs(x2,f2,'r-','LineWidth',2); xlabel('x'); ylabel('f(x)'); legend('Du lieu thuc','Du lieu mo phong','Location','NorthWest') % Tăng kích thƣớc phong chữ set(gca,'FontSize',12) title('Kiem dinh k-s voi N=4') grid on;  Kết kiểm định sau h =  Chấp nhận giả thuyết 60 Kiem dinh k-s voi N=4 0.9 Du lieu thuc Du lieu mo phong 0.8 0.7 f(x) 0.6 0.5 0.4 0.3 0.2 0.1 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 x Hình 12: Đồ thị cdf hai mẫu liệu, N=4 Kết luận: Từ kết kiểm định h=0 nhìn vào đồ thị ta kết luận hai mẫu liệu thực mẫu liệu mô có phân phối Nhận xét: Với cách chọn số trạng thái mô hình N=2 N=4, qua kiểm định Kolmogorov-Smirnov test ta thấy mẫu liệu thực mẫu liệu mô có phân phối Từ kết luận rằng, mô hình xây dựng có độ xác cao 4.2 Ƣớc lƣợng mật độ số sáng từ liệu mô 4.2.1 Ƣớc lƣợng hạt nhân Trong thống kê, ƣớc lƣợng mật độ hạt nhân cách phi tham số để ƣớc lƣợng hàm mật độ xác suất biến ngẫu nhiên Ƣớc lƣợng mật độ phƣơng pháp làm mịn liệu để suy luận luật phân phối tổng thể dựa mẫu liệu hữu hạn Định nghĩa: Cho  X1 , X , , X n  mẫu liệu độc lập đƣơc lấy từ tập giá trị biến ngẫu nhiên chƣa biết hàm mật độ f Dựa vào mẫu liệu cho ƣớc lƣợng dạng hàm mật độ f Ƣớc lƣợng mật độ hạt nhân f 61 n n  x  xi fˆh  x    K h  x  xi   K  n i 1 nh i 1  h    (4.4) Trong K   : hàm hạt nhân 1   4s  5 h   1.06s  n  : tham số làm mịn, với s độ lệch chuẩn n   n kích thƣớc mẫu Đặc biệt: h nhỏ fˆh  x  trơn nhƣng ƣớc lƣợng gần với liệu thực Ngƣợc lại, h lớn tính trơn tăng nhƣng ƣớc lƣợng xác Hàm hạt nhân với số dƣới h đƣợc gọi hàm hạt nhân (theo thang đo) đƣợc định nghĩa Kh  x    x K   h h Chú ý: Hàm hạt nhân thƣờng đƣợc chọn dạng đƣợc liệt kê dƣới bảng sau Trong hàm hạt nhân dạng chuẩn thƣờng đƣợc sử dụng Dạng hàm hạt nhân Biểu thức Chữ nhật 1  , K u     0,  Tam giác u  1, u   1  u , K  x     0, Song lƣợng u  1, u  15 2  1  u  , K  u   16  0,  3  1  u  , K u     0,  Epanechnikov  u2  Chuẩn    K u   e   2 Bảng 11: Các hàm hạt nhân thƣờng dùng 62 u  1, u  u  1, u  4.2.2 Ƣớc lƣợng với liệu thực Với lý thuyết trình bày mục trên, ta tiến hành ƣớc lƣợng hàm mật độ hạt nhân cho mẫu liệu thực nhƣ sau load('chisosang') y=chisosang; n=length(y);%kich thuoc mau my=mean(y);%tinh trung binh % Tinh lech chuan vy=sqrt(sum((y-my).^2)/length(y)); % Hang so lam nhom CT(4.4) h=1.06*vy*(n)^((-1)/5) syms x; a=1/sqrt(2*pi); % Ham phan phoi chuan K_x=a*exp(-(x^2)/2) % Uoc luong ham mat hat nhan nhom CT(4.4) for i=1:n i b=(x-y(i))/h f_x=K_x*b; f=sum(f_x) end fh=(1/(n*h))*f pretty(fh) 63  Kết sau h = 0.0558 K_x = 7186705221432913/18014398509481984*exp(-1/2*x^2) 37444982140531664814547682735551 exp(1/ 2* x ^ 2) * 162259276829213363391578010288128 45035996273704960   72057594037927936 * x  4018315544753467   4018315544753467 fh  Kết luận: hàm mật độ xác suất dãy số sáng có dạng tƣơng đƣơng sau x2  fˆh ( x)  0.2308e 17.9323x  11.2077  Sử dụng hàm kskernel để vẽ đồ thị hàm hạt nhân liệu thực liệu mô  Trường hợp số làm mịn h chuẩn % Sử dụng hàm kskernel() function matdohatnhan_1 load('chisosang'); y=chisosang; load('khmphong'); z=khmphong; [f,yi]=ksdensity(y); [f,zi]=ksdensity(z); plot(yi,f,'-b','linewidth',2) % Du lieu thuc hold on plot(zi,f,'-g','linewidth',2) % Du lieu mo phong legend('Du lieu thuc','Du lieu mo phong','location','northwest') title('Uoc luong ham hat nhan voi h chuan') grid on figure(1) 64  Với h chuẩn đồ thị hàm hạt nhân có dạng sau Uoc luong ham hat nhan voi h chuan 3.5 Du lieu thuc Du lieu mo phong 2.5 1.5 0.5 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 Hình 13: Đồ thị hàm hạt nhân với số làm mịn h chuẩn  Trƣờng hợp số làm mịn h nhỏ funtion matdohatnhan_2 load('chisosang'); y=chisosang; load('khmphong'); z=khmphong; h=.013; [f,yi]=ksdensity(y,'width',h); [f,zi]=ksdensity(z,'width',h); plot(yi,f,'-b','linewidth',2) % Du lieu thuc hold on plot(zi,f,'-r','linewidth',2) % Du lieu mo phong hold off 65 0.9 legend('Du lieu thuc','Du lieu mo phong','location','northwest') title('Uoc luong ham hat nhan voi h=0.013') grid on figure(1)  Với h nhỏ đồ thị hàm hạt nhân có dạng sau Uoc luong ham hat nhan voi h=0.013 Du lieu thuc Du lieu mo phong 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 Hình 14: Đồ thị hàm hạt nhân với số làm mịn h nhỏ Nhận xét: Nhƣ đề cập Chƣơng qua quan sát đồ thị ta thấy, hàm hạt nhân mẫu liệu thực mẫu liệu mô nhƣ trộn hỗn hợp nhiều phân phối chuẩn  Kết luận: Qua quan sát đồ thị với số h chuẩn h nhỏ ta kết luận lại lần nữa, với h nhỏ hàm mật độ hạt nhân trơn nhƣng ƣớc lƣợng lại gần với liệu thực tế, với h lớn tính trơn tăng nhƣng ƣớc lƣợng xác 66 PHẦN KẾT LUẬN - - Luận văn tổng hợp tƣơng đối đầy đủ lý thuyết mô hình Markov ẩn vấn đề liên quan việc xây dựng mô hình mô hình (phƣơng pháp Monte carlo thuật toán EM ), từ xây dựng mô hình cho chuỗi số liệu thực Luận văn ứng dụng lý thuyết trình bày vào toán xây dựng mô hình Markov ẩn cho dãy số sáng hàng ngày Phần mềm Matlab công cụ cho việc tính toán vẽ đồ thị Thông qua chƣơng trình tính toán đƣợc viết phần mềm Matlab (chƣơng trình ƣớc lƣợng tham số, chƣơng trình mô liệu, chƣơng trình kiểm định kiểm tra phân phối mẫu liệu chƣơng trình ƣớc lƣợng hạt nhân ) tính toán phức tạp khó khăn việc tính toán đƣợc giải Các chƣơng trình sở để ta thực đƣợc toán ƣớc lƣợng từ số liệu rời rạc thực tế Sử dụng liệu tháng 10 năm 2013 tìm kiếm mô hình xác suất để tạo dãy số sáng hàng ngày cách dễ dàng Việc thực cho toán mô số liệu cụ thể luận văn áp dụng tƣơng tự cho nhiều ứng dụng nhiều lĩnh vực khác 67 TÀI LIỆU THAM KHẢO  -A Tiếng Việt [1] Trần Thị Thùy Dung (2014), Ứng dụng xích Markov việc xác định đảo CpG, Luận văn thạc sĩ Đại học Cần Thơ [2] Nguyễn Văn Hữu-Đào Hữu Hồ-Hoàng Hữu Nhƣ, Thống Kê Toán Học, Đại học Quốc gia Hà Nội [3] ThS.Trần Văn Lý (2014), Thống kê nâng cao, Giáo trình Đại học Cần Thơ [4] Đặng Hùng Thắng (2006), Quá trình ngẫu nhiên, Giáo trình Đại học Quốc gia Hà Nội [5] ThS.Dƣơng Thị Tuyền (2012), Xác suất thống kê, Đại học Cần Thơ [6] Xây dựng chương trình tính toán xạ mặt trời theo từ số liệu xạ mặt trời trung bình tháng, Tạp chí phát triển KH&CN, tập 9, số 11 – 2006 B Tiếng Anh [1] Donald Richards, Maximum Likelihood Estimation and the Bayesian Information Criterion, Penn State University [2] Joseph E Cavanaugh (2012), 171:290 Model Selection-Lecture V: The Bayesian Information Criterion, The University of lowa [3] Kenneth P Burnham and David R Anderson, Multimodel Inference: Understanding AIC and BIC in Model Selection, Sociological Methods Research 2004; 33; 261 [4] Robert J Elliott - Lakhdar Aggoun John B Moore, Hidden Markov Models, University of Alberta and Australian National University [5] Trần Văn Lý (2013), Stochastic Models of solar radiation processes C Khác [1] http://en.wikipedia.org/wiki/Bayesian_information_criterion [2] http://en.wikipedia.org/wiki/Kernel_density_estimation [3] http:// en.wikipedia.org/wiki/Kolmogorov-Smirnov [4] http://www.mathworks.com/help/stats/ksdensity.html [5] http://www.mathworks.com/help/stats/kstest2.html 68 [...]... (dãy) Phân bố thực nghiệm của một dãy chỉ số sáng hằng ngày trong một khoảng thời gian cho thấy sự phân bố của dãy chỉ số sáng hàng ngày có thể là một hỗn hợp các phân phối chuẩn, mỗi thành phần phân phối chuẩn tƣơng ứng với một số chế độ khí tƣợng cụ thể Điều này đã dẫn chúng ta đến việc sử 23 dụng mô hình Markov ẩn rời rạc theo thời gian  X h , Yh h1,2, để xây dựng mô hình cho dãy chỉ số sáng hàng. .. các tham số cần ƣớc lƣợng của mô hình DM-K đã đƣợc xây dựng là T  aij ,1  i  j  n; c1 , c2 , , cn ,;1 ,  2 , ,  n  với cách chọn số n trạng thái sẽ đƣợc trình bày trong chƣơng tiếp theo Để xây dựng mô hình xác suất cho dãy chỉ số sáng hàng ngày, trong phần tiếp theo sẽ trình bày trình tự cách ƣớc lƣợng các tham số của mô hình DM-K đã xác định ở trên 2.3 Ƣớc lƣợng lọc các tham số của mô hình Bài... là ma trận xác suất một bước chuyển của quá trình Định lý 1.1.3.6 Cho P là ma trận xác suất một bƣớc chuyển của quá trình Markov, và n là véctơ phân phối xác suất của X n Phân phối xác suất của X n 1 : n1  n 5 Chứng minh Gọi n1   n10 , n1 , , n1k  là véctơ phân phối xác suất của X n 1 và n   n0 , n1 , , nk  là véctơ phân phối xác suất của X n Theo công thức xác suất đầy đủ... là chỉ số sáng và đƣợc ký hiệu là kt 18 kt  Gt It (2.6) Chỉ số sáng là số lƣợng cần thiết để tập trung vào việc phân tích các biến thiên về sự bức xạ năng lƣợng mặt trời Chỉ số sáng cho một tỷ số giữa năng lƣợng thực tế trên mặt đất với năng lƣợng gốc có sẵn tại đỉnh của bầu khí quyển đang tính, do đó có thể tính đƣợc độ trong sáng của bầu khí quyển tại thời điểm t Chỉ số này càng gần về 1, ngày. ..  1, 2, Gọi E là không gian trạng thái của quá trình X h thì E  ei , i  1, 2, , n ( Khi đó X h đƣợc xác định bởi ma trận xác suất chuyển ) Trong đó: 2.2.2 Quá trình quan sát đƣợc (dãy chỉ số sáng) Các giá trị ngẫu nhiên của chỉ số sáng hằng ngày K h đƣợc mô hình hóa bởi quá trình quan sát đƣợc, kí hiệu Yh Mỗi giá trị quan sát đƣợc ở thời điểm bất kỳ của K h sẽ đƣợc biểu diễn bởi phƣơng trình... ta mở rộng mô hình Markov thành một mô hình khác đƣợc gọi là mô hình Markov ẩn (Hidden Markov Model-HMM) Mô hình Markov ẩn là mô hình thống kê trong đó hệ thống mô hình hóa đƣợc cho là một quá trình Markov với các tham số không biết trƣớc, và nhiệm vụ là xác định các tham số không biết trƣớc từ các tham số quan sát đƣợc Các tham số của mô hình đƣợc rút ra sau đó có thể sử dụng để thực hiện các phân... quyển hàng ngày: sử dụng CT (2.1) và (2.2) I_zero=Solar_constant*(1+0.033*cos((360/365*(Day_Number))*deg2rad)); %Tính bức xạ ngoài khí quyển trong mỗi ngày: CT (2.3) I_t = I_zero*gocdinh; %Số giờ nắng sogionang(dd)=dodaingaynang/L; I_tb(dd)=mean(I_t); End %Kết thúc vòng lặp %Trung bình của tổng bức xạ nằm ngang ngoài trái đất I_tb=I_tb(274:304); 2.2 Xây dựng mô hình Markov ẩn cho dãy chỉ số sáng hàng ngày: ... giá trị tham số để cực đại hóa các đại lƣợng ở E-step  Tìm   p 1    arg max Q  ,   p    (1.11) Lặp lại từ E-step với p  p  1 , đến khi điều kiện dừng ở (1.11) đƣợc thỏa mãn thì thuật toán kết thúc 16 Chƣơng 2 MÔ HÌNH MARKOV ẨN CHO DÃY CHỈ SỐ SÁNG 2.1 Bức xạ mặt trời và chỉ số sáng hàng ngày 2.1.1 Bức xạ mặt trời Bức xạ mặt trời là vật phát ra từ mặt trời xuống mọi góc của không gian,... lại các tham số của mô hình tại 1 thời điểm xác định lần lƣợt nhƣ sau 25 2.3.1 Ma trận chuyển xác suất Chúng ta sẽ bắt đầu với  a ji  là các xác suất chuyển của xích Markov,  a  đƣợc tính nhƣ sau ji ji Jˆkji  k  J k  aˆ ji  k   i  Oˆ k  k  Oki  (2.9) i Trong đó,  k  J kji  và  k  Ok  lần lƣợt là bộ lọc chuẩn của số lƣợng các bƣớc nhảy và thời gian xuất hiện, đƣợc xác định nhƣ sau... Maximization) Mô hình Markov ẩn tuy đơn giản nhƣng vấn đề ở chổ khó ƣớc lƣợng các tham số trong mô hình Trong luận văn này tôi trình bày thuật toán EM để ƣớc lƣợng tham số mô hình khi và chỉ khi biết đƣợc dãy kết quả có đƣợc từ việc quan sát Giả sử ta có đƣợc dãy quan sát các trạng thái là x1 , x2 , , xn 1.3.2.1 Kì vọng có điều kiện a) Tích phân Radon-Nikodym Định nghĩa: Cho X  L1 và M là một trƣờng-  -con của ... Biểu đồ mô lần thứ 10 dãy số sáng hàng ngày, N=2 52 Hình 8: Biểu đồ mô lần thứ dãy số sáng hàng ngày, N=4 54 Hình 9: Biểu đồ mô lần thứ dãy số sáng hàng ngày, N=4 55 Hình 10: Biểu đồ mô lần... liên quan đến Mô hình Markov ẩn Xây dựng mô hình xác suất cho dãy số sáng hàng ngày từ số liệu thu thập ĐỐI TƢỢNG NGHIÊN CỨU Đối tượng nghiên cứu: Mô hình Markov ẩn dãy số sáng hàng ngày Phạm vi... N=2 38 Hình 4: Biểu đồ thể phát triển ma trận xác suất chuyển A, N=4 47 Hình 5: Biểu đồ mô lần thứ dãy số sáng hàng ngày, N=2 50 Hình 6: Biểu đồ mô lần thứ dãy số sáng hàng ngày, N=2 51 Hình