Báo cáo phân tích bài báo khoa học phương pháp thống kê ngẫu nhiên trong thủy văn và kỹ thuật môi trường

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH KHOA QUẢN LÝ CÔNG NGHIỆP BÁO CÁO PHÂN TÍCH BÀI BÁO KHOA HỌC PHƯƠNG PHÁP THỐNG KÊ NGẪU NHIÊN TRONG THỦY VĂN VÀ KỸ THUẬT MÔI TRƯỜNG GVHD: TS NGUYỄN VĂN MINH MẪN MÔN HỌC: PHƯƠNG PHÁP NGHIÊN CỨU KHOA HỌC HỌC VIÊN : HUỲNH QUỐC VIỆT NGUYỄN THÀNH XUÂN TRÂM Lớp : Năm học 7141145 7141144 HỆ THỐNG THÔNG TIN QUẢN LÝ : 2014-2015 Tp Hồ Chí Minh, tháng 05 năm 2015 MỤC LỤC Giới thiệu Các phương pháp lắp đầy liệu 3 Phát triển mô hình a) Mô hình AS b) Mô hình CS Áp dụng mô hình as cs Kết thảo luận a) Phân tích đồ họa b) Phân tích thống kê c) Phân tích Entropic 10 Kết Luận 10 Lời cảm ơn 10 PHỤ LỤC A: Lý thuyết chuỗi Markov 11 PHỤ LỤC B: Phương pháp đo độ ngạc nhiên thông tin (Entropic) liệu thủy văn không chắn 12 10 Các tài liệu tham khảo: 14 Giới thiệu Các nhà lập kế hoạch nhà quản lý nguồn tài nguyên nước sử dụng liệu dòng chảy lịch sử hàng tháng cho loạt mục đích phân tích mực nước sông để xác định thiên tai lũ lụt, thủy điên… Thường thì, tập liệu không đầy đủ thiếu sót tồn nhiều lý Bài luận phát triển thử nghiệm hai mô hình máy tính để đáp ứng vào giá trị bị thiếu phân khúc thống kê ngẫu nhiên thủy văn kỹ thuật môi trường Mô hình sử dụng liệu từ dãy khu vực mà giá trị bị mất, ngược lại, mô hình thứ sử dụng liệu từ dãy khu vực mà giá trị bị từ dãy khu vực giá trị bị khác Các mô hình giới thiệu đến mô hình auto series mô hình cross series Cả hai mô hình sử dụng khái niệm phân khúc theo mùa phân tích nhóm dự toán giá trị bị phân đoạn tinh giản hàng tháng Các mô hình đánh giá dựa so sánh khác biệt phần trăm ước tính giá trị quan sát phương pháp đo độ ngạc nhiên thông tin Kết cho thấy mô hình AS cung cấp dự báo đầy đủ cho giá trị bị tích phạm vi bình thường dòng chảy đáng tin cậy phạm vi cực cao dòng chảy Ngược lại, kết từ mô hình CS cho thấy việc sử dụng tập liệu thời khác nâng cao dự báo cho tất dòng chảy Các phương pháp lắp đầy liệu Trong khứ, nhiều phương pháp khác sử dụng để làm đầy giá trị bị tích liệu dòng chảy hàng tháng (Panu (1192)] số chúng, phương pháp sử dụng nhiều phương pháp hồi quy phương pháp tiếp cận đa chiều Một phương pháp tiếp cận đa chiều kết hợp với khái niệm phân đoạn chuỗi liệu vào phân đoạn theo mùa vụ (cho nhóm) Panu Unny giới thiệu năm 1980 sau phát triển Afza Panu năm 1991 Phương pháp sử dụng đặc điểm liệu phân khúc để lắp vào giá trị bị 01 khu vực có lợi phương pháp hồi quy Phương pháp sau này, Cách tiếp cận xem điểm liệu giá trị cá thể phương pháp tiếp cận trước sử dụng đặc điểm chung cho giá trị liệu giống Dựa Trên sở xem xét giá trị nhóm, giá trị bị lắp 01 nhóm chung giá trị riêng Phương pháp tiếp cận đa chiều phương pháp hồi quy trình bày Hình 01 Phương pháp lắp đầy liệu a) phương pháp đa chiều b) phương pháp hồi quy Một vấn đề pp hồi quy phân kỳ giới hạn tin cậy cho ước tính sau phụ thuộc nhiều vào ước tính gần giá trị chưa biết trước Mặt khác, phương pháp đa chiều có giới hạn bảo mật cho phân khúc Sự phát triển mô hình dựa phương pháp đa chiều Hình 01 Phương pháp lắp đầy liệu a) phương pháp đa chiều b) phương pháp hồi quy Phát triển mô hình Bước phát triển mô hình định phân khúc mùa vụ dãy liệu Các phân khúc mùa vụ theo mô tả Panu (1992) từ mô hình Vectơ Mô hình AS yêu cầu phân khúc dãy liệu với giá trị bị Ngược lại, mô hình CS yêu cầu phân khúc hai (dữ liệu dãy liệu với giá trị bị tích) Bước liên quan đến việc thử nghiệm cho phân phối chuẩn mô hình vector Để thử nghiệm cho phân phối chuẩn Khoảng cách Mahalanobis phát họa chống lại giá trị lý thuyết tương ứng với xác suất khác Nếu mô hình vector cho thấy dấu hiệu không chuẩn tắc, chuyển đổi áp dụng cho vector đạt phân phối chuẩn Một việc thiết lập mô hình vectors định phân phối chuẩn, thuật tóa n K – means [Hartigan Wong – 1979] áp dụng cho nhóm mô hình vector tương tự thành cụm Mục đích cụm để nhận tồn mô hình vector liệu Ngược lại, thông tin dùng để phát triển liên - cấu trúc mô hình mô hình dựa giả định phụ thuộc mô hình mô tả chuỗi Markovian Sự phát triển mô hình AS CS tóm tắt hình 02: Hình 02 : Biểu đồ phát triển mô hình AS CS Đối với 02 mô hình này, bước cuối việc ước tính giá trị bị khác biệt mô tả đây: a) Mô hình AS: mô hình giả định cấu trúc Markovian lag – one cho mối quan hệ cấu trúc bên ngược lại ước tính giá trị bị dựa mô hình vector tồn trước cho khoảng trống Hình : Phân khúc mùa vụ mô hình AS Phân khúc bị kết dòng chảy biểu thị Sk Mô hình vector phân khúc Sk-1 sử dụng để ước tính giá trị bị phân khúc Sk .Cấu trúc mô hình bên cho phép hoán chuyển Markovian từ phân khúc khác, tương tự cho Sk-1 Sk xác định kỹ thuật phân nhóm Johnson Wichern (1988) cho thấy giá trị trung bình có điều kiện hiệp phương sai phân khúc Sk xác định cho phân khúc Sk-1 tồn Trong luận này, giá trị trung bình có điều kiện hiệp phương sai xem thống kê hiệu để mô tả mô hình vector bị cho giá trị Sk công thức giải thích sau: Để S cho phân phối chuẩn Nd (µ, ∑) với d>=2 S= [Sk | Sk-1] T By Nd(µ,∑), for d>=2, ∑k-1,k-1 >0 Giá trị trung bình có điều kiện hiệp phương sai vùng Sk bị đưa bởi: Giá trị trung bình Sk = µk + , ∑k,k-1 , ∑-1k-1,k-1(Sk-1 - µk-1 Hiệp phương sai: biến thiên biến Sk = ∑k,k -∑k,k-1∑-1k-1,k-1 ∑k-1,k Giá trị trung bình Sk, nêu xem vector thỏa đáng để mô tả vùng bị Sk Cách sử dụng mô hình giới hạn bới Panu (1992) phụ thuộc vào thông tin chứa liệu với giá trị bị phát triển mô hình CS vượt qua khó khăn này, mô tả đây, cách sử dụng thêm thông tin chứa liệu b) Mô hình CS: mô hình giả định tương quan lẫn liệu với giá trị bị liệu Cả 02 liệu tương ứng liên quan đến subject river base river Lưu ý base river liệu khác (sự kết tủa, dòng chảy…) đơn giản liên quan đến base river Mô hình CS mô tả Hình Hình Phân khúc mùa vụ cho mô hình CS Giá trị bị vùng Sk từ subject river lắp đầy dựa mô hình vector vùng Sbk từ base river Mối quan hệ mẫu mô hình CS phụ thuộc vào di chuyển, biến đổi từ vùng có đặc điểm tương tự (được xác định kỹ thuật phân nhóm) từ Sbk đến vùng Sk Giá trị trung bình có điều kiện hiệp phương sai Sk xác định dựa xem xét nêu vector quan sát vùng Sbk (Johnson and Wichern – 1988) Việc hình thành gái trị trung bình có điều kiện hiệp phương sai mô hình CS tương tự mô hình AS với vài trường hợp ngoại lệ sau.Mô hình vector cho vùng Sbk thay cho Sk-1 tất tồn thuật ngữ mang tính biểu tượng (k-1) thay với thuật ngữ tương tự từ base river Các mô hình máy tính phát triển với khả giả định liệu vùng bị tích Ngược lại, việc chạy máy tính thực để lắp vùng bị việc áp dụng 02 mô hình liệu dòng chảy biểu thị bên Áp dụng mô hình as cs Trạm đo dòng chảy (05QA001) English River Sioux Lookout, Ontario quan sát với giá trị bị Bộ dòng chảy kiểm soát không bị gián đoạn có sẵn cho trang web từ năm 1922 đến 1981 Trạm đo dòng chảy khác (05QA002) English river Umfreville tọa lạc thượng nguồn trạm Sioux Lookout Giá trị dòng chảy trạm có sẵn từ năm 1922 đến năm 1990 Trạm sử dụng Base river cho mô hình CS, Dữ liệu kết tủa sân bay Sioux Lookout có sẵn gia đoạn từ năm 1963 đến năm 1990 Dữ liệu kết tủa sử dụng Base river mô hình CS Bởi liệu thời từ năm 1963 đến năm 1981 cho tất 03 nguồn liệu, 18 năm liệu dùng để áp dụng Đối với việc áp dụng mô hình AS CS liệu dòng chảy hàng tháng English River Sioux Lookout, 02 mùa 06 tháng 01 mùa 12 tháng Các tháng bắt đầu kết thúc xác định 01 mùa khô 06 tháng từ tháng 11 đến tháng 4, mùa mưa từ tháng đến tháng 10 Một mặt , tồn 01 mùa 12 tháng từ liệu kết tủa sân bay Siox Lookout Ngược lại, tồn 02 mùa 06 tháng 01 mùa 12 tháng dòng chảy English River Umfrevile Việc chảy thử nghiệm thực cho 02 mô hình sử dụng 02 mùa 06 tháng 01 mùa 12 tháng Sự phân phối chuẩn tắt mô hình Vector thành công cách sử dụng việc chuyển đổi khúc cách tự nhiên Việc phân nhóm liệu vùng thực dựa giả định có 02 phân nhóm mùa Các kết kết hợp với kỹ thuật phân nhóm cho thấy đổi chiều nhỏ từ đạt mà không sử dụng phân nhóm thêm Do tính không bền, kết không sử dụng phân nhóm thêm thể luận Cả 02 mô hình áp dụng để lắp đầy vùng bị dựa giả định thể loại phân khúc tồn toàn chiều dài tệp liệu Kết thảo luận 03 phương pháp phân tích sử dụng để kiểm tra kết quả, đồ họa, thống kê Entropic Tương tự, 01 so sánh dựa kết đạt việc lắp đầy giá trị bị mất: sử dụng giá trị trung bình, giá trị nhỏ gái trị lớn tháng Các phát họa kết cho 02 mô hình thể bảng Hình Kết từ mô hình AS mô hình CS a) Phân tích đồ họa: kiểm tra kết từ mô hình AS cho thấy giá trị ước tính theo sát giá trị quan sát hết năm kéo theo lỗi lớn trường hợp dòng chảy cực Điều dự đoán từ lúc giá trị ước tính dựa giá trị dòng chảy tồn suốt năm khác dãy liệu Để vượt qua khó khăn này, sử dụng đa biến số ngẫu nhiên để ước tính giá trị bị giống giá trị bị liệu Các giá trị bị mô hình AS, sử dụng kết tủa liệu thời cho thấy phương sai từ dòng chảy quan sát nhiều trường hợp Điều ảnh hưởng tuyết rơi dòng chảy mùa xuân Trong suốt tháng mùa đông, kết tủa rơi xuống thành tuyết không gây ảnh hưởng dòng chảy tan băng mùa xuân Giai đoạn chậm khác biệt có 01 ảnh hưởng lên cấu trúc ma trận hiệp phương sai mô hình CS Sự phát triển tương lai mô hình bao gồm thủ tục để giải thích cho khác biệt tượng tan băng Việc kiểm tra kết từ mô hình CS sử dụng liệu dòng chảy khác liệu thời, cho thấy giá t,rị ước tính theo sát giá trị quan sát cho toàn phạm vi dòng chảy Điều suy đoán 02 liệu đầu nguồn kết hoạt động thủy văn tương tự 02 trạm đo Các phương pháp làm đầy Ước tính lớn Ước tính nhỏ AS 9.4% đến 84.0% 1.4% đến 52.5% CS với lượng kết tủa 28.0% đến 198% 16.2% đến 58.9% CS với dòng chảy 7.5% đến 28.7% 6.3% đến 28.8% Bởi giá trị trung bình 24.6% đến 152% 16.0% đến 37.0% Bởi giá trị nhỏ 7.3% đến 211% 54.3% đến 81.5% Bởi giá trị lớn 53.4% đến 467% 2.3% đến 38.2% Bảng 1: tóm tắt phần trăm lỗi phương pháp làm đầy khác b) Phân tích thống kê: khác biệt phần trăm (khách quan chủ quan) giá trị ước tính giá trị quan sát nêu bảng 1, Các kết đạt nói riêng 02 trường hợp: có sử dụng phân nhóm phụ không sử dụng phân nhóm phụ mùa Các kết việc sử dụng phân nhóm phụ cho thấy phương sai nhỏ từ kết đạt mà không sử dụng phân nhóm phụ Theo mạch có kết không sử dụng phân nhóm phụ thể luận Các thống kê tương tự bao gồm bảng để làm đầy giá trị bị cách sử dụng giá trị trung bình, giá trị nhỏ lớn tháng Trong bảng 1, lỗi nhỏ tồn liệu dòng chảy thời sử dụng mô hình CS Tuy nhiên, lỗi lớn mô hình liệu thời khác kết tủa sử dụng Ngược lại, trường hợp thế, việc sử dụng mô hình AS kéo theo lỗi nhỏ lựa chọn hiển nhiên để làm đầy liệu Những phương pháp phổ biến khác để thay giá trị bị giá trị giá trị trung bình, gái trị nhỏ giá trị lớn nhật kéo theo lỗi lớn (bảng 1) Các kết phân tích cho thấy nên tránh sử dụng phương pháp làm đầy liệu nói {Panu and Mclarty 1991) Cả 02 mô hình có ảnh hưởng việc làm giảm chắn liên quan đến giá trị liệu làm đầy Phương pháp entropic giải thích phụ lục sử dụng việc tiếp cận Phương pháp Entropic Entropy Giảm entropy từ nhóm Hc % Khấu trừ Hmax 5.375 n/a n/a Hs=2 0.693 n/a n/a Hclustered 0.427 n/a n/a Hmarkov 0.141 0.13 3% H(𝑋|𝑌) 0.392 0.35 8% (CS – lượng kết tủa) 0.181 H(𝑋|𝑌) 0.246 58% (CS – dòng chảy) BẢNG 2: Tóm tắt phương pháp Entropic c) Phân tích Entropic: kết đạt từ phương pháp entropic khác liên quan đến 02 mô hình tóm tắt bảng 02 Từ kết nói trên, thật rõ ràng giảm tối đa entropy (58%) tồn mô hình CS sử dụng dòng chảy English River Sioux Lookout Umfrevville Sự giảm đáng kể entropy củng gây kết vùng phân mùa nhóm lại thành phân nhóm phụ Việc giảm chắn đạt việc loại trừ nhóm cụ thể có tồn 01 mùa cụ thể Kết Luận Mô hình AS tìm thấy thõa mản việc ước tính giá trị bị dãy dòng chảy bình thường thể không thích hợp trường hợp dòng chảy cực Các kết thống kê cho thấy lỗi giá trị ước tính từ -53% đến +84% Phân tích entropic cho thấy giảm nhỏ (3%) entropy xem xét hệ thống Markovian phản đối việc ngẫu nhiên Nói cách khác, việc giả định cho cấu trúc bên mô hình loại Markovian không hợp lệ cho mục đích lắp đầy Mô hình CS sử dụng kết tủa liệu thời khác cung cấp ước tính khác giá trị bị Về vấn đề lỗi %, khác biệt tìm thấy từ -59% đến +198% Phân tích entropic loại liệu cho thấy có giảm nhẹ entropy )8%) Sự giảm nhẹ entropy ám việc tồn liên quan lẫn nhỏ liệu dòng chảy liệu lết tủa Mô hình CS nhận thấy để thực ước tính giá trị bị tích với việc sử dụng liệu dòng chảy thời từ 01 trạm gần Việc ước tính giá trị bị tìm thấy thỏa đáng dãy dòng chảy trung bình từ -29% đến +29% Phân tích entropic cho thấy có giảm khoản 58% entropy Nói cách khác, việc sử dụng liệu thời cho thấy có liên quan lẫn cao với liệu dòn chảy có giá trị bị mất, cung cấp ước tính thỏa mãn gái trị bị Lời cảm ơn 10 Lời cảm ơn chân thành đến Hỗ trợ tài Hạt nghiên cức kỹ thuật khoa học tự nhiên – Canada việc thực yếu tố khác thực dự án Đặc biệt cảm ơn đến hỗ trợ nhiệt tình từ C.Goodier PHỤ LỤC A: Lý thuyết chuỗi Markov Chuỗi Markov (thời gian rời rạc), đặt theo tên nhà toán học người Nga Andrei Andreyevich Markov, trình ngẫu nhiên rời rạc với tính chất Markov Quá trình vậy, khứ không liên quan đến việc tiên đoán tương lai mà việc phụ thuộc theo kiến thức Chuỗi Markov dãy X1, X2, X3, gồm biến ngẫu nhiên Tập tất giá trị có biến gọi không gian trạng thái , giá trị Xn trạng thái trình (hệ) thời điểm n Nếu việc xác định (dự đoán) phân bố xác suất có điều kiện Xn+1 cho biết trạng thái khứ hàm phụ thuộc Xn thì: x trạng thái trình (x thuộc không gian trạng thái S).Mô hình Markov ẩn (tiếng Anh Hidden Markov Model - HMM) mô hình thống kê hệ thống mô hình hóa cho trình Markov với tham số trước nhiệm vụ xác định tham số ẩn từ tham số quan sát được, dựa thừa nhận Các tham số mô hình rút sau sử dụng để thực phân tích kế tiếp, ví dụ cho ứng dụng nhận dạng mẫu Các chuyển tiếp trạng thái mô hình Markov ẩn Hình 6: Mô hình Markov x — Các trạng thái mô hình Markov a — Các xác suất chuyển tiếp 11 b — Các xác suất đầu y — Các liệu quan sát Hình làm bật chuyển tiếp trạng thái mô hình Markov ẩn Nó có ích để biểu diễn rõ ràng tiến hóa mô hình theo thời gian, với trạng thái thời điểm khác t1 t2 biểu diễn tham biến khác nhau, x(t1) x(t2) Hình : Sự tiến hóa theo thời gian mô hình Markov ẩn Trong hình 7, hiểu thời gian chia cắt (x(t), y(t)) mở rộng tới thời gian trước sau cần thiết Thông thường lát cắt sớm thời gian t=0 hay t=1 PHỤ LỤC B: Phương pháp đo độ ngạc nhiên thông tin (Entropic) liệu thủy văn không chắn Entropy hệ thống phương pháp mức độ xáo trộn Shannon (1948) áp dụng khái niệm entropy để đo lường nội dung thông tin hệ thống Khinchin (1957) báo cáo entropy Shannon việc giải chương trình hữu hạn mà áp dụng cho liệu thủy văn Entropy (H) đo lường không chắn hệ thống xác định sau: 𝑛 𝐻(𝑝1 , 𝑝2 , , 𝑝𝑛 ) = − ∑ 𝑝𝑘 𝑙𝑛(𝑝𝑘 ) 𝑘=1 Theo đó, n số trạng thái pk xác suất trạng thái kth chương trình hữu hạn Entropy lớn tồn tất kết giống Đối với dãy n có xác suất giống nhau, xác xuất 1/n entropy lớn hệ thống đạt sau: 𝐻𝑚𝑎𝑥 = ln⁡(𝑛) Trong nhóm liệu vùng thành nhóm, việc điều chỉnh phải thực để xác định entropy (H) để tính toán nhóm Entropy cho việc phân nhóm, Hc tính sau: 𝑤 𝐻𝑐 = ⁡ − ∑ 𝑝(𝑠𝑘 ) ln[𝑝(𝑐𝑘 )] 𝑘=1 12 Trong đó, w tổng số mùa /năm, nk tổng số phân nhóm mùa k, p(ck) xác suất việc phân nhóm c mùa k, p(sk) xác suất xảy mùa k Giá trị entropy phân nhóm không đảm trách việc xếp nhóm Theo đó, nhóm tồn kỳ trật tự nào, giá trị entropy giống Tiếp tục nhìn vào ảnh hưởng trật tự (vd: phụ thuộc nhóm) entropy chuỗi Markov áp dụng cho mô hình AS Entropy chuỗi Markov (mô hình AS): Domenico (1972) mô tả entropy chuỗi Markov (Hm) trung bình tất Entropies cá thể việc chuyển đổi vị trí (K) đo lường theo xác suất xảy trạng thái cá thể Lưu ý có nhiều trạng thái mà có nhiều nhóm Entropy Markovian mô tả sau: 𝑛 𝐻𝑚 = ⁡ − ∑ 𝑝𝑖 𝐻𝑖 𝑖=1 Trong đó, n số trạng thái pi xác suất xảy trạng thái Một phương pháp làm giảm chắn đạt cách lấy khác biệt Hc Hm Nói cách khác, liệu phân nhóm (vd: phụ thuộc nhóm) xử lí theo entropy Markovia lấy ngẫu nhiên Entropy hệ thống kết nối (mô hình CS): Domenico (1972) cho phương pháp entropy áp dụng tình mà hai hệ thống liên quan quan sát Việc áp dụng phương pháp entropy mô hình CS hiển nhiên Vì vậy, hai liệu quan sát có sẵn mô hình CS, có tên gọi liệu dòng chảy với vùng bị liệu thời vùng bị Phương pháp entropy hệ thống (giả sử hệ thống X liệu dòng chảy với vùng bị mất) đưa kiến thức cho việc quan sát hệ thống khác (giả sử hệ thống Y liệu thời vùng bị mất) đạt sau: 𝑛 𝑛 𝐻(𝑋|𝑌) = ⁡ − ∑ ∑ 𝑃(𝑥𝑖 , 𝑦𝑖 ) ln⁡[𝑃(𝑥𝑖 |𝑦𝑖 )] 𝑖=1 𝑗=1 Trong đó, P(xi/yi) xác suất có điều kiện hệ thống X diễn đạt xi đưa hệ thống Y quan sát trạng thái yi, p(xi, yi) xác suất kết hợp xi yi Phương pháp gốc entropy hệ thống X, [(H(X)] tính từ Hc cho hệ thống phân nhóm, Vì phương pháp không chắn giảm X sau quan sát Y tính sau: 𝐻(𝑋 → 𝑌) = ⁡ 𝐻𝑐 − 𝐻(𝑋|𝑌) Trong đó, H (XY) thể suy giảm không chắn X sau quan sát Y 13 10 Các tài liệu tham khảo: Afza, N and U.S Penns (1991) Infilling of Missing Data Values in Monthly Streaniflows, An Unpublished Technical Report, wept of Civil Enginmring, Lakehcad University, Thunder Bay, Ontario Domenico, P.(1972) Concepts and Models in Groundwater Hydrology, McGmwHill, San Fmncisco, U.S.A Hartigan, J and M Wong (1979) ‘Algorithm AS136: A X-Means Clustering Algorithm", Applied Statisacs, 28, IOT-108 Johnson, R.A and D.W Wichern (1988) Applied Multivariate Statistical Analysis, Prentice Hall, New Jersey Khinchin, A.I (1957) Mathematical Foundations of Information Theory ,Dover Publications Inc., New York Panu, U.S, and T.E Unny (1980) ‘Stochastic Synthesis of Hydrologic Data Based on Concepts of Pattern Recognition", Journal of Hydiology, 46, 5-34, 197-217, 219-237 Panu, U.S and B McLarty (1991) Evaluations of Quick Data Infilling Methods in Streamflows, An Unpublished Technical Report, Dept of Civil Engineering, Lakehead University, Thunder Bay, Ontario Panu, U.S (1992) "Applicaéon of Some Entropic Measures in Hydrologic Data Filling Shannon, C.E (1948) "The Mathematical Theory of Communication“ Bell System Technical Journal, 27, 379-428; 623-656 14 [...]... được đưa ra trong hệ thống Y được quan sát trong trạng thái yi, và p(xi, yi) là xác suất kết hợp của xi và yi Phương pháp gốc entropy của hệ thống X, [(H(X)] có thể được tính từ Hc cho hệ thống được phân nhóm, Vì vậy phương pháp không chắc chắn giảm trong X sau khi quan sát Y được tính như sau: 𝐻(𝑋 → 𝑌) = ⁡ 𝐻𝑐 − 𝐻(𝑋|𝑌) Trong đó, H (XY) thể hiện sự suy giảm trong sự không chắc chắn của X sau khi quan... Markovia hơn là lấy ngẫu nhiên Entropy của hệ thống kết nối (mô hình CS): Domenico (1972) cho rằng phương pháp entropy có thể áp dụng được trong các tình huống mà hai hệ thống liên quan được quan sát Việc áp dụng phương pháp entropy như thế đối với mô hình CS là hiển nhiên Vì vậy, hai bộ dữ liệu được quan sát là có sẵn đối với mô hình CS, có tên gọi là dữ liệu dòng chảy với vùng bị mất và dữ liệu hiện... bị mất Phương pháp entropy của một hệ thống (giả sử hệ thống X là dữ liệu dòng chảy với vùng bị mất) đưa ra kiến thức cho việc quan sát trong hệ thống khác (giả sử hệ thống Y là dữ liệu hiện thời không có vùng bị mất) đạt được như sau: 𝑛 𝑛 𝐻(𝑋|𝑌) = ⁡ − ∑ ∑ 𝑃(𝑥𝑖 , 𝑦𝑖 ) ln⁡[𝑃(𝑥𝑖 |𝑦𝑖 )] 𝑖=1 𝑗=1 Trong đó, P(xi/yi) là xác suất có điều kiện của hệ thống X được diễn đạt là xi được đưa ra trong hệ thống Y... đến sự Hỗ trợ tài chính bởi Hạt nghiên cức kỹ thuật và khoa học tự nhiên – Canada trong việc thực hiện các yếu tố khác nhau trong thực hiện dự án này Đặc biệt cảm ơn đến sự hỗ trợ nhiệt tình từ C.Goodier 8 PHỤ LỤC A: Lý thuyết về chuỗi Markov Chuỗi Markov (thời gian rời rạc), đặt theo tên nhà toán học người Nga Andrei Andreyevich Markov, là một quá trình ngẫu nhiên rời rạc với tính chất Markov Quá trình... hóa theo thời gian của mô hình Markov ẩn Trong hình 7, được hiểu rằng thời gian chia cắt ra (x(t), y(t)) mở rộng tới các thời gian trước và sau đó như một sự cần thiết Thông thường lát cắt sớm nhất là thời gian t=0 hay t=1 9 PHỤ LỤC B: Phương pháp đo độ ngạc nhiên của thông tin (Entropic) về dữ liệu thủy văn không chắc chắn Entropy của 1 hệ thống là 1 phương pháp về mức độ xáo trộn Shannon (1948) đã... trong 1 mùa bất kỳ k, p(ck) là xác suất về việc phân nhóm c trong mùa k, và p(sk) xác suất có thể xảy ra của mùa k Giá trị entropy trong phân nhóm không đảm trách việc sắp xếp các nhóm Theo đó, các nhóm có thể tồn tại trong bấy kỳ trật tự nào, và giá trị của entropy là giống nhau Tiếp tục nhìn vào ảnh hưởng của trật tự (vd: sự phụ thuộc giữa các nhóm) entropy trong chuỗi Markov có thể áp dụng được cho mô... đo lường nội dung thông tin của 1 hệ thống Khinchin (1957) đã báo cáo entropy của Shannon trong việc giải quyết 1 chương trình hữu hạn mà có thể áp dụng cho 1 bộ dữ liệu thủy văn Entropy (H) được đo lường không chắc chắn về 1 hệ thống được xác định như sau: 𝑛 𝐻(𝑝1 , 𝑝2 , , 𝑝𝑛 ) = − ∑ 𝑝𝑘 𝑙𝑛(𝑝𝑘 ) 𝑘=1 Theo đó, n là số trạng thái và pk là xác suất của trạng thái kth trong 1 chương trình hữu hạn Entropy... Model - HMM) là mô hình thống kê trong đó hệ thống được mô hình hóa được cho là một quá trình Markov với các tham số không biết trước và nhiệm vụ là xác định các tham số ẩn từ các tham số quan sát được, dựa trên sự thừa nhận này Các tham số của mô hình được rút ra sau đó có thể sử dụng để thực hiện các phân tích kế tiếp, ví dụ cho các ứng dụng nhận dạng mẫu Các chuyển tiếp trạng thái trong mô hình Markov... xác suất giống nhau, và xác xuất là 1/n và entropy lớn nhất của hệ thống đạt được như sau: 𝐻𝑚𝑎𝑥 = ln⁡(𝑛) Trong khi nhóm dữ liệu vùng thành các nhóm, việc điều chỉnh phải được thực hiện để xác định entropy (H) để tính toán các nhóm Entropy cho việc phân nhóm, Hc có thể được tính như sau: 𝑤 𝐻𝑐 = ⁡ − ∑ 𝑝(𝑠𝑘 ) ln[𝑝(𝑐𝑘 )] 𝑘=1 12 Trong đó, w là tổng số mùa /năm, nk là tổng số phân nhóm trong 1 mùa bất kỳ k,... trong việc chuyển đổi vị trí (K) được đo lường theo xác suất có thể xảy ra của trạng thái cá thể Lưu ý rằng có nhiều trạng thái mà có nhiều nhóm Entropy Markovian có thể được mô tả như sau: 𝑛 𝐻𝑚 = ⁡ − ∑ 𝑝𝑖 𝐻𝑖 𝑖=1 Trong đó, n là số trạng thái và pi là xác suất xảy ra của trạng thái Một phương pháp làm giảm sự chắc chắn có thể đạt được bằng cách lấy sự khác biệt giữa Hc và Hm Nói cách khác, dữ liệu phân ... triển thử nghiệm hai mô hình máy tính để đáp ứng vào giá trị bị thiếu phân khúc thống kê ngẫu nhiên thủy văn kỹ thuật môi trường Mô hình sử dụng liệu từ dãy khu vực mà giá trị bị mất, ngược lại,... phương pháp lắp đầy liệu Trong khứ, nhiều phương pháp khác sử dụng để làm đầy giá trị bị tích liệu dòng chảy hàng tháng (Panu (1192)] số chúng, phương pháp sử dụng nhiều phương pháp hồi quy phương. .. giá trị riêng Phương pháp tiếp cận đa chiều phương pháp hồi quy trình bày Hình 01 Phương pháp lắp đầy liệu a) phương pháp đa chiều b) phương pháp hồi quy Một vấn đề pp hồi quy phân kỳ giới hạn