Khái niệm về biến ngẫu nhiên, xác suất và phân bố xác suất của biến ngẫu nhiên Trang 7 Không gian mẫu sample space: Tập hợp tất cả các kết quả có thể xảy ra khi thực hiện một phép thử
08/09/2021 TRƯỜNG ĐẠI HỌC THỦY LỢI KHOA KỸ THUẬT TÀI NGUYÊN NƯỚC BỘ MÔN THỦY VĂN - BĐKH THỐNG KÊ TRONG THỦY VĂN Giảng viên: Nguyễn Thị Thu Hà Email: thuha_tttv@tlu.edu.vn TRƯỜNG ĐẠI HỌC THỦY LỢI KHOA KỸ THUẬT TÀI NGUYÊN NƯỚC BỘ MÔN THỦY VĂN - BĐKH Chương 1: Những khái niệm Giảng viên: Nguyễn Thị Thu Hà Email: thuha_tttv@tlu.edu.vn 08/09/2021 Nội dung Tại thống kê ứng dụng rộng rãi thủy văn? I Khái niệm biến ngẫu nhiên, xác suất, thời kỳ lặp lại, mối quan hệ thời kỳ lặp lại rủi ro III Phân bố xác suất biến ngẫu nhiên IV Thống kê toán học, khái niệm mẫu, tổng thể, phương pháp chọn mẫu V Đặc trưng thống kê mẫu tổng thể VI Miêu tả đồ họa phân bố mẫu (biểu đồ tần số biểu đồ hộp) II I Tại thống kê ứng dụng rộng rãi thủy văn? Thủy văn (Hydrology) ngành khoa học trái đất (geoscience) chuyên nghiên cứu tượng tự nhiên xác định xuất hiện, tuần hoàn phân bố nước trái đất, đặc tính lý, hóa sinh học tương tác chúng với môi trường xung quanh bao gồm sống Thủy văn ứng dụng (Applied Hydrology) hay thủy văn kỹ thuật (Engineering Hydrology) sử dụng nguyên lý khoa học thủy văn, với kiến thức từ chuyên ngành khoa học khác để quy hoạch, thiết kế, vận hành quản lý hệ thống tài nguyên nước phức tạp Những hệ thống thiết kể để phân bố lại tài nguyên nước theo không gian thời gian vùng cụ thể để đáp ứng nhu cầu xã hội 08/09/2021 I Tại thống kê ứng dụng rộng rãi thủy văn? Những tượng thủy văn tượng vừa mang tính tất định vừa mang tính ngẫu nhiên X = ( x1, x2, ,xi, ,xn), Các đặc trưng khí tượng, khí hậu: mưa, bốc hơi, gió Z = ( z1, z2,…,zi, ,zm), Các đặc trưng mặt đệm: diện tích lưu vực, độ dốc lưu vực, điều kiện địa hình, địa chất, lớp phủ thực vật Y = f(X, Z) I Tại thống kê ứng dụng rộng rãi thủy văn? Tất định Phương pháp phân tích ngun nhân hình thành Ngẫu nhiên Phương pháp thống kê xác suất Y = f(X, Z) 08/09/2021 I Tại thống kê ứng dụng rộng rãi thủy văn? • Phân tích thống kê liệu cho phép sử dụng tập liệu giới hạn để đưa định kỹ thuật trả lời câu hỏi liên quan đến kỹ thuật Vai trò thống kê thủy văn bao gồm đưa suy luận dựa số liệu thu thập được: phân tích tần suất, kiểm định thống kê,… dự báo tượng thủy văn dựa biến phụ thuộc, … I Tại thống kê ứng dụng rộng rãi thủy văn? VD 1: • Chúng ta xác định lượng mưa năm 2021 bao nhiêu? • Thống kê giúp dự đốn xác suất kiện tương lai • Sử dụng số liệu xảy khứ để xác định xác suất xảy tương lai CIVE 103 08/09/2021 I Tại thống kê ứng dụng rộng rãi thủy văn? Ví dụ 2: Lượng mưa hàng năm trạm khí tượng A thuộc hướng khuất gió (leeward) trạm khí tượng B thuộc hướng đón gió (windward) cho bảng Liệu lượng mưa trung bình hướng đón gió (B) cao cách ý nghĩa với lượng mưa trung bình hướng khuất gió (A) Năm 1998 1999 2000 2001 2002 2003 2004 2005 A (mm) 1225 1075 1260 1100 1125 1275 1300 1205 B (mm) 1276 1135 1288 1255 - 1365 1345 1310 I Tại thống kê ứng dụng rộng rãi thủy văn? VD 3: Liệu chuỗi nhiệt độ năm lượng mưa năm có xu tang (giảm) suốt 60 năm qua? y = 0.0474x - 94.38 Temperature anomaly (oC) -1 y = 0.0623x - 124.08 -2 y = -0.001x + 1.1215 -3 2010 2000 1990 1980 1970 1960 -4 Year 10 08/09/2021 I Tại thống kê ứng dụng rộng rãi thủy văn? Bốc Tốc độ gió Nhiệt độ STT Ví dụ : Xác định lượng bốc thoát tháng từ số liệu tốc độ gió nhiệt độ trung bình tháng? (km/h) (mm) (oC) 12 22.3 10 24.5 Y: Lượng bốc thoát tháng (mm) 22.3 X1: Tốc độ gió trung bình tháng (km/h) 11 15 21.9 13 19 25.6 12 22 26.2 26 25 27.8 11 14 23.8 13 18 29 10 11 13 27.4 X2: Nhiệt độ trung bình tháng (oC) Xác định b0, b1, b2 11 II Khái niệm biến ngẫu nhiên, xác suất phân bố xác suất biến ngẫu nhiên Phép thử ngẫu nhiên, Không gian mẫu, Sự kiện Phép thử ngẫu nhiên (random experiment): Là thí nghiệm hay quan sát mà kết khơng thể biết trước được, nhiên ta xác định tập hợp tất kết xảy phép thử Ví dụ: số ngày mưa tháng 6, đo lượng mưa trạm, đo dòng chảy mặt cắt ngang sông,… 12 08/09/2021 II Khái niệm biến ngẫu nhiên, xác suất phân bố xác suất biến ngẫu nhiên Phép thử ngẫu nhiên, Không gian mẫu, Sự kiện Không gian mẫu (sample space): Tập hợp tất kết xảy thực phép thử ngẫu nhiên gọi không gian mẫu, kết gọi biến cố sơ cấp (hay điểm mẫu (sample point)) Không gian mẫu rời rạc: Không gian mẫu liên tục: 13 II Khái niệm biến ngẫu nhiên, xác suất, thời kỳ lặp lại, mối quan hệ thời kỳ lặp lại rủi ro Phép thử ngẫu nhiên, Không gian mẫu, Sự kiện Sự kiện hay biến cố tập không gian mẫu Sự kiện bao gồm điểm mẫu (biến cố sơ cấp) hay nhiều điểm mẫu (không gian mẫu rời rạc) dãy thuộc không gian mẫu (không gian mẫu liên tục) 14 08/09/2021 II Khái niệm biến ngẫu nhiên, xác suất, thời kỳ lặp lại, mối quan hệ thời kỳ lặp lại rủi ro Biến ngẫu nhiên Biến ngẫu nhiên (random variables) biến nhận giá trị ngẫu nhiên đại diện cho kết phép thử Biến ngẫu nhiên thường ký hiệu chữ viết hoa X, chữ viết thường tương ứng nó, ví dụ x, sử dụng để thể giá trị cụ thể biến ngẫu nhiên Mỗi giá trị nhận x biến ngẫu nhiên X gọi thể X, kết phép thử hay hiểu kiện 15 II Khái niệm biến ngẫu nhiên, xác suất, thời kỳ lặp lại, mối quan hệ thời kỳ lặp lại rủi ro Biến ngẫu nhiên Biến ngẫu nhiên biến rời rạc biến liên tục, phụ thuộc vào loại khơng gian mẫu tương ứng với Biến ngẫu nhiên tương ứng với không gian mẫu rời rạc, trị số số tách rời đếm Ví dụ: số ngày mưa tháng Biến ngẫu nhiên liên tục tương ứng với không gian mẫu liên tục, trị số biến số liền nhau, chúng khơng có khoảng cách Ví dụ: lượng mưa trạm Biến ngẫu nhiên (X) miêu tả phân phối xác suất 16 08/09/2021 II Khái niệm biến ngẫu nhiên, xác suất, thời kỳ lặp lại, mối quan hệ thời kỳ lặp lại rủi ro Định nghĩa xác suất Định nghĩa xác suất theo lối cổ điển Xác suất (P) kiện (E) số kết thuận lợi xảy (h) chia cho tổng số kết xảy (n): ℎ ( )= Lý thuyết cổ điển giả định tất kết xảy có khả xảy biết n Ví dụ Từ hộp có 13 bi đỏ bi trắng có kích thước nhau, rút ngẫu nhiên bi Khi đó: Xác suất để rút bi đỏ 13/20 = 0.65 Xác suất để rút bi trắng 7/20 = 0.35 17 II Khái niệm biến ngẫu nhiên, xác suất, thời kỳ lặp lại, mối quan hệ thời kỳ lặp lại rủi ro Định nghĩa xác suất Tần số tương đối: Khi số phép thử lớn ta quan sát tất phép thử Chúng ta cần quan sát đủ trường hợp (n phải đủ lớn), trường hợp quan sát cần phải điển hình P(E) = observed h / observed n 18 08/09/2021 II Khái niệm biến ngẫu nhiên, xác suất, thời kỳ lặp lại, mối quan hệ thời kỳ lặp lại rủi ro Định nghĩa xác suất Nếu kiện h định nghĩa kết thuận lợi thành cơng, kiện khơng phải (h) định nghĩa kiện bất lợi thất bại Do đó: P(E) = h / n thành cơng P (khơng phải E) = (n-h) / n = - h / n = (1-P (E)) Xác suất thất bại = - (xác suất thành công) The probability of exceedance = – probability of non exceedance 19 II Khái niệm biến ngẫu nhiên, xác suất, thời kỳ lặp lại, mối quan hệ thời kỳ lặp lại rủi ro Các định lý lý thuyết xác suất Xác suất kiện khoảng từ tới 1: 0≤ ≤1 Tổng xác suất tất kiện xảy =1 20 10 08/09/2021 I Phân tích tương quan o Hệ số tương quan đo lường mức độ quan hệ tuyến tính hai biến, khơng phân biệt biến phụ thuộc vào biến kia: Ðặc tính hệ số tương quan Hệ số tương quan khơng có đơn vị Hệ số tương quan (gọi chung ) nằm khoảng [-1,1] • > 0: tương quan dương • < 0: tương quan âm • = 0: khơng tương quan I Phân tích tương quan Pearson’s r - Đánh giá mức độ tương quan tuyến tính biến định lượng Tương quan hạng (Spearman’s rho): Đánh giá mức độ tương quan hạng biến (rank-ordered variables), sử dụng phân phối tổng thể giả sử phân phối chuẩn trường hợp có giá trị quan sát bất thường (lớn nhỏ quá) Mức ý nghĩa tương quan tính tốn dựa vào kiểm định thống kê Cũng phương pháp tính, kiểm định có phương pháp: Pearson, Spearman Giả thiết kiểm định: H0: Khơng có tương quan (hệ số tương quan = 0) Ha: Có tương quan 08/09/2021 I Phân tích tương quan Hệ số tương quan Spearman Rho Với Spearman's rho, số liệu cho biến xếp hạng cách độc lập Cho bậc hạng x (Rxi) bậc hạng y (Ryi), rho tính tốn theo phương trình: Rho hiểu hệ số tương quan tuyến tính tính tốn cho bậc hạng liệu 10 08/09/2021 I Phân tích tương quan Hệ số tương quan Spearman Rho Kiểm định đầu cho hệ số Spearman Rho H0: Rho = H1: Rho ≠ Test thống kê t = Phân bố test thống kê Student t với ν =N -2 Từ chối H0 mức ý nghĩa α > , 11 I Phân tích tương quan Hệ số tương quan Pearson r Hệ số tương quan r đo đạc mức độ tương quan tuyến tính biến Hệ số r bị ảnh hưởng giá trị cực đoan o ∑ = ∑ o o , = = ̅ )( ( ∑ ( hoặ = , ∑ ̅ ∑ ) ̅ )( ̅ ) = ∑ 12 08/09/2021 13 I Phân tích tương quan Hệ số tương quan Pearson r Kiểm định đầu cho hệ số Pearson r H0: r = H1: r ≠ Test thống kê t = Phân bố test thống kê Student t với ν =N -2 Từ chối H0 mức ý nghĩa α > , 14 08/09/2021 II Phân tích hồi quy đơn biến tuyến tính Giả sử có hai đại lượng X Y có quan hệ thống kê với nhau, Y biến phụ thuộc X biến độc lập Giả sử tiến hành n lần thí nghiệm quan trắc, nhận n cặp số liệu sau: (x1, y1); (x2, y2); ; (xi, yi); .; (xn yn) Yêu cầu thiết lập quan hệ biến phụ thuộc Y theo biến độc lập X theo dạng quan hệ đường thẳng Phân tích hồi quy đề cập tới tập hợp kỹ thuật thống kê sử dụng phổ biến cho việc mơ hình hóa mối quan hệ nhiều biến độc lập (ký hiệu X) với biến phụ thuộc (ký hiệu Y), Y diễn tả hàm X tập hợp thông số hệ số, ví dụ Y = 0 + 1X Hồi quy đơn biến, hồi quy đa biến Hồi quy tuyến tính, hồi quy phi tuyến 15 II Phân tích hồi quy đơn biến tuyến tính Hồi quy đơn biến tuyến tính tổng thể có dạng: Y = 0+ 1X + X: biến độc lập hay biến giải thích (explanatory variable) : sai số, biến ngẫu nhiên khơng có khả đo đạc, độc lập với X, thể phương trình hồi quy khơng thể fit với số liệu cách hoàn hảo Y: biến phụ thuộc (response variable), biến ngẫu nhiên có hàm mật độ xác suất có điều kiện phụ thuộc vào X Nếu X nhận giá trị x0, đó, Y có giá trị trung bình có điều kiện β0 + β1x0 phương sai có điều kiện σ2 Giá trị trung bình có điều kiện, phụ thuộc vào giá trị cụ thể X Nó giá trị kỳ vọng Y với điều kiện X x0 Do đó, | “Giá trị kỳ vọng” y x nhận giá trị x0 : Phương sai y x nhận giá trị x0 : = = + 0 hệ số hồi quy cho Y = 0 + 1X đường thẳng hồi quy phối hợp tốt giá trị bình qn có điều kiện với điểm xi, xác định thông qua phương pháp bình phương tối thiểu 16 08/09/2021 II Phân tích hồi quy đơn biến tuyến tính Xác định hệ số hồi quy Hệ số hồi quy 0 1 xác định thơng qua phương pháp bình phương tối thiểu Hàm mục tiêu điều kiện bình phương tối thiểu là: =∑ =∑ =∑ − − − Do đó, = −2 ∑ = −2 ∑ − − − − =0 =0 Giải phương trình cho b0 b1 cho o = ∑ ̅ ∑ ̅ = = − ̅ 17 II Phân tích hồi quy đơn biến tuyến tính Đánh giá phương trình hồi quy Đánh giá phù hợp mơ hình hồi quy tuyến tính đơn biến Hệ số tất định r2 Sai số chuẩn phương trình hồi quy (standard error of the regression) Đồ thị: Biểu đô phần dư: Vẽ tương quan phần dư kết dự báo, giá trị phần dư quanh mức kết dự báo tốt 18 08/09/2021 II Phân tích hồi quy đơn biến tuyến tính Đánh giá phương trình hồi quy Hệ số tất định r2 Mục đích: Cho biết biến giải thích (X) phương trình hồi quy giải thích phần trăm biến thiên (variability) biến phụ phuộc (Y) Tổ ế ê ủ ế ụ ộ ả í 2= Tổ ế ê ủ ế ụ ộ =∑ ∑ ̅ ̅ = ∑ , Ý nghĩa: 19 II Phân tích hồi quy đơn biến tuyến tính Đánh giá phương trình hồi quy Sai số chuẩn phương trình hồi quy SEe Sai số chuẩn phương trình hồi quy (standard error of the regression) độ lệch chuẩn sai số (standard deviation of residuals) xác định bởi: = / ∑ ( ) 20 10 08/09/2021 II Phân tích hồi quy đơn biến tuyến tính Đánh giá phương trình hồi quy Biểu đồ phần dư Phần dư (Residuals) cho thấy điểm liệu thực tế cách điểm liệu dự đốn (sử dụng phương trình) bao xa Residuals X (mm) Residual Plot -2 -4 -6 10 20 30 40 50 60 X (mm) 21 II Phân tích hồi quy đơn biến tuyến tính Khoảng tin cậy mơ hình hồi quy Khoảng tin cậy hệ số đường hồi quy Độ lệch chuẩn (SE) b1 b0 = ∑ / ̅ = +∑ / ̅ ̅ Khoảng tin cậy cho hệ số b1 b0 = − = − ,( ) ,( ) = + = + ,( ) ,( ) 22 11 08/09/2021 II Phân tích hồi quy đơn biến tuyến tính Kiểm định giả thuyết thống kê mơ hình hồi quy Kiểm định giả thuyết thống kê mơ hình hồi quy gồm: (1) Kiểm định mức ý nghĩa phương trình hồi quy: Kiểm tra giả sử mối quan hệ tuyến tính cách đánh giá mức ý nghĩa phương trình hồi quy: (2) Kiểm định giá trị cụ thể hệ số hồi quy 23 II Phân tích hồi quy đơn biến tuyến tính Kiểm định giả thuyết thống kê mơ hình hồi quy (1) Kiểm định mức ý nghĩa phương trình hồi quy - Kiểm định t Giả thuyết: H0 : β1 = H1 : β1 Test thống kê t tính tốn qua phương trình: = /∑ / − ̅ Phân bố Test thống kê Student t, với ν = N - bậc tự Từ chối H0 mức ý nghĩa α > , 24 12 08/09/2021 II Phân tích hồi quy đơn biến tuyến tính Kiểm định giả thuyết thống kê mơ hình hồi quy (2) Kiểm định giá trị cụ thể hệ số hồi quy Giả thuyết H0: = H1 : ≠ Test thống kê t: =( − )/ +∑ ̅ ̅ Phân bố Test thống kê Student t, với ν = N - bậc tự Từ chối H0 mức ý nghĩa α > , 25 II Phân tích hồi quy đơn biến tuyến tính Kiểm định giả thuyết thống kê mơ hình hồi quy (2) Kiểm định giá trị cụ thể hệ số hồi quy Giả thuyết H0: = H1 : ≠ Test thống kê t: =( − )/ /∑ − ̅ Phân bố Test thống kê Student t, với ν = N - bậc tự Từ chối H0 mức ý nghĩa α > , 26 13 08/09/2021 III Phân tích hồi quy đa biến tuyến tính Hồi quy đa biến tuyến tính tổng thể có dạng: Y = 0+ 1X1 + … + pXp + Trong đó, X1, …., Xp ký hiệu cho k biến giải thích, β0, , βp hệ số hồi quy : sai số ngẫu nhiên khơng có khả đo đạc, độc lập với X1, …., Xk , thể phương trình hồi quy khơng thể fit với số liệu cách hoàn hảo Mỗi hệ số hồi quy ngoại trừ hệ số β0, diễn tả thay đổi Y đơn vị thay đổi Xi giá trị Xj khác, i j, số = +∑ Hệ số β0, , βp tìm thơng qua phương pháp bình phương thối thiểu 27 III Phân tích hồi quy đa biến tuyến tính Hồi quy đa biến tuyến tính tổng thể có dạng: = +∑ Phương trình dạng ma trận 28 14 08/09/2021 III Phân tích hồi quy đa biến tuyến tính Để xác định , sử dụng kỹ thuật bình phương tối thiểu: Lấy vi phân phương trình theo đặt chúng = 0, giải hệ phương trình tìm được: 29 III Phân tích hồi quy đa biến tuyến tính Đánh giá hồi quy đa biến r2 cần điều chỉnh để xét đến việc tăng số biến độc lập phương trình hồi quy, gọi ổ ì ươ ố = − Tổ × ế ê ủ ế ụ ộ khơng giống r2, khơng phải số đo độ khớp mơ hình hồi quy mà sử dụng việc lựa chọn biến đưa vào phương trình hồi quy 30 15 08/09/2021 IV Hồi quy phi tuyến (Curvilinear Regression) Mơ hình hồi quy phi tuyến chuyển dạng hồi quy tuyến tính Mơ hình hồi quy phi tuyến chuyển dạng hồi quy tuyến tính 31 Mơ hình hồi quy phi tuyến chuyển dạng hồi quy tuyến tính a Hàm số đảo (Reciprocal Function) = Có thể chuyển mối quan hệ tuyến tính x 1/y, cụ thể = + 32 16 08/09/2021 Mơ hình hồi quy phi tuyến chuyển dạng hồi quy tuyến tính b Hàm mũ (Power Function) = Có thể chuyển mối quan hệ tuyến tính log(x) log(y), cụ thể log( ) = log( ) + log( ) 33 Mô hình hồi quy phi tuyến khơng thể chuyển dạng hồi quy tuyến tính Phương trình hồi quy dạng đa thức = + + + ⋯+ + Bậc đa thức phương trình xác định dựa vào số liệu Hệ số hồi quy phương trình xác định dựa vào phương pháp bình phương tối thiểu hồi quy đa biến tuyến tính 34 17 08/09/2021 III Phân tích hồi quy đa biến tuyến tính Cơng cụ phân tích thống kê o SPSS o MINITAB o SAS o Matlab o R o Python 35 18