Slide hóa đại cương 2 phân tích số liệu

Phân tích số liệu + Chuẩn hóa số liệu – Data standardization + Nội suy liệu bị (interpolation of data gaps) + Loại bỏ xu (tuyến tính) – Trend removal + Bộ lọc số - digital filtering + Hồi qui tuyến tính đơn giản + Phân tích Fourier + Trình diễn số liệu CuuDuongThanCong.com https://fb.com/tailieudientucntt Một số phép tính thống kê đơn giản Đối với tính hiệu ngẫu nhiên rời rạc {xi} i = 1, 2…n n - Tính trung bình (mean, average): - Độ lệch chuẩn: x   xi n i 1 n x  x  SD     n 1 n - Phương sai (variance): CuuDuongThanCong.com x  x     n 1 https://fb.com/tailieudientucntt Khử xu số liệu (trend removal) Đôi số liệu đo đạc tồn nhiễu động: - Xu không xác định - sóng thành phần có tần số thấp với chiều dài sóng > khoảng thời gian đo Tr = Nt  Các nhiễu phải loại bỏ trước xử lý số liệu  Thường kỹ thuật áp dụng cho xử lý số liệu sóng đo vùng ảnh hưởng thủy triều CuuDuongThanCong.com https://fb.com/tailieudientucntt Khử xu số liệu (trend removal) Kỹ thuật loại bỏ xu tuyến tính thường điều chỉnh (số liệu gốc) đa thức bậc thấp sử dụng pp bình phương tối thiểu (least square) Giả sử chuỗi số liệu un điều chỉnh với đa thức bậc K sau K k ~ u   bk (nt ) n  1, 2, N k 0 CuuDuongThanCong.com https://fb.com/tailieudientucntt Khử xu số liệu (trend removal) Điều chỉnh bình phương tối thiểu số liệu đa thức sau  k ~ Q   (un  un )   un   bk (nt )  n 1 n 1  k 0  N N CuuDuongThanCong.com K https://fb.com/tailieudientucntt Khử xu số liệu (trend removal) Lấy đạo hàm toàn phần Q theo bk cho thu K + phương trình dạng K N  b  (nt ) k 1 k k m n 1 N  un (nt ) m m  0,1, K n 1 Với hệ số hồi quy {bk} phải giải VD: K = 0, phương trình thành N N N b0  un (nt )   un (nt )0  b0   un  u N n1 n 1 n 1 CuuDuongThanCong.com https://fb.com/tailieudientucntt Khử xu số liệu (trend removal) VD: K = 1, phương trình thành N N b0  (nt )  b1  (nt ) 1 m m n 1 n 1 N ( N  1) n  n 1 N 2(2 N  1)n 1 u  6n 1 nu n b1  N n N ( N  1) 12n 1 nu  6( N  1)n 1 u n N CuuDuongThanCong.com m  0,1 n 1 N b0    un (nt ) m N ( N  1)(2 N  1) n   n 1 N Chú ý: N N n tN ( N  1)( N  1) https://fb.com/tailieudientucntt Khử xu số liệu (trend removal) Số liệu gốc Sau loại xu Xu tuyến tính ~ u  b0  b1t Bendat and Pierson (2010) CuuDuongThanCong.com https://fb.com/tailieudientucntt Khử xu số liệu (trend removal) Ký đồ sóng trước khử triều Ký đồ sóng sau khử triều 13.12 0.2 0.1 13.04 13 Sea level (m) Sea level (dbar) 13.08 -0.1 12.96 -0.2 12.92 1000 2000 3000 4000 5000 Number CuuDuongThanCong.com 1000 2000 3000 4000 5000 Number https://fb.com/tailieudientucntt Nội suy số liệu (interpolation of data gaps) Dữ liệu thực đo thường có ‘gaps’  Máy đo bị lỗi đo sai  Cách đo đạc khơng đầy đủ  Số liệu có chỗ không tin cậy Các gaps thường nội suy trước đưa vào phân tích số liệu CuuDuongThanCong.com https://fb.com/tailieudientucntt Nội suy tuyến tính: Ví dụ Vd: có hai điểm xa = 1, ya = ; xb = 5, yb = Nội suy số liệu y x = 2, 3, Dùng phương trình fit điểm trên: y2 = 4.5, y3 = 6, y4 = 7.5 10 8 6 y y 10 4 y = 1.5 * x + 1.5 R2 = 2 0 x CuuDuongThanCong.com 10 x https://fb.com/tailieudientucntt 10 Nội suy đa thức (Polynomial interpolation) Khi muốn nội suy số liệu điểm, ta cần dùng đa thức nội suy bậc cao ví dụ đa thức Lagrange Đa thức nội suy Lagrange dùng để - Tìm đa thức nội suy y(x) bậc N, cho - Đi qua tất điểm có (xi, yi), i = 1, 2, N+1 - Đa thức có dạng tổng quát N y ( x )  a0  a1x  a2 x   a N x N   ak x k k 0 CuuDuongThanCong.com https://fb.com/tailieudientucntt Nội suy đa thức (Polynomial interpolation) Dưới dạng tổng quát   N 1 x  xk N 1 y   i  y ( x )     k 1 xi  xk k 1 k  i       Mục tiêu nội suy đa thức Lagrange - Tìm đa thức bậc N cho - Đa thức bắt buộc phải qua N + số liệu có - Nội suy điểm x nằm điểm có CuuDuongThanCong.com https://fb.com/tailieudientucntt Nội suy đa thức (Polynomial interpolation) Đa thức biến đổi thành N 1 y ( x )   y i Qi ( x ) / Qi ( xi ) i 1 Qi ( x )  ( x  x1 )( x  x2 ) ( x  xi 1 )( x  xi 1 ) ( x  xN 1 ) Đối với x, phương trình biểu diễn ( x  x )( x  x ) ( x  x ) y(x)  y  ( x  x )( x  x ) ( x  x ) N 1 1 N 1 ( x  x )( x  x ) ( x  x ) y  ( x  x )( x  x ) ( x  x ) N 1 2 N 1 ( x  x )( x  x ) ( x  x )  y ( x  x )( x  x ) ( x  x ) N N N 1 CuuDuongThanCong.com N 1 N 1 https://fb.com/tailieudientucntt N Nội suy đa thức (Polynomial interpolation) Vd: cho tập hợp điểm (xi, yi), i = 1,…, Có số liệu sau: (0, 2), (1, 2), (2, 0), (3, 0) Nội suy PP Lagrange với đa thức bậc N = Phương trình cuối biểu diễn sau ( x  1)( x  2)( x  3) ( x  0)( x  2)( x  3) y(x)  2 00 (0  1)(0  2)(0  3) (1  0)(1  2)(1  3) y ( x )  x  3x  x  3 CuuDuongThanCong.com https://fb.com/tailieudientucntt Bộ lọc số: digital filters Đôi áp dụng lọc số nhằm: Loại bỏ sóng / dao động có chu kỳ cao Bộ lọc thơng thấp (Lowpass filter) Loại bỏ sóng / dao động có chu kỳ thấp Bộ lọc thơng cao (Highpass filter) Loại bỏ sóng / dao động dải chu kỳ Bộ lọc băng thông [thông dải] (Bandpass filter) CuuDuongThanCong.com https://fb.com/tailieudientucntt Bộ lọc số: digital filters Smoothed 2-order 3-order 4-order 5-order 6-order 7-order 8-order 9-order Số liệu thủy triều thực đo thời gian tháng Difference between unsmoothed and smoothed WL Max Min Mean Standard devitation Với số liệu lọc lọc Buterworth thông thấp Unsmoothed 0.5 0.4 Differences (m) Water level (m) Gồm dao động tần số cao 0.3 0.2 sóng gió, sóng tàu… 0.1 0.1 Có thể dùng lọc thơng thấp để -0.2 -0.3 loại (a) 11 13 15 22 Time (hour, since 04/06/2009 21:00) bỏ nhiễu -0.4 0.5 Cũng dùng lọc(b) băng thông filter Butterworth để Order loạiofthêm cácband-pass dao dộng dài thời gian đo CuuDuongThanCong.com https://fb.com/tailieudientucntt tầng số Hồi qui tuyến tính đơn giản Tài liệu Đọc Thêm - Nguyễn Văn Tuấn, 2015 Phân tích liệu với R NXB Tổng hợp TP Hồ Chí Minh CuuDuongThanCong.com https://fb.com/tailieudientucntt Hồi qui tuyến tính đơn giản Ví dụ: Ta có chuổi số liệu để hiệu chỉnh OBS Tìm mối tương quan tuyến tính số liệu mẫu nước số liệu thơ máy đo độ đục No Water sample OBSdata (mg/l) (FTU) 70 166.2 113.5 171.3 156.5 250.3 50.7 132.3 87 168.3 306 446 176.5 248.5 349 555.2 179 286 10 244 309.1 11 49.3 123.1 12 29.8 63.6 13 126 187.5 14 44 102.8 15 60.7 124.2 16 215 329.2 17 27.3 75 18 159 201.6 19 357.5 470.3 20 148 252.3 No Water sample OBSdata (mg/l) (FTU) 21 82.5 130.9 22 83.7 132.2 23 143 217.4 24 148.5 251.8 25 51.3 83 26 41.8 79.6 27 22.2 61.9 28 73 140.2 29 92.3 184.4 30 38.7 100.2 31 55.8 116.7 32 141 222 33 35 70.1 34 117 216.1 35 293 480.3 36 65.7 122.8 37 75 120.2 38 105.5 178.2 39 43 99.7 40 25 49.7 Kỹ thuật chuẩn máy đo độ đục số liệu độ đục thu thập nơi khảo sát (các mẫu nước) CuuDuongThanCong.com https://fb.com/tailieudientucntt Hồi qui tuyến tính đơn giản Mơ hình hồi qui tuyến tính: y     x   ; i  1, 2, n i i Phương trình mơ tả: i - : chặn (intercept) - : độ dốc  Số liệu máy đo độ đục có liên quan với số liệu mẫu nước  , : hệ số hồi qui   ~ luật phân phối chuẩn,  Liên quan thông qua số  hệ số  sai với mean = số  CuuDuongThanCong.com https://fb.com/tailieudientucntt Hồi qui tuyến tính đơn giản Ước lượng phương trình tuyến tính yˆ  ˆ  ˆx i i ước số   tính n ˆ   ( x  x )( y  y ) i i 1 i n (x  x ) i 1   ( yˆ  yˆ ) R    (y  y )    y  yˆ n 2 i i 1 n i i i ˆ  y  ˆ x i i i i Tổng bình phương phần dư (error sum of squared or residual sum of squared) n n SSE   ( yˆ i  y i )    i2 i 1 CuuDuongThanCong.com i 1 https://fb.com/tailieudientucntt Hồi qui tuyến tính đơn giản Water sample (mg/l) 400 350 300 250 200 150 100 50 0 400 600 OBS data (FTU) y = 0.7176x - 21.462 R = 0.9642 400 Water sample (mg/l) 200 350 300 250 200 150 No Water sample OBSdata (mg/l) (FTU) 70 166.2 113.5 171.3 156.5 250.3 50.7 132.3 87 168.3 306 446 176.5 248.5 349 555.2 179 286 10 244 309.1 11 49.3 123.1 12 29.8 63.6 13 126 187.5 14 44 102.8 15 60.7 124.2 16 215 329.2 17 27.3 75 18 159 201.6 19 357.5 470.3 20 148 252.3 No Water sample OBSdata (mg/l) (FTU) 21 82.5 130.9 22 83.7 132.2 23 143 217.4 24 148.5 251.8 25 51.3 83 26 41.8 79.6 27 22.2 61.9 28 73 140.2 29 92.3 184.4 30 38.7 100.2 31 55.8 116.7 32 141 222 33 35 70.1 34 117 216.1 35 293 480.3 36 65.7 122.8 37 75 120.2 38 105.5 178.2 39 43 99.7 40 25 49.7 yˆ i  ˆ  ˆxi 100 50 0 200 400 OBS data (FTU) CuuDuongThanCong.com 600  0.72 * X  21.5 https://fb.com/tailieudientucntt Hồi qui tuyến tính đơn giản Ví dụ: tốc độ mực nước biển dâng toàn cầu từ ảnh vệ tinh (nguồn University of Colorado) CuuDuongThanCong.com https://fb.com/tailieudientucntt Hồi qui tuyến tính đơn giản: Vấn đề chuẩn hóa thiết bị đo y   x Trong phương tương quan      Hệ số  nên chọn sao? 200 Y = 1.0 * X + 3.4 160 120 80 40 Water sample (mg/l) Water sample (mg/l) 200 Y = 1.07 * X 160 120 80 40 0 40 80 120 160 200 OBS data (NTU) CuuDuongThanCong.com 40 80 120 160 200 OBS data (NTU) https://fb.com/tailieudientucntt Hồi qui tuyến tính đơn giản: Vấn đề chuẩn hóa thiết bị đo Trong phương tương quan Hệ số  nên chọn sao? y   x      42 Y = 0.83 * X + 3.33 R2 = 0.99 C1 (mS) 40 38 36 34 38 40 CuuDuongThanCong.com 42 44 C2 (mS) 46 https://fb.com/tailieudientucntt ... (FTU) 21 82. 5 130.9 22 83.7 1 32. 2 23 143 21 7.4 24 148.5 25 1.8 25 51.3 83 26 41.8 79.6 27 22 .2 61.9 28 73 140 .2 29 92. 3 184.4 30 38.7 100 .2 31 55.8 116.7 32 141 22 2 33 35 70.1 34 117 21 6.1 35 29 3... 25 2.3 No Water sample OBSdata (mg/l) (FTU) 21 82. 5 130.9 22 83.7 1 32. 2 23 143 21 7.4 24 148.5 25 1.8 25 51.3 83 26 41.8 79.6 27 22 .2 61.9 28 73 140 .2 29 92. 3 184.4 30 38.7 100 .2 31 55.8 116.7 32. .. 1 32. 3 87 168.3 306 446 176.5 24 8.5 349 555 .2 179 28 6 10 24 4 309.1 11 49.3 123 .1 12 29.8 63.6 13 126 187.5 14 44 1 02. 8 15 60.7 124 .2 16 21 5 329 .2 17 27 .3 75 18 159 20 1.6 19 357.5 470.3 20 148 25 2.3