Outlier detection in gnss position time series

Untitled TAÏP CHÍ PHAÙT TRIEÅN KH&CN, TAÄP 19, SOÁ K4 2016 Trang 43 Phát hiện trị dị thường trong chuỗi trị đo vị trí điểm GNSS liên tục  Trần Đình Trọng 1  Đào Duy Toàn 1  Vũ Sơn Tùng 2  Lương Ng[.]

TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 19, SỐ K4- 2016 Phát trị dị thường chuỗi trị đo vị trí điểm GNSS liên tục  Trần Đình Trọng  Đào Duy Toàn  Vũ Sơn Tùng  Lương Ngọc Dũng  Vũ Đình Chiều  Bùi Ngọc Sơn  Hà Thị Hằng 1 Trường Đại học Xây dựng, Hà Nội, Việt Nam Xí nghiệp Tài ngun Mơi trường - Mơi trường biển, Công ty Tài nguyên - Môi trường (Bản thảo nhận ngày 28 tháng 06 năm 2016, hoàn chỉnh sửa chữa ngày 10 tháng 08 năm 2016) TÓM TẮT Số liệu tọa độ điểm lưới GNSS người xử lý Do vậy, nhiều thời gian sử dụng để xác định tham số hoạt nhầm lẫn, trạm đo có động kiến tạo vận tốc chuyển dịch, chuyển liệu lâu năm Bài báo giới thiệu số thuật dịch theo mùa, Việc xử lý chuỗi toán, phương pháp loại bỏ trị dị thường đánh tọa độ điểm lưới GNSS loại bỏ trị dị giá ưu - nhược điểm phương pháp thường chuỗi Thông thường, dị thường xử lý chuỗi trị đo vị trí GNSS liên tục phát dựa kinh nghiệm trực quan Từ khóa: mạng lưới GNSS liên tục, dị thường, chuỗi vị trí điểm GNSS, lọc trị dị thường GIỚI THIỆU Hệ thống định vị vệ tinh toàn cầu (GNSS) sử dụng phổ biến để xác định chuyển dịch bề mặt đất, độ xác đạt cỡ ±1mm [1] Xác định dịch chuyển theo thời gian bề mặt đất thơng qua phân tích chuỗi tọa độ trạm GNSS liên tục cách tiếp cận hiệu Các tham số vật lý hoạt động kiến tạo xác định dựa chuỗi vị trí điểm GNSS liên tục thời gian dài Các mạng lưới GNSS liên tục xây dựng rộng rãi giới, đặc biệt khu vực có nhiều hoạt động địa kiến tạo Nhật (mạng lưới GEONET), Đài Loan (lưới quốc gia Đài Loan), Châu Âu (mạng lưới RGB), Mỹ (PBO),… Các mạng lưới có đặc điểm ngày nhiều liệu lưu trữ phạm vi lưới chêm dày, mở rộng Thực tế, xử lý chuỗi vị trí điểm GNSS, nhận thấy, tất chuỗi tồn dị thường (outlier), chúng có giá trị lớn, khơng theo quy luật Chúng xuất theo dạng đơn lẻ, xuất theo Trang 43 SCIENCE & TECHNOLOGY DEVELOPMENT, Vol 19, No.K4- 2016 dạng nhóm,… Các dị thường nhiều nguyên nhân, phổ biến tín hiệu xấu, thiếu liệu; phần mềm bị lỗi tính tốn, xử lý; thời tiết (chủ yếu băng tuyết đóng an-ten);… Chúng ảnh hưởng lớn đến kết tính tốn, vận tốc tham số khác từ chuỗi Việc phát loại bỏ chúng điều cần thiết xử lý chuỗi GEONET - Nhật Bản) Đối với mạng lưới này, phương pháp thống kê tốn học tỏ khơng hiệu quả; đó, cần sử dụng phương pháp khác hiệu Dưới đây, giới thiệu số phương pháp ứng dụng thực nghiệm để kiểm tra khả phát trị dị thường chuỗi tọa độ GNSS, cụ thể với vài điểm mạng lưới RENAG - Pháp Thông thường, dị thường phát dựa kinh nghiệm trực quan người xử lý Do vậy, nhiều thời gian nhầm lẫn dẫn đến liệu không loại bỏ dị thường, đặc biệt trạm đo GNSS có liệu lâu năm 2.1 Phương pháp hình học Ở Việt Nam, cơng tác xây dựng mạng lưới địa động triển khai tỉnh miền núi phía Bắc, miền Trung - Tây Nguyên miền Nam Mạng lưới xây dựng bao gồm điểm trạm CORS có thu liệu liên tục nhiều năm, giống mạng lưới địa động khác giới Do đó, báo có triển vọng việc giúp ích cho cơng tác xử lý số liệu địa động Việt Nam 2.1.1 Phương pháp thứ Phương pháp dựa biến đổi độ lệch chuẩn chuỗi nhỏ (cửa sổ) chuỗi lớn vị trí Hiểu đơn giản là, chuỗi nhỏ xuất dị thường, độ lệch chuẩn dị thường (hình 1) Từ xác định loại bỏ tọa độ dị thường tương ứng với dị thường độ lệch chuẩn CƠ SỞ LÝ THUYẾT Thông thường, để phát giá trị dị thường chuỗi liệu đó, phương pháp kinh điển thường sử dụng phương pháp kiểm tra thống kê, kể tới F-test, T-test, Các phương pháp dựa quy luật tồn sai số thô dãy kết đo sử dụng luật phân phối để phát chúng Do đó, phương pháp thống kê có nhược điểm phát dị thường chúng chiếm số lượng tổng số trị đo chuỗi Đối với chuỗi tọa độ GNSS liên tục, nhận thấy, số lượng dị thường chiếm tỷ lệ lớn, đặc biệt số trạm đo có điều kiện tự nhiên khắc nghiệt vùng có băng tuyết (các điểm dãy Alps - lưới RENAG), vùng có lớp thực phủ biến đổi lớn theo mùa năm (lưới Trang 44 Hình Mối liên hệ trị dị thường độ lệch chuẩn dị thường Giả sử, có chuỗi tọa độ liên tục {x1, x2, …, xn} Đầu tiên, chia dãy tọa độ vị trí điểm thành nhiều cửa sổ s vị trí kề Cụ thể, cửa sổ thứ tọa độ thứ tới tọa độ thứ s, cửa sổ thứ hai tọa độ thứ hai tới tọa độ thứ s+1, kiểu gọi cửa sổ trượt TAÏP CHÍ PHÁT TRIỂN KH&CN, TẬP 19, SỐ K4- 2016 Giá trị RMS (root mean square - độ lệch chuẩn) cửa sổ thứ i xác định sau: rms i         n  j 1  ( x j  xi )2    s 1   i (1) Trong đó: xj trị đo thứ j; i số thứ tự x cửa sổ; i giá trị trung bình cửa sổ thứ i; s kích thước cửa sổ Kích thước cửa sổ s lựa chọn tùy ý, điều phụ thuộc vào kinh nghiệm người sử dụng, thường chọn s = [3] Nếu cửa sổ có dị thường, giá trị rmsi cửa sổ dị thường việc phát dị thường hoàn toàn thực (hình 1) Giá trị rms coi dị thường với xác xuất 96% có giá trị lớn lần số trung vị (median) chuỗi rms đó: rmsi > 3.median(rms) (2) Nhận xét: Việc lập trình tính tốn tự động hồn tồn khả thi Tuy nhiên, có nhiều trị dị thường tồn kề (nhiều hai) việc xử lý trở nên phức tạp 2.1.2 Phương pháp thứ hai Phương pháp dựa chênh lệch trị dị thường so với giá trị trung vị chuỗi nhỏ (cửa sổ) Nếu cửa sổ tồn dị thường chênh lệch dị thường với trị trung vị cửa sổ lớn Từ xác định loại bỏ dị thường Tương tự phương pháp thứ nhất, chia chuỗi liệu tọa độ thành nhiều cửa sổ s vị trí liền (thường chọn s ≥ 5), tăng giảm cho hợp lý Tiến hành tìm kiếm cửa sổ để xác định dị thường Số lượng dị thường nhiều cửa sổ không vượt giới hạn xác định [4] xác định theo công thức: outliermax ≤ (s − 1)/2 (a) (3) (b) Hình a) tọa độ chuỗi cửa sổ thứ i; b) thay đổi hai giá trị pj pj+1 cửa sổ i (a) (b) Hình a) tọa độ chuỗi cửa sổ thứ i, b) thay đổi hai giá trị pj pj+1 cửa sổ i Trang 45 SCIENCE & TECHNOLOGY DEVELOPMENT, Vol 19, No.K4- 2016 Trong đó: s kích cỡ cửa sổ trượt, s = số outliermax khơng vượt q 2, s = số outliermax khơng vượt q Để xác định loại bỏ dị thường, thường sử dụng giá trị giới hạn 3σ; cách tính tốn thực theo ngun lý sau [4]:  x ; |  ( s )  x j | 3 xj   j   ; |  ( s )  x j | 3 (4) Trong đó: xj trị đo thứ j; s kích thước cửa sổ; ρ(s) trung vị cửa sổ; σ độ lệch chuẩn; (−) thể giá trị dị thường bị loại bỏ Nhận xét: việc xác định trị dị thường loại bỏ dễ dàng thực theo hướng tự động hóa 2.2 Phương pháp hồi quy Phương pháp dựa sở sử dụng hàm hồi quy mô tả chuỗi liệu xác định dị thường không tn theo quy luật hàm mơ tả, từ loại bỏ chúng khỏi chuỗi liệu Đối với chuỗi số liệu tọa độ liên tục {x1, x2, , xn} Giả sử xi giá trị rời rạc hàm hồi quy đơn nguyên có dạng [2]: Yt = F(xt, θ) + εt (5) Trong đó: Yt đối tượng dự đoán; εt sai số dự đoán; f(xt, θ) hàm biểu diễn biến đổi Yt theo biến xt thời điểm t với tham số mơ hình θ Khi lượng số liệu nhiều số tham số (k) hàm hồi quy, ta giải phương hệ phương trình theo nguyên lý số bình phương nhỏ tìm tham số gần hàm F Từ đó, xác định độ lệch phân bố vị trí rời rạc xi giá trị xác suất hàm hồi quy yi thời điểm i vi Giá trị xác định sau: vi = |yi - xi|; i = (1, 2, 3, …, n) (6) Nếu giá trị vi > t.m0 giá trị xi thời điểm dị thường Trong đó: Trang 46 m0   vv nk t giá trị xác suất, thường lấy t = ÷ Nhận xét: Việc ứng dụng hàm hồi quy để loại bỏ dị thường phục thuộc vào lựa chọn dạng hàm hồi quy Các mảng địa kiến tạo thường có chuyển động tịnh tiến, nên sử dụng hàm tuyến tính phù hợp 2.3 Phương pháp lọc Kalman Phương pháp dựa chêch lệch trị ước lượng trị thực Nếu giá trị chênh lệch vượt giới hạn xác định trị thực xem dị thường bị loại bỏ khỏi chuỗi số liệu tọa độ liên tục Dưới đây, tác giả trình bày gắn gọn thuật toán lọc Kalman dạng đa thức Mơ hình tốn học lọc Kalman gồm phương trình trạng thái phương trình trị đo [1]: xk = Фk xk-1 + Gk uk-1 + wk-1 (7) zk = Hk xk + vk (8) Trong đó: xk vector trạng thái thực hệ thống thời điểm tk; Фk ma trận thay đổi trạng thái thời gian từ tk-1 tới tk; Gk ma trận hệ số điều khiển ngoại lực; uk vector kiểm soát; wk nhiễu động thái thời điểm tk-1; zk vector trị đo hệ thống thời điểm tk; Hk ma trận trị đo thời điểm tk; vk nhiễu trị đo thời điểm tk; Nếu wk vk thỏa mãn đặc tính thống kê: E(wk) = 0, E(vk) = Cov(wk ,vkj) = Qk δkj , Cov(vk ,vj) = Rk δkj, Cov(wk ,vj) = Trong đó: Qk ma trận phương sai nhiễu động thái; Rk ma trận phương sai nhiễu trị đo; δkj hàm số Kronecker, dẫn tới công thức suy rộng dần lọc Kalman: 1 , k  j  δkj =  , k  j Dự báo trạng thái: TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 19, SỐ K4- 2016 xˆ k Pk    G  w (9) Dự báo ma trận hiệp phương sai trạng thái: T  Q k / k 1   k P k 1 k (10) Từ (11) ta có phương trình Kalman dạng đa thức bậc 0: xˆ k  xˆ k / k   K k ( z k  xˆ k / k  ) (16) Ước lượng trạng thái: Tại phương trình ước lượng trạng thái (11), trước cập nhật trị đo, nên tính tốn chênh lệch trị ước lượng trị thực Δx  x  z k  xˆ k / k 1  t  zk dị Nếu thường, loại bỏ zk khỏi chuỗi coi , tiếp tục trình lọc với trị đo Trong đó, σ2 = Rk; thường lấy t = ÷ 3 THỰC NGHIỆM 3.1 Giới thiệu / k 1 xˆ k  xˆ k / k 1 k xˆ k 1 k u k  K k ( zk  H k xˆ k k / k 1 ) (11) Ước lượng ma trận hiệp phương sai trạng thái: Pk  ( I  K k H k ) Pk / k  (12) Trong đó, Kk ma trận hiệu ích lọc: K k  Pk / k 1 H Điều T k ( H k Pk / k  H kiện trạng T k  R k )1 thái ban xˆ  E ( x )   , Pˆ0  Var ( x ) (13) đầu là: (14) Từ (11) ta thấy, sau tiến hành đo hệ thống zk thời điểm tk, dùng trị đo tiến hành tu chỉnh trị dự báo để ước lượng hệ thống thời điểm trạng thái (trị lọc) tk, lặp lại vậy, suy rộng dần dự báo lọc Điều quan trọng bậc lọc phương trình (Фk) đưa vào phải phù hợp với thay đổi thực tế đối tượng Trong báo này, mục đích tác giả sử dụng lọc Kalman để tìm trị dị thường, sử dụng phương trình bậc đa thức bậc Nếu đa thức trị đo số x = a0, , khơng gian trạng thái mà đạo hàm nó mơ tả phương trình vi phân sau: x  x (15) a) Thực nghiệm cho hai trạm CORS mạng lưới RENAG – Pháp, đó, điểm BANN có liệu từ đầu năm 2006 đến hết năm 2008, điểm MEDI có liệu từ đầu 2002 tới hết năm 2003 Tọa độ điểm nàu tính hệ ITRF tính chuyển hệ tọa độ địa diện chân trời (North, East, Up) Ghi ký hiệu hình kết xử lý số liệu: Chấm màu đỏ dị thường, chấm màu xanh tọa độ tin cậy chuỗi Chuỗi tọa độ điểm biểu diễn hình 4a, b theo thành phần n, e, u Đối với điểm BANN, số lượng dị thường không nhiều đơn giản (hình 4a) Nguyên nhân lỗi thiếu liệu thời điểm, dẫn tới việc tính tốn sai tọa độ b) Hình Dị thường chuỗi tọa độ điểm a) BANN b) MEDI Trang 47 SCIENCE & TECHNOLOGY DEVELOPMENT, Vol 19, No.K4- 2016 Trong chuỗi liệu điểm MEDI, có nhiều giá trị nghi ngờ dị thường (hình 6b) dạng nhóm trải rộng chuỗi (vùng khoanh tròn đỏ) Nguyên nhân gần điểm MEDI có cao, làm cho tín hiệu bị ảnh hưởng xấu vài thời điểm năm (khi lùm cao, không chặt bỏ) 3.2 Kết tính tốn 3.2.1 Phương pháp hình học thứ thứ hai Các dị thường chuỗi liệu điểm BANN phát tự động loại bỏ (chấm màu đỏ) phương pháp, hình 5a, 6a Cịn chuỗi điểm MEDI, phương pháp thứ loại bỏ số dị thường (chấm màu đỏ), hình 5b; phương pháp thứ hai loại bỏ gần hết sau ba lần tính lặp (chấm màu đỏ); nhiên, có nhiều giá trị tin cậy chuỗi bị loại bỏ (hình 6b) a) 3.2.2 Phương pháp hồi quy tuyến tính Các dị thường chuỗi liệu điểm BANN phát tự động loại bỏ, liệu nằm vùng hai đường biên màu xanh giá trị đáng tin cậy, hình 7a Đa số dị thường chuỗi liệu điểm MEDI loại bỏ (vùng chấm đỏ khoanh trịn), hình 7b; nhiên, có số giá trị nghi dị thường tồn phân bố tản mát chuỗi 3.2.4 Phương pháp lọc Kalman bậc Các dị thường chuỗi liệu điểm BANN phát tự động loại bỏ, hình 6a Đường màu đỏ (hình 8a) đường ước lượng thực lọc Kalman đa thức bậc Đa số dị thường chuỗi liệu điểm MEDI phát loại bỏ (chấm màu đỏ khoanh trịn), hình 6b Tuy nhiên, thấy có số giá trị tin cậy bị loại khỏi chuỗi sau lọc (hình 8b) b) Hình Loại bỏ dị thường phương pháp hình học thứ điểm a) BANN b) MEDI a) b) Hình a) Loại bỏ dị thường phương pháp hình học thứ hai điểm BANN, b) MEDI Trang 48 TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 19, SỐ K4- 2016 a) b) Hình Loại bỏ dị thường phương pháp hồi quy điểm a) BANN b) MEDI a) b) Hình Loại bỏ dị thường lọc Kalman đa thức bậc điểm a) BANN b) MEDI Nhận xét chung: Với dãy số liệu điểm BANN, có vài dị thường, phương pháp tự động tìm tách dị thường khỏi chuỗi (các hình a) Với dãy số liệu điểm MEDI, phương pháp khơng phát loại bỏ hồn tồn dị thường (các hình b) Tuy nhiên, sử dụng phép lọc lặp nhiều lần kết thu khả quan (hình 8b) KẾT LUẬN Kết thực nghiệm cho thấy phương pháp hình học nên áp dụng để tìm loại dị thường độc lập nhóm dị thường đơn giản Phương pháp hồi quy loại bỏ hầu hết dị thường xuất chuỗi Phương pháp Kalman cho thấy hiệu định Song, lựa chọn bậc lọc trị khởi đầu cần cẩn thận, thấy lọc khơng cần điều chỉnh cho phù hợp Đối với tập liệu khảo sát báo, phương pháp lọc Kalman hiệu nhất, sau tới phương pháp hồi quy, cuối phương pháp hình học Rõ ràng khơng có phương pháp tối ưu, tùy trường hợp cụ thể mà áp dụng phương pháp phù hợp Với chuỗi liệu có dị thường phức tạp (như điểm MEDI), áp dụng phương pháp loại bỏ tất dị thường Sau lọc tự động, nên áp dụng cách thức kiểm tra thủ công dựa kinh nghiệm chuyên gia Trang 49 SCIENCE & TECHNOLOGY DEVELOPMENT, Vol 19, No.K4- 2016 Outlier detection in GNSS position time series  Tran Dinh Trong  Dao Duy Toan  Vu So Tung  Luong Ngoc Dung  Vu Dinh Chieu  Bui Ngoc Son  Ha Thi Hang 1 National University of Civil Engineering, Hanoi, Vietnam Enterprise of Natural Resource and Environment - Marine Environment, Hanoi, Vietnam ABSTRACT The continuous GNSS stations are used to determine the displacement velocities, seasonal variation, amplitude of tectonic activities,… To accurately determine these factors, the first is to remove outliers in GNSS position time series In general, filtering approaches are subjectively selected based on the experience and visual interpretation of experts Therefore, the process may lead to a waste of time or confusion, especially for stations with long-term continuously recorded data The purpose of paper is to introduce the applicability of several algorithms and methods of filtering outliers in GNSS position time series Keywords: Permanent GNSS networks, outliers, GNSS position time series, filtering outliers TÀI LIỆU THAM KHẢO [1] Hill, EM., Davis JL., et, Characterization of sitespecific GPS eror using a short baseline network of braced monuments at Yucca Mountain, southern Nevada, J geophys Res, 114 (B1), 1402 (2009) [2] Đào Duy Toàn, Nghiên cứu phương pháp xử lý số liệu quan trắc chuyển dịch cơng trình đo cơng nghệ đại, Luận Trang 50 văn Thạc sỹ, Thư viện Đại học Mỏ - Địa chất (2014) [3] Tran, D.T., Analyse Rapide Et Robust Des Solutions GPS Pour La Technique, PhD Thesis, National Library, (2013) [4] Stig Olsen, On Automatic Data Processing and Well-Test Analysis in Read-time Reservoir Management Applications, PhD Thesis, The University of Bergen, (2011)  ... algorithms and methods of filtering outliers in GNSS position time series Keywords: Permanent GNSS networks, outliers, GNSS position time series, filtering outliers TÀI LIỆU THAM KHẢO [1] Hill, EM.,... thức kiểm tra thủ công dựa kinh nghiệm chuyên gia Trang 49 SCIENCE & TECHNOLOGY DEVELOPMENT, Vol 19, No.K4- 2016 Outlier detection in GNSS position time series  Tran Dinh Trong  Dao Duy Toan ... factors, the first is to remove outliers in GNSS position time series In general, filtering approaches are subjectively selected based on the experience and visual interpretation of experts Therefore,