Luận văn thạc sĩ ngành công nghệ thông tin nghiên cứu kỹ thuật phân loại dữ liệu LiDAR

i BẢN CAM ĐOAN Tôi xin cam đoan luận văn cơng trình nghiên cứu riêng cá nhân tơi, kết luận văn hoàn toàn kết tự thân tơi tìm hiểu, nghiên cứu hướng dẫn giáo viên hướng dẫn PGS.TS Đặng Văn Đức Tơi hồn tồn chịu trách nhiệm tính pháp lý trình nghiên cứu khoa học luận văn Hà Nội, ngày 10 tháng 11 năm 2019 Học viên Nguyễn Thị Thanh Huyền ii LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời biết ơn sâu sắc đến PGS TS Đặng Văn Đức người tận tình hướng dẫn, bảo, giúp đỡ em suốt trình làm luận văn Em xin gửi lời cảm ơn đến thầy cô giáo trường Đại học Công nghệ thông tin - Đại học Quốc Gia Hà Nội truyền đạt kiến thức giúp đỡ em suốt trình học Học viên xin gửi lời cảm ơn tới Ban giám hiệu trường Cao đẳng nghề Hòa Bình tạo điều kiện thuận lợi cho học viên tham gia khóa học q trình hồn thành luận văn Và học viên xin gửi lời cảm ơn tới đồng nghiệp, gia đình bạn bè người ủng hộ, động viên tạo điều kiện giúp đỡ để học viên có kết ngày hơm iii MỤC LỤC MỞ ĐẦU 1 Đặt vấn đề Những nội dung nghiên cứu CHƯƠNG 1: GIỚI THIỆU VỀ CÔNG NGHỆ LIDAR VÀ CÁC ỨNG DỤNG 1.1 Tổng quan công nghệ LiDAR 1.1.1 Cấu trúc hệ thống LiDAR 1.1.2 Đặc điểm công nghệ LiDAR 1.2 Khả ứng dụng LiDAR 1.3 Bài toán phân loại liệu LiDAR 13 1.3.2 Cơ tệp tin LAS 14 1.3.3 Phân loại đám mây điểm LiDAR tập tin LAS 16 1.4 Kết chương: 18 CHƯƠNG 2: 19 MỘT SỐ KỸ THUẬT PHÂN LOẠI DỮ LIỆU LIDAR 19 2.1 Nghiên cứu liên quan đến sử dụng thuật toán MCC (Multiscale Curvature Classification) K-Means phân loại liệu LiDAR 19 2.1.1 Thuật toán MCC (Multiscale Curvature Classification) 19 2.1.2 Thuật toán K-Means 21 2.2 Đánh giá kết phân loại LiDAR 23 2.2.1 Thuật toán MCC 23 2.2.2 Thuật toán K-Means 26 iv 2.3 Kết chương 30 CHƯƠNG 3: 32 XÂY DỰNG ỨNG DỤNG THỰC NGHIỆM 32 3.1 Giới thiệu toán thử nghiệm 32 3.2 Lựa chọn thuật toán phân loại liệu thử nghiệm 32 3.3 Môi trường công cụ sử dụng để xây dựng chương trình 34 3.4 Phát triển chương trình 37 3.5 Đánh giá kết thu 39 3.5.1 Phân loại với MCC 39 3.5.2 Phân loại đám mây điểm với K-means 41 3.5.3 Đánh giá 42 KẾT LUẬN 46 LIỆU THAM KHẢO 47 v DANH MỤC CHỮ VIẾT TẮT LiDAR: Light Detection And Ranging Laser: Light amplification by stimulated emission of radiation GNSS: Global Navigation Sattelite System ASPRS: American Society for Photogrammetry and Remote Sensing INS: Inertial Navigation System DEM: Digital Elevation Model DTM: Digital Terrain Model DSM: Digital Surface Model MCC: Multiscale Curvature Classification BCAL: Boise Center Aerospace Laboratory LiDAR vi DANH MỤC BẢNG BIỂU Bảng Thuộc tính liệu LiDAR 13 Bảng 3.1 Thông số file las 33 Bảng 3.2: Số lượng điểm cụm 44 Bảng 3.3:Các độ đo đánh giá độ xác phân loại 44 vii DANH MỤC HÌNH ẢNH Hình 1: Tổng quan hệ thống LiDAR Hình 2: Ứng dụng LiDAR khảo sát địa hình lập đồ Hình 3: Ứng dụng LiDAR lâm nghiệp Hình 4: Ứng dụng LiDAR lập đồ ngập úng Hình 5: Ứng dụng LiDAR cho đới duyên hải Hình 6:Ứng dụng LiDAR lập đồ địa hình ven biển 10 Hình 7: Ứng dụng LiDAR quan trắc dự báo trượt lở 10 Hình 8: Ứng dụng LiDAR lập đồ tuyến truyền tải 11 Hình 9: Ứng dụng LiDAR lập đồ tuyến truyền tải 11 Hình 10: Ứng dụng LiDAR quy hoạch quản lý mạng điện thoại di động 12 Hình 11: Ứng dụng LiDAR lập mơ hình thị mơ thị 12 Hình 12: Hiển thị liệu tệp tin LAS 15 Hình 13: Ví dụ đám mây điểm LiDAR hiển thị dạng 3D 17 Hình 14: Quy trình phân loại đám mây điểm LiDAR 18 Hình 1: Mơ tả thuật toán K-Means 21 Hình 2: Ví dụ phân loại với K-Means 22 Hình 3: Sơ đồ khối giải thuật MCC phân lớp liệu LiDAR 24 Hình 4: Khu vực thực nghiệm nghiên cứu 25 Hình 5: Tỉ lệ điểm thuộc hai lớp sau phân loại 25 Hình 6: Pseudo code thuật toán K-means phân loại đám mây điểm LiDAR 27 Hình 7: Sơ đồ phân loại đám mây điểm LiDAR với K-means 27 Hình 8: Kết phân loại với k=5 28 viii Hình 9: Kết phân loại với k=7 29 Hình 1: Đám mây điểm khu vực khảo sát 33 Hình 2: Ảnh vệ tinh khu vực đo vẽ 34 Hình 3: Giao diện GUI lastool 36 Hình 4: Cơng cụ LASTool ARCGIS 36 Hình 5: Giao diện chương trình 37 Hình 6: Đám mây điểm LiDAR hiển thị dạng 3D 37 Hình 7: Phân loại với MCC 38 Hình 8: Các điểm gán nhãn sau phân loại với MCC 38 Hình Kết phân loại với K-means 39 Hình 10: Tham số lựa chọn giải thuật MCC 40 Hình 11: Các điểm gán nhãn sau phân loại với MCC 41 Hình 12: Kết phân loại với K-means 42 Hình 13: Tỉ lệ phân loại miền tỉ lệ với MCC 43 Hình 14: Lịch sử lặp K-means 43 Hình 15: Mơ hình DEM khu vực 45 Hình 16: Mơ hình DSM 45 MỞ ĐẦU Đặt vấn đề Từ năm đầu thập niên 60 kỷ 20, đời khuếch đại ánh sáng phát xạ kích thích – laser mở nhiều ứng dụng mới, phải kể đến kỹ thuật khảo sát từ xa sử dụng nguồn kích thích tia laser gọi LiDAR (Light Detection And Ranging) Hệ thống LiDAR hệ thống tích hợp từ thành phần chính: Hệ thống thiết bị Laser (Light amplification by stimulated emission of radiation), hệ thống định vị vệ tinh GNSS (Global Navigation Sattelite System) hệ thống đạo hàng quán tính INS (Inertial Navigation System) Tổ hợp thiết bị mối quan hệ hữu cơ, tác động chi phối lẫn nhau, tạo nên hệ thống LiDAR Bản chất công nghệ LiDAR kỹ thuật đo dài laser, định vị không gian GPS/INS nhận biết cường độ phản xạ ánh sáng Xung laser phát hướng xuống mặt đất độ cao Sóng laser phản hồi từ mặt đất hay từ bề mặt đối tượng cây, đường nhà , với xung đo thời gian tín hiệu, tính khoảng cách từ nguồn phát laser tới đối tượng Ở thời điểm phát xung laser, hệ thống định vị vệ tinh GNSS xác định vị trí khơng gian điểm phát, hệ thống đạo hàng quán tính xác định góc định hướng khơng gian tia quét Với giá trị đo tổng hợp tính vị trí (tọa độ khơng gian) điểm bề mặt đất Công nghệ LiDAR công nghệ tiên tiến hàng đầu hệ thống công nghệ thu thập liệu không gian giới Với khả trực tiếp thu nhận đám mây điểm 3D với độ xác cao, LiDAR áp dụng rộng rãi việc thành lập mơ hình số độ cao (Digital Elevation Model - DEM) bề mặt địa hình, dựa vào theo dõi dòng chảy nước hay giám sát di chuyển khối, thành lập đồ viễn thám Công nghệ LiDAR phát triển ứng dụng thiết bị laser, định vị vệ tinh đo quán tính để thu thập liệu địa lý bề mặt trái đất So sánh với phương pháp thu nhận xử lý trắc địa ảnh truyền thống, xử lý liệu LiDAR dễ dàng hơn, thành lập xác mơ hình DEM Hơn nữa, xung laser xuyên qua địa hình, địa vật lá, mặt đất tán Để thành lập DEM từ tập hợp điểm này, ta phải phân biệt điểm mặt đất điểm khơng mặt đất Q trình gọi phân loại liệu LiDAR Việc phân loại liệu tự động đám mây điểm thực phép giải toán lọc điểm, sở kết hợp sử dụng ảnh cường độ, kết đo vẽ bãi kiểm định chuẩn thực địa ảnh số chụp (nếu có cơng nghệ có lắp thêm hệ thống máy chụp ảnh kỹ thuật số) Bài toán phân loại đám mây điểm LiDAR thuộc vào toán lọc phân tách đưa điểm lớp riêng biệt Việc phân loại liệu tự động đám mây điểm phải tách đám mây liệu thành lớp khác theo tính chất riêng như: Lớp chứa điểm mặt đất, Lớp chứa điểm thực phủ, Lớp chứa điểm mái nhà tường nhà cơng trình xây dựng, Lớp chứa điểm không, Lớp chứa điểm bị lỗi, Lớp chứa điểm mặt nước … Từ xây dựng lớp Ground NonGround Trên giới có nhiều chương trình lọc điểm theo thuật toán khác giới thiệu áp dụng Trong số có Vosselman Sithole (Hà Lan) có thuật tốn “mơ hình góc nghiêng di động” hay mơ hình “độ chênh cao cực đại”, Axelsson đưa thuật tốn “mơ hình TIN di động “, Kraus (Áo) đưa thuật toán lọc theo lý thuyết nội suy thống kê, hãng ToyEye (Thụy Điển), TopoSys (Đức) có chương trình lọc đám mây điểm LiDAR cung cấp kèm với hệ thống thiết bị… Hiện nay, với thuật tốn lọc ngày hồn thiện, cơng tác lọc điểm tự động hóa khoảng 90-95%, nhiên để đánh giá, so sánh chất lượng thuật toán nhiều vấn đề phải tranh luận kiểm chứng thực tế sản xuất Các phần mềm xử lý liệu LiDAR đắt bán kèm theo thiết bị, hồn tồn phần mềm thương mại đóng ENVI LiDAR Với mục đích nghiên cứu, tìm hiểu thuật toán sử dụng việc phân loại liệu LiDAR, đồng thời thử nghiệm kỹ thuật phân loại liệu 33 mật độ xung phản hồi 1.4pls/m2, mật độ điểm 2,69pt/m2 Dữ liệu sau thu nhận lưu dạng file las với chuẩn 1.2 Các tham số liệu thể bảng 3.1 Bảng 3.2 Thông số file las Thuộc tính STT Giá trị Cường độ (min, max) 0, 4538 Màu R, G, B Thứ tự góc quét (min, max) -32, 31 Số lượng tia phản xạ (min, max) 0, Tọa độ điểm Góc bay (min, max) 0, 0, x, y, z 0, Đám mây điểm LiDAR thể hình vẽ 3.1 ảnh vệ tinh khu vực khảo sát thể hình 3.2 Hình 1: Đám mây điểm khu vực khảo sát 34 Hình 2: Ảnh vệ tinh khu vực đo vẽ 3.3 Môi trường công cụ sử dụng để xây dựng chương trình Chương trình xây dựng ngôn ngữ C# Visual Studio 2015 tích hợp với cơng cụ LASTools C# ngơn ngữ lập trình hướng đối tượng phát triển Microsoft, phần khởi đầu cho kế hoạch NET họ Tên ngôn ngữ bao gồm ký tự thăng theo Microsoft theo ECMA C#, bao gồm dấu số thường Microsoft phát triển C# dựa C++ Java C# miêu tả ngơn ngữ có cân C++, Visual Basic, Delphi Java LASTools tập hợp cơng cụ dòng lệnh để phân loại, xếp, chuyển đổi, lọc, raster, tam giác, đường viền, clip đa giác liệu LiDAR (để vài chức năng) Tất cơng cụ chạy qua GUI có sẵn dạng hộp cơng cụ xử lý LiDAR cho phiên ArcGIS 9.3, 10.0 10.1 ESRI Quản lý dự án đầy đủ bao gồm cơng cụ: - Mã hóa liệu địa lý chuyển đổi - Theo dõi liên kết - Lọc phân loại nâng cao - Tạo DSM / DTM 35 - Phát đột phá tính - Nhiều định dạng đầu vào đầu (bao gồm định dạng LAS) - Thế hệ chỉnh hình thực - Tích hợp đầy đủ liệu Dạng sóng Lidar - Và trình xem trình chỉnh sửa linh hoạt để hiển thị thao tác liệu hình ảnh liệu hình ảnh LasTools cung cấp công cụ cần thiết để tạo DSM DTM từ liệu khai thác thô xử lý trước cách độc lập ứng dụng Nó có tính quản lý thơng minh liệu dự án, nhập mã hóa địa lý liệu hình ảnh liệu thơ, hiệu chuẩn hệ thống, lọc phân loại liệu LiDAR, tạo mơ hình độ cao xuất kết theo định dạng phổ biến khác Sự nhấn mạnh đặc biệt đặt vào giao diện người dùng đồ họa trực quan quy trình làm việc hợp lý phép tạo mơ hình nhanh chóng hiệu Ngồi ra, LasTools cung cấp tính để xử lý xử lý liệu khai thác tiên tiến dạng sóng tín hiệu trở lại màu sắc bề mặt thật, tích hợp nhanh chóng liệu LiDAR ảnh kỹ thuật số vào ảnh ortho LASTool có cơng cụ sau: - API để đọc/ghi file LAS - lasinfo - lasview - las2txt txt2las - laszip - las2las 36 Hình 3: Giao diện GUI lastool Hình 4: Cơng cụ LASTool ARCGIS 37 3.4 Phát triển chương trình Chương trình sau xây dựng với ngơn ngữ C# cơng cụ LASTool có giao diện sau: Hình 5: Giao diện chương trình Các chức chương trình gồm có: a) Xem file las Hình 6: Đám mây điểm LiDAR hiển thị dạng 3D b) Phân loại với MCC 38 Hình 7: Phân loại với MCC Hình 8: Các điểm gán nhãn sau phân loại với MCC c) Phân loại với K-means 39 Hình Kết phân loại với K-means 3.5 Đánh giá kết thu Sau xây dựng chương trình tiến hành phân loại đám mây điểm với thuật toán MCC K-means 3.5.1 Phân loại với MCC Dữ liệu đầu vào thuật toán MCC liệu file las lấy trang www.opentopo.sdsc.edu trình bày Tham số đầu vào với ứng dụng toạ độ x,y,z liệu LiDAR Chương trình sử dụng thuật toán MCC việc khai thác toạ độ Z để tiến hành gán nhãn cho điểm đám mây điểm với hai nhóm mặt đất khơng mặt đất Do giá trị thuộc tính mật độ xung m2 1.4 nên theo công thức lựa chọn tham số s thuật toán MCC: s = 1/(sprt(pulse/m2)) = 1/sprt(1.4) = 0.8 40 Trong đó, giá trị t lựa chọn theo đề xuất 0.3 Hình 10: Tham số lựa chọn giải thuật MCC Qua miền tỉ lệ với miền tỉ lệ đầu có giá trị 0.4, miền tỉ lệ thứ hai có giá trị 0.8 miền tỉ lệ thứ có giá trị 1.2 Trong đó, miền tỉ lệ đầu qua lần lặp, thứ hai lần lặp thứ lần lặp có 184902 điểm tổng số 369750 điểm gán vào lớp mặt đất lại lớp khơng mặt đất 41 Hình 11: Các điểm gán nhãn sau phân loại với MCC 3.5.2 Phân loại đám mây điểm với K-means Từ kết thuật toán MCC, đám mây điểm dán nhãn thành hai loại điểm mặt đất nhãn khơng mặt đất có nhãn Lấy điểm có nhãn (khơng mặt đất) tiến hành phân cụm với thuật toán K-Means Để phân loại với K-means lựa chọn số cụm k = 2, thuộc tính đươc sử dụng để phân loại độ cao z, kết phân loại thể hình 3.12 42 Hình 12: Kết phân loại với K-means Sau phân loại, đám mây điểm chia thành hai cụm, với giá trị tâm cụm khởi tạo sau: - Cụm có tâm khởi tạo 18.72 - Cum có tâm khởi tạo 20.53 Qua lần lặp tâm cụm ghi nhận là: - Cụm có tâm 17.69 - Cụm có tâm 20.6 Sau phân loại với K-means có 184811 điểm gán vào cụm tổng số 369750 điểm 3.5.3 Đánh giá Với thuật toán MCC, qua miền tỉ lệ với tổng số 21 lần lặp tỉ lệ phân loại thay đổi sau: 43 SD1 SD2 SD3 28% 2.50% 0.82000 0% 14% 1.10% 0.37000 0% % phân loại 6.80% 3.60% 2.10% 0.61% 0.530% 0.13% 0.10000 0.18000 0.03700 0% 0% 0% 1.50% 0.03% 0.01300 0% Hình 13: Tỉ lệ phân loại miền tỉ lệ với MCC Với thuật toán K-means, lần lặp thể hình 3.14 Hình 14: Lịch sử lặp K-means 0.91% 0.00380 0% 44 Bảng 3.3: Số lượng điểm cụm Number of Cases in each Cluster Cluster 184811.000 184900.000 Valid 369750.000 Missing 39.000 Số lượng điểm chia cụm thể bảng 3.2, thấy với K-means có 69 tổng số 369750 điểm lỗi (điểm không thuộc cụm nào) Để đánh giá độ xác hai thuật tốn sau phân loại, tác giả so sánh kết với giải thuật sử dụng trang Opentopo để tính tốn độ đo cho giải thuật MCC K-means Kết thể bảng 3.3 Bảng 4.3:Các độ đo đánh giá độ xác phân loại STT Thuật Số lần Độ Độ bao Thời gian tốn lặp phủ chạy F1 xác MCC 21 99.8% 99.9% 110s 99.85% K-means 96% 92% 104s 93.96% Opentopo 12 99.9% 99.9% 122s 99.9% Qua thấy, thuật tốn MCC K-means đáp ứng yêu cầu toán phân loại đám mây điểm LiDAR, phù hợp với mục tiêu yêu cầu đặt Dữ liệu sau phân loại sử dụng để thành lập DEM/DSM hình 3.15 3.16 45 Hình 15: Mơ hình DEM khu vực Hình 16: Mơ hình DSM 46 KẾT LUẬN Hiện nay, Việt Nam công nghệ LiDAR ứng dụng rộng rãi nhiều lĩnh vực như: Trắc địa đồ, kỹ thuật môi trường, vật lý, khảo cổ học, … Tuy nhiên, việc áp dụng dừng lại việc ứng dụng công nghệ LiDAR xây dựng đồ địa hình, lập đồ ngập úng, dự báo trượt lở, lập đồ giao thông, tạo mô hình DTM, DSM, lập đồ tuyến truyền tải dài, … Việc sâu nghiên cứu giải toán phân loại điểm nhằm mở rộng khả ứng dụng công nghệ LiDAR chưa có sản phẩm cơng bố Việt Nam Do đó, đề tài nghiên cứu góp phần làm rõ hiệu quả, độ xác sử dụng số thuật toán việc giải toán phân loại đám mây điểm đồng thời sở để mở rộng ứng dụng khai thác liệu LiDAR 47 LIỆU THAM KHẢO TRONG NƯỚC [1] TS Lương Chính Kế, “Thành lập DEM/DTM/DSM công nghệ LiDAR”, 2005 [2] TS Trần Đình Luật, Th.S Nguyễn Thị Kim Dung, Th.S Lưu Thị Thu Thủy, Th.S Trần Hồng Hạnh, “Khả ứng dụng cơng nghệ LiDAR xây dựng mơ hình số địa hình vùng bãi bồi cửa sơng ven biển điều kiện Việt Nam”, Tạp chí Tài ngun Mơi trường, vol.1, pp 24-28, 2015 [3] Trần Đình Trí, “Cơng nghệ LiDAR”, Bài giảng dành cho cao học, Trường Đại học Mỏ - Địa chất, 2013 NƯỚC NGOÀI [4] J.Niemeyer, C.Mallet, F.Rottensteiner, U.Sorgel, "CRF for the classification of LiDAR point cloud," Remote Sensing, 2011 [5] J Kunapo, "Spatial data integration for classification of 3D point cloud from digital photogrammetry," Applied GIS, Monash University Express, vol 3, no 3, pp 26.1-26.15, 2005 [6] Jeffrey S.Evans, Andrew T.Hudak, "A multiscale curvature algorithm for classifying discrete return LiDAR in forested environments," IEEE, vol 45, pp 10291038, 2007 [7] N.El-Ashmawy, A.Shaker, "Raster vs Point cloud LiDAR data classification," The International Archives of the Photogrammetry, RS and Spatial Information Sciences, Vols XL-7, pp 79-83, 2014 [8] N.Yastikli, Z.Cetin, "Classification of LiDAR data with point based classification methods," vol 3, 2015 [9] S forge, "SourceForge," [Online] Available: http://sourceforge.net/projects/mcclidar [10] Wade T.Tinkham, Hongyu Huang, "A comparision of two open source LiDAR surface classification algorithm," Remote Sensing, vol 3, pp 638-649, 2011 ... liệu địa hình liệu mosaic, xem nhanh tệp LiDAR trước nhập, phân tích chia sẻ liệu LiDAR 1.3.3 Phân loại đám mây điểm LiDAR tập tin LAS Dữ liệu LiDAR lưu tệp tin LAS thường đám mây điểm Các đám mây... quan hệ thống LiDAR Hình 2: Ứng dụng LiDAR khảo sát địa hình lập đồ Hình 3: Ứng dụng LiDAR lâm nghiệp Hình 4: Ứng dụng LiDAR lập đồ ngập úng Hình 5: Ứng dụng LiDAR cho đới... THIỆU VỀ CÔNG NGHỆ LIDAR VÀ CÁC ỨNG DỤNG 1.1 Tổng quan công nghệ LiDAR 1.1.1 Cấu trúc hệ thống LiDAR 1.1.2 Đặc điểm công nghệ LiDAR 1.2 Khả ứng dụng LiDAR 1.3