(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar

(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar(Luận văn thạc sĩ) Nghiên cứu một số thuật toán phân cụm dữ liệu Lidar

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG HỒNG XN THƯƠNG NGHIÊN CỨU MỘT SỐ THUẬT TOÁN PHÂN CỤM DỮ LIỆU LIDAR LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN – 2021 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG HỒNG XN THƯƠNG NGHIÊN CỨU MỘT SỐ THUẬT TOÁN PHÂN CỤM DỮ LIỆU LIDAR Chuyên ngành: Khoa học máy tính Mã số: 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Giáo viên hướng dẫn: PGS.TS Đặng Văn Đức THÁI NGUYÊN - 2021 i LỜI CAM ĐOAN Tôi xin cam đoan luận văn cơng trình nghiên cứu riêng cá nhân tơi, kết luận văn hoàn toàn kết tự thân tơi tìm hiểu, nghiên cứu hướng dẫn giáo viên hướng dẫn PGS.TS Đặng Văn Đức Tơi hồn tồn chịu trách nhiệm tính pháp lý trình nghiên cứu khoa học luận văn Cẩm Phả, ngày … tháng … năm 2021 Học viên Hoàng Xuân Thương ii LỜI CẢM ƠN Lời đầu tiên, em xin gửi lời biết ơn sâu sắc đến PGS TS Đặng Văn Đức – Viện Công nghệ thơng tin Hà Nội người tận tình hướng dẫn, bảo, giúp đỡ em suốt trình làm luận văn Em xin gửi lời cảm ơn đến cô TS Nguyễn Thị Hữu Phương – Đại học mỏ địa chất Hà Nội, thầy cô giáo trường Đại học Công nghệ thông tin truyền thông - Đại học Thái Nguyên truyền đạt kiến thức giúp đỡ em suốt trình học Và học viên xin gửi lời cảm ơn tới đồng nghiệp, gia đình bạn bè người ủng hộ, động viên tạo điều kiện giúp đỡ để học viên có kết ngày hôm iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC BẢNG BIỂU vi DANH MỤC HÌNH ẢNH vii MỞ ĐẦU 1 Đặt vấn đề Những nội dung nghiên cứu CHƯƠNG 1: TỔNG QUAN VỀ CÔNG NGHỆ LIDAR VÀ BÀI TOÁN PHÂN CỤM 1.1 Tổng quan công nghệ LiDAR 1.1.1 Cấu trúc hệ thống LiDAR 1.1.2 Đặc điểm công nghệ LiDAR 1.2 Thu nhận liệu LiDAR 1.3 Xử lý liệu LiDAR 12 1.3.1 Quy trình xử lý liệu LiDAR 12 1.3.2 Thuộc tính liệu LiDAR 12 1.3.3 Phương pháp xử lý liệu LiDAR 14 1.4 Khả ứng dụng LiDAR 16 1.5 Bài toán phân cụm liệu LiDAR 18 1.5.1 Khái niệm phân cụm liệu 18 1.5.2 Các kiểu liệu độ đo tương tự 19 1.5.3 Các kỹ thuật tiếp cận phân cụm liệu 24 1.5.4 Các ứng dụng phân cụm liệu 27 1.5.5 Phân cụm liệu LiDAR 28 1.6 Kết chương 29 iv CHƯƠNG 2: MỘT SỐ THUẬT TOÁN PHÂN CỤM DỮ LIỆU LIDAR 30 2.1 Thuật toán MCC 30 2.2 Thuật toán EM 34 2.3 Thuật toán K-Means 39 2.4 Thuật toán H - Kmeans 43 2.5 Đánh giá thuật toán lựa chọn thuật toán để thực nghiệm 49 2.6 Đánh giá kết phân cụm liệu LiDAR MCC K-Means 50 2.6.1 Thuật toán MCC 50 2.6.2 Thuật toán K-Means 52 2.7 Kết chương 55 CHƯƠNG 3: XÂY DỰNG CHƯƠNG TRÌNH PHÂN CỤM DỮ LIỆU LIDAR 56 3.1 Giới thiệu toán thử nghiệm 56 3.2 Lựa chọn thuật toán phân cụm liệu thử nghiệm 56 3.3 Môi trường cơng cụ sử dụng để xây dựng chương trình 58 3.3.1 Ngôn ngữ C# 58 3.3.2 LASTool 59 3.4 Phát triển chương trình 60 3.4.1 Các bước thực 60 3.4.2 Giao diện chức chương trình 61 3.5 Đánh giá kết thu 63 3.5.1 Phân loại với MCC 63 3.5.2 Phân loại đám mây điểm với K-means 64 3.5.3 Đánh giá 65 KẾT LUẬN 68 TÀI LIỆU THAM KHẢO 69 v DANH MỤC CHỮ VIẾT TẮT LiDAR: Light Detection And Ranging Laser: Light amplification by stimulated emission of radiation GNSS: Global Navigation Sattelite System INS: Inertial Navigation System IMU: Inertial measurement unit DEM: Digital Elevation Model DSM: Digital Surface Model DTM: Digital terrain model MCC: Multiscale Curvature Classification EM: Expectation Maximization CURE: Clustering Using Representatives BIRCH: Balanced Interative Reducing and Clustering Hierarchies ALS: Aerial Scanning Laser PCDL Phân cụm liệu H-Kmeans Hierarchical – Kmeans (Kmeans phân cấp) vi DANH MỤC BẢNG BIỂU Bảng 1.1: Thuộc tính liệu LiDAR 14 Bảng 3.1 Thông số file las 57 Bảng 3.2: Thống kê thay đổi tỉ lệ % phân loại ứng với miền tỉ lệ 64 Bảng 3.3: Số lượng điểm cụm 65 Bảng 3.4: So sánh với kết phân cụm với trang Opentopo 65 Bảng 3.5: So sánh với kết phân loại trang Opentopo với K-Means 65 vii DANH MỤC HÌNH ẢNH Hình 1.1: Hệ thống LiDAR Hình 1.2: Tổng quan nguyên lý hoạt động hệ thống LiDAR Hình 1.3: Cách phát thu nhận tín hiệu phản hồi Hình 1.4: Tia laser phản xạ qua mục tiêu 10 Hình 1.5: Quy trình tổng quát xử lý liệu LiDar 12 Hình 1.6: Ví dụ đám mây điểm LiDAR hiển thị dạng 3D 15 Hình 1.7: Quy trình phân loại đám mây điểm LiDAR 15 Hình 1.8: Ứng dụng khảo sát địa hình lập đồ 16 Hình 1.9: Ứng dụng lâm nghiệp 16 Hình 1.10: Ứng dụng lập đồ ngập úng 16 Hình 1.11: Ứng dụng cho đới duyên hải 17 Hình 1.12:Ứng dụng lập đồ địa hình ven biển 17 Hình 1.13: Ứng dụng quan trắc dự báo trượt lở 17 Hình 1.14: Ứng dụng lập đồ tuyến truyền tải 17 Hình 1.15: Ứng dụng lập đồ tuyến truyền tải 18 Hình 1.16: Ứng dụng quy hoạch quản lý mạng điện thoại di động 18 Hình 1.17: Ứng dụng lập mơ hình mơ thị 18 Hình 1.18: Tác vụ Khai phá liệu 19 Hình 1.19 : Một số hình dạng cụm liệu khám phá kỹ thuật PCDL dựa mật độ 26 Hình 1.20: Mơ hình cấu trúc liệu lưới 27 Hình 2.1: Tiến trình phân cụm sử dụng MCC 32 Hình 2.2: Mơ tả thuật toán EM phân loại đám mây điểm LiDAR 35 Hình 2.3: Phân cụm đối tượng bề mặt đo vẽ 35 Hình 2.4: Tiến trình thuật tốn EM 37 Hình 2.5: Mơ tả thuật tốn K-Means 40 viii Hình 2.6: Ví dụ phân loại với K-Means 41 Hình 2.7: Pseudo code thuật tốn K-means 43 Hình 2.8: Seeded-Kmeans khởi tạo cụm ban đầu 47 Hình 2.9: Dùng 2-KMeans để chia cụm cha thành hai cụm 47 Hình 2.10: Áp dụng tiêu chuẩn BIC 47 Hình 2.11: Kết có cụm 47 Hình 2.12: Khu vực thực nghiệm nghiên cứu 50 Hình 2.13: Tỉ lệ điểm thuộc hai lớp sau phân loại 51 Hình 2.14: Kết phân loại với K=5 52 Hình 2.15: Kết phân loại với K=7 53 Hình 3.1: Thơng tin file las sau xử lý lasinfo LASTools 57 Hình 3.2: Đám mây điểm khu vực khảo sát 58 Hình 3.3: Ảnh vệ tinh khu vực đo vẽ 58 Hình 3.4: Giao diện GUI LasTool 60 Hình 3.5: Giao diện chương trình 61 Hình 3.6: Cửa sổ Setting thiết lập thơng số cho MCC K-Means 61 Hình 3.7: Dữ liệu file *.txt chứa toạ độ (x, y, x) điểm 62 Hình 3.8: Phân loại với MCC 62 Hình 3.9: Phân loại với K-Means (K = 2) 63 Hình 3.10: Tham số lựa chọn giải thuật MCC 63 Hình 3.11: Các điểm gán nhãn sau phân loại với MCC 64 Hình 3.12: Kết phân loại với K-means 64 Hình 3.13: Mơ hình số địa hình khu vực thử nghiệm 66 Hình 3.14: Mơ hình số bề mặt khu vực thử nghiệm 67 Hình 3.15: Mơ hình địa hình kỹ thuật số khu vực thử nghiệm 67 56 CHƯƠNG 3: XÂY DỰNG CHƯƠNG TRÌNH PHÂN CỤM DỮ LIỆU LIDAR 3.1 Giới thiệu tốn thử nghiệm Việc xây dựng mơ hình số địa hình (DEM – Digital Elavation Model), mơ hình số bề mặt (DSM – Digital Surface Model) mơ hình địa hình kỹ thuật số (DTM) Thành phố phát triển có ý nghĩa quan trọng quản lý, định hướng quy hoạch phát triển Với liệu điểm có giá trị tọa độ ba chiều (x, y, z) tạo công nghệ LiDAR có mật độ dày đặc (tới hàng triệu điểm, bao hàm điểm nhiễu), chứa thông tin hữu ích bề mặt địa hình khu vực địa lý Để xác định nhãn lớp mà điểm thuộc cần phải tiến hành toán phân cụm đám mây điểm Việc phân cụm liệu tự động đám mây điểm phải tách đám mây liệu thành lớp khác nhau: tòa nhà, mặt đất, thực vật,… từ xây dựng mơ hình DEM/DSM/DTM cách xác Như vậy, toán đặt là: Từ liệu điểm có giá trị tọa độ ba chiều (x, y, z) tạo công nghệ LiDAR khu vực thử nghiệm, đưa điểm mặt đất không mặt đất, điểm không mặt đất phân thành K cụm liệu khác *Input: Tệp *.las có chứa toạ độ (x, y, z) điểm; *Output: Các điểm gán nhãn (điểm mặt đất), 1(điểm không mặt đất); Các điểm mặt đất phân thành K cụm (gán nhãn từ → K-1) 3.2 Lựa chọn thuật toán phân cụm liệu thử nghiệm Sau nghiên cứu thuật toán Chương 2, học viên nhận thấy: Thuật tốn MCC có ưu điểm với địa hình có độ dốc thay đổi liên tục, MCC có độ xác cao Thuật tốn có độ tin cậy cao, giúp cực tiểu sai số lại tỉ lệ cao điểm mặt đất Cịn thuật tốn KMeans có ưu điểm độ phức tạp tính tốn nhỏ Bên cạnh đó, tính chất liệu địa hình khu vực thử nghiệm qua hình 3.2, 3.3 (địa hình có độ dốc thay đổi, đa ... toán phân cụm liệu LiDAR chương luận văn, cụ thể thuật toán: EM, MMC, K-Means KMeans phân cấp 30 CHƯƠNG 2: MỘT SỐ THUẬT TOÁN PHÂN CỤM DỮ LIỆU LIDAR 2.1 Thuật toán MCC Trên giới, nghiên cứu công... Phương pháp phân cụm dựa mơ hình, phương pháp phân cụm có liệu ràng buộc, phân cụm thống kê, phân cụm khái niệm, phân cụm mờ, phân cụm mạng Kohonen… 1.5.4 Các ứng dụng phân cụm liệu Phân cụm liệu có... kỹ thuật tiếp cận phân cụm liệu 24 1.5.4 Các ứng dụng phân cụm liệu 27 1.5.5 Phân cụm liệu LiDAR 28 1.6 Kết chương 29 iv CHƯƠNG 2: MỘT SỐ THUẬT TOÁN PHÂN CỤM DỮ