Xây dựng quy trình và công cụ biên tập dữ liệu biên giới địa giới cho nền tảng cung cấp dịch vụ địa chỉ việt nam

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ HỒNG XN PHƯƠNG XÂY DỰNG QUY TRÌNH VÀ CƠNG CỤ BIÊN TẬP DỮ LIỆU BIÊN GIỚI, ĐỊA GIỚI CHO NỀN TẢNG CUNG CẤP DỊCH VỤ ĐỊA CHỈ VIỆT NAM LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Hà Nội – 10/2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ Hồng Xn Phương XÂY DỰNG QUY TRÌNH VÀ CÔNG CỤ BIÊN TẬP DỮ LIỆU BIÊN GIỚI, ĐỊA GIỚI CHO NỀN TẢNG CUNG CẤP DỊCH VỤ ĐỊA CHỈ VIỆT NAM Ngành: Hệ thống thông tin Chuyên ngành: Hệ thống thông tin Mã Số: 8480104.01 LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Bùi Quang Hưng Hà Nội – 10/2020 i Mục lục LỜI CẢM ƠN III LỜI CAM ĐOAN IV DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT V DANH MỤC BẢNG BIỂU VI DANH MỤC HÌNH VẼ VII CHƯƠNG 1:GIỚI THIỆU 1.1 1.2 1.3 1.4 ĐẶT VẤN ĐỀ, ĐỊNH HƯỚNG NGHIÊN CỨU MỤC TIÊU CỦA LUẬN VĂN PHẠM VI NGHIÊN CỨU CỦA LUẬN VĂN NỘI DUNG CỦA LUẬN VĂN CHƯƠNG 2: TỔNG QUAN VỀ DỮ LIỆU BIÊN GIỚI ĐỊA GIỚI CHO NỀN TẢNG CUNG CẤP DỊCH VỤ ĐỊA CHỈ 2.1 NỀN TẢNG CUNG CẤP DỊCH VỤ ĐỊA CHỈ VIỆT NAM 2.1.1 Giới thiệu 2.1.2 Bản đồ số 2.1.3 Loại liệu đồ số 2.2 DỮ LIỆU BIÊN GIỚI, ĐỊA GIỚI 2.2.1 Bản đồ địa hình 2.2.2 Biên giới 12 2.2.3 Địa giới 13 2.2.4 Bản đồ địa hình 1/50.000 14 2.2.5 Hệ quy chiếu VN2000 14 2.2.6 OSM 15 CHƯƠNG 3: XÂY DỰNG QUY TRÌNH VÀ CƠNG CỤ BIÊN TẬP DỮ LIỆU BIÊN GIỚI ĐỊA GIỚI 16 3.1 QUY TRÌNH BIÊN TẬP DỮ LIỆU BIÊN GIỚI ĐỊA GIỚI 17 3.2 TRÍCH XUẤT DỮ LIỆU BIÊN GIỚI QUỐC GIA VÀ DỮ LIỆU ĐỊA GIỚI HÀNH CHÍNH TỪ TẬP DỮ LIỆU BẢN ĐỒ ĐỊA HÌNH 18 3.3 GỘP CÁC MẢNH BẢN ĐỒ THEO CẤP HÀNH CHÍNH: XÃ, HUYỆN, TỈNH 23 3.3.1 Gộp mảnh rời rạc lại thành mảnh thống nhất: 23 ii 3.3.2 Loại bỏ đường chia cắt mảnh sau gộp: 25 3.4 BỔ SUNG THƠNG TIN HÀNH CHÍNH CẤP HUYỆN, TỈNH 26 3.5 SỬA LỖI SAU KHI GỘP 30 3.6 CHUYỂN ĐỔI HỆ QUY CHIẾU TỪ VN2000 SANG WGS84 39 3.6.1 Tham số chuyển đổi lưới chiếu 39 3.6.2 Thêm phương pháp chuyển đổi hệ quy chiếu: 41 3.6.3 Chuyển đổi hệ quy chiếu liệu: 43 3.7 XÂY DỰNG CÔNG CỤ CHUYỂN ĐỔI DỮ LIỆU TỪ SHAPEFILE SANG ĐƯỜNG BOUNDARIES TRÊN OSM 44 3.7.1 Cấu trúc tập tin tin OSM 45 3.7.2 Các bước tiền xử lý liệu shapefile 47 3.7.3 Quy trình xây dựng chương trình xử lý 51 CHƯƠNG 4:KẾT QUẢ VÀ ĐÁNH GIÁ 53 KẾT LUẬN 61 TÀI LIỆU THAM KHẢO 62 iii LỜI CẢM ƠN Trước tiên xin dành lời cảm ơn chân thành sâu sắc đến thầy giáo, TS Bùi Quang Hưng – người hướng dẫn, khuyến khích, bảo tạo cho điều kiện tốt từ bắt đầu hồn thành cơng việc Tơi xin dành lời cảm ơn chân thành tới thầy cô giáo khoa Công nghệ thông tin, trường Đại học Cơng nghệ, ĐHQGHN tận tình đào tạo, cung cấp cho kiến thức vô quý giá tạo điều kiện tốt cho suốt trình học tập, nghiên cứu trường Đồng thời xin cảm ơn tất người thân gia đình tơi tồn thể bạn bè người giúp đỡ, động viên vấp phải khó khăn, bế tắc Cuối cùng, xin chân thành cảm ơn đồng nghiệp tơi Trung tâm tích hợp liên ngành giám sát trường - FIMO giúp đỡ, tạo điều kiện thuận lợi cho học tập nghiên cứu chương trình thạc sĩ Đại học Cơng nghệ, ĐHQGHN Luận văn hỗ trợ đề tài nghiên cứu ứng dụng phát triển công nghệ cấp quốc gia: "Nghiên cứu xây dựng Nền tảng cung cấp dịch vụ liệu địa Việt Nam phục vụ phát triển ứng dụng dân sinh”, Mã số: ĐTCT-KC-4.0-03/19/25 iv LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sĩ hệ thống thông tin “Xây dựng quy trình cơng cụ biên tập liệu biên giới, địa giới cho tảng cung cấp dịch vụ địa Việt Nam” cơng trình nghiên cứu riêng tơi, khơng chép lại người khác Trong tồn nội dung luận văn, điều trình bày cá nhân tơi tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, ngày 01 tháng 10 năm 2020 Hoàng Xuân Phương v DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Thuật ngữ, khái niệm Các từ viết tắt CSDL OSM NĐL GIS ArcMap Merge Dissolve VNPost APIs Node Way Relation admin_level Định nghĩa Cơ sở liệu Open Street Map – Nền tảng đồ mở Nền địa lý Geographic information system – Hệ thống thông tin địa lý Là chương trình phần mềm ArcGIS ArcMap cho phép người sử dụng thực chức năng: hiển thị trực quan, tạo lập đồ, trợ giúp định, trình bày, … Gộp nhiều lớp đồ lại thành lớp đồ Chập đối tượng kề thành đối tượng thơng qua nhiều thuộc tính chung Tổng cơng ty bưu điện Việt Nam Application Programing Interface – Giao diện lập trình ứng dụng Một điểm OSM xác định kinh độ, vĩ độ ID Được sử dụng OSM xác định Node để xác định đối tượng dạng đường ranh giới khu vực Được sử dụng OSM để xác định mối quan hệ đối tượng Node, Way Được sử dụng OSM để xác định cấp độ đường boundaries Ghi vi DANH MỤC BẢNG BIỂU Bảng Số lượng đơn vị địa giới hành tính đến 01/10/2020 13 Bảng 3-1 Bảng luật topology ArcMap 31 Bảng 3-2 Bảng múi chiếu 40 Bảng 4-1 Dữ liệu biên giới địa giới biên tập từ csdl địa hình 1/50.000 53 Bảng 4-2 Địa danh hành việt nam tính tới 01/10/2020 59 vii DANH MỤC HÌNH VẼ Hình ảnh 2.1 Kiến trúc tổng thể tảng cung cấp dịch vụ liệu địa Việt Nam Hình ảnh.2.2 Giao diện OSM 15 Hình ảnh 3.1 Kiến trúc tổng quan tảng cung cấp dịch vụ địa 16 Hình ảnh 3.2 Các bước biên tập liệu biên giới địa giới Việt Nam 18 Hình ảnh 3.3 Cấu trúc liệu đồ địa hình 1/50.000 19 Hình ảnh 3.4 VN2000 múi 30 cho FME 20 Hình ảnh 3.5 Chuyển đổi liệu sang shapefile 21 Hình ảnh 3.6 Các shapefile thu 22 Hình ảnh 3.7 Các bước gộp liệu 23 Hình ảnh 3.8 Cơng cụ Merge ArcMap 24 Hình ảnh 3.9 Kết sau Merge 24 Hình ảnh 3.10 Cơng cụ Dissolve ArcMap 25 Hình ảnh 3.11 Kết sau Dissolve 26 Hình ảnh 3.12 Bảng liệu ranh giới địa giới cấp xã sau gộp 27 Hình ảnh 3.13 Bảng liệu ranh giới địa giới cấp huyện sau gộp 27 Hình ảnh 3.14 Bảng liệu ranh giới địa giới cấp tỉnh sau gộp 28 Hình ảnh 3.15 Join sử dụng ArcMap 29 Hình ảnh 3.16 Kết thu sau join 30 Hình ảnh 3.18 Luật must not have gaps 36 Hình ảnh 3.19 Các vùng bị lỗi topology 37 Hình ảnh 3.20 Lỗi chồng đè polygon 38 Hình ảnh 3.21 Lỗi polygon khơng khép kín 38 Hình ảnh 3.22 Lỗi đường phân chia ranh giới mảnh 39 Hình ảnh 3.23 Lý lịch đồ 40 Hình ảnh 3.24 Cơng cụ projections and transformation 41 Hình ảnh 3.25 Thiết lập tham số cho projections and transformation 42 viii Hình ảnh 3.26 Thiết lập tham số cho projections and transformation 43 Hình ảnh 3.27 Chuyển đổi hệ quy chiếu 43 Hình ảnh 3.28 Kết sau chuyển đổi 44 Hình ảnh 3.29 Bảng admin boundaries Việt Nam OSM 45 Hình ảnh 3.30 Cấu trúc tập tin OSM 46 Hình ảnh 3.31 Polygon sang lines QGIS 48 Hình ảnh 3.32 v.clean QGIS 48 Hình ảnh 3.33 Trước sử dụng v.clean 49 Hình ảnh 3.34 Sau sử dụng v.clean 50 Hình ảnh 3.35 Dữ liệu gốc 50 Hình ảnh 3.36 Dữ liệu sau chạy v.clean 51 Hình ảnh 3.37 Tập tin OSM chứa thông tin đường biên giới địa giới Việt Nam 52 Hình ảnh 4.1 Nội dung tập tin OSM 54 Hình ảnh 4.2 Bản đồ số việt đồ 55 Hình ảnh 4.3 Chồng lớp đồ Việt đồ 56 Hình ảnh 4.4 Bản đồ số GIS Chính phủ 57 Hình ảnh 4.5 Chồng lớp nên đồ GIS Chính phủ 58 49 Dưới Hình ảnh trước sau sử dụng v.clean Hình ảnh 3.33 Trước sử dụng v.clean 50 Hình ảnh 3.34 Sau sử dụng v.clean Và bước cuối cần lưu lại liệu gốc liệu sau chạy xong v.clean lưu lại dạng GeoJson Hình ảnh 3.35 Dữ liệu gốc 51 Hình ảnh 3.36 Dữ liệu sau chạy v.clean 3.7.3 Quy trình xây dựng chương trình xử lý Xây dựng chương trình xử lý python thực hiên theo quy trình: - Đầu vào gồm tập tin GeoJson bao gồm: tập tin liệu thô gọi Raw_data tập tin liệu v.clean gọi Preprocess_data - Duyệt tập tin để lấy tất Node từ tập tin Preprocess_data - Lưu thông tin Node theo cấu trúc tập tin OSM vào tập tin kết - Xây dựng Way từ tập tin Preprocess_data - Lưu thông tin Way theo cấu trúc tập tin OSM vào tập tin kết - Xây dựng Relation từ Way trước đó, xác định Way thuộc xã nào, huyện tỉnh cách đối chiếu với mã đơn vị hành Raw_data - Lưu lại thông tin Relation theo cấu trúc tập tin OSM vào tập tin kết Sau kết thúc trình xử lý thu kết tập tin OSM chứa thông tin đường biên giới địa giới Việt Nam[21] 52 Hình ảnh 3.37 Tập tin OSM chứa thông tin đường biên giới địa giới Việt Nam 53 CHƯƠNG 4: KẾT QUẢ VÀ ĐÁNH GIÁ Kết chương trình biên tập liệu biên giới, địa giới cho Nền tảng cung cấp dịch vụ địa Việt Nam mô tả đây: Kết thúc trình chuyển đổi liệu sang tập tin liệu OSM, thu kết biên giới địa giới cho 63 tỉnh thành, 708 huyện 11.161 xã Bảng 4-1 Dữ liệu biên giới địa giới biên tập từ CSDL địa hình 1/50.000 Nội dung STT Cấp tỉnh Tổng số Tỉnh 63 58 Thành phố trực thuộc Trung ương Cấp huyện 708 Thành phố 64 Thị xã 47 Quận 49 Huyện 548 Cấp xã 11.161 Xã 9.001 Phường 1.545 Thị trấn 615 Toàn đường ranh giới địa giới sau biên tập mô tả tập tin OSM với: - 1.500.206 Node: riêng biệt, mô tả tọa độ điểm ranh giới địa giới tập tin OSM - 39.621 Way: riêng biệt, mô tả thông tin đường ranh giới địa giới tập tin OSM 54 - 11.385 Relation: riêng biệt, mô tả thông tin liên kết Way tập tin OSM Hình ảnh 4.1 Nội dung tập tin OSM Đối chiếu với số dịch vụ đồ số nước GIS Chính Phủ (http://gis.chinhphu.vn/) Việt Bản đồ (http://maps.vietbando.com/) thấy liệu chuyển đổi khớp bao phủ tồn Việt Nam 55 Hình ảnh 4.2 Bản đồ số Việt đồ 56 Hình ảnh 4.3 Chồng lớp nên đồ Việt Bản đồ 57 Hình ảnh 4.4 Bản đồ số GIS Chính Phủ 58 Hình ảnh 4.5 Chồng lớp nên đồ GIS Chính Phủ So sánh với liệu địa giới hành GIS phủ Việt đồ thấy đường biên giới địa giới sau chuyển đổi từ liệu đồ 1/50.000 khớp với bao phủ toàn Việt Nam 59 Nhưng bên cạnh nguồn liệu cũ từ năm 2013 nên liệu địa giới hành sau trích xuất có số vùng liệu khơng cịn xác so với thời điểm Bảng 4-2 Địa danh hành Việt Nam tính tới 01/10/2020 Nội dung STT Cấp tỉnh Tổng số Tỉnh 63 58 Thành phố trực thuộc Trung ương Cấp huyện 707 Thành phố 77 Thị xã 49 Quận 49 Huyện 532 Cấp xã 10.614 Xã 8.324 Phường 1.680 Thị trấn 610 Từ bảng [4-1] bảng [4-2] đối chiếu lại thấy biến đổi từ năm 2013 đến năm 2020: - Cấp hành cấp tỉnh: Dữ liệu hành cấp tỉnh/thành phố trực thuộc trung ương khơng có thay đổi; - Cấp hành cấp Huyện: o Thành phố: Tăng từ 64 lên 77 o Thị xã: Tăng từ 47 lên 49 o Quận: Giữ nguyên 49 o Huyện: Giảm từ 548 xuống 532 - Cấp hành cấp xã: o Xã: Giảm từ 9.001 xuống 8.342 o Phường: Tăng từ 1.545 lên 1.680 60 o Thị trấn: Giảm từ 615 xuống 610 61 KẾT LUẬN Kết đạt được: Qua trình tìm hiểu nghiên cứu luận văn giải tốn là: - Xây dựng quy trình cơng cụ biên tập liệu biên giới, địa giới cho Nền tảng cung cấp dịch vụ địa Việt Nam - Luận văn thực công việc từ việc bóc tách liệu biên giới địa giới đồ địa hình 1/50.000, gộp mảnh đồ, chuyển đổi hệ quy chiếu cho liệu việc chuyển đổi liệu sang tập tin OSM - Biên tập chỉnh sửa liệu danh giới hành Việt Nam tới cấp xã bao gồm: 63 tỉnh thành, 708 huyện 11.161 xã Hạn chế: - Quy trình phương pháp thực yêu cầu người thực phải có am hiểu định GIS xử lý liệu GIS - CSDL địa hình cũ so với thời điểm tại, nên địa danh hành biên giới địa giới chưa cập nhật với thời điểm - Một số vùng liệu tập liệu gốc không đầy đủ khuyết thiếu - Khi cập nhật liệu đồ địa hình 1/50.000 yêu cầu cần phải thực lại quy trình từ đầu, lựa chọn vùng bị sửa đổi để cập nhật chọn vùng thực với bước trích xuất liệu biên giới địa giới gộp mảnh đồ Đến bước xử lý sau bắt buộc phải xử lý toàn Việt Nam 62 TÀI LIỆU THAM KHẢO [1] Thủ tướng Chính phủ, “Quyết định số 677/QĐ-TTg Thủ tướng Chính phủ : Về việc phê duyệt Đề án ‘Phát triển Hệ tri thức Việt số hóa.’” [2] Quốc hội, “Luật Đo đạc Bản đồ số 27/2018/QH14 ngày 14/6/2018, hiệu lực thi hành từ ngày 01/01/2019.” [3] Bộ Tài nguyên Môi trường, Thông tư số 20/2014/TT-BTNMT Bộ Tài nguyên Mơi trường : Quy định kỹ thuật mơ hình cấu trúc, nội dung sở liệu địa lý tỷ lệ 1:50.000, vol 85, no 2014, pp 2071–2079 [4] Tổng cục địa Chính, “Thơng tư 973/2001/TT-TCĐC Tổng cục Địa việc hướng dẫn áp dụng hệ quy chiếu hệ tọa độ quốc gia VN-2000.” [5] “OpenStreetMap.” https://www.openstreetmap.org/#map=18/21.03629/105.78499 Sep 03, 2020) (accessed [6] L He, G Wu, D Dai, L Chen, and G Chen, “Data conversion between CAD and GIS in land planning,” in 2011 19th International Conference on Geoinformatics, Jun 2011, pp 1–4, doi: 10.1109/GeoInformatics.2011.5981193 [7] D C Docan, “Learning ArcGIS for Desktop : create, analyze, and map your spatial data with ArcGIS for Desktop,” Learn ArcGIS Deskt., no March, 2016 [8] C WRITERS and and other Rhonda Glennon, “ArcMap Tutorial,” Far, vol 5221112212, no 52, pp 227–19227, 2006, doi: 10.1007/s00779-014-0815-y [9] QGIS Development Team, “QGIS geographic information system developers manual,” Open Source Geospatial Found Proj., pp 1–625, 2020, [Online] Available: http://www.qgis.org/wiki/Developers_Manual [10] UNHCR, “Mapping With Qgis for,” pp 1–14, 2017 [11] Z U Ahmed, T J Krupnik, and M Kamal, “Introduction to basic GIS and spatial analysis using QGIS : Applications in Bangladesh,” CIMMYTBangladesh, no May, p 146, 2018 [12] T R Control, “Using the JOSM Editor.” [13] JOSM Editor Basic Manual, “Java OpenStreetMap Editor Basic Manual.” [14] “Combining Spatial Data in ArcMap | GeoNet, The Esri Community | GIS and Geospatial Professional Community.” https://community.esri.com/groups/technicalsupport/blog/2014/12/02/combining-spatial-data-in-arcmap (accessed Sep 63 03, 2020) [15] “Topology in ArcGIS—Help | ArcGIS for Desktop.” https://desktop.arcgis.com/en/arcmap/10.3/manage-data/topologies/topologyin-arcgis.htm (accessed Sep 03, 2020) [16] IHO, “User Handbook of Datum Transformations involving WGS 84,” vol 2003, no 60, p 112, 2008 [17] X Ye, X Cao, D Qiu, J Cao, and Y Wang, “Study and Realization of Coordinate Conversion in Vehicle Navigation,” in 2009 International Symposium on Intelligent Ubiquitous Computing and Education, May 2009, pp 517–520, doi: 10.1109/IUCE.2009.81 [18] V Janssen, “Understanding coordinate reference systems, datums and transformations,” Int J Geoinformatics, vol 5, no 4, pp 41–53, 2009 [19] Bộ Tài nguyên Môi trường, “Quyết định 05/2007/QĐ-BTNMT Bộ Tài nguyên Môi trường sử dụng hệ thống tham số tính chuyển hệ tọa độ quốc tế WGS-84 hệ tọa độ quốc gia VN-2000.” [20] “Tag:boundary=administrative OpenStreetMap Wiki.” https://wiki.openstreetmap.org/wiki/Tag:boundary%3Dadministrative (accessed Sep 30, 2020) [21] “JOSM.” https://josm.openstreetmap.de/ (accessed Sep 03, 2020) ... 3: XÂY DỰNG QUY TRÌNH VÀ CƠNG CỤ BIÊN TẬP DỮ LIỆU BIÊN GIỚI ĐỊA GIỚI 16 3.1 QUY TRÌNH BIÊN TẬP DỮ LIỆU BIÊN GIỚI ĐỊA GIỚI 17 3.2 TRÍCH XUẤT DỮ LIỆU BIÊN GIỚI QUỐC GIA VÀ DỮ LIỆU ĐỊA... địa giới cho Nền tảng cung cấp dịch vụ địa Việt Nam 1.3 Phạm vi nghiên cứu luận văn Công việc thực xây dựng quy trình biên tập liệu biên giới, địa giới tích hớp vào tảng cung cấp dịch vụ địa chỉ, ... phí tảng Hình ảnh.2.2 Giao diện OSM 16 CHƯƠNG 3: XÂY DỰNG QUY TRÌNH VÀ CƠNG CỤ BIÊN TẬP DỮ LIỆU BIÊN GIỚI ĐỊA GIỚI Dữ liệu biên giới địa giới tảng cung cấp dịch vụ địa biên tập từ liệu đồ địa