Xây dựng ứng dụng thu thập dữ liệu trên nền tảng di động cho bản đồ số việt nam​

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LƯU QUANG THẮNG XÂY DỰNG ỨNG DỤNG THU THẬP DỮ LIỆU TRÊN NỀN TẢNG DI ĐỘNG CHO BẢN ĐỒ SỐ VIỆT NAM LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN HÀ NỘI – 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LƯU QUANG THẮNG XÂY DỰNG ỨNG DỤNG THU THẬP DỮ LIỆU TRÊN NỀN TẢNG DI ĐỘNG CHO BẢN ĐỒ SỐ VIỆT NAM LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Cán hướng dẫn: TS Bùi Quang Hưng Cán đồng hướng dẫn: HÀ NỘI – 2020 LỜI CẢM ƠN Trước hết xin bày tỏ lòng cảm ơn chân thành đến TS Bùi Quang Hưng tận tình hướng dẫn tơi thời gian thực luận văn thạc sĩ Tôi xin cảm ơn thầy, cô giáo Trung tâm Công nghệ tích hợp liên ngành Giám sát trường (FIMO), khoa Công nghệ thông tin, trường Đại học Công nghệ ĐHQGHN tạo điều kiện giúp đỡ tơi hồn thành luận văn Cuối cùng, muốn gửi lời cảm ơn sâu sắc đến mẹ người thân gia đình, người ln ủng hộ đường tơi lựa chọn, giúp đỡ động viên vượt qua khó khăn sống Tuy có cố gắng định kiến thức thời gian có hạn nên chắn luận văn cịn nhiều thiếu sót hạn chế định Kính mong nhận góp ý thầy Khóa luận hỗ trợ đề tài khoa học công nghệ cấp Đại học Quốc Gia Hà Nội: "Xây dựng ứng dụng thu thập liệu tảng di động cho đồ số Việt Nam”, Mã số: QG.18.63 Hà Nội, ngày tháng năm 2020 Học viên Lưu Quang Thắng LỜI CAM ĐOAN Tôi xin cam đoan luận văn “XÂY DỰNG ỨNG DỤNG THU THẬP DỮ LIỆU TRÊN NỀN TẢNG DI ĐỘNG CHO BẢN ĐỒ SỐ VIỆT NAM” cơng trình nghiên cứu thân hướng dẫn TS Bùi Quang Hưng Tất tham khảo từ nghiên cứu liên quan trích dẫn cách rõ ràng danh mục tài liệu tham khảo Khơng có việc chép tài liệu, cơng trình nghiên cứu người khác mà khơng rõ tài liệu tham khảo Hà Nội, ngày tháng năm 2020 Học viên Lưu Quang Thắng DANH MỤC BẢNG BIỂU DANH MỤC HÌNH ẢNH MỞ ĐẦU CHƯƠNG 1.1 1.2 1.3 1.4 1.5 CHƯƠNG 2.1 Ứng dụng thu thập liệu 2.2 Ứng dụng thu thập liệu 2.3 2.4 2.5 2.6 CHƯƠNG 3.1 3.2 3.3 3.4 liệu máy chủ đồ số Vmap CHƯƠNG 4.1 Triển khai kiểm thử 56 4.2 Vấn đề kỹ thuật hướng giải 57 4.2.1 Xác định xác vị trí địa điểm, địa cần thu thập .57 4.2.2 Phân loại địa điểm quan tâm 60 4.2.3 Đơn giản hóa quy trình chỉnh sửa liệu bổ sung liệu mạng lưới đường 61 4.2.4 Đồng liệu máy chủ 62 4.3 Quy trình sử dụng Ứng dụng thu thập liệu 63 4.4 Thực nghiệm thu thập liệu 66 KẾT LUẬN 68 TÀI LIỆU THAM KHẢO 69 DANH MỤC BẢNG BIỂU Bảng 1 Thống kê liệu địa điểm, địa Việt Nam 13 Bảng Các loại liệu đầu vào công cụ thu thập liệu hỗ trợ 20 Bảng Các loại liệu công cụ thu thập liệu hỗ trợ trích xuất 21 Bảng Các tính cơng cụ thu thập liệu hỗ trợ 21 Bảng Danh sách yêu cầu chức ứng dụng Vmap Contributor 24 Bảng 2 Danh sách yêu cầu chuyển tiếp iệu với máy chủ 33 Bảng Phân tích yêu cầu chuyển tiếp liệu tới máy chủ 34 Bảng Luồng liệu Ứng dụng thu thập liệu 38 Bảng Thống kê VNMap map tile theo mức độ thu phóng 55 Bảng Môi trường phát triển ứng dụng 56 Bảng Thông tin phần mềm, thư viện sử dụng 56 Bảng Môi trường kiểm thử ứng dụng 57 Bảng 4 Thống kê kết thực nghiệm thu thập liệu 66 DAN Hình 1 Thống kê tỉ lệ người dùng Hình Danh sách khu vực Hình Biên giới Việt Nam - Lào Google Maps (đường liền nét) đồ Cục Đo đạc, Bản đồ Thông tin địa lý Việt Nam - Bộ Tài nguyên Môi trường 1:50,000 (đường đứt nét) Hình Điều khoản sử dụng dịch Hình Kiến trúc Hình Giao diện ứng dụng O Hình Giao diện ứng dụng Kobo Toolbox Hình Giao diện Ứng dụng Hình Giao diện ứng dụng G Hình 10 Giao diện ứn Hình 11 Giao diện ứn Hình Biểu đồ phân chức (FDD) 28 Hình 2 Biểu đồ luồng liệu Ứng dụng 29 Hình Mơ hình hóa đối tượng mơ tả tương tác người sử dụng với chức 36 Hình Biểu đồ hiển thị liệu đồ Hình 3 Biểu đồ hiển thị đồ độ phân giải cao Hình Biểu đồ định vị vị trí Hình Biểu đồ hiển thị thông tin điểm quan tâm Hình Biểu đồ chỉnh sửa Hình Biểu đồ thêm điể Hình Biểu đồ quản lý đ Hình Biểu đồ thêm ảnh Hình 10 Biểu dồ h Hình 11 Biểu đồ c Hình 12 Biểu đồ h Hình 13 Biểu đồ Hình 14 Biểu đồ t Hình 15 Biểu đồ x Hình 16 Cấu trúc liệu Hình 17 Mơ hình lưu trữ Hình Bản đồ Vmap lớp ảnh vệ tinh Bing Image 59 Hình Bổ sung lớp liệu móng nhà khu Dịch Vọng Hậu, Cầy Giấy .60 Hình Khởi động ứng dụng định vị vị trí 64 Hình 4 Hiển thị danh sách liệu địa điểm có 64 Hình Thêm địa điểm thông tin mô tả 65 Hình Xác thực người dùng cập nhập liệu lên máy chủ Vmap 65 Hình Dữ liệu địa điểm, địa Vmap 66 Hình Bản đồ Vmap lớp ảnh vệ tinh Bing Image - Tích hợp liệu móng nhà chi tiết: CSDL địa lý tỉ lệ 1/2000 chứa thơng tin đo đạc móng nhà chi tiết Dữ liệu mơ tả móng nhà tích hợp Vmap cung cấp thông tin hiển thị Ứng dụng thu thập Đây liệu có độ xác cao đo đạc, xử lý công bố Cục Đo đạc, Bản đồ Thông tin Địa lý – Bộ Tài nguyên Môi trường Trong khn khổ luận văn, liệu móng nhà bao phủ khu vực Dịch Vọng Hậu, Cầu Giấy tích hợp vào chức hiển thị đồ để phục vụ cơng việc thực nghiệm 60 Hình Bổ sung lớp liệu móng nhà khu Dịch Vọng Hậu, Cầy Giấy 4.2.2 Phân loại địa điểm quan tâm Dữ liệu điểm mô tả địa chỉ, địa danh, địa điểm quan tâm đồ thông tin thuộc tính địa điểm Danh lục đối tượng quan tâm phụ thuộc vào mục tiêu thu thập liệu điều kiện xã hội khu vực, quốc gia Hiện nay, nhiều danh lục phân loại đối tượng quan tâm sử dụng như: oBộ phân loại dự án thu thập liệu đồ mở OpenStreetMap bao gồm 600 loại đối tượng [40] oBộ phân loại Google Maps gồm 90 loại đối tượng [41] oBộ phân loại chuyên gia đồ Tập đồn Bưu Pháp La Poste [42] đề xuất với Bưu điện Việt Nam (VNPost) với khoảng 400 loại đối tượng oCông ty MediaPost thuộc Tổng Công ty Bưu điện Việt Nam (VNPost) đề xuất sử dụng phân loại 100 loại đối tượng cho việc xây dựng sở liệu địa hai thành phố lớn: Hà Nội, Hồ Chí Minh 61 Việc xây dựng danh lục phân loại đối tượng quan tâm ảnh hưởng trực tiếp đến trình thu thập liệu, quy trình xử lý kết đồ cuối Đây vấn đề cần thu thập yêu cầu từ nhiều nguồn người dân, nhà quản lý, quan quản lý nhà nước, … để đưa danh lục phù hợp với đồ số Việt Nam Nhóm chuyên gia kỹ thuật VNPost kết hợp với trường ĐH Công nghệ xây dựng phân loại gồm 160 loại địa điểm áp dụng Ứng dụng thu thập liệu 4.2.3 Đơn giản hóa quy trình chỉnh sửa liệu bổ sung liệu mạng lưới đường Theo phân tích, thiết kế chức Chương 3, ứng dụng thu thập liệu cung cấp chức chỉnh sửa liệu hình dạng đường Dựa khảo sát người dùng, chức khó sử dụng, khó đảm bảo độ xác thời gian thao tác lâu Do đó, số lượng chỉnh sửa liệu đường thực nghiệm thêm liệu đường chưa hỗ trợ Lee cộng (2011) giới thiệu chi tiết cách thực thuật toán lọc, bao gồm lọc Kalman lọc Particle Một bước tiền xử lý khác việc sử dụng phương pháp so khớp đồ để khớp quỹ đạo sinh GPS với mạng lưới đường có sẵn Sotiris Brakatsoulas cơng (2005) trình bày ba thuật tốn so khớp đồ tập trung đặc biệt vào tính chất quỹ đạo liệu thay đơn giản vị trí tại, kỹ thuật so khớp đồ truyền thống Điều quan trọng cần lưu ý phương pháp đối sánh đồ áp dụng cho trích xuất thơng tin cấp đường từ liệu GPS điểm theo dõi khớp với đường trung tâm đường xe buýt vị trí ban đầu bị thay đổi Ngược lại với phương pháp này, số nhà nghiên cứu sử dụng phân cụm để loại bỏ ngoại lệ Ví dụ, Jing Wang cộng (2015) đề xuất sử dụng phương pháp kernel density để loại bỏ ngoại lệ quỹ đạo GPS thô Chen cộng (2010) xếp tất điểm liệu theo thứ tự tăng dần theo khoảng cách chúng so với trung vị sau chọn 95% điểm liệu xếp làm liệu thử nghiệm So với kỹ thuật lọc phương pháp so khớp đồ, phương pháp phân cụm khơng thay đổi vị trí điểm theo dõi nhạy cảm với khoảng thời gian lấy mẫu, khiến chúng thích hợp để loại bỏ ngoại lệ xử lý khối lượng lớn quỹ đạo GPS chất lượng thấp tần số mẫu thấp bị ảnh hưởng hẻm núi đô thị 62 Dựa nghiên cứu trên, luận văn đề xuất chức lưu trữ liệu vị trí người dùng theo thời gian (GPS Exchange Format - GPX) qua trình thực địa thu thập liệu Dữ liệu hành trình di chuyển người tổng hợp đóng góp lên máy chủ Vmap trở thành nguồn liệu phong phú để phát đường chỉnh sửa hình dạng đường tự động Đây đề xuất nhóm phát triển Vmap nghiên cứu rõ chưa ứng dụng thực tế 4.2.4 Đồng liệu máy chủ Các chức thêm liệu không ảnh hưởng đến vấn đề quán liệu máy chủ Tuy nhiên, chức chỉnh sửa / xóa gây sai sót thơng tin nhiều người dùng chỉnh sửa / xóa liệu khu vực Về phía máy chủ Vmap, liệu mô tả cuối (theo thời gian xác nhận máy chủ) áp dụng ghi trước lưu trữ khôi phục Đây cách thức hoạt động tương tự việc quản lý phiên mã nguồn Git Để hạn chế vấn đề này, quy trình quản lý thu thập liệu hỗ trợ bưu tá VNPost Đoàn niên xây dựng theo hướng phân vùng địa lý Quyết định 63 2475/QĐ-BTTTT - Bộ Thông tin Truyền thông (2017) quy định mã bưu Việt Nam gồm chữ số Trước đó, mã bưu Việt Nam bao gồm chữ số: - Trong hai chữ số xác định tên tỉnh, thành phố trực thuộc trung ương - Hai chữ số xác định mã quận, huyện, thị xã, thành phố trực thuộc tỉnh - Số xác định phường, xã, thị trấn - Số cuối xác định thôn, ấp, phố đối tượng cụ thể Ví dụ mã bưu chữ số 123106 định đường Xuân Thủy, Phường Dịch Vọng Hậu, Quận Cầu Giấy, Thành phố Hà Nội từ số nhà 1-239 2-148 Thông kê việc phân chia khu vực theo mã bưu số sau: - Tồn quốc: 154.046 mã bưu - Đồng sơng Hồng: 28.109 mã bưu - Hà Nội: 10.593 mã bưu - Cầu Giấy: 677 mã bưu - Phường Dịch Vọng Hậu: 134 mã bưu Đây cách chia khu vực địa lý chi tiết VNPost sử dụng để phân chia công việc tất nhân viên bưu tá Do đó, nhân viên bưu tá nắm rõ khu vực phụ trách Quy trình thu thập liệu thực địa dựa cách phân chia phân bổ công việc thu thập liệu thu thập viên theo mã bưu số 4.3 Quy trình sử dụng Ứng dụng thu thập liệu - Mở ứng dụng xác định vị trí thực địa - Hiển thị liệu địa điểm, địa có - Thêm địa điểm, địa - Thêm ảnh cho địa điểm, địa - Kiểm tra danh sách thay đổi cập nhập liệu lên máy chủ Vmap 64 Hình Khởi động ứng dụng định vị vị trí Hình 4 Hiển thị danh sách liệu địa điểm có 65 Hình Thêm địa điểm thông tin mô tả Hình Xác thực người dùng cập nhập liệu lên máy chủ Vmap 4.4 Thực nghiệm thu thập liệu Thực nghiệm thu thập liệu thực địa triển khai khu vực Dịch Vọng Hậu, Cầu Giấy, Hà Nội diễn tháng 3/2020 với hỗ trợ 10 sinh viên trường 66 Đại học Công nghệ Kết thu thập thống kê Error! Reference source not found Bảng 4 Thống kê kết thực nghiệm thu thập liệu STT Tiêu chí Số lượng mã bưu Số người thu thập Thời gian thu thập trung bình mã bưu Số lượng liệu địa điểm, địa Ứng dụng thu thập liệu Vmap Contributor hỗ trợ chiến dịch thu thập liệu địa chỉ, địa điểm tồn quốc Tính đến tháng 6/2020, Vmap có 24 triệu địa điểm, địa tồn quốc Hình Dữ liệu địa điểm, địa Vmap Trong trình thực nghiệm thu thập liệu, nhóm phát triển nhận thấy Ứng dụng thu thập liệu yếu điểm sau: 67 - Dữ liệu móng nhà bao phủ phần diện tích nhỏ - Lớp ảnh đồ vệ tinh độ phân giải chưa thực cao (so sánh với Google Earth) - Thiếu liệu mạng lưới đường gây xác định vị trí địa (xác định phía trị tương đường: trái / phải) - Chưa có chế xác thực, kiểm tra lại liệu đóng góp - Chức thu thập liệu GPX cần thiết chưa tích hợp Ứng dụng - Tài khoản, quản người dùng phụ trách đội ngũ quản lý Vmap - Chưa có chế quản lý người dùng, thu hút cộng đồng đóng góp liệu (tích điểm, ưu tiên cho người đóng nhiều liệu) - Chưa phù hợp cho cộng đồng thu thập liệu độc lập 68 KẾT LUẬN Bản đồ số Việt Nam – Vmap dự án triển khai với mục tiêu cung cấp dịch vụ đồ số nước chi tiết, đáng tin cậy Luận văn với mục tiêu xây dựng Ứng dụng thu thập liệu tảng di động hỗ trợ bưu tá VNPost Đoàn viên niên thu thập liệu địa điểm, địa toàn quốc Luận văn thu thập phân tích yêu cầu chức năng, phi chức năng, chuyển tiếp liệu Ứng dụng máy chủ Vmap Dựa đó, luận văn tiến hành phân tích, thiế kế chức năng, luồng liệu, cấu trúc liệu mơ hình trao đổi liệu Ứng dụng Luận văn thực (6/14 chức chính) ứng dụng tham gia đề suất hướng giải vấn đề kỹ thuật Kết luận văn tài liệu thu thập yêu cầu, phân tích thiết kế ứng dụng thu thập liệu Vmap Contributor phiên Ứng dụng triển khai thử nghiệm khuôn khổ khóa luận phường Dịch Vọng Hậu, Cầu Giấy, Hà Nội hỗ trợ chiến dịch thu thập liệu địa chỉ, địa điểm toàn quốc Ứng dụng chứng minh khả hỗ trợ thu thập liệu thực địa cho Vmap chiến dịch quản lý đơn vị chuyên trách Tuy nhiên, Ứng dụng nhiều yếu điểm chưa phù hợp để cộng đồng thu thập liệu độc lập người dân dễ dàng đóng góp liệu Ứng dụng tập trung vào liệu địa điểm, địa chưa tối ưu cho liệu khác mạng lưới đường, lớp phủ, … 69 TÀI LIỆU THAM KHẢO [1] Quốc hội, “Luật đo đạc đồ.” 2018 [2] “• Top U.S mapping apps by users 2018 | Statista.” https://www.statista.com/statistics/865413/most-popular-us-mapping-appsranked-by-audience/ (accessed Sep 01, 2020) [3] “• Top U.S mapping apps by reach 2018 | Statista.” https://www.statista.com/statistics/865419/most-popular-us-mapping-appsranked-by-reach/ (accessed Sep 01, 2020) [4] “The Popularity of Google Maps: Trends in Navigation Apps in 2018 | The Manifest.” https://themanifest.com/mobile-apps/popularity-google-maps-trendsnavigation-apps-2018 (accessed Sep 01, 2020) [5] “Google Maps Platform Coverage Details | Google Developers.” https://developers.google.com/maps/coverage (accessed Sep 01, 2020) [6] Google Cloud, “Google Maps Platform Prohibited Territories | Google Maps Platform | Google Cloud.” [7] Chính phủ, “Quyết định số 677/QĐ-TTg Thủ tướng Chính phủ ngày 18/05/2017 v/v phê duyệt đề án Hệ tri thức Việt số hóa.” 2017 [8] “Quyết định số 3264/QĐ-BKHCN việc triển khai số dự án khuôn khổ Đề án ‘Phát triển Hệ tri thức Việt số hóa’, Bộ Khoa học Cơng nghệ, 26/10/2018.” [9] “Văn đạo điều hành.” http://vanban.chinhphu.vn/portal/page/portal/chinhphu/hethongvanban?class_id= 2&_page=1&mode=detail&document_id=194010 (accessed Sep 01, 2020) [10] “IN V ISIBL E C OMP U TING Open Source Data Collection in the Developing World,” 2009 Accessed: Oct 17, 2018 [Online] Available: http://code [11] “KoBoToolbox | Data Collection Tools for Challenging Environments.” https://www.kobotoolbox.org/ (accessed Nov 21, 2018) [12] “GeoODK.” http://geoodk.com/ (accessed Nov 20, 2018) 70 [13] “Mobile Data Collection Portal.” https://mdc.giscloud.com/ (accessed Nov 20, 2018) [14] “NextGIS | Opensource Geospatial Solutions.” http://nextgis.com/ (accessed Nov 21, 2018) [15] “AmigoCloud - Powerful Mapping for Everyone.” https://www.amigocloud.com/en/ (accessed Nov 20, 2018) [16] 830-1984 IEEE Guide to Software Requirements Specifications [17] I Sommerville, “Software Engineering - 10th Edition,” 2015, doi: 10.1111/j.1365-2362.2005.01463.x [18] T DeMarco, “Structured Analysis and System Specification,” in Software Pioneers, 2011 [19] H D Mills, “Software engineering.,” Science (80- )., vol 195, no 4283, pp 1199–1205, 1977, doi: 10.1126/science.195.4283.1199 [20] OGC, “OpenGIS® Web Map Server Implementation Specification,” OGC® Stand., 2006, doi: http://www.opengeospatial.org/standards/wms [21] N G I Agency, “WGS 84 and the Web Mercator Projection NGA Office of Geomatics.” 2014 [22] “Directly accessing the Bing Maps tiles - Bing Maps | Microsoft Docs.” https://docs.microsoft.com/en-us/bingmaps/rest-services/directly-accessing-thebing-maps-tiles (accessed Jun 27, 2019) [23] “Camera API | Android https://developer.android.com/guide/topics/media/camera Developers.” (accessed Jun 2019) [24] International Organization for Standardization, “ISO 9126: Software Engineering – Product quality,” Iso/Iec Fdis 9126-1 2000, doi: 10.1002/(SICI)10991670(199603)2:13.0.CO;2-3 27, [25] “ISO/IEC 25010:2011 - Systems and software engineering Systems and software Quality Requirements and Evaluation (SQuaRE) System and software 71 quality models.” https://www.iso.org/standard/35733.html (accessed Jun 27, 2019) [26] “Android version distribution: Are Google’s faster rollout initiatives working? Android Authority.” https://www.androidauthority.com/android-versiondistribution-748439/ (accessed Sep 01, 2020) [27] “• Mobile Apple iOS version share worldwide 2018-2020 | Statista.” https://www.statista.com/statistics/1118925/mobile-apple-ios-version-shareworldwide/ (accessed Sep 01, 2020) [28] H N da Silva, G R Mattiello, A T Endo, É F de Souza, and S R S de Souza, “Evaluating the Impact of Different Testers on Model-based Testing,” 2018, doi: 10.1145/3266003.3266012 [29] B P Douglass and B Powell, Real-time UML : developing efficient objects for embedded systems Addison-Wesley, 1998 [30] D Weber-Wulff, “Object-oriented software engineering,” ACM SIGSOFT Softw Eng Notes, 2004, doi: 10.1145/505863.505891 [31] M P Ananda, H Bernstein, K E Cunningham, W A Feess, and E G Stroud, “Global Positioning System (GPS) autonomous navigation,” in IEEE Symposium on Position Location and Navigation A Decade of Excellence in the Navigation Sciences, pp 497–508, doi: 10.1109/PLANS.1990.66220 Accuracy.” [32] “GPS.gov: GPS https://www.gps.gov/systems/gps/performance/accuracy/ 2018) (accessed Oct 17, [33] “Find and improve your location’s accuracy - Android - Google Maps Help.” https://support.google.com/maps/answer/2839911?co=GENIE.Platform %3DAnd roid&hl=en&oco=0 (accessed Sep 01, 2020) [34] “About privacy and Location Services in iOS and iPadOS - Apple Support.” https://support.apple.com/en-us/HT203033 (accessed Sep 01, 2020) 72 ... Luận văn tập trung vào việc Xây dựng ứng dụng thu thập liệu tảng di động cho Bản đồ số Việt Nam, phục vụ cộng đồng người thu thập liệu với mục tiêu cụ thể sau: - Thu thập yêu cầu, tìm hiểu kiến... triển ứng dụng Ứng dụng thu thập liệu tảng di động cho Bản đồ số Việt Nam phát triển hướng tới nhiều đối tượng người sử dụng như: chuyên gia thu thập liệu địa chỉ, bưu tá Tổng cơng ty bưu điện Việt. .. NGHỆ LƯU QUANG THẮNG XÂY DỰNG ỨNG DỤNG THU THẬP DỮ LIỆU TRÊN NỀN TẢNG DI ĐỘNG CHO BẢN ĐỒ SỐ VIỆT NAM LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Cán hướng dẫn: TS Bùi Quang Hưng Cán đồng hướng dẫn: HÀ