Ứng dụng cơ sở dữ liệu đồ thị để xây dựng hệ thống quản lý hạ tầng giao thông tại tỉnh quảng ngãi

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA - NGUYỄN QUỐC HÙNG ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ ĐỂ XÂY DỰNG HỆ THỐNG QUẢN LÝ HẠ TẦNG GIAO THÔNG TẠI TỈNH QUẢNG NGÃI Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS Nguyễn Thanh Bình TS Lê Văn Minh Đà Nẵng – Năm 2019 LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tác giả Nguyễn Quốc Hùng MỤC LỤC ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ ĐỂ XÂY DỰNG HỆ THỐNG MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nhiệm vụ nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Ý nghĩa khoa học thực tiễn đề tài Bố cục luận văn CHƯƠNG QUẢN LÝ HẠ TẦNG GIAO THÔNG 1.1 Giới thiệu hạ tầng giao thông 1.1.1 Khái niệm hạ tầng giao thông 1.1.2 Đặc điểm hạ tầng giao thông .6 1.1.3 Phân loại hạ tầng giao thông 1.2 Quản lý hạ tầng giao thông 1.2.1 Khái niệm 1.2.2 Mục tiêu quản lý 10 1.3 Hiện trạng quản lý hạ tầng giao thông Quảng Ngãi 10 1.4 Khó khăn thách thức 13 1.5 Bài toán cần giải 15 1.6 Kết luận 15 CHƯƠNG HỆ THỐNG THÔNG TIN ĐỊA LÝ GIS TRONG QUẢN LÝ HẠ TẦNG GIAO THÔNG .17 2.1 Giới thiệu GIS 17 2.2 Các thành phần GIS 17 2.3 Hoạt động GIS 18 2.4 Nhiệm vụ GIS 19 2.5 Dữ liệu GIS 21 2.6 Ứng dụng GIS 21 2.7 Kết luận 24 CHƯƠNG CƠ SỞ DỮ LIỆU VÀ CƠ SỞ DỮ LIỆU ĐỒ THỊ 25 3.1 Giới thiệu sở liệu 25 3.2 Các phương pháp quản lý liệu 25 3.3 Cơ sở liệu quan hệ 26 3.3.1 Khái niệm 26 3.3.2 Lược đồ quan hệ chuẩn hóa 27 3.3.3 Mơ hình sở liệu quan hệ 29 3.3.4 Kết luận 30 3.4 Cơ sở liệu hướng đối tượng 30 3.4.1 Khái niệm 30 3.4.2 Đối tượng sở liệu đối tượng 31 3.4.3 Kiểu liệu .32 3.4.4 Quản lý đối tượng 33 3.4.5 Kết luận 33 3.5 Cơ sở liệu NoSQL 33 3.5.1 Giới thiệu 33 3.5.2 Kỹ thuật mơ hình 34 3.5.3 Lưu trữ Khóa-Giá trị (Key-/Value-Store) 36 3.5.4 Cơ sở liệu tài liệu (Document Store) 38 3.5.5 Kết luận 39 3.6 Cơ sở liệu đồ thị 40 3.6.1 Lý thuyết đồ thị 40 3.6.2 Định nghĩa sở liệu đồ thị 41 3.6.3 Mơ hình liệu đồ thị .42 3.6.4 Kết luận 44 CHƯƠNG ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ ĐỂ XÂY DỰNG HỆ THỐNG QUẢN LÝ HẠ TẦNG GIAO THƠNG TẠI TỈNH QUẢNG NGÃI 45 4.1 Mơ tả toán 45 4.2 Hướng tiếp cận sở liệu đồ thị 46 4.3 Trừu tượng hóa liệu 47 4.3.1 Thu thập liệu 47 4.3.2 Phân tích liệu 48 4.3.3 Trừu tượng hóa liệu 51 4.4 Thiết kế sở liệu 52 4.5 Cơ sở liệu đồ thị Neo4J 53 4.5.1 Giới thiệu 53 4.5.2 Trình duyệt (Browser) .54 4.5.3 Ngôn ngữ truy vấn Cypher 55 4.6 Trực quan hóa liệu 56 4.7 Nhập liệu 58 4.8 Truy vấn 60 4.9 Đánh giá tốc độ truy vấn 62 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .64 TÀI LIỆU THAM KHẢO 66 ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ ĐỂ XÂY DỰNG HỆ THỐNG QUẢN LÝ HẠ TẦNG GIAO THÔNG TẠI TỈNH QUẢNG NGÃI Học viên: Nguyễn Quốc Hùng Chuyên nghành: Khoa học máy tính Mã số: 60.48.01.01 Trường Đại học Bách khoa – ĐHBK Khóa: K33 QNG Tóm tắt – Các hệ thống quản lý sở hạ tầng giao thông trước thường phát triển để quản lý thành phần riêng lẻ hệ thống hạ tầng giao thông Luận văn nghiên cứu mô tả giải pháp ứng dụng sở liệu đồ thị nhằm xây dựng hệ thống quản lý thông tin hạ tầng giao thông tỉnh Quảng Ngãi Với mục đích xây dựng hệ thống có khả mở rộng chức dễ dàng, tích hợp loại liệu khác quản lý hạ tầng giao thông, tác giả nghiên cứu cách tổng quát loại liệu thường dùng quản lý hạ tầng giao thông: hệ thống thông tin địa lý GIS, sở liệu quan hệ sở liệu phi quan hệ - NoSQL, nhằm xác định ưu sở liệu đồ thị tìm hiểu chất liệu quản lý thông tin hạ tầng giao thơng, nhằm trừu tượng hóa liệu thiết kế mơ hình liệu cho hệ thống quản lý thông tin hạ tầng giao thông Tác giả tóm tắt kết đạt đưa hướng phát triển Từ khóa – Cơ sở liệu đồ thị, hạ tầng giao thông, hệ thống quản lý, GIS, Cơ sở liệu quan hệ, Cơ sở liệu phi quan hệ NoSQL APPLICATION OF GRAPH DATABASE TO BUILD TRANSPORT INFRASTRUCTURE MANAGEMENT SYSTEM IN QUANG NGAI PROVINCE Abstract – Previous transport infrastructure management systems are often developed to manage individual components of transport infrastructure systems The thesis describes the solution of applying graph database to build a transport infrastructure information management system in Quang Ngai provice For the purpose of building a system that is able to easily expand functions, integrating different types of data in transport infrastructure management, the author has studied in general the types of data commonly used in transport infrastructure management: GIS - geographic information system, relational database and non-relational database, to determine the advantages of graph database as well as understanding the nature of data in management transport infrastructure information, to abstract data in data model design for traffic infrastructure information management system The author has summarized the results achieved and given the next development directions Keywords – Graph Database, transport infrastructure, management system, GIS, Relational Database, NoSQL Database Trang MỞ ĐẦU Lý chọn đề tài Với quy mô đô thị ngày mở rộng, phương thức giao thông ngày trở nên đa dạng Các loại phương tiện giao thông vận tải liên tục tăng mạnh, dẫn đến nhu cầu ngày tăng nhanh người dân giao thông gia tăng đáng kể lưu lượng giao thông Quy hoạch phát triển đô thị, khu dân cư tăng nhanh, hạ tầng giao thông phát triển mở rộng tương ứng Tại Quảng Ngãi, phòng Quản lý kết cấu hạ tầng giao thơng phịng Quản lý chất lượng cơng trình giao thơng hai phịng quản lý trực tiếp lưu hồ sơ cơng trình hạ tầng giao thông Hiện tại, đơn vị thực lưu trữ hồ sơ quản lý giấy, máy tính số liệu số hóa sử dụng cơng nghệ GIS Tuy nhiên, liệu chưa cập nhật thường xuyên chưa phát huy hiệu việc quản lý Việc quản lý thông tin hạ tầng giao thông chưa phát huy giá trị xứng đáng hay cung cấp hỗ trợ toàn diện cho việc quản lý, hoạch định định quan chức Dẫn đến hạn chế việc phát huy hiệu quản lý dự đoán khả phát triển hạ tầng giao thơng Bên cạnh đó, liệu hạ tầng giao thông lớn phức tạp Dữ liệu liên tục biến động công tác xây mới, tu, bảo trì, sửa chữa,… Do đó, thấy việc quản lý hiệu phân tích sâu liệu giao thông nhiệm vụ quan trọng phát triển đô thị Việc quản lý liệu trạng cơng trình hạ tầng giao thông cần thiết khai thác liệu sở hạ tầng nhằm phục vụ công tác quản lý công tác phụ trợ liên quan việc cấp thiết cần thực Hạ tầng giao thông phức tạp từ cấu trúc lẫn thành phần Để quản lý tốt hạ tầng giao thông, cần xét đến loại liệu cần lưu trữ Tuy nhiên, hướng tiếp cận khác liệu có giải pháp riêng biệt, từ gây nên phức tạp hệ thống Một cách tổng quát, xem xét liệu theo ba hướng tiếp cận Trang • Hệ thống thơng tin địa lý (GIS): Tổ chức đối tượng địa lý hạ tầng giao thông như: đường, cầu, cống ngầm, cơng trình phụ trợ Tuy nhiên, việc tổ chức liệu hệ thống thơng tin địa lý khó để đáp ứng nhu cầu khai thác liệu lịch sử đối tượng, thông tin liên kết, đối tượng liên kết theo tiêu chí khác thơng tin địa lý • Cơ sở liệu quan hệ (Relational Database) : Tổ chức liệu theo dạng bảng, liên kết đối tượng nhóm đối tượng Việc tổ chức liệu sở liệu quan hệ phù hợp với quản lý thông tin Tuy nhiên, trường hợp đối tượng có liên kết phức tạp, số lượng đối tượng nhiều, khả phát sinh thay đổi cấu trúc liên kết xảy thường xuyên dẫn đến việc giảm hiệu suất hệ thống hệ thống sai sót • Cơ sở liệu đồ thị (Graph Database): Đây hướng tiếp cận đột phá cho việc tổ chức liệu có cấu trúc liên kết phức tạp thực thể phức tạp, hệ thống giao thông Nó cho hiệu suất kết nối cao khả dễ thay đổi liên kết mà không ảnh hưởng đến liệu Đây hướng tiếp cận thích hợp cho tổ chức liệu hạ tầng giao thơng Bài tốn đặt đề tài giải pháp tổ chức liệu hạ tầng giao thông thành khối có khả lưu trữ hay liên kết loại liệu khác khả mở rộng linh hoạt nhằm đáp ứng khả phát triển thay đổi từ cấu trúc đến loại liệu Trong đó, sở liệu đồ thị hướng tiếp cận việc lưu trữ liệu mang lại nhiều sản phẩm thành cơng dù cịn giai đoạn nghiên cứu phát triển Mơ hình liệu phù hợp với toán kết nối liệu, tương ứng với tốn quản lý thơng tin hạ tầng giao thông Việc tăng cường thực nghiệm đưa thực nghiệm mang tính thiết thực cần thiết Vì lý trên, tơi chọn đề tài luận văn: “Ứng dụng sở liệu đồ thị để xây dựng hệ thống quản lý hạ tầng giao thông tỉnh Quảng Ngãi” Mục tiêu nhiệm vụ nghiên cứu Đề tài tập trung nghiên cứu, tìm hiểu hướng tiếp cận sử dụng sở liệu đồ thị để xây dựng hệ thống quản lý thông tin hạ tầng giao thông Trang Thu thập tài liệu tìm hiểu thành phần hạ tầng giao thông, xây dựng đồ tương đối chi tiết thành phần hệ thống giao thông Phân loại thành phần hệ thống giao thông kết hợp thông tin địa lý nhằm trừu tượng hóa thành liệu đồ thị Thu thập tài liệu cho quy trình quản lý khai thác thông tin quản lý hạ tầng giao thông thành phố Quảng Ngãi Phân tích thiết kế ứng dụng quản lý thông tin hạ tầng giao thông Mục tiêu cụ thể : • Tìm hiểu hệ thống thông tin địa lý - GIS: o Khái niệm hệ thống thông tin địa lý o Hoạt động nhiệm vụ GIS o Dữ liệu ứng dụng GIS • Tìm hiểu hạ tầng giao thơng công tác quản lý: o Các thành phần hạ tầng giao thông o Công tác quản lý hạ tầng giao thơng Quảng Ngãi • Tìm hiểu sở liệu đồ thị: o Khái niệm sở liệu đồ thị o Phương pháp quản lý liệu đồ thị o Mơ hình liệu đồ thị o Ứng dụng sở liệu đồ thị o Cơ sở liệu đồ thị Neo4J • Ứng dụng quản lý thông tin hạ tầng giao thông: o Phân tích thiết kế hệ thống o Xây dựng mơ hình o Thực nghiệm đánh giá Đối tượng phạm vi nghiên cứu Hạ tầng giao thông đường công tác quản lý Quảng Ngãi Trang Hệ thống thông tin địa lý dùng quản lý đối tượng địa lý đồ hạ tầng giao thông đường Quảng Ngãi Cơ sở liệu quan hệ quản lý thông tin hạ tầng giao thông đường Ứng dụng sở liệu đồ thị việc trừu tượng hóa thành phần hạ tầng giao thông Thiết kế sở liệu đồ thị ứng dụng sở liệu đồ thị để xây dựng hệ thống quản lý thông tin hạ tầng giao thông Phương pháp nghiên cứu Nghiên cứu lý thuyết hệ thống thông tin địa lý, sở liệu quan hệ sở liệu đồ thị Tìm hiểu thực tiễn qua việc thu thập thông tin mẫu trạng hạ tầng giao thông công tác quản lý hạ tầng giao thông Quảng Ngãi Thực nghiệm đánh giá hệ thống quản lý hạ tầng giao thông Ý nghĩa khoa học thực tiễn đề tài Ý nghĩa khoa học : o Đưa thực nghiệm sở liệu đồ thị Thu thập thông tin hiệu suất sở liệu đồ thị o Khảo sát nhằm xây dựng đồ thành phần hệ thống giao thơng, trừu tượng hóa mối quan hệ thành phần nhằm bổ sung luận cho nghiên cứu liên quan lĩnh vực Ý nghĩa thực tiễn: Xây dựng mô-đun quản lý khai thác thông tin hạ tầng giao thông Quản lý cập nhật thông tin cơng trình đường bộ, nút giao thơng, tuyến đường, cầu cống; quản lý liệu chi tiết hạ tầng giao thơng; tra cứu, tìm kiếm, kết xuất báo cáo liệu; Bố cục luận văn Luận văn trình bày bao gồm phần sau: Trang 64 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Luận văn trình bày ý tưởng sử dụng Cơ sở liệu đồ thị thực hóa giải pháp quản lý thông tin hạ tầng giao thông đô thị Đặc trưng hiệu cao, thời gian phản hồi ngắn, khả mở rộng khả đáp ứng lượng liệu phức tạp lớn Do đó, việc sử dụng Cơ sở liệu đồ thị hệ thống quản lý thông tin hạ tầng đề cập cải thiện chất lượng thông tin quản lý, rút ngắn thời gian phải hồi mở rộng chức định Trên mẫu thử thông tin hạ tầng giao thông, phương pháp chuyển đổi từ mơ hình quan hệ cổ điển sang mơ hình đồ thị chứng minh Các quy tắc thiết kế cho thực thể mối quan hệ chúng biến thành đối tượng quan hệ sở liệu đồ thị Mơ hình sở liệu đồ thị chung phát triển sở đó, lược đồ chi tiết sở liệu đồ thị hệ thống thông tin đề xuất Sử dụng ngôn ngữ truy vấn Cypher sở liệu đồ thị, lệnh đưa để tìm kiếm thơng tin điểm, đường Ý tưởng hệ thống trình bày báo cáo luận văn có tính sáng tạo như: • Cơng nghệ đại áp dụng dạng sở liệu đồ thị giải vấn đề truyền thống thuộc sở liệu quan hệ • Cấu trúc linh hoạt sử dụng dễ dàng thích ứng với u cầu quản lý phát sinh thực tế Mơ hình hệ thống đề xuất báo thử nghiệm cách sử dụng liệu liệu tình hình thực tế tương ứng Tất truy vấn kiểm tra tính xác liệu trả Trang 65 Trong số trường hợp, khả ngôn ngữ truy vấn sử dụng công việc hệ thống sở liệu không đủ để thực tất chức yêu cầu Giải pháp đề xuất tác giả sử dụng thư viện truy cập trực tiếp vào đối tượng sở liệu ngôn ngữ lập trình cấp cao, ví dụ: Java Tính tốn độ phức tạp thời gian thực thuật toán trung bình phải xác minh thực tế với việc so sánh kết thu cho sở liệu quan hệ đồ thị Trang 66 TÀI LIỆU THAM KHẢO Tiếng Việt [1] “Đường đô thị tổ chức giao thông” – Bùi Xuân Cậy, 2006 [2] “Quản lý Nhà nước Kinh tế” – GS.TS Đỗ Hoàng Toàn, PGS.TS Mai Văn Bưu, 2005 [3] “Giáo trình Hệ thống thơng tin địa lý” – Trần Thị Băng Tâm, 2006 [4] “Giáo trình Lý thuyết đồ thị” – Th.S Nguyễn Thanh Hùng, http://voer.edu.vn/c/9c021e14 Tiếng nước [5] Aguilera, M.K., Golab, W and Shah, M.A., 2008 A practical scalable distributed b-tree Proceedings of the VLDB Endowment, 1(1), pp.598-609 [6] Angles, R and Gutierrez, C., 2008 Survey of graph database models ACM Computing Surveys (CSUR), 40(1), p.1 [7] Brewer, E.A., 2000, July Towards robust distributed systems In PODC (Vol 7) [8] CouchDB, A., Apache CouchDB 2010 http://wiki apache org/couchdb [9] Chang, F., Dean, J., Ghemawat, S., Hsieh, W.C., Wallach, D.A., Burrows, M., Chandra, T., Fikes, A and Gruber, R.E., 2008 Bigtable: A distributed storage system for structured data ACM Transactions on Computer Systems (TOCS), 26(2), p.4 [10] DeCandia, G., Hastorun, D., Jampani, M., Kakulapati, G., Lakshman, A., Pilchin, A., Sivasubramanian, S., Vosshall, P and Vogels, W., 2007, October Dynamo: amazon's highly available key-value store In ACM SIGOPS operating systems review (Vol 41, No 6, pp 205-220) ACM [11] Elmasri, R and Navathe, S.B., 2011 Database systems (Vol 9) Boston, MA: Pearson Education [12] Fazal, S., 2008 GIS basics New Age International [13] Fitzpatrick, B., 2013 Memcached http://www.memcached.org Computer Program, available via Trang 67 [14] Graves, M., Bergeman, E.R and Lawrence, C.B., 1995 Graph database systems IEEE Engineering in Medicine and Biology Magazine, 14(6), pp.737-745 [15] Ippolito, B., 2009 Drop ACID and think about Data Talk at Pycon [16] Kim, W., 1991 Object-oriented database systems: strengths and weaknesses Journal of Object-Oriented Programming, 4(4), pp.21-29 [17] Kreps, J., 2012 Project Voldemort [18] Lipcon, T., 2009 Design Patterns for Distributed Non-Relational Databases Cloudera, 2009.–48 p [19] Miller, J.J., 2013, March Graph database applications and concepts with Neo4j In Proceedings of the Southern Association for Information Systems Conference, Atlanta, GA, USA (Vol 2324, No S 36) [20] North, K., 2009 Databases in the cloud Dr Drobbs Magaz Ine [21] Obasanjo, D., 2009 Building scalable databases: Denormalization, the NoSQL movement and Digg [22] Oracle Berkeley, D.B., XML,(2010) URL: http://www oracle com/us/products/database/berkeley-db/index-066571 html [23] Ramabhadran, S., Ratnasamy, S., Hellerstein, J.M and Shenker, S., 2004, July Prefix hash tree: An indexing data structure over distributed hash tables In Proceedings of the 23rd ACM symposium on principles of distributed computing (Vol 37) [24] Sadek, A.W., Kvasnak, A and Segale, J., 2003 Integrated infrastructure management systems: Small urban area’s experience Journal of infrastructure systems, 9(3), pp.98-106 [25] Senyurt, S., MC DEAN Inc, 2004 Transportation infrastructure management system and method U.S Patent Application 10/409,617 [26] Shalom, N., 2009 The common principles behind the NOSQL alternatives [27] Strauch, C., Sites, U.L.S and Kriha, W., 2011 NoSQL databases Lecture Notes, Stuttgart Media University, 20 [28] Vogels, W., 2008 Eventually consistent Queue, 6(6), pp.14-19 Trang web [29] https://neo4j.com/ - 04/2019 Trang 68 [30] https://vi.wikipedia.org/wiki/Cơ_sở_dữ_liệu –04/2019 [31] https://vi.wikipedia.org/wiki/NoSQL - 04/2019 [32] https://vi.wikipedia.org/wiki/Hệ_thống_Thông_tin_Địa_lý - 04/2019 [33] https://www.esri.com - 04/2019 [34] https://www.arcgis.com/ - 04/2019 [35] https://www.autodesk.com/ - 04/2019 [36] https://www.foxitsoftware.com/pdf-reader/ - 04/2019 [37] http://www.vbms.vn/ - 04/2019 [38] https://drvn.gov.vn/ - 04/2019 [39] https://aws.amazon.com/dynamodb/ - 04/2019 [40] https://www.project-voldemort.com/ - 04/2019 [41] http://couchdb.apache.org/ - 04/2019 [42] https://www.mongodb.com/ - 04/2019 Trang 69 Trang 70 Trang 71 Trang 72 Trang 73 Trang 74 Trang 75 Trang 76 Trang 77 Trang 78 ... CHƯƠNG ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ ĐỂ XÂY DỰNG HỆ THỐNG QUẢN LÝ HẠ TẦNG GIAO THÔNG TẠI TỈNH QUẢNG NGÃI 4.1 Mơ tả tốn Qua khảo sát trạng quản lý hạ tầng giao thông tỉnh Quảng Ngãi, công tác quản lý. .. hệ quản lý thông tin hạ tầng giao thông đường Ứng dụng sở liệu đồ thị việc trừu tượng hóa thành phần hạ tầng giao thông Thiết kế sở liệu đồ thị ứng dụng sở liệu đồ thị để xây dựng hệ thống quản. .. CHƯƠNG 3: CƠ SỞ DỮ LIỆU VÀ CƠ SỞ DỮ LIỆU ĐỒ THỊ CHƯƠNG 4: ỨNG DỤNG CƠ SỞ DỮ LIỆU ĐỒ THỊ ĐỂ XÂY DỰNG HỆ THỐNG QUẢN LÝ HẠ TẦNG GIAO THÔNG TẠI TỈNH QUẢNG NGÃI KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TÀI LIỆU