Ứng dụng data reviewer kiểm định chất lượng dữ liệu GIS (áp dụng với dữ liệu ngành cấp nước

BỘ TÀI NGUYÊN VÀ MÔI TRƯỜNG ĐẠI HỌC TÀI NGUYÊN VÀ MƠI TRƯỜNG THÀNH PHỐ HỒ CHÍ MINH KHOA TRẮC ĐỊA VÀ BẢN ĐỒ ĐỒ ÁN TỐT NGHIỆP ỨNG DỤNG DATA REVIEWER KIỂM ĐỊNH CHẤT LƯỢNG DỮ LIỆU GIS (ÁP DỤNG VỚI DỮ LIỆU NGÀNH CẤP NƯỚC SVTH: Lê Hồng Nhung GVHD: ThS Trần Thị Phương Dung Hồ Chí Minh, 2017 LỜI CAM ĐOAN Tôi, Lê Hồng Nhung, xin cam đoan cơng trình độc lập riêng tơi, thực với hướng dẫn cô Lê Minh Vĩnh anh Nguyễn Văn Phú Các số liệu sử dụng đồ án có nguồn gốc rõ ràng Các kết đồ án trung thực, khơng chỉnh sửa, tơi làm Tp HCM, ngày… tháng… năm TP.HCM Người cam đoan Lê Hồng Nhung I LỜI CẢM ƠN Để đồ án hoàn thành tốt đẹp theo tiến độ quy định Tôi nhận nhiều hỗ trợ, giúp đỡ quan, tổ chức cá nhân.Với tình cảm sâu sắc, chân thành nhất, cho phép tơi bày tỏ lòng biết ơn đến gia đình, bạn bè, cá nhân, quan tổ chức tạo điều kiện giúp đỡ tơi q trình thực đồ án Trước tiên xin gửi tới quý thầy cô Khoa Kỹ Thuật Trắc Địa – Bản Đồ, Trường Đại Học Tài Nguyên Môi Trường TP.HCM lời chào trân trọng, lời chúc sức khỏe lời cảm ơn sâu sắc Với quan tâm, dạy dỗ, hướng dẫn tận tình q thầy Đến tơi hoàn thành đồ án “ Ứng Dụng Data Reviewer kiểm định chất lượng liệu GIS (Áp dụng với liệu ngành cấp nước)’’ Đặt biệt xin gửi lời cảm ơn chân thành đến cô Lê Minh Vĩnh ( GV Khoa Trắc Địa – Bản Đồ) anh Nguyễn Văn Phú (Chuyên viên IT- Công Ty Cổ Phần Cấp Nước Phú Hòa Tân) quan tâm giúp đỡ, tận tình hướng dẫn tơi suốt q trình thực đồ án “ Em cảm ơn cô khơng ngại khó khăn mở buổi giảng để chia với chúng em cách thực đồ án, sức khỏe cô không tốt, lại khó khăn sau gặp phải chấn thương chân Cảm ơn hết lòng chúng em Em biết ơn xin khắc ghi hình ảnh người người cô tâm huyết với nghề Em qn hình ảnh với nạn gỗ bục giảng Một lần em xin cảm ơn tất lòng biết ơn.” Đồ án khơng thể hồn thành khơng có giúp đỡ hổ trợ anh Phú – Chuyên viên IT Cơng Ty Cổ Phần Cấp Nước Phú Hòa Tân Em xin gửi đến anh lời cảm ơn chân thành Cảm ơn anh tận tình hướng dẫn em thực đề tài hồn tồn Tơi xin bày tỏ lòng biết ơn đến Ban lãnh đạo trường Đại Học Tài Nguyên Môi Trường TPHCM Không thể không nhắc đến hổ trợ anh chị thuộc tập đồn Đơng Phương suốt q trình thực đồ án Đến đồ án hoàn thiện, nhiên nhiều thiếu sót Tơi mong nhận dẫn, đóng góp ý kiến để đồ án ứng dụng tốt Trân Trọng ! II TÓM TẮT Đề Tài : “ Ứng dụng Data Reviewer kiểm định chất lượng liệu GIS (Áp dụng với liệu ngành cấp nước)” Sinh viên thực : Lê Hồng Nhung Cùng với phát triển mạnh mẽ công nghệ thông tin, Hệ Thống Thông Tin Địa Lý sử dụng để khai thác quản lý nguồn liệu có yếu tố khơng gian, yêu cầu kỹ thuật hệ thống nguồn liệu phải chuẩn hóa theo số quy tắc định Chính vậy, đề tài đặt nhiệm vụ tìm hiểu ứng dụng công cụ ESRI Data Reviewer việc kiểm định chất lượng liệu, cụ thể xây dựng quy trình, tạo luật phục vụ kiểm định chất lượng liệu GIS Trong phạm vi đồ án, liệu sử dụng để ứng dụng kiểm định liệu mạng lưới cấp nước Trên sở tìm hiểu đặc điểm liệu ngành cấp nước, sở liệu GIS xây dựng (giả định) với lớp chuyên ngành (các lớp đường ống cấp nước, van, mối nối, đồng hồ khách hàng…) địa bàn phường 15 quận 10 Bộ liệu dùng để đưa vào kiểm định Tiếp theo, sở tìm hiểu cơng cụ Data Reviewer, quy trình chung để xây dựng Batch Job (bộ luật) xác định Trên sở quy trình chung dựa yêu cầu kỹ thuật liệu cấp nước, Batch Job để chuẩn hóa liệu ngành cấp nước hình thành gồm luật thơng số theo u cầu liệu cấp nước Để kiểm tra tính khả dụng Batch Job, liệu xây dựng sẵn đưa vào kiểm định, phát lỗi từ đưa đề xuất phù hợp Kết đề tài là kết hợp lý thuyết yêu cầu thực tế ngành, có sản phẩm cụ thể qua thực nghiệm Batch Job phục vụ kiểm định chất lượng liệu theo yêu cầu kỹ thuật, quy chuẩn ngành cấp nước Bộ Batch Job gồm 10 nhóm phục vụ kiểm tra 50 trường hợp theo yêu cầu liệu ngành cấp nước, chạy thử nghiệm với liệu cho kết quả, báo lỗi theo yêu cầu Vì vậy, kết luận việc ứng dụng Data Reviewer để kiểm định liệu GIS hợp lý, khả dụng mở rộng áp dụng cho ngành nghề khác với điều kiện sử dụng liệu tương ứng III MỤC LỤC CHƯƠNG MỞ ĐẦU 1.1 Đặt Vấn Đề 1.2 Mục Tiêu 1.3 Nội Dung Và Phạm Vi Nghiên Cứu 1.3.1 Giới hạn đề tài 1.3.2 Nội Dung 1.4 Cấu Trúc Của Đồ Án CHƯƠNG TỔNG QUAN 2.1 Giới thiệu ngành cấp nước 2.2 Giới thiệu GIS 2.2.1 Ý niệm chung 2.2.2 Các thành phần hệ GIS 2.2.3 Giới thiệu ArcGIS 10.4.1 2.3 Giới thiệu Data Reviewer 2.3.1 Chuẩn hóa liệu 2.3.2 Giới thiệu Data Reviewer 2.3.3 Các khả ứng dụng Data Reviewer 10 2.3.4 Các nhóm chức Data Reviewer 11 CHƯƠNG DỮ LIỆU VÀ QUY TRÌNH THỰC HIỆN 14 3.1 Dữ Liệu 14 3.1.1 Đặt vấn đề 14 3.1.2 Đặc điểm liệu ngành cấp nước 14 3.1.3 Thiết kế xây dựng CSDL 16 3.2 Quy Trình Thực Hiện 20 IV 3.2.1 Quy trình chung 20 3.2.2 Các yêu cầu kỹ thuật liệu 21 3.2.3 Các nhóm lệnh chức Data Reviewer 24 3.2.4 Xác định quy trình chung để xây dựng Batch Job 27 3.2.5 Xây dựng Batch Job dùng kiểm tra liệu cấp nước: 33 CHƯƠNG CHƯƠNG KẾT QUẢ VÀ THẢO LUẬN 35 4.1 CSDL Cấp Nước 35 4.2 Xây dựng Batch Job để kiểm tra liệu cấp nước 40 4.2.1 Khởi động phiên làm việc tự động kiểm tra liệu 41 4.2.2 Khởi tạo Batch Job (Áp dụng thực tế với liệu ngành cấp nước) 41 4.2.3 Lưu Batch Job 56 4.3 Kết kiểm tra với liệu cấp nước 56 4.3.1 Thực kiểm tra 56 4.3.2 Kết 58 4.3.3 Nhận xét 60 4.4 Các kiến nghị chuẩn hóa liệu 61 CHƯƠNG KẾT LUẬN VÀ KIẾN NGHỊ 64 5.1 Kết 64 5.2 Ý kiến đề xuất – kiến nghị 64 V DANH MỤC TỪ VIẾT TẮT  CSDL : Cơ sở liệu  ĐT : Đối tượng  KTXH: Kinh tế xã hội  MLCN : Mạng lưới cấp nước  GIS: Geographic Information System  SQL : Ngơn ngữ truy vấn SQL  VD: Ví dụ VI DANH MỤC HÌNH ẢNH Hình 2.1 Nền tảng GIS Hình 2.2 : Các thành phần GIS Hình 2.3 : Giao diện cơng cụ Data Reviewer Hình 2.4 : Các nhóm lệnh Data Reiviewer 12 Hình 2.5: Batch Job 15 Hình 3.1 : Mạng lưới cấp nước 20 Hình 3.2 : Sơ đồ quy trình thực 28 Hình 3.3 : Khởi động phiên làm việc 29 Hình 3.4 : Khởi tạo Batch Job 30 Hình 3.5 : Thao tác thêm lệnh kiểm tra 31 Hình 3.6 : Cửa sổ Reviewer Session manager 31 Hình 3.7 : Cửa sổ Batch Validate 32 Hình 3.8 : Sau add file Batch Job 33 Hình 3.9 : Vị trí điểm lỗi 33 Hình 3.10 : Cửa sổ Update Results 35 Hình 4.1 : Lớp đất phường 15, quận 10, TP.HCM 35 Hình 4.2 : Lớp giao thơng 36 Hình 4.3: Lớp Tim đường 36 Hình 4.4 : Đường ống truyền tải 37 Hình 4.4 : Đường ống truyền tải 38 Hình 4.6 : Lớp đường ống ngánh 38 Hình 4.7 : Lớp đồng hồ 39 Hình 4.8 : Lớp Van 39 Hình 4.9 : Lớp mối nối 40 Hình 4.10 : Một phần CSDL mạng lưới đường ống cấp nước 40 Hình 4.11 : Tạo phiên làm việc 41 Hình 4.12 Khởi tạo Batch Job 41 Hình 4.13 : Thiết lập thông số cửa sổ Dupplicate Geometry check 42 Hình 4.14 : Geometry on Geometry check 44 Hình 4.15 Đồng hồ tổng không kết nối với ống ngánh 45 Hình 4.16 : Mối nối không chồng đè lên đối tượng dạng điểm 46 VII Hình 4.17: Danh bạ đồng hồ khách hàng không trống 46 Hình 4.18 : Domain Check 47 Hình 4.19 : Subtype check 48 Hình 4.20 : Kiểm tra lỗi trùng lắp Vertex lớp OngTruyenTai 49 Hình 4.21: Multipart Line Check 50 Hình 4.22 : Kiểm tra đường dạng tuyến ( Non-linear Check) 51 Hình 4.23 : Kiểm tra đường chéo 52 Hình 4.24 : Kiểm tra đường có góc nhọn ( Cutbacks Check) 53 Hình 4.25 : Mối nối phải bắt dính với ống truyền dẫn ống phân phối 54 Hình 4.26 : Cửa sổ Reviewer Session manager 55 Hình 4.27 : Cửa sổ Batch Validate 56 Hình 4.28 : Sau add file Batch Job 57 Hình 4.29 : Bảng lỗi 57 Hình 4.30 : Kết kiểm tra trường hợp đoạn ống phân phối có độ dài < = 0.2m 58 Hình 4.31 Kết kiểm tra trường hợp Mã Van Không trống 58 Hình 4.32 : Quy trình xử lý lỗi liệu sau kiểm tra 60 VIII DANH MỤC BẢNG BIỂU Bảng 2.1 Các cơng cụ công cụ Data Reviewer 10 Bảng 3.1 Mô tả lớp phần CSDL 16 Bảng Mô tả lớp phần CSDL chuyên đề 19 Bảng 3.3 Dữ liệu đường ống 21 Bảng 3.4 Dữ liệu đồng hồ 22 Bảng 3.5 Dữ liệu van 23 Bảng 3.6 Dữ liệu điểm nối 24 Bảng 4.1 : Một số lỗi phổ biến 59 IX Hình 4.21: Multipart Line Check Trường hợp :Kiểm tra đường dạng tuyến ( Non-linear Check) Bước 1: Click chuột phải vào nhóm Check Polyline, chọn Add Check  Defeault Check  Non-Linear Segment Check Bước 2: Cửa sổ Non – Linear Segment Check Properties ra, thiết lập thông số sau:  Check Title : Kiểm tra Non-linear Segment lớp Ongtruyentai  Feature Class/Subtype: OngTruyenTai Severity: Bước 3: Click OK 51 Hình 4.22 : Kiểm tra đường dạng tuyến ( Non-linear Check) Trường hợp : Kiểm tra đường chéo Kiểm tra lỗi đọa ống cắt chéo lớp ống truyền tải Bước : Click chuột phải vào nhóm Check Polyline  Add check  Default Check  Polyline or Path Closes on Self Check Bước 2: Cửa sổ Polyline or Path Closes on Self Check Properties ra, thiết lập thông số sau:  Check Title : Kiểm tra lỗi đoạn ống cắt chéo lớp Ongtruyentai  Feature Class/Subtype: OngTruyenTai  Error Type: Closed  Severity : Bước 3: Click OK 52 Hình 4.23 : Kiểm tra đường chéo Trường hợp 5: Kiểm tra đường có góc nhọn ( Cutbacks Check) Kiểm tra đường ống truyền tải có góc