ứng dụng data reviewer kiểm định chất lượng dữ liệu gis (áp dụng với dữ liệu ngành cấp nước

TÓM TẮT Đề Tài : “ Ứng dụng Data Reviewer kiểm định chất lượng liệu GIS (Áp dụng với liệu ngành cấp nước)” Sinh viên thực : Lê Hồng Nhung Cùng với phát triển mạnh mẽ công nghệ thông tin, Hệ Thống Thông Tin Địa Lý sử dụng để khai thác quản lý nguồn liệu có yếu tố khơng gian, yêu cầu kỹ thuật hệ thống nguồn liệu phải chuẩn hóa theo số quy tắc định Chính vậy, đề tài đặt nhiệm vụ tìm hiểu ứng dụng công cụ ESRI Data Reviewer việc kiểm định chất lượng liệu, cụ thể xây dựng quy trình, tạo luật phục vụ kiểm định chất lượng liệu GIS Trong phạm vi đồ án, liệu sử dụng để ứng dụng kiểm định liệu mạng lưới cấp nước Trên sở tìm hiểu đặc điểm liệu ngành cấp nước, sở liệu GIS xây dựng (giả định) với lớp chuyên ngành (các lớp đường ống cấp nước, van, mối nối, đồng hồ khách hàng…) địa bàn phường 15 quận 10 Bộ liệu dùng để đưa vào kiểm định Tiếp theo, sở tìm hiểu cơng cụ Data Reviewer, quy trình chung để xây dựng Batch Job (bộ luật) xác định Trên sở quy trình chung dựa yêu cầu kỹ thuật liệu cấp nước, Batch Job để chuẩn hóa liệu ngành cấp nước hình thành gồm luật thông số theo yêu cầu liệu cấp nước Để kiểm tra tính khả dụng Batch Job, liệu xây dựng sẵn đưa vào kiểm định, phát lỗi từ đưa đề xuất phù hợp Kết đề tài là kết hợp lý thuyết yêu cầu thực tế ngành, có sản phẩm cụ thể qua thực nghiệm Batch Job phục vụ kiểm định chất lượng liệu theo yêu cầu kỹ thuật, quy chuẩn ngành cấp nước Bộ Batch Job gồm 10 nhóm phục vụ kiểm tra 50 trường hợp theo yêu cầu liệu ngành cấp nước, chạy thử nghiệm với liệu cho kết quả, báo lỗi theo yêu cầu Vì vậy, kết luận việc ứng dụng Data Reviewer để kiểm định liệu GIS hợp lý, khả dụng mở rộng áp dụng cho ngành nghề khác với điều kiện sử dụng liệu tương ứng III MỤC LỤC CHƯƠNG MỞ ĐẦU 1.1 Đặt Vấn Đề 1.2 Mục Tiêu 1.3 Nội Dung Và Phạm Vi Nghiên Cứu 1.3.1 Giới hạn đề tài 1.3.2 Nội Dung 1.4 Cấu Trúc Của Đồ Án CHƯƠNG TỔNG QUAN 2.1 Giới thiệu ngành cấp nước 2.2 Giới thiệu GIS 2.2.1 Ý niệm chung 2.2.2 Các thành phần hệ GIS 2.2.3 Giới thiệu ArcGIS 10.4.1 2.3 Giới thiệu Data Reviewer 2.3.1 Chuẩn hóa liệu 2.3.2 Giới thiệu Data Reviewer 2.3.3 Các khả ứng dụng Data Reviewer 10 2.3.4 Các nhóm chức Data Reviewer 11 CHƯƠNG DỮ LIỆU VÀ QUY TRÌNH THỰC HIỆN 14 3.1 Dữ Liệu 14 3.1.1 Đặt vấn đề 14 3.1.2 Đặc điểm liệu ngành cấp nước 14 3.1.3 Thiết kế xây dựng CSDL 16 3.2 Quy Trình Thực Hiện 20 IV 3.2.1 Quy trình chung 20 3.2.2 Các yêu cầu kỹ thuật liệu 21 3.2.3 Các nhóm lệnh chức Data Reviewer 24 3.2.4 Xác định quy trình chung để xây dựng Batch Job 27 3.2.5 Xây dựng Batch Job dùng kiểm tra liệu cấp nước: 33 CHƯƠNG CHƯƠNG KẾT QUẢ VÀ THẢO LUẬN 35 4.1 CSDL Cấp Nước 35 4.2 Xây dựng Batch Job để kiểm tra liệu cấp nước 40 4.2.1 Khởi động phiên làm việc tự động kiểm tra liệu 41 4.2.2 Khởi tạo Batch Job (Áp dụng thực tế với liệu ngành cấp nước) 41 4.2.3 Lưu Batch Job 56 4.3 Kết kiểm tra với liệu cấp nước 56 4.3.1 Thực kiểm tra 56 4.3.2 Kết 58 4.3.3 Nhận xét 60 4.4 Các kiến nghị chuẩn hóa liệu 61 CHƯƠNG KẾT LUẬN VÀ KIẾN NGHỊ 64 5.1 Kết 64 5.2 Ý kiến đề xuất – kiến nghị 64 V DANH MỤC TỪ VIẾT TẮT  CSDL : Cơ sở liệu  ĐT : Đối tượng  KTXH: Kinh tế xã hội  MLCN : Mạng lưới cấp nước  GIS: Geographic Information System  SQL : Ngơn ngữ truy vấn SQL  VD: Ví dụ VI DANH MỤC HÌNH ẢNH Hình 2.1 Nền tảng GIS Hình 2.2 : Các thành phần GIS Hình 2.3 : Giao diện cơng cụ Data Reviewer Hình 2.4 : Các nhóm lệnh Data Reiviewer 12 Hình 2.5: Batch Job 15 Hình 3.1 : Mạng lưới cấp nước 20 Hình 3.2 : Sơ đồ quy trình thực 28 Hình 3.3 : Khởi động phiên làm việc 29 Hình 3.4 : Khởi tạo Batch Job 30 Hình 3.5 : Thao tác thêm lệnh kiểm tra 31 Hình 3.6 : Cửa sổ Reviewer Session manager 31 Hình 3.7 : Cửa sổ Batch Validate 32 Hình 3.8 : Sau add file Batch Job 33 Hình 3.9 : Vị trí điểm lỗi 33 Hình 3.10 : Cửa sổ Update Results 35 Hình 4.1 : Lớp đất phường 15, quận 10, TP.HCM 35 Hình 4.2 : Lớp giao thơng 36 Hình 4.3: Lớp Tim đường 36 Hình 4.4 : Đường ống truyền tải 37 Hình 4.4 : Đường ống truyền tải 38 Hình 4.6 : Lớp đường ống ngánh 38 Hình 4.7 : Lớp đồng hồ 39 Hình 4.8 : Lớp Van 39 Hình 4.9 : Lớp mối nối 40 Hình 4.10 : Một phần CSDL mạng lưới đường ống cấp nước 40 Hình 4.11 : Tạo phiên làm việc 41 Hình 4.12 Khởi tạo Batch Job 41 Hình 4.13 : Thiết lập thơng số cửa sổ Dupplicate Geometry check 42 Hình 4.14 : Geometry on Geometry check 44 Hình 4.15 Đồng hồ tổng không kết nối với ống ngánh 45 Hình 4.16 : Mối nối khơng chồng đè lên đối tượng dạng điểm 46 VII Hình 4.17: Danh bạ đồng hồ khách hàng không trống 46 Hình 4.18 : Domain Check 47 Hình 4.19 : Subtype check 48 Hình 4.20 : Kiểm tra lỗi trùng lắp Vertex lớp OngTruyenTai 49 Hình 4.21: Multipart Line Check 50 Hình 4.22 : Kiểm tra đường dạng tuyến ( Non-linear Check) 51 Hình 4.23 : Kiểm tra đường chéo 52 Hình 4.24 : Kiểm tra đường có góc nhọn ( Cutbacks Check) 53 Hình 4.25 : Mối nối phải bắt dính với ống truyền dẫn ống phân phối 54 Hình 4.26 : Cửa sổ Reviewer Session manager 55 Hình 4.27 : Cửa sổ Batch Validate 56 Hình 4.28 : Sau add file Batch Job 57 Hình 4.29 : Bảng lỗi 57 Hình 4.30 : Kết kiểm tra trường hợp đoạn ống phân phối có độ dài < = 0.2m 58 Hình 4.31 Kết kiểm tra trường hợp Mã Van Không trống 58 Hình 4.32 : Quy trình xử lý lỗi liệu sau kiểm tra 60 VIII DANH MỤC BẢNG BIỂU Bảng 2.1 Các cơng cụ cơng cụ Data Reviewer 10 Bảng 3.1 Mô tả lớp phần CSDL 16 Bảng Mô tả lớp phần CSDL chuyên đề 19 Bảng 3.3 Dữ liệu đường ống 21 Bảng 3.4 Dữ liệu đồng hồ 22 Bảng 3.5 Dữ liệu van 23 Bảng 3.6 Dữ liệu điểm nối 24 Bảng 4.1 : Một số lỗi phổ biến 59 IX CHƯƠNG MỞ ĐẦU 1.1 Đặt Vấn Đề Ngày với phát triển công nghệ thông tin, để quản lý liệu có tính khơng gian (có vị trí địa lý), người ta sử dụng Hệ Thống Thơng Tin Địa Lý (Geographic Information System - GIS) Một yêu cầu kỹ thuật hệ thống thông tin địa lý liệu phải chuẩn hóa, để thực phép xử lý, phân tích trao đổi thơng tin, tích hợp với phần mềm GIS Trong ngành cấp nước có ứng dụng GIS việc quản lý, vận hành đường ống vấn đề chuẩn hóa liệu cần đặt Việc kiểm tra chất lượng liệu nhằm đảm bảo liệu phải tuân theo chuẩn thống ngành Các chuẩn liệu yếu tố quan trọng để thực quy hoạch, phân tích, vận hành quản lý mạng lưới cấp nước cách hiệu Việc kiểm định chất lượng liệu trước thường thực thủ công với vài công cụ hổ trợ (như Topology, check Geometry ).Việc kiểm định liệu cơng cụ riêng lẽ, chuẩn hóa liệu thủ công thường nhiều thời gian công sức, đồng thời không đảm bảo chất lượng liệu Để giải toán chất lượng liệu, người dùng GIS cần công cụ hỗ trợ kiểm định, chuẩn hóa liệu cách tự động Đó lý hình thành nên đề tài “Ứng dụng Data Reviewer kiểm định chất lượng liệu GIS (Áp dụng cụ thể với liệu ngành cấp nước.” 1.2 Mục Tiêu Nhằm mục đích hỗ trợ việc tạo CSDL (Cơ sở liệu) chuẩn nâng cao suất hiệu cơng việc chuẩn hóa liệu, đồ án xác định với mục tiêu sau: - - Ứng dụng Data Reviewer kết hợp với ngôn ngữ truy vấn SQL tạo Batch Job ( luật) phục vụ kiểm định chất lượng liệu GIS cách tự động, đạt độ xác theo yêu cầu, nhằm giúp đưa liệu quy chuẩn chung theo quy định ngành (cấp nước) Áp dụng thử nghiệm luật cho liệu ngành cấp nước để đề xuất kiến nghị phù hợp 1.3 Nội Dung Và Phạm Vi Nghiên Cứu 1.3.1 Giới hạn đề tài Dữ Liệu: Do liệu ngành cấp nước liệu bảo mật công ty nên liệu sử dụng đề tài liệu giả định, thực phạm vi địa bàn Phường 15 Quận 10 Thành Phố Hồ Chí Minh đảm bảo đầy đủ yếu tố nội dung, dựa đặc điểm, yêu cầu mạng lưới cấp nước thực tế Ứng dụng GIS: Ứng dụng ArcGIS Desktop, ArcGIS Data Reviewer số câu lệnh truy vấn SQL đơn giản 1.3.2 Nội Dung Ứng dụng công cụ Data Reviewer kiểm định chất lượng liệu Đồng thời xây dụng quy trình chung kiểm định chất lượng liệu GIS luật kiểm định chất lượng liệu GIS ( áp dụng với liệu ngành cấp nước giả định) đối tượng cụ thể mà ngành cấp nước yêu cầu Công việc cụ thể gồm: - Tìm hiểu đặc điểm, yêu cầu liệu ngành cấp nước - XD CSDL cấp nước địa bàn nghiên cứu (giả định) - Xác định yêu cầu liệu ngành cấp nước:     Yêu cầu kỹ thuật mạng lưới đường ống Yêu cầu kỹ thuật hệ thống van Yêu cầu kỹ thuật hệ thống đường ống Các u cầu thuộc tính - Tìm hiểu chức công cụ Data Reviewer ngôn ngữ truy vấn SQL - Xây dựng quy trình chung tạo nên luật giúp kiểm định chất lượng liệu tự động (Batch Job) - Ứng dụng quy trình tạo Bacth Job kiểm định chất lượng liệu liệu cấp nước ( giả định) - Đề xuất phương án chỉnh sửa liệu sau kiểm định 1.4 Cấu Trúc Của Đồ Án Đồ án trình bày chương với nội dung cụ thể sau: Chương Mở đầu : Chương phần giới thiệu hoàn cảnh lý hình thành nên đề tài, giới thiệu tổng thể đề tài Chương Tổng Quan : Ở chương giới thiệu tổng quan đối tượng đề tài bao gồm sở lý thuyết phần đề tài cơng cụ Data Reviewer Tại chương làm rõ số vấn đề tổng quan liệu ngành cấp nước tạo sở cho việc áp dụng XD CSDL giả định thực kiểm định chất lượng liệu chương Chương : Dữ liệu Quy Trình Thực Hiện : trình bày quy trình thực chung đề tài Chương : Kết Quả Thảo Luận: xây dựng quy trình chung tạo Bacth Job áp dụng quy trình xây dựng Batch Job chuẩn hóa liệu liệu ngành cấp nước Chương 5: Kết Luận – Kiến Nghị : Rút kết luận chung đề tài, nêu lên ưu nhược điểm đề tài, từ đưa đề xuất kiến nghị Hình 4.21: Multipart Line Check Trường hợp :Kiểm tra đường dạng tuyến ( Non-linear Check) Bước 1: Click chuột phải vào nhóm Check Polyline, chọn Add Check  Defeault Check  Non-Linear Segment Check Bước 2: Cửa sổ Non – Linear Segment Check Properties ra, thiết lập thông số sau:  Check Title : Kiểm tra Non-linear Segment lớp Ongtruyentai  Feature Class/Subtype: OngTruyenTai Severity: Bước 3: Click OK 51 Hình 4.22 : Kiểm tra đường dạng tuyến ( Non-linear Check) Trường hợp : Kiểm tra đường chéo Kiểm tra lỗi đọa ống cắt chéo lớp ống truyền tải Bước : Click chuột phải vào nhóm Check Polyline  Add check  Default Check  Polyline or Path Closes on Self Check Bước 2: Cửa sổ Polyline or Path Closes on Self Check Properties ra, thiết lập thông số sau:  Check Title : Kiểm tra lỗi đoạn ống cắt chéo lớp Ongtruyentai  Feature Class/Subtype: OngTruyenTai  Error Type: Closed  Severity : Bước 3: Click OK 52 Hình 4.23 : Kiểm tra đường chéo Trường hợp 5: Kiểm tra đường có góc nhọn ( Cutbacks Check) Kiểm tra đường ống truyền tải có góc