ứng dụng data reviewer kiểm định chất lượng dữ liệu gis (áp dụng với dữ liệu ngành cấp nước

Chính vì vậy, đề tài đặt ra nhiệm vụ tìm hiểu và ứng dụng bộ công cụ của ESRI là Data Reviewer trong việc kiểm định chất lượng dữ liệu, cụ thể là xây dựng quy trình, tạo ra một bộ luật p

TÓM TẮT

Đề Tài : “ Ứng dụng Data Reviewer kiểm định chất lượng dữ liệu GIS (Áp dụng với dữ liệu ngành cấp nước)”

Sinh viên thực hiện : Lê Hồng Nhung

Cùng với sự phát triển mạnh mẽ của công nghệ thông tin, Hệ Thống Thông Tin Địa

Lý được sử dụng để khai thác và quản lý nguồn dữ liệu có yếu tố không gian, và một trong những yêu cầu kỹ thuật của hệ thống này là nguồn dữ liệu phải được chuẩn hóa theo một số quy tắc nhất định Chính vì vậy, đề tài đặt ra nhiệm vụ tìm hiểu và ứng dụng bộ công cụ của ESRI là Data Reviewer trong việc kiểm định chất lượng dữ liệu,

cụ thể là xây dựng quy trình, tạo ra một bộ luật phục vụ kiểm định chất lượng dữ liệu GIS Trong phạm vi đồ án, dữ liệu sử dụng để ứng dụng kiểm định là dữ liệu mạng lưới cấp nước

Trên cơ sở tìm hiểu các đặc điểm của dữ liệu ngành cấp nước, một bộ cơ sở dữ liệu GIS được xây dựng (giả định) với các lớp nền và chuyên ngành (các lớp đường ống cấp nước, van, mối nối, đồng hồ khách hàng…) trên địa bàn phường 15 quận 10 Bộ

dữ liệu này sẽ được dùng để đưa vào kiểm định Tiếp theo, trên cơ sở tìm hiểu bộ công cụ Data Reviewer, một quy trình chung để xây dựng Batch Job (bộ luật) được xác định Trên cơ sở quy trình chung này và dựa trên các yêu cầu kỹ thuật của dữ liệu cấp nước, Batch Job để chuẩn hóa dữ liệu ngành cấp nước được hình thành gồm các luật và thông số theo yêu cầu của dữ liệu cấp nước Để kiểm tra tính khả dụng của Batch Job, các dữ liệu đã xây dựng sẵn được đưa vào kiểm định, phát hiện lỗi và từ

đó đưa ra các đề xuất phù hợp

Kết quả của đề tài là là sự kết hợp giữa lý thuyết và yêu cầu thực tế của ngành, có sản phẩm cụ thể đã qua thực nghiệm là một Batch Job phục vụ kiểm định chất lượng dữ liệu theo yêu cầu kỹ thuật, quy chuẩn của ngành cấp nước Bộ Batch Job gồm 10 nhóm phục vụ kiểm tra hơn 50 trường hợp theo yêu cầu dữ liệu ngành cấp nước, được chạy thử nghiệm với dữ liệu và cho kết quả, báo lỗi theo đúng yêu cầu Vì vậy, có thể kết luận việc ứng dụng Data Reviewer để kiểm định dữ liệu GIS là hợp lý, khả dụng

và có thể mở rộng áp dụng cho các ngành nghề khác với điều kiện sử dụng dữ liệu tương ứng

MỤC LỤC

CHƯƠNG 1 MỞ ĐẦU 2

1.1 Đặt Vấn Đề 2

1.2 Mục Tiêu 2

1.3 Nội Dung Và Phạm Vi Nghiên Cứu 2

1.3.1 Giới hạn đề tài 2

1.3.2 Nội Dung 3

1.4 Cấu Trúc Của Đồ Án 3

CHƯƠNG 2 TỔNG QUAN 5

2.1 Giới thiệu về ngành cấp nước 5

2.2 Giới thiệu về GIS 5

2.2.1 Ý niệm chung 5

2.2.2 Các thành phần trong hệ GIS 6

2.2.3 Giới thiệu về ArcGIS 10.4.1 7

2.3 Giới thiệu về Data Reviewer 7

2.3.1 Chuẩn hóa dữ liệu 7

2.3.2 Giới thiệu về Data Reviewer 7

2.3.3 Các khả năng ứng dụng của Data Reviewer 10

2.3.4 Các nhóm chức năng chính của Data Reviewer 11

CHƯƠNG 3 DỮ LIỆU VÀ QUY TRÌNH THỰC HIỆN 14

3.1 Dữ Liệu 14

3.1.1 Đặt vấn đề 14

3.1.2 Đặc điểm dữ liệu ngành cấp nước 14

3.1.3 Thiết kế và xây dựng CSDL 16

3.2 Quy Trình Thực Hiện 20

3.2.1 Quy trình chung 20

3.2.2 Các yêu cầu kỹ thuật về dữ liệu 21

3.2.3 Các nhóm lệnh chức năng trong Data Reviewer 24

3.2.4 Xác định quy trình chung để xây dựng Batch Job 27

3.2.5 Xây dựng các Batch Job dùng kiểm tra dữ liệu cấp nước: 33

CHƯƠNG 4 CHƯƠNG 4 KẾT QUẢ VÀ THẢO LUẬN 35

4.1 CSDL Cấp Nước 35

4.2 Xây dựng Batch Job để kiểm tra dữ liệu cấp nước 40

4.2.1 Khởi động phiên làm việc tự động kiểm tra dữ liệu 41

4.2.2 Khởi tạo Batch Job (Áp dụng thực tế với dữ liệu ngành cấp nước) 41

4.2.3 Lưu Batch Job 56

4.3 Kết quả kiểm tra với dữ liệu cấp nước 56

4.3.1 Thực hiện kiểm tra 56

4.3.2 Kết quả 58

4.3.3 Nhận xét 60

4.4 Các kiến nghị về chuẩn hóa dữ liệu 61

CHƯƠNG 5 KẾT LUẬN VÀ KIẾN NGHỊ 64

5.1 Kết quả 64

5.2 Ý kiến đề xuất – kiến nghị 64

DANH MỤC HÌNH ẢNH

Hình 2.1 Nền tảng của GIS 6

Hình 2.2 : Các thành phần của GIS 7

Hình 2.3 : Giao diện thanh công cụ Data Reviewer 8

Hình 2.4 : Các nhóm lệnh của Data Reiviewer 12

Hình 2.5: Batch Job 15

Hình 3.1 : Mạng lưới cấp nước 20

Hình 3.2 : Sơ đồ quy trình thực hiện 28

Hình 3.3 : Khởi động phiên làm việc mới 29

Hình 3.4 : Khởi tạo Batch Job 30

Hình 3.5 : Thao tác thêm lệnh kiểm tra 31

Hình 3.6 : Cửa sổ Reviewer Session manager 31

Hình 3.7 : Cửa sổ Batch Validate 32

Hình 3.8 : Sau khi add file Batch Job 33

Hình 3.9 : Vị trí điểm lỗi 33

Hình 3.10 : Cửa sổ Update Results 35

Hình 4.1 : Lớp thửa đất phường 15, quận 10, TP.HCM 35

Hình 4.2 : Lớp giao thông 36

Hình 4.3: Lớp Tim đường 36

Hình 4.4 : Đường ống truyền tải 37

Hình 4.4 : Đường ống truyền tải 38

Hình 4.6 : Lớp đường ống ngánh 38

Hình 4.7 : Lớp đồng hồ 39

Hình 4.8 : Lớp Van 39

Hình 4.9 : Lớp mối nối 40

Hình 4.10 : Một phần CSDL mạng lưới đường ống cấp nước 40

Hình 4.11 : Tạo phiên làm việc mới 41

Hình 4.12 Khởi tạo Batch Job 41

Hình 4.13 : Thiết lập các thông số trên cửa sổ Dupplicate Geometry check 42

Hình 4.14 : Geometry on Geometry check 44

Hình 4.15 Đồng hồ tổng không kết nối với ống ngánh 45

Hình 4.16 : Mối nối không được chồng đè lên các đối tượng dạng điểm 46

Hình 4.17: Danh bạ đồng hồ khách hàng không được trống 46

Hình 4.18 : Domain Check 47

Hình 4.19 : Subtype check 48

Hình 4.20 : Kiểm tra lỗi trùng lắp Vertex lớp OngTruyenTai 49

Hình 4.21: Multipart Line Check 50

Hình 4.22 : Kiểm tra các đường không phải dạng tuyến ( Non-linear Check) 51

Hình 4.23 : Kiểm tra các đường chéo nhau 52

Hình 4.24 : Kiểm tra các đường có góc nhọn ( Cutbacks Check) 53

Hình 4.25 : Mối nối phải bắt dính với ống truyền dẫn hoặc ống phân phối 54

Hình 4.26 : Cửa sổ Reviewer Session manager 55

Hình 4.27 : Cửa sổ Batch Validate 56

Hình 4.28 : Sau khi add file Batch Job 57

Hình 4.29 : Bảng lỗi 57

Hình 4.30 : Kết quả kiểm tra trường hợp các đoạn ống phân phối có độ dài < = 0.2m 58 Hình 4.31 Kết quả kiểm tra trường hợp Mã Van Không được trống 58

Hình 4.32 : Quy trình xử lý lỗi dữ liệu sau khi kiểm tra 60

DANH MỤC BẢNG BIỂU

Bảng 2.1 Các công cụ chính của thanh công cụ Data Reviewer 10

Bảng 3.1 Mô tả các lớp phần CSDL nền 16

Bảng 3 2 Mô tả các lớp phần CSDL chuyên đề 19

Bảng 3.3 Dữ liệu đường ống 21

Bảng 3.4 Dữ liệu đồng hồ 22

Bảng 3.5 Dữ liệu van 23

Bảng 3.6 Dữ liệu điểm nối 24

Bảng 4.1 : Một số lỗi phổ biến 59

CHƯƠNG 1 MỞ ĐẦU

1.1 Đặt Vấn Đề

Ngày nay với sự phát triển của công nghệ thông tin, để quản lý các dữ liệu có tính không gian (có vị trí địa lý), người ta sử dụng Hệ Thống Thông Tin Địa Lý (Geographic Information System - GIS) Một trong những yêu cầu kỹ thuật của một

hệ thống thông tin địa lý là dữ liệu phải được chuẩn hóa, để có thể thực hiện các phép

xử lý, phân tích và trao đổi thông tin, tích hợp với các phần mềm GIS

Trong ngành cấp nước hiện nay đã có ứng dụng GIS trong việc quản lý, vận hành các đường ống và vấn đề chuẩn hóa dữ liệu cũng cần được đặt ra Việc kiểm tra chất lượng dữ liệu nhằm đảm bảo dữ liệu phải được tuân theo một chuẩn thống nhất của ngành Các chuẩn của dữ liệu là một yếu tố rất quan trọng để thực hiện quy hoạch, phân tích, vận hành và quản lý mạng lưới cấp nước một cách hiệu quả

Việc kiểm định chất lượng dữ liệu trước đây thường được thực hiện thủ công với một vài công cụ hổ trợ (như Topology, check Geometry ).Việc kiểm định dữ liệu bằng các công cụ riêng lẽ, chuẩn hóa dữ liệu thủ công thường mất nhiều thời gian và công sức, đồng thời không đảm bảo được chất lượng dữ liệu

Để giải quyết được bài toán về chất lượng dữ liệu, người dùng GIS cần một bộ công

cụ hỗ trợ kiểm định, chuẩn hóa dữ liệu một cách tự động Đó cũng chính là lý do hình

thành nên đề tài “Ứng dụng Data Reviewer trong kiểm định chất lượng dữ liệu GIS (Áp dụng cụ thể với dữ liệu ngành cấp nước.”

1.2 Mục Tiêu

Nhằm mục đích hỗ trợ việc tạo ra CSDL (Cơ sở dữ liệu) chuẩn và nâng cao năng suất cũng như hiệu quả công việc chuẩn hóa dữ liệu, đồ án được xác định với các mục tiêu sau:

- Ứng dụng Data Reviewer kết hợp với ngôn ngữ truy vấn SQL tạo ra một Batch Job ( bộ luật) phục vụ kiểm định chất lượng dữ liệu GIS một cách tự động, đạt

độ chính xác theo yêu cầu, nhằm giúp đưa dữ liệu về một quy chuẩn chung theo quy định của ngành (cấp nước)

- Áp dụng thử nghiệm bộ luật cho dữ liệu ngành cấp nước để đề xuất các kiến nghị phù hợp

1.3 Nội Dung Và Phạm Vi Nghiên Cứu

1.3.1 Giới hạn đề tài

Dữ Liệu: Do dữ liệu ngành cấp nước là dữ liệu bảo mật của công ty nên dữ liệu sử dụng trong đề tài là dữ liệu giả định, thực hiện trong phạm vi địa bàn Phường 15

Quận 10 Thành Phố Hồ Chí Minh nhưng vẫn đảm bảo đầy đủ các yếu tố nội dung, dựa trên đặc điểm, yêu cầu của mạng lưới cấp nước trong thực tế

Ứng dụng GIS: Ứng dụng ArcGIS Desktop, ArcGIS Data Reviewer và một số câu lệnh truy vấn SQL đơn giản

1.3.2 Nội Dung

Ứng dụng bộ công cụ Data Reviewer kiểm định chất lượng dữ liệu Đồng thời xây dụng quy trình chung kiểm định chất lượng dữ liệu GIS và một bộ luật kiểm định chất lượng dữ liệu GIS ( áp dụng với dữ liệu ngành cấp nước giả định) đối với các đối tượng cụ thể mà ngành cấp nước yêu cầu

Công việc cụ thể gồm:

- Tìm hiểu các đặc điểm, yêu cầu dữ liệu của ngành cấp nước

- XD CSDL cấp nước trên địa bàn nghiên cứu (giả định)

- Xác định các yêu cầu về dữ liệu của ngành cấp nước:

 Yêu cầu kỹ thuật về mạng lưới các đường ống

 Yêu cầu kỹ thuật về hệ thống van

 Yêu cầu kỹ thuật về hệ thống đường ống

 Các yêu cầu về thuộc tính

- Tìm hiểu chức năng bộ công cụ Data Reviewer và ngôn ngữ truy vấn SQL

- Xây dựng quy trình chung tạo nên bộ luật giúp kiểm định chất lượng dữ liệu tự động (Batch Job)

- Ứng dụng quy trình trên tạo ra Bacth Job kiểm định chất lượng dữ liệu đối với dữ liệu cấp nước ( giả định)

- Đề xuất phương án chỉnh sửa dữ liệu sau khi kiểm định

1.4 Cấu Trúc Của Đồ Án

Đồ án được trình bày trong 5 chương với nội dung cụ thể như sau:

Chương 1 Mở đầu : Chương 1 là phần giới thiệu về hoàn cảnh cũng như lý do hình thành nên đề tài, giới thiệu tổng thể về đề tài

Chương 2 Tổng Quan : Ở chương 2 sẽ giới thiệu tổng quan về các đối tượng đề tài bao gồm cả cơ sở lý thuyết và phần chính của đề tài là bộ công cụ Data Reviewer Tại chương 2 cũng sẽ làm rõ một số vấn đề tổng quan về dữ liệu ngành cấp nước tạo

cơ sở cho việc áp dụng XD CSDL giả định và thực hiện kiểm định chất lượng dữ liệu

ở chương 4

Chương 3 : Dữ liệu và Quy Trình Thực Hiện : trình bày quy trình thực hiện chung của đề tài

Chương 4 : Kết Quả và Thảo Luận: xây dựng một quy trình chung tạo ra Bacth Job

và áp dụng quy trình đó xây dựng một Batch Job chuẩn hóa dữ liệu đối với dữ liệu ngành cấp nước

Chương 5: Kết Luận – Kiến Nghị : Rút ra kết luận chung của đề tài, nêu lên ưu và nhược điểm của đề tài, từ đó đưa ra những đề xuất và kiến nghị

CHƯƠNG 2 TỔNG QUAN 2.1 Giới thiệu về ngành cấp nước

Trong những thập niên gần đây, tài nguyên nước đang bị khai thác quá mức dẫn đến suy thoái, nhiều hệ thống cấp nước không đáp ứng yêu cầu, thất thoát nước xảy ra thường xuyên Đặc biệt trong điều kiện gia tăng dân số hiện nay, tình hình khan hiếm nước và tình trạng thất thoát nước xảy ra ngày càng nghiêm trọng

Yêu cầu về cấp nước, môi trường đô thị và nông thôn đòi hỏi một nguồn nhân lực phong phú đủ về số lượng và đảm bảo về chất lượng và cả kiến thức chuyên môn Mạng lưới cấp nước ở nước ta nói chung và mạng lưới cấp nước ở quận 10 nói riêng được xây dựng và phát triển qua nhiều thời kỳ, nhiều hệ thống cũ vẫn đang tồn tại song hành với hệ thống mới đã được phát triển và cải tạo Nhìn chung việc quản lý mạng lưới cấp nước hiện nay gặp rất nhiều khó khăn , do mạng lưới cấp nước hầu như được chôn sâu dưới lòng đất, không thể trực tiếp nhìn thấy được

Đặc biệt trong giai đoạn hiện nay dân cư TP.HCM đang tăng nhanh đến mức báo động do nhiều nguồn nhập cư từ các vùng miền, do đó việc quản lý, bảo trì, giải quyết các sự cố cấp nước đang gặp rất nhiều khó khăn Chính vì vậy, cần phải áp dụng GIS trong quản lý và có một bộ CSDL chuẩn để phục vụ kiểm soát công tác vận hành cũng như quản lý mạng lưới này

2.2 Giới thiệu về GIS

2.2.1 Ý niệm chung

“GIS là một hệ thống thông tin áp dụng cho dữ liệu địa lý, và được xem như là một

hệ thống gồm phần cứng, phần mềm với các chức năng được thiết kế để thu thập, lưu trữ, truy cập và biến đổi, phân tích và thể hiện dữ liệu tham chiếu đến vị trí trên mặt đất, nhằm hổ trợ giải quyết các bài toán quy hoạch và quản lý phức tạp” (Trần Trọng

Đức, 2013)

GIS được áp dụng trong rất nhiều lĩnh vực khác nhau như hành chính, quy hoạch, địa chất, lâm nghiệp, nông nghiệp, an ninh quốc phòng và những phát triển của GIS liên quan đến nhiều lĩnh vực công nghệ khác nhau – khoa học máy tính, đồ họa, kỹ thuật

cơ sở dữ liệu, thống kê, toán học, đo đạc, bản đồ Hình minh họa sự hình thành GIS như là kết quả của sự tổng hợp nhiều lĩnh vực khác nhau

Hình 2.1 Nền tảng của GIS

Sự đa dạng trong các lĩnh vực ứng dụng GIS dẫn đến có rất nhiều nhận thức khác nhau về GIS, cũng như những thách thức về nguồn dữ liệu đầu vào của GIS.Tuy nhiên chúng có thể được nhóm vào các nhóm nhận thức sau

- Nhóm nhận thức liên quan đến bản đồ

- Nhóm nhận thức liên quan đến cơ sở dữ liệu

- Nhóm nhận thức liên quan đến khả năng phân tích không gian

- Nhóm nhân thức liên quan đến hỗ trợ quá trình lập quyết định

2.2.2 Các thành phần trong hệ GIS

“Năm thành phần quan trọng cấu thành GIS: Phần cứng, phần mềm, quy trình, dữ liệu và con người Năm thành phần này phải tương thích phù hợp với nhau và hoàn chỉnh để GIS có thể hoạt động hiệu quả.Không thành phần nào có thể hoạt động mà không có các thành phần khác.” (Trần Trọng Đức, 2013)

Hình 2.2 : Các thành phần của GIS.

Chuẩn hóa dữ liệu là một việc quan trọng để có được một bộ dữ liệu tốt: không còn các dị thường, lỗi dữ liệu (update anomaly, insertion anomaly, deletion anomaly),

không có dư thừa dữ liệu

Một trong những việc quan trọng để tạo ra được bộ CSDL chuẩn là kiểm tra dữ theo các tiêu chí khác nhau của từng ngành

Việc đảm bảo tính chính xác của dữ liệu là một công việc hết sức quan trọng để thực hiện quy hoạch và phân tích dữ liệu, chất lượng dữ liệu là yếu tố hàng đầu ảnh hưởng

đến việc quản lý, và sử dụng dữ liệu

2.2.3 Giới thiệu về ArcGIS 10.4.1

Năm 2017 ESRI đã phát hành ArcGIS phiên bản 10.4.1 là một phiên bản được cải tiến với nhiều công cụ mới phù hợp với nhu cầu của thị trường nhưng về cơ bản các thành phần chính của ArcGIS 10.4.1 vẫn không thay đổi so với các phiên bản trước

đó

Trong ArcGIS ta có thể sử dụng bộ công cụ Data Reviewer

2.3 Giới thiệu về Data Reviewer

2.3.1 Chuẩn hóa dữ liệu

Chuẩn hóa dữ liệu là quá trình kiểm tra chất lượng dữ liệu so với yêu cầu kỹ thuật thực tế từ đó đưa ra nguyên tắc chung để tiến hành chỉnh sửa dữ liệu

2.3.2 Giới thiệu về Data Reviewer

Data Reviewer là một bộ công vụ trong ArcGIS, bao gồm một loạt các công cụ hỗ trợ phân tích dữ liệu tự động Nó có thể sử dụng để phát hiện các lỗi dữ liệu về đối tượng thuộc tính và các mối quan hệ trong CSDL Kiểm tra dữ liệu chứa các quy tắc

phân tích và có thể tạo những luật riêng phù hợp với tính chất của từng tổ chức khác nhau Kết quả kiểm tra sẽ được ghi lại , người dùng có thể kiểm tra và sửa lỗi một cách dễ dàng.Với các tính năng trên Data Reviewer có thể giải quyết được bài toán chuẩn hóa dữ liệu

Hình 2.3 : Giao diện thanh công cụ Data Reviewer

Dưới đây là chức năng của các công cụ chính của thanh công cụ Data Reviewer

Reviewer Session Manager

Bắt đầu hoặc kết thúc một phiên kiểm tra mới hoặc có sẳn

Cấu hình tùy chọn của một phiên làm việc

Reviewer Table

Xem và tương tác với từng kết quả trong bảng danh sách kiểm tra

Bảng mô tả các lỗi

Browse Feature

Điều hướng đến các đối tượng đang được chọn hoặc kết quả kiểm tra

Ghi đối tượng vào Reviewer Table

Zoom đến các lỗi được phát hiện ra

Select and Indentify

Lựa chọn một hoặc nhiều đối tượng và xem thông tin thuộc tính của chúng trong cửa sổ Indentify Reviewer Batch

Job Manager

Tạo và biên tập Reviewer Batch job

Kiểm tra tính hợp lệ của Batch Job với dữ liệu đang được hiển thị trên bản đồ

Run Data Check

Chạy lệnh kiểm tra các dữ liệu đang được hiển thị trên bản đồ với một số điều kiện cụ thể

Thực thi lệnh

Reviewer Batch Validate

Chạy một hoặc nhiều Batch Job để kiểm tra các dữ liệu đang được hiển thị trên bản đồ

Commit To Reviewer Table

Ghi đối tượng đang được lựa chọn thành một dòng trong Reviewer Table

Flag Missing Feature

Đánh dấu các vị trí bị thiếu đối tượng trên bản đồ

Gắn cờ các điểm sai

Reviewer Overview

Tương tác và điều hướng tới Polygon Grid

Create Polygon Grid Wizard

Tạo một lưới để phân chia khu vực kiểm tra theo từn vùng

Table Importer/Exporter

Nhập/Xuất Reviewer table từ một không gian làm việc nấy sang một không gian làm việc khác

Total Feature Count

Hiển thị tổng số đối tượng của từng Feature class hiện có

trong Table of Content

Bảng 2.1 : các công cụ chính của thanh công cụ Data Reviewer

2.3.3 Các khả năng ứng dụng của Data Reviewer

Bộ công cụ Data Reviewer có thể ứng dụng trong các lĩnh vực sau :

 Ngành cấp nước / Xử lý nước thải / Nước ngầm :

Đối với ngành cấp nước nói chung việc quản lý duy trì chính xác vị trí mạng lưới đường ống là hết sức quan trọng đối với các công tác :

- Quản lý các công trình xây dựng và sửa chữa mạng lưới, phân tích không gian Data Reviewer hỗ trợ các ứng dụng định tuyến, kiểm soát sự cố để điều động nhân lực đến vị trí sự cố

- Hỗ trợ đánh dấu đường ống trong các dự án đào

- Duy trì độ dài chính xác của đường ống cùng với thông tin thuộc tính quan trọng như vật liệu ống, đường kính, ngày lắp đặt, v.v

- Duy trì vị trí chính xác của van, vòi nước và vòi bơm vv là rất quan trọng đối với chương trình cách ly van / van khẩn cấp, tiếp cận vòi chữa cháy trong các trường hợp khẩn cấp

 Ngành Giao Thông – Vận tải / Cầu đường

- Duy trì kiểm kê chính xác độ dài đường phố :

- Báo số tiền thuế được phân bổ cho nhà nước Việc này được phân bổ dựa trên chiều dài trên tất cả các đường phố trên cơ sở quận huyện

- Tất cả các đường phố của một quận cụ thể đều phải có đường biên chính xác

 Ngành Viễn Thông/ Điện Lực

- Duy trì kiểm tra chính xác vị trí đường dây điện:

- Quản lý trang thiết bị điện

- Quản lý, điều động sửa chửa bảo trì các trang thiết bị điện khi có sự cố

- Hỗ trợ đánh dấu các tuyến đường dây trong vùng cấm

- Mô hình hóa cơ sở vật chất

- Kiểm kê đánh giá hiện trạng cơ sở vật chất

 Ngành Trắc Địa

- Duy trình chính xác vị trí các yếu tố KTXH

- Quản lý kiểm soát dữ liệu ranh thửa, CSDL nền

- Quản lý kiểm soát độ chính xác dữ liệu thửa đất

- Kiểm soát dữ liệu thuộc tính trong Hồ Sơ Địa Chính

Sử dụng Data Reviewer có thể giúp :

 Đảm bảo chất lượng dữ liệu : Việc quản lý nguồn tài nguyên dữ liệu cho doanh nghiệp là việc làm tất yếu và rất quan trọng Cần đảm bảo chất lượng dữ liệu.Với Arc GIS Data Reviewer có thể hỗ trợ quá trình chuẩn hóa chất lượng dữ liệu và trở thành một phần trong chiến lược quản lý dữ liệu của tổng thể

 Tiết kiệm thời gian và chi phí: Các tính năng kiểm tra dữ liệu tự động của Data Reviewer giúp giải phóng được một lượng lớn nguồn nhân lực thủ công phục vụ công tác kiểm tra dữ liệu, từ đó tiết kiệm được thời gian và cả chi phí cùng với sự phát triển mạnh mẽ của khoa học kỹ thuật để đạt được những sản phẩm chất lượng cao, nhiều doanh nghiệp phải chi trả một khoảng chi phí rất lớn về lập trình để viết các đoạn code hoặc các công cụ riêng để kiểm tra dữ liệu cho họ.Với Arc GIS Data Reivewer thì các kiểm tra này có thể diễn ra nhanh chóng, có thể giải quyết nhiều vấn đề về cả không gian lẫn thuộc tính

Các ưu điểm của Data Reviewer

 Đa Dạng : Data Reviewer có thể phục vụ cho CSDL riêng lẻ hoặc trên enterprise Geo database

 Đáp ứng các yêu cầu dữ liệu đặc trưng của từng doanh nghiệp: Data Reviewer cho phép doanh nghiệp tạo ra các bộ luật phục vụ kiểm định chất lượng dữ liệu theo từng yêu cầu riêng của doanh nghiệp, tạo nên tính nhất quán về dữ liệu của doanh nghiệp

đó

Tăng tính minh bạch cho dữ liệu: Data Reivewer giúp ta có cái nhìn sâu sắc vào nguồn và nguyên nhân gây ra chất lượng dữ liệu kém bằng cách sử dụng các số liệu thống kê sau khi chạy lệnh kiểm tra tự động.Sử dụng các báo cáo và bảng điều khiển

để theo dõi tình trạng của dữ liệu, xác định xu hướng lỗi dữ liệu thông báo cho người dùng để đưa ra biện pháp khắc phục

 Chia sẽ dữ liệu: Sử dụng Data Reivewer từ máy chủ cho phép việc chia sẻ dữ liệu lên Enterprise, Web để các đối tượng liên quan có thể cùng sử dụng chung nguồn dữ liệu đồng nhất của doanh nghiệp

2.3.4 Các nhóm chức năng chính của Data Reviewer

Về cơ bản ArcGIS Data Reviewer và chia làm các nhóm chức năng chính sau:

Kiểm tra lỗi dữ liệu tự động: Arc GIS Data Reivewer với hơn 40 lệnh kiểm tra

riêng lẽ, chia thành 10 nhóm chính phục vụ việc kiểm định chất lượng dữ liệu tự động một cách nhanh chóng

Hình 2.4 : Các nhóm lệnh của Data Reiviewer

Cho phép tạo các bộ luật theo tiêu chí riêng của doanh nghiệp: Arc GIS Data Reivewer cho phép bạn tạo các bộ luật với yêu cầu kỹ thuật riêng phục vụ kiểm tra

dữ liệu đặc trưng của từng doanh nghiệp

Hình ảnh 2.5: Batch Job

Nhóm chức năng các công cụ chuẩn hóa dữ liệu: Arc GIS Data Reviewer tích hợp

giữa việc đưa ra các lệnh kiểm tra dữ liệu và các công cụ thống kê hỗ trợ khắc phục lỗi dữ liệu

Nhóm chức năng hỗ trợ xuất các báo cáo thống kê về lỗi dữ liệu: Arc GIS Data

Reivewer sau khi kiểm định lỗi dữ liệu sẽ xuất ra các file thống kê thông báo, dưới dạng bảng giúp người dùng có thể kiểm soát các nguyên nhân gây ra lỗi dữ liệu

CHƯƠNG 3 DỮ LIỆU VÀ QUY TRÌNH THỰC HIỆN 3.1 Dữ Liệu

3.1.1 Đặt vấn đề

Do tính bảo mật của ngành cấp nước, nên dữ liệu được dùng trong đồ án chỉ là dữ liệu giả định và mô phỏng theo dữ liệu của Công Ty CP Cấp Nước Phú Hòa Tân Việc thiết kế dữ liệu dựa trên kiến thức thu thập được trong quá trình tìm hiểu đặc điểm dữ liệu trong thực tế khi đi thực tập tại Cty Cấp nước và các tài liệu liên quan

(Giáo trình Cấp Nước, Nguyễn Đình Tuấn – Nguyễn Lan Hương, Đại Học Bách

Khoa Đà Nẵng, Năm 2008.)

3.1.2 Đặc điểm dữ liệu ngành cấp nước

Các đối tượng trong mạng lưới cấp nước

- Đường ống truyền tải: dùng để vận chuyển nước từ trạm bơm đến mạng phân

phối nước Đường ống có kích thước lớn đường kính lên đến 1000mm hoặc 2000mm tùy theo mô hình hệ thống

- Đường ống phân phối: dùng để vận chuyển nước từ đường ống truyền tải đến

đường ống nhánh Các đường ống phân phối đi dọc theo đường phố Đường ống phân phối thường có đường kính từ 80mm, 100mm và lớn hơn

- Đường ống ngánh: Đường ống có đường kính nhỏ hơn 80mm cấp nước trực

tiếp tới các hộ tiêu thụ Cuối đường ống dịch vụ là các đồng hồ đo nước, các Van và phụ kiện đấu nối với đường ống cấp nước bên trong nhà

- Van: là thiết bị vận hành dùng để điều khiển dòng nước trong hệ thống ống

Bao gồm Van điều khiển Van hệ thống, Van xả cặn, …

- Đồng hồ nước: là dụng cụ để đo lượng nước khách hàng sử dụng

- Mối nối: thiết bị đấu nối dùng để liên kết các đoạn ống trên mạng lại với nhau

- Trụ cứu hỏa: các trụ cung cấp nước cho việc chữa cháy

- Van trụ cứu hỏa: là thiết bị vận hành điều khiển dòng nước trong hệ thống ống dẫn cho trụ cứu hỏa

Đặc điểm dữ liệu

Theo tác giả Nguyễn Đình Tuấn và Nguyễn Lan Hương (Nguyễn Đình Tuấn,

Nguyễn Lan Hương, 2008):

“Mạng lưới cấp nước là một trong những bộ phận quan trọng của hệ thống cấp nước, làm nhiệm vụ vận chuyển và phân phối nước đến các nơi tiêu dùng Giá thành xây dựng mạng

lưới thường chiếm 50-70% giá thành xây dựng toàn bộ hệ thống cấp nước.”

Mạng lưới cấp nước (MLCN) bao gồm các đường ống chính, ống nhánh và các ống nối phân phối nước MLCN có thể thiết kế theo các sơ đồ: cụt, vòng, hỗn hợp

- Mạng lưới cụt có tổng chiều dài đường ống nhỏ nhưng không đảm bảo an toàn cấp

nước: Khi một ống nào đó ở đầu mạng bị sự cố thì toàn bộ khu vực phía sau sẽ bị mất nước

- Mạng lưới vòng sẽ khắc phục được nhược điểm đó

- Phải bền chắc, có khả năng chống lại động lực học trong và ngoài ống

- Thành trong ống phải nhẵn, chống xâm thực

- Có thời gian sử dụng lâu dài

- Các chi tiết lắp đặt phải gọn nhẹ, có độ bền cơ học cao

- Trong các hệ thống cấp nước có thể linh động ở những vùng miền khác nhau tùy vào điều kiện tự nhiên của vùng đó

- Tùy theo địa hình địa chất của khu vực và kích thước ống, đường ống có thể đặt trực tiếp trên nền đất hoặc trên bê tông Thông thường đường ống được đặt song song với cốt mặt thiết kế, hoặc trên vĩa hè, cách gốc cây xanh, móng nhà tối thiểu 3-5m

- Khi đi qua sông, đầm lầy: đường ống có thể đi theo thành cầu

- Khi đi qua đường oto, xe lửa phải đặt ống trong lồng ống, hai đầu đều bố trí giếng thăm có van

- Khi đi qua bãi rác, nghĩa trang, nghĩa địa: Nếu bắt buộc phải duy chuyển mồ

mả, bãi rác, thì khi lắp đặt phải tiến hành khử độc, khử trùng,hoặc phải lắp đường ống nổi

 Nguyên tắc vạch tuyến MLCN

(https://voer.edu.vn/m/mang-luoi-duong-ong-cap-nuoc/39dd56f9)

- Tổng chiều dài đường ống là nhỏ nhất

- Đường ống phải bao trùm các đối tượng dùng nước

- Hướng vận chuyển chính của nước đi về cuối mạng lưới và các điểm dùng nước

 CSDL chuyên đề gồm 11 lớp như sau:

- Lớp ống truyền tải: Được thiết kế dạng đường (polyline ) mô tả hệ thống các đường ống truyền tải

- Lớp đường ống phân phối: Được thiết kế dạng đường ( polyline ) mô tả hệ thống các đường ống phân phối

- Lớp đường ống ngánh: Được thiết kế dạng đường ( polyline ) mô tả hệ thống các đường ống ngánh xuất phát từ lớp đường ống cao hơn

- Lớp Đồng Hồ ( Đồng hồ tổng, đồng hồ khách hàng ) : Được thiết kế dạng điểm

mô tả các đối tượng đồ hồ tổng và đồng hồ khách hàng

- Lớp Van : Được thiết kế dạng điểm mô tả các loại van

o Van hệ thống gồm : Van giảm áp, van xả cặn, van xả khí

o Van trụ cứu hỏa

o Van điều khiển

- Lớp mối nối : Được thiết kế dạng điểm, mô tả điểm nối giữa các đoạn đường ống

KIỂU

DỮ LIỆU

 Coong (Cở ống)

 Vatlieu (Vật liệu)

 Chieudai (Chiều dài)

 Tenduong (Tên đường)

 Coong (Cở ống)

 Vatlieu (Vật liệu)

 Chieudai (Chiều dài)

 Tenduong (Tên đường)

 Namlapdat (Năm lắp đặt)

 Tencongtrinh (Tên công trình)

 Ma DMA (Mã DMA)

 Maduongong (Mã đường ống)

Thuoctuyenong.(Thuộc tuyến ống

 Coong (Cở ống)

 Vatlieu (Vật liệu)

 Chieudai (Chiều dài)

 Tenduong (Tên đường)

 Duongkinhngora ( Đường kính ngỏ ra)

 Diachi (Địa chỉ )

 Mã DMA

 Mamoinoi (Mã mối nối)

 Loaithietbidaunoi (Loại thiết

bị đầu nối)

Bảng 3.2 : Mô tả các lớp nội dung phần dư liệu chuyên đề

Tìm hiểu Data

Reviewer và SQL

server

Thiết kế và xây dựng CSDL

Ứng dụng Data

Reviewer tạo ra “bộ

luật” kiểm định chất

lượng dữ liệu

Kiểm tra lỗi

Tìm hiểu yêu cầu

kỹ thuật về dữ liệu ngành cấp nước

3.2.2 Các yêu cầu kỹ thuật về dữ liệu

Qua tìm hiểu yêu cầu kỹ thuật của dữ liệu (đối với dữ liệu ngành cấp nước) và trích lọc từ tài liệu “ Nguyên tắc kỹ thuật về mạng lưới cấp nước” của công ty Cổ Phần Cấp Nước Phú Hòa Tân , ta có các bảng sau :

DỮ LIỆU

Các đoạn ống truyền tải không được bắt

Cở ống nối ( bửng chận) phải giống với đường kính ống truyền tải kết nối vào

Ống phân phối phải kết nối với ống truyển

Đường kính cở ống nối phải trùng với đường kính ống phân phối kết nối vào

18

Ống

Ngánh

Không Gian

Ống ngánh phải kết nối với ống phân phối ở

21 Kiểm tra các đường ống ngánh có góc < 30

Mã đường ống không được trống

25 Đồng

Hồ

Tổng

Không Gian

Đồng hồ tổng không được kết nối với

26 Đồng hồ tổng không chồng đè lên bể

Lớp đồng hồ khách hàng phải kết nối với ống ngánh và năm ở điểm cuối ống

32

Thuộc Tính

35

Van ()

Không Gian

Đường kính của van ( trừ van xả khí ) phải giống đường kính ống Phân

) phải giống đường kính ống ngánh

37

Đường kính của van ( trừ van xả khí ) phải giống đường kính ống truyền

Bể chứa phải bắt dính với ống truyền

Bảng 3.6 Dữ liệu điểm nối

STT TÊN DỮ

LIÊU

PHÂN LOẠI

DỮ LIỆU

3.2.3 Các nhóm lệnh chức năng trong Data Reviewer

Bộ công cụ Data Reviewer với hơn 40 lệnh được chia thành 10 nhóm như sau :

Nhóm 1 :Default Checks (Kiểm tra mặc định)

Chức năng : Kiểm tra các lỗi dữ liệu cơ bản về hình học cụ thể như sau :

 Invalid Geometry: Tìm các đối tượng có hình học trống rỗng, không có gì, cũng

như các tính năng có vùng trống rỗng

 Multipart Line: Tìm kiếm các đối tượng đường đa tuyến có nhiều hơn một đoạn

 Multipart Polygon : Tìm các đối tượng đa giác có nhiều phần và đa giác các đối

tượng có lỗ hỏng

 Nonlinear Segment: Tìm kiếm các phân đoạn phi tuyến, chẳng hạn như đường

cung và đường cong, các đường nét và tính đa giác

 Polyline or Path Closes on Self : Tìm đường và hay đường kẻ trong các đường kẻ

ngang chạm hoặc qua chính nó

So sánh với Topology: Dòng không được tự giao nhau hoặc chồng chéo nhau

Nhóm 2 : Database Validation Checks (kiểm tra CSDL)

Chức năng : Kiểm tra CSDL phần thuộc tính và các quy tắc kết nối giữa các đối

tượng hình học cụ thể như sau :

 Connectivity Rules: Trả về hình học cho các đối tượng vi phạm, Quy tắc kết nối

mạng hình học

Ví dụ : Một đông hồ sẽ chỉ kết nối với 1 ống nhánh

 Domain: Xác nhận giá trị được mã hoá và tên miền phạm vi để đảm bảo rằng tất cả

các giá trị đều gặp các ràng buộc miền

 Relationships: Tìm kiếm các đối tượng riêng lẽ hoặc có các yếu tố (cardinality)

không thích hợp trong một lớp mối quan hệ

 Subtype: Các loại thuộc tính, ví dụ trong lớp đường giao thông : Có đường quốc

lộ, đường tỉnh lộ, đường mòn, đường xã

 Topology rules: Có nhiều tiêu chí kiểm tra quan hệ liên kết của đường và điểm Nhóm 3: Duplicate Geometry Checks

Chức năng: Kiểm tra các lỗi trùng lặp hình học giữa các đối tượng cụ thể như sau :

 Duplicate Geometry : Tìm các đối tượng có cùng hình dạng (Trùng lặp về hình

học)

 Duplicate Vertex : Tìm các đối tượng có đỉnh hình học trong phạm vi được chỉ

định

Nhóm 4: Feature on Feature Checks

Chức năng : Kiểm tra các lỗi về hình học chồng đè lên nhau giữa các lớp hoặc các

đối tượng chồng chéo nhau như sau :

 Geometry on Geometry: Các hình chồng lên nhau

 Intersection on Geometry :Tìm các đối tượng địa lý trong lớp 1 giao cắt với các

giao điểm từ các đối tượng từ lớp 2 và 3

 Polygon Overlap/Gap Is Sliver: Trả về sự chồng chéo / khoảng cách hình học giữa

các đối tượng đa giác từ hai lớp có kích thước bên dưới ngưỡng người dùng được chỉ định (Tùy chọn yêu cầu các đa giác chồng chéo / khoảng cách nằm dưới ngưỡng tối

đa của khu vực.)

Nhóm 5 : Polygon Check

Chức năng : Kiểm tra các lỗi dữ liệu thuộc về không gian của các đối tượng dạng

vùng như sau :

 Evaluate Polygon Perimeter and Area : Tìm đa giác, một phần, vòng hoặc phân

đoạn các đối tượng có diện tích hoặc chu vi nằm trong phạm vi xác định

 Invalid Hole Feature : Tìm các đa giác cắt các đa giác có lỗ hõng

 Polygon Sliver: Tìm các đa giác có diện tích hoặc chu vi nhỏ hơn quy định

 Unnec: Kiểm tra các ranh giới, biên giới đa giác không cần thiết

Nhóm 6: Polyline Checks

Chức năng : Kiểm tra các lỗi dữ liệu thuộc về không gian của các đối tượng dạng

đường cụ thể như sau :

 Cutbacks: Xác định các phân đoạn có góc giữa các phân đoạn trong một đa giác

hoặc nhiều đường nằm dưới một giá trị nhỏ nhất được chỉ định

 Evaluate Polyline Length: Tìm các đoạn thẳng theo chiều dài quy định

 Find Dangles check: : Tìm các đoạn thẳng có các nút nằm trong giới hạn do người

dùng xác định nhưng không được kết nối với các tính năng đa giác hoặc đa giác khác Tính năng polyline có thể được so sánh trong lớp đa giác hoặc polygon

Orphan: tìm kiếm các đối tượng riêng lẽ

Unnec : Trả lại các đối tượng có cùng nút và cùng thuộc tính

Nhóm 7: Spatial Parameter Evaluation Checks (kiểm tra các thông số không gian)

Chức năng : Kiểm tra các thông số không gian cụ thể như sau :

 Evaluate Extent: Trả lại các tính năng ở đó các thuộc tính phạm vi,vị trí (X và y) nằm trong các tham số được chỉ định

 Evaluate Intersection Count: Trả lại các đỉnh cho các đối tượng địa lý trong lớp 1 tính năng giao thoa một trong hai đối tượng đa giác hoặc đa giác trong Lớp tính 2 lần

số người dùng xác định

 Evaluate Part Count: Trả lại các đối tượng mà số phần nằm trong các tham số được chỉ định

 Evaluate Vertex Count: Trả về các đối tượng mà số đỉnh nằm trong các tham số được chỉ định

Nhóm 8: Table Checks

Chức năng : Kiểm tra các lỗi về thuộc tính của đối tượng cụ thể như sau :

 Execute SQL : Trả lại các đối tượng hoặc các hàng kết quả từ truy vấn SQL (Chưa

thực hành ra kết quả)

 Regular Expression: Trả lại các giá trị không phù hợp với biểu thức chính quy

Các ký tự đại diện là: [] ^ -? + * ?? +? *? () \ $ | !

Các phím tắt là: \ a \ b \ c \ d \ h \ n \ q \ w \ z

 Table to Table Attribute : Kiểm tra các thuộc tính giữa các đối tượng giống nhau

 Unique ID : Tìm các đối tượng có thuộc tính trùng nhau, ví dụ tìm các thuộc tính

có ID trùng nhau

Nhóm 9 : Z-Value Checks :( Không áp ụng trong phạm vi đồ án, do dữ liệu thiết

kế chỉ là dữ liệu 2D)

Chức năng: Kiểm tra các thông số về độ cao của các đối tượng cụ thể như sau :

 Adjacent Vertex Elevation Change : Tìm các đỉnh cho các tính năng đa giác hoặc

đa giác có độ cao (z-value) thay đổi lớn hơn độ cao đã chỉ định

 Different Z at Intersection: Tìm hai đối tượng đường giao nhau có sự khác biệt

z-giá trị là trong tối thiểu / tối đa Các z-giá trị giới hạn quy định tại điểm mà chúng giao nhau

 Evaluate Z-Values : Tìm kiếm các đối tượng có giá trị z nằm trong phạm vi được

chỉ định

Nhóm 10 : Advanced Checks

Chức năng: Một số kiểm tra mở rộng

 Valency: Tìm kiếm các điểm hoặc các nút của các đối tượng địa lý tuyến tính giao

nhau với một số đặc điểm tuyến tính được chỉ định

 Sampling: Tạo ra một mẫu thống kê các tính năng hoặc hồ sơ từ một hoặc nhiều

lớp hoặc bảng

3.2.4 Xác định quy trình chung để xây dựng Batch Job

Batch Job được hiểu là một nhóm lệnh gồm nhiều lệnh được thiết lập với các thông

số khác nhau tùy theo yêu cầu kỹ thuật của dữ liệu cần kiểm định

Quy trình chung xây dựng một Batch Job kiểm định chất lượng dữ liệu tự động như sau:

Bước 1 : Khởi động phiên làm việc tự động kiểm tra dữ liệu

Từ thanh Toolbar Data Reviewer, click vào biểu tượng Reviewer Session Manager cửa sổ Reviewer Session Manager hiện ra

 Browse : Chọn đến vị trí file Geodatabase bạn muốn sử dụng để lưu kết quả kiểm tra

 User Name : Đổi tên (Có thể là tên người sử dụng, công ty )

 New: Đặt tên cho phiên làm việc mới là “ Tự động kiểm tra dữ liệu’’

Click Start Session để bắt đầu phiên làm việc mới

Hình 3.3 : Khởi động phiên làm việc mới

Bước 2: Khởi tạo Batch Job

Click vào biểu tượng Reviewer Batch Job Manager để bắt đầu phiên làm việc với Batch Job

Cửa sổ Batch Job Manager hiện ra Tại vùng Batch Job Contents click chuột phải  New Group ( Đổi tên theo nội dung cần thực hiện)

Hình 3.4 : Khởi tạo Batch Job

Bước 3 : Thêm các lệnh kiểm tra ( dựa vào yêu cầu dữ liệu cần kiểm định)

Click chuột phải vào Group vừa tạo  Add Check

Hình 3.5 : Thao tác thêm lệnh kiểm tra

Sau khi thêm lệnh kiểm tra ta tiến thành thiết lập các thông số cần thiết

Add check: Là thao tác thêm các luật nhằm phục vụ kiểm định dữ liệu

Data Reviewer cung cấp hơn 40 luật nhỏ và xếp thành 10 nhóm lớn với các chức năng khác nhau ( đã trình bày ở phần 2.3.4 Các nhóm chức năng chính cuả Data Reviewer )

Bước 4 : Lưu Batch Job

Sau khi thiết lập xong tất cả các lệnh trong Batch Job, tiến hành lưu các thông tin vừa thiết lập