Phát triển hệ thống giám sát và phân tích chất lượng nước ăn uống

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN CAO NGUYÊN PHÁT TRIỂN HỆ THỐNG GIÁM SÁT VÀ PHÂN TÍCH CHẤT LƯỢNG NƯỚC ĂN UỐNG CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 60.48.01.01 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, THÁNG 12 NĂM 2018 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG TP HCM Cán hướng dẫn khoa học: PGS.TS Thoại Nam Cán chấm nhận xét 1: PGS.TS Trần Công Hùng Cán chấm nhận xét 2: TS Trần Minh Quang Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 27 tháng 12 năm 2018 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS.TS Phạm Trần Vũ - Chủ tịch TS Nguyễn Lê Duy Lai - Thư ký PGS.TS Trần Công Hùng - Phản biện TS Trần Minh Quang - Phản biện TS Lê Trọng Nhân - Ủy viên Xác nhận Chủ tịch Hội đồng đánh giá luận văn thạc sĩ Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KH&KTMT ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Trần Cao Nguyên MSHV: 7140831 Ngày, tháng, năm sinh: 04/10/1983 Nơi sinh: Đắk Lắk Chuyên ngành: Khoa Học Máy Tính Mã số: 60.48.01.01 I TÊN ĐỀ TÀI: Phát triển hệ thống giám sát phân tích chất lượng nước ăn uống II NHIỆM VỤ VÀ NỘI DUNG: Đề tài nghiên cứu thông số tiêu chất lượng nước ăn uống định tài liệu QCVN 01:2009/BYT để chọn lọc thông số tối thiểu cần thiết đảm bảo chất lượng nước ăn uống cho hộ dân địa bàn thành phố Đồng thời, đề tài khảo sát mạng lưới cấp nước triển khai địa bàn thành phố nhằm xây dựng đồ hình cấp nước tương ứng cho hệ thống đề xuất Áp dụng công cụ xử lý Streaming data để xây dựng hệ thống giám sát chất lượng nước ăn uống khu dân cư, khu chung cư, hộ dân để đưa thông báo tức thời điểm đo không đạt chất lượng, đề xuất phương pháp phân tích để đưa dự báo chất lượng nước địa điểm khác mạng lưới cấp nước III NGÀY GIAO NHIỆM VỤ: 20/08/2018 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 03/12/2018 V CÁN BỘ HƯỚNG DẪN: PGS.TS THOẠI NAM Tp HCM, ngày 03 tháng 12 năm 2018 CÁN BỘ HƯỚNG DẪN TRƯỞNG KHOA KH & KTMT LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành sâu sắc đến Thầy PGS.TS Thoại Nam, khoa Khoa Học Kỹ Thuật Máy Tính - Đại Học Bách Khoa TP HCM Trong suốt trình thực đề cương luận văn cao học, Thầy tận tình hướng dẫn giúp đỡ, tạo điều kiện để tơi hồn thành tốt luận văn Tơi xin gửi lời cảm ơn chân thành đến Thầy Cô trường Đại Học Bách Khoa TP HCM Các Thầy Cơ tận tình dạy, trang bị cho tơi kiến thức quý báu suốt thời gian học cao học trường Tôi xin gửi lời cảm ơn đến gia đình, bạn bè đồng nghiệp động viên tinh thần, tạo điều kiện thuận lợi giúp tơi hồn thành luận văn Tp HCM, ngày 30 tháng 11 năm 2018 Học viên Trần Cao Nguyên i TÓM TẮT LUẬN VĂN Hiện tương lai gần, việc đảm bảo chất lượng nước ăn uống cho người dân sinh sống nhiều thành phố trở thành vấn đề quan tâm lớn Đây không vấn đề quan tâm quan chức năng, mà thân người dân dần ý thức quan trọng chất lượng nước ăn uống mà sử dụng hàng ngày Việc giám sát, đưa cảnh báo tức thời dự báo mối nguy hại chất lượng nước toán quan trọng bậc việc đảm bảo chất lượng nước ăn uống cung cấp cho người dân Đây toán mà ngành hữu quan chắn cần phải có hỗ trợ lớn ngành Khoa học máy tính Big data phát triển nhanh chóng Thế giới, Việt Nam khơng nằm ngồi xu hướng Với khả phục vụ việc giám sát, phân tích để đưa cảnh báo tức thời dự báo chất lượng nước ăn uống thành phố lớn, việc ứng dụng kỹ thuật Big data cần thiết Để đảm bảo xử lý số liệu phát sinh liên tục khắp nơi hệ thống cấp nước thành phố lớn Streaming data, nhánh phương pháp Big data, nên ứng dụng toán Luận văn tập trung nghiên cứu thông số chất lượng nước ăn uống định tài liệu QCVN 01:2009/BYT nhằm chọn lọc thông số tối thiểu đảm bảo chất lượng nước ăn uống cho hộ dân ứng dụng Streaming data để giải toán giám sát, phân tích cảnh báo chất lượng nước ăn uống thành phố lớn Việt Nam ii ABSTRACT In nowadays and near future, guaranty for quality of drinking water to the citizen in big cities is going to become a high interesting problem This is the intersting problem by not only appropriate authorities but also the citizens who have been gradually realizing the importance of drinking water quality used daily The monitoring, immediately warning and predicting unhealthy symptoms about drinking water quality will be high important problem in guaranty drinking water supplied to the citizens This is the problem that the appropriate authorities need the support from the Computer science Big data has been highly developing over the world, and Vietnam also To implement the monitoring and analyzing to raise immediately warning and predict drinking water quality in big cities, Big data should be applied To ensure the capability of processing constantly generated data at all positions in the water supply system, Streaming data, which is a method set of Big data, should be applied for this problem This thesis researches the parameter set about drinking water quality which is specified in the document QCVN 01:2009/BYT to select a minimum parameter set which guarantees drinking water quality, and applies Streaming data to solve the problem of monitoring, warning and analyzing about drinking water quality for big citites in Vietnam iii LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ kết tham khảo từ cơng trình khác ghi luận văn, cơng việc trình bày luận văn tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường trường khác Tp HCM, ngày 30 tháng 11 năm 2018 Học viên Trần Cao Nguyên iv MỤC LỤC CHƯƠNG 1: GIỚI THIỆU 1.1 Lý chọn đề tài 1.2 Mục tiêu giới hạn đề tài 1.3 Ý nghĩa đề tài 1.4 Cấu trúc luận văn CHƯƠNG 2: KIẾN THỨC NỀN TẢNG 2.1 Tổng quan big data 2.1.1 Khái niệm big data 2.1.2 Các đặc trưng big data 2.1.3 Ứng dụng big data 2.2 Giới thiệu Apache Hadoop 2.2.1 Kiến trúc Hadoop: 2.2.2 Kiến trúc HDFS 2.2.3 Sơ đồ xử lý Map-Reduce 2.3 Giới thiệu streaming data 11 2.3.1 So sánh batch processing với streaming processing 11 2.3.2 Ứng dụng streaming data thực tế 12 2.4 Giới thiệu Apache Spark 12 2.4.1 Spark hệ sinh thái Hadoop 12 2.4.2 Kiến trúc Spark 13 2.4.3 Ứng dụng Spark 14 2.4.4 Giới thiệu Spark Streaming 15 CHƯƠNG 3: MỘT SỐ CƠNG TRÌNH LIÊN QUAN 17 3.1 Trên Thế giới 17 3.2 Ở Việt Nam 17 CHƯƠNG 4: PHƯƠNG PHÁP GIẢI QUYẾT VẤN ĐỀ 19 v 4.1 Bộ thông số chất lượng cần giám sát 19 4.2 Đồ hình mạng lưới cấp nước 23 4.2.1 Đồ hình tham khảo thực tế 23 4.2.2 Một số đề xuất đồ hình cấp nước 24 4.3 Tổ chức lưu trữ liệu 26 4.3.1 Tổ chức thu nhận liệu 26 4.3.2 Định dạng liệu 26 4.4 Thiết kế ứng dụng 28 4.4.1 Sơ đồ khối ứng dụng 28 4.4.2 Lược đồ 29 4.4.3 Lưu đồ thuật toán 30 4.4.4 Mục tiêu ứng dụng 34 CHƯƠNG 5: THỬ NGHIỆM 35 5.1 Môi trường thực cách sử dụng 35 5.1.1 Môi trường thực 35 5.1.2 Các bước cài đặt framework 35 5.1.3 Cách sử dụng ứng dụng 38 5.2 Kết chạy ứng dụng 40 CHƯƠNG 6: KẾT LUẬN 43 6.1 Những điều đạt 43 6.2 Những điểm hạn chế 43 6.3 Hướng phát triển đề tài 44 TÀI LIỆU THAM KHẢO 45 PHỤ LỤC: BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH - VIỆT 48 vi DANH MỤC HÌNH Hình 1: Các thành phần Hadoop Hình 2: Kiến trúc Master-Slave Hadoop Hình 3: Kiến trúc HDFS Hình 4: Sơ đồ xử lý Map-Reduce 10 Hình 5: Ví dụ “Word Count” 11 Hình 6: Spark hệ sinh thái Hadoop 12 Hình 7: Ba cách triển khai Spark vào hệ thống Hadoop 13 Hình 8: Các thành phần Spark 14 Hình 9: Quá trình tiếp nhận liệu đưa kết Spark Streaming 15 Hình 10: Sự thực thi bên Spark Streaming 16 Hình 11: Mối quan hệ chứa đựng DStream RDD 16 Hình 12: Đồ hình cấp nước tham khảo 23 Hình 13: Sơ đồ khối ứng dụng 28 Hình 14: Lược đồ ứng dụng 29 Hình 15: Lưu đồ thuật tốn ứng dụng 31 Hình 16: Lưu đồ thuật tốn hàm kiểm tra RDD 32 Hình 17: Bảng thống kê tổng số ghi tập liệu mà ứng dụng chạy 41 Hình 18: Trang web hiển thị diễn tiến thời gian hoạt động ứng dụng 41 Hình 19: Ứng dụng thơng báo ghi có bất thường hình console 41 vii CHƯƠNG 5: THỬ NGHIỆM Chương trình bày kết chạy thử nghiệm ứng dụng giám sát chất lượng nước ăn uống trình bày phần thiết kế mục tiêu chương trước 5.1 Môi trường thực cách sử dụng 5.1.1 Môi trường thực Ứng dụng thực máy tính cá nhân có cấu hình mơi trường cài đặt sau: - Phần cứng: + CPU: Intel Core-i7 Q720 1.6GHz + RAM: 4GB - Hệ điều hành: Ubuntu 16.04, 64-bit - Framework: + JDK: version 1.8.0_191 + Scala: version 2.11.8 + Hadoop: version 2.7.3 + Spark: Version: 2.1.0, Mode hoạt động với Hadoop: Standalone - Ngơn ngữ lập trình: Python 5.1.2 Các bước cài đặt framework Trên thực tế, việc cài đặt framework liệt kê thường tốn nhiều thời gian công sức dễ đối mặt với khơng tương thích phiên framework với Do đó, phần này, luận văn trình bày bước cài đặt phiên đề cập phần Các bước cài đặt nên tuân theo trình tự đây: - Cài đặt: Python JDK Scala Hadoop Spark Sau đó, thêm đường dẫn thư mục (path) JDK, Scala Spark vào biến môi trường PATH file ~/.bashrc - Nạp lại nội dung file ~/.bashrc 35 Cài đặt Python: $sudo apt-get update $sudo apt-get install python-software-properties Cài đặt JDK: $sudo echo "deb http://ppa.launchpad.net/webupd8team/java/ubuntu precise main" > /etc/apt/sources.list.d/webupd8team# Có thể phải sử dụng quyền root chạy java.list # lệnh $sudo add-apt-repository ppa:webupd8team/java $sudo apt-get -y update $sudo apt-get install oracle-java8-installer $java –version # Kiểm tra version Java Cài đặt Scala: #### Cài đặt Scala $sudo wget www.scala-lang.org/files/archive/scala2.11.8.deb $sudo dpkg -i scala-2.11.8.deb $scala –version # Kiểm tra version Scala #### Cài đặt SBT cho Scala $sudo echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list $sudo apt-key adv keyserver hkp://keyserver.ubuntu.com:80 recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823 $sudo apt-get -y update $sudo apt-get -y install sbt 36 Cài đặt Hadoop Spark: Spark cần tải (download) file nén giải nén vào thư mục Đường dẫn (link) download: https://archive.apache.org/dist/spark/spark2.1.0/spark-2.1.0-bin-hadoop2.7.tgz File nén bao gồm Hadoop bên Thêm đường dẫn vào biến mơi trường PATH file ~/.bashrc: export JAVA_HOME=/usr/lib/jvm/java-8-oracle export SCALA_HOME=/usr/share/scala export SPARK_HOME=/home/username/spark-2.1.0-bin-hadoop2.7 # Giả sử nơi lưu thư mục Spark /home/username/ export PATH=$PATH:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin Nạp lại nội dung file ~/.bashrc: $source ~/.bashrc Khởi động Spark Shell xem chạy chưa: $spark-shell # Nếu sử dụng ngôn ngữ Scala $pyspark # Nếu sử dụng ngôn ngữ Python Nếu xuất thơng báo bên tức Spark cài đặt thành cơng Sau đó, bấm tổ hợp phím Ctr+D để khỏi Spark Shell Welcome to / / _ _/ / _\ \/ _ \/ _ `/ / '_/ / _/ /\_,_/_/ /_/\_\ /_/ 37 version 2.1.0 5.1.3 Cách sử dụng ứng dụng Giả lập streaming data: Trên thực tế, ứng dụng streaming data phát triển Spark hoạt động lấy liệu từ ứng dụng thu nhận liệu đó, ví dụ Apache Kafka Ứng dụng Spark coi server thu nhận liệu đầu vào cho Ứng dụng phát triển thử nghiệm đề tài dự định lấy liệu từ server Nhưng có hạn chế mặt thời gian nên đề tài chưa nghiên cứu cách thức lấy liệu theo cách Thay vào đó, chạy ứng dụng này, sử dụng lệnh Netcat Linux để giả lập server thu nhận liệu từ file text định File text định file có cấu trúc CSV lưu trữ ghi trình bày mục 4.3.2 Dữ liệu giả lập từ kết đo đạc theo định kỳ thực tế công ty Sawaco [18] Các bước chạy ứng dụng: - Chạy ứng dụng môi trường Spark: Lệnh: spark-submit /Monitoring_DWQ.py localhost 9999 60 Giải thích: + spark-submit: Nạp file mã nguồn vào môi trường Spark để chạy + /Monitoring_DWQ.py: Đường dẫn (path) tên file mã nguồn ứng dụng + localhost: hostname server nơi chạy ứng dụng thu nhận liệu Ở đây, ứng dụng chạy máy đơn nên định hostname localhost + 9999: port mà ứng dụng thu nhận liệu giao tiếp server + 60: thời gian (tính giây) mà ứng dụng định kỳ gửi yêu cầu để lấy liệu tới server 38 - Giả lập server: Lệnh: nc -l 9999 < stream300M.log Giải thích: + nc: Lệnh Netcat + -l 9999: Chỉ định Netcat lắng nghe port 9999 Chúng ta định port khác cần ý port truyền vào dòng lệnh để chạy ứng dụng phải giống với port + < stream300M.log: Chỉ định tên file chứa liệu giả lập chuyển vào cho Netcat Để tự động chạy Netcat lặp lặp lại nhiều lần với nhiều file liệu giả lập khác nhau, ta viết file script để thực điều Ví dụ: Giả sử ta có thư mục “inputstream” chứa file giả lập có tên đánh số liên tiếp “stream1.log”, “stream2.log”, “stream3.log”, v.v… ta viết file script tên “streamserver.sh” sau: PrefixName="inputstream/stream" SuffixName=".log" while [ $2 > ] Value=$((${RANDOM} % $3 + 1)) Filename=$PrefixName$Value$SuffixName echo $Filename nc -l $1 < $Filename sleep $2 done # Run command: /streamserver.sh 9999 # 8: stream1.log > stream8.log 39 5.2 Kết chạy ứng dụng Tôi tiến hành chạy ứng dụng với ba tập liệu streaming data có dung lượng khác 50 MB, 100 MB 300 MB Lý tơi chọn lựa ba tập liệu có dung lượng số lượng ghi tập liệu phù hợp liệu tạo chu kỳ phút đo lần từ tất điểm đo triển khai mạng lưới cấp nước thực tế: + File 50 MB: có gần 1.400.000 ghi, phù hợp với mạng lưới cấp nước thành phố cỡ trung Việt Nam + File 100 MB: có gần 2.800.000 ghi, phù hợp với mạng lưới cấp nước thành phố cỡ lớn Việt Nam + File 300 MB: có 8.400.000 ghi, phù hợp với mạng lưới cấp nước thành phố cỡ lớn Việt Nam thành phố Hồ Chí Minh Ngồi ra, tơi thử nghiệm với tập liệu có dung lượng streaming data lớn hẳn, vào khoảng 700 MB (tập liệu có 20 triệu ghi) để xem khả xử lý tối đa máy tính có cấu nêu mục 5.1.1 Khi thử nghiệm, nhận thấy hạn chế nhớ RAM máy tính nên ứng dụng nạp xử lý 11.000.000 ghi Bảng tổng hợp kết mà ứng dụng chạy với dung lượng kể trên: Dung lượng liệu 50 MB Tổng số lượng ghi 1.391.501 Thời gian hoàn tất 13 giây Số lượng ghi bị warning 1: Độ đục giá trị tối đa 2: 100 MB 2.788.501 22 giây - pH giá trị tối thiểu 300 MB 8.464.501 phút 19 giây 700 MB 20.944.130 Nạp xử lý 11.130.320 ghi - Clo_dư giá trị tối đa 1: Áp_lực_nước giá trị tối thiểu Bảng 3: Kết tổng hợp chạy ứng dụng bốn tập liệu khác 40 Các hình 17, 18, 19 dướii đ số hình chụp lạii hình kết k ứng dụng chạy với tập liệuu có dung lượng l 300 MB: Hình 17: Bảng thống ng kê tổng t số ghi tập liệu mà ứng ng dụng d chạy Hình 18:: Trang web hiển hi thị diễn tiến thời gian hoạt động củ ứng dụng Hình 19: Ứng dụng ng thơng báo b ghi có bất thường ng hình console 41 Một số nhận xét kết thu được: - Với số lượng ghi phù hợp với mạng lưới cấp nước thành phố lớn nêu trên, ứng dụng xử lý khoảng thời gian hai phút cấu hình phần cứng khơng mạnh nên thích hợp cho việc giám sát mạng lưới cấp nước thành phố lớn Việt Nam giả sử hệ thống giám sát có thời lượng chu kỳ đo đạc phát sinh, thu nhận liệu vào khoảng phút lần - Đối với dung lượng liệu 700 MB nêu trên, thực máy tính có cấu hình mạnh hơn, nhớ RAM khả chạy thành cơng cao Do đó, thực tế triển khai với hệ thống máy tính xử lý phân tán kết tốt 42 CHƯƠNG 6: KẾT LUẬN Chương tổng kết việc làm được, đóng góp luận văn trình bày hạn chế hướng phát triển sau 6.1 Những điều đạt - Luận văn thực việc khảo sát thực tế, kiểm chứng với cơng ty cấp nước đóng địa bàn thành phố thông số chất lượng nước ăn uống quy định tài liệu QCVN 01:2009/BYT - Luận văn đề xuất thông số dành cho việc kiểm tra chất lượng nước ăn uống nơi tiêu thụ nước vị trí trung gian mạng lưới cấp nước, nơi mà nước ăn uống thường khơng cịn đảm bảo 100% chất lượng phát từ nhà máy cấp nước - - Luận văn bước đầu xây dựng ứng dụng xử lý liệu dạng streaming, hoạt động thực tế để phục vụ cho việc giám sát chất lượng nước ăn uống theo thời gian thực Luận văn đề xuất ý tưởng dành cho việc phân tích liệu Cộng với việc ứng dụng mà luận văn xây dựng chuyển đổi liệu thơ thành liệu có cấu trúc, nên luận văn đóng góp bước đầu cho việc thực toán dự báo chất lượng nước mạng lưới - Với thông số chất lượng nước ăn uống đề xuất, luận văn đóng góp thơng số cho nhóm nghiên cứu khác để xây dựng thiết bị đo với giá thành phải để ứng dụng đại trà đến nhiều hộ gia đình có nhu cầu 6.2 Những điểm hạn chế - Quá trình khảo sát thực tế hệ thống cấp nước chưa thật hồn thiện chưa thu thập bảng thông tin quy định chi tiết thông số áp lực nước Điều khiến cho việc đưa cảnh báo thông số áp lực nước chưa phù hợp với thực tế 43 - - Luận văn chưa nghiên cứu framework bật cho việc thu nhận liệu dạng streaming để làm đầu vào cho ứng dụng Ứng dụng luận văn xây dựng thực chức cảnh báo tức thời thơng số, chưa có chức phân tích sâu để đưa dự báo bất thường xảy mạng lưới có điểm đo bị phát có bất thường Luận văn thực thử nghiệm máy đơn mà chưa phải hệ thống máy tính phân tán 6.3 Hướng phát triển đề tài - - - Vì đề tài hướng đến việc phát triển hệ thống hoạt động thực tế nên hướng phát triển ưu tiên hàng đầu là: thực khả cảnh báo xác thông số Áp lực nước theo thông tin quy định công ty cấp nước Phát triển chức phân tích offline đưa dự báo bất thường xảy mạng lưới cấp nước Hiện thực khả hoạt động ứng dụng hệ thống máy tính phân tán Phát triển ứng dụng có chức phân tích dự báo bất thường cho mạng lưới cấp nước có nhiều nhà máy đưa nước vào hòa mạng chéo Ứng dụng Máy học (Machine learning) để phát triển chức đề xuất điểm cần đặt thiết bị đo đưa vào ứng dụng cho đồ hình mạng lưới cấp nước khác 44 TÀI LIỆU THAM KHẢO [1] Chuck Lam, 2011, “Hadoop in Action”, Manning Publications Co., United States of America, pp 24 - 59 [2] Holden Karau, Andy Konwinski, Patrick Wendell, Matei Zaharia, 2014, “Learning Spark”, O’Reilly Media, Inc., United States of America, pp - 25, pp 34 - 44, pp 183 - 199 [3] Holden Karau, 2013, “Fast Data Processing with Spark”, Packt Publishing Ltd., pp 31 - 76 [4] Bộ Y tế, 2009, “Quy chuẩn kỹ thuật quốc gia chất lượng nước ăn uống QCVN 01:2009/BYT”, Bộ Y tế, Hà Nội [5] Hadoop – Introduction, https://www.tutorialspoint.com/hadoop/hadoop_introduction.htm, 4-2018 [6] Install Spark On Ubuntu- A Beginners Tutorial for Apache Spark, https://dataflair.training/blogs/install-spark-ubuntu, 8-2018 [7] Spark Programming Guide, https://spark.apache.org/docs/1.5.0/programmingguide.html, 8-2018 [8] Spark Streaming Programming Guide, https://spark.apache.org/docs/1.5.0/streaming-programming-guide.html, 10-2018 [9] Hanna HI727, https://hannainst.com/hi727-color-of-water.html, 10-2017 [10] ABB Y075008-344, http://www.abb.com/SmartLinks/Default.aspx?gid=ABB.PARTS.USINYY075008344&parts=True, 10-2017 [11] ABB Aztec ATS430, https://new.abb.com/products/measurementproducts/analytical/continuous-water-analysis/turbidity-measurement/aztec-ats430turbidity-and-total-suspended-solids-sensor, 10-2017 [12] ABB AP300, https://new.abb.com/products/measurementproducts/analytical/continuous-water-analysis/ph-orp-measurement/ph-orpsensors/ap300-general-purpose-ph-redox-sensor, 10-2017 45 [13] Hach LCW532, https://de.hach.com/mangan-pipettiertest-0-005-0-5-mg-lmn/product?id=26370285172, 10-2017 [14] ToaDKK FCL-221CA sensor, http://www.analyticon.com/products/portablehandheld-meters/Residual-Chlorine-Meter-Low-range-0-2ppm.php, 10-2017 [15] Colifast Field Kit, http://www.colifast.no/products/colifast-field-kit, 10-2017 [16] ATCC 15597, https://www.atcc.org/products/all/15597.aspx, 10-2017 [17] Bosch BME280, https://www.boschsensortec.com/bst/products/all_products/bme280, 10-2017 [18] Trang thông tin Nội kiểm chất lượng nước Sawaco, http://sawaco.com.vn/wps/portal/!ut/p/b1/vY9Rb4IwEID_kXelBdrHClpQilhkCC_GO V1Q0cUs2TXrzOLb86neZdccsl3991BDRUVvkcc4QuYQ31YfjSvy_fmeFjuf_raWyicqLw_dhAj 7qMkAZqABw5GrgUqCwRKRsxPEHmiXIxlVBgxpRQlvTdfQjW0pb5wf625AHgjJ P4CVxNXxJrYdEz6wi5UFCoL-DdPEQRmMEe2yLfnt7jbdWbrm1h3w3FGiAZOKjDjUmLXafTNUnDFZKwJHrQdHkyivWpwFwk2cuTKfoy0OXXeXNHmO F_C_lEWGE20xPFM4rUe_SHzoOFglphpWEEdfPc9j5XbQ97lLtUOMT1UDBGGP OgVJBGx3YNbb1PPBN182uu5TcPvx1A/dl4/d5/L2dBISEvZ0FBIS9nQSEh, 9-2018 [19] Xây dựng hệ thống mạng cảm biến, kho liệu đám mây phục vụ giám sát môi trường, cảnh báo giảm nhẹ thiên tai, http://hepa.gov.vn/content/tintuc_chitiet.php?catid=357&subcatid=0&newsid=537&la ngid=0, 10-2017 [20] Đánh giá chất lượng nước cấp Hà Nội 2009 – 2016, https://arsenic.dsintl.biz/phuong-phap-danh-gia, 10-2017 [21] Trạm quan trắc chất lượng nước đa thông số Model DQA800, http://aiptgroup.com/LSI-/Tram-quan-trac-chat-luong-nuoc-da-thong-so-DQA800, 102017 [22] Thông tin chi tiết sản phẩm Quan trắc môi trường/quan trắc nước mặt, http://www.hach.vn/chi-tiet-san-pham-brand.aspx?id=411, 10-2017 [23] Trạm quan trắc chất lượng nước mặt tự động, http://www.vietanenviro.com/tram-quan-trac-chat-luong-nuoc-mat-tu-dong, 9-2018 46 [24] Trạm quan trắc chất lượng nước ngầm tự động, http://www.vietanenviro.com/tram-quan-trac-chat-luong-nuoc-ngam-tu-dong, 9-2018 [25] John S Hall, Jeffrey G Szabo, Srinivas Panguluri, Greg Meiners, 2009, "Distribution System Water Quality Monitoring: Sensor Technology Evaluation Methodology and Results – A Guide for Sensor Manufacturers and Water Utilities", U.S Environmental Protection Agency, United States of America, pp 1-1 - 3-8 [26] Japan International Cooperation Agency, 2013, “Nghiên cứu cải thiện cấp nước Thành phố Hồ Chí Minh - Báo cáo sau cùng”, Japan International Cooperation Agency, pp 0-1 - 1-4, pp 2-6 - 2-26 [27] Bùi Xuân Khoa, Lý Thành Tài, 2016, “Nghiên cứu giải pháp phân phối nước nhằm cải thiện dịch vụ cấp nước thành phố Hồ Chí Minh”, Tạp chí Khoa học Kỹ thuật Thủy lợi Môi trường, Việt Nam, pp 29 – 35 [28] HDFS Architecture Guide, https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html, 8-2018 [29] Hadoop Ecosystem, https://www.quora.com/What-is-a-Hadoop-ecosystem, 82018 [30] Apache Spark Ecosystem – Complete Spark Components Guide, https://dataflair.training/blogs/apache-spark-ecosystem-components, 8-2018 47 PHỤ LỤC: BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH - VIỆT Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Batch data Dữ iệu theo lô Batch processing Xử lý iệu theo lô Big data Dữ liệu lớn Block Khối Cluster Cụm Data Dữ liệu Data block Khối liệu File Tập tin Framework Bộ công cụ phát triển phần mềm Link Liên kết Machine learning Máy học Master Chủ Metadata Siêu liệu Offline Ngoại tuyến Path Đường dẫn thư mục Slave Tớ Streaming data Dữ liệu theo luồng Streaming processing Xử lý liệu theo luồng Text Văn Warning Cảnh báo 48 Viết tắt LÝ LỊCH TRÍCH NGANG Họ tên: Trần Cao Nguyên Nơi sinh: Đắk Lắk Ngày tháng năm sinh : 04/10/1983 Địa liên lạc: 36 Gò Cây Sung, Xã Vĩnh Ngọc, TP Nha Trang, Tỉnh Khánh Hịa Q TRÌNH ĐÀO TẠO Thời gian 2002 - 2007 2014 – 2018 Trường đào tạo Chuyên ngành Đại học Nha Trang Đại học Bách Khoa TP HCM Bậc đào tạo Công nghệ thông tin Cử nhân Khoa học máy tính Thạc sĩ Q TRÌNH CƠNG TÁC Thời gian Đơn vị cơng tác Vị trí 2008 - 2014 ISB Vietnam Co., Ltd Kỹ sư phần mềm 2014 - 2016 Harvey Nash Vietnam Co., Ltd Kỹ sư phần mềm 2016 - 2017 DEK Technologies Vietnam Kỹ sư phần mềm 2017 - 2018 Steinsvik Co., Ltd Kỹ sư phần mềm 49 ... dựng hệ thống giám sát chất lượng nước ăn uống khu dân cư, khu chung cư, hộ dân để đưa thông báo tức thời điểm đo không đạt chất lượng, đề xuất phương pháp phân tích để đưa dự báo chất lượng nước. .. ĐỀ TÀI: Phát triển hệ thống giám sát phân tích chất lượng nước ăn uống II NHIỆM VỤ VÀ NỘI DUNG: Đề tài nghiên cứu thông số tiêu chất lượng nước ăn uống định tài liệu QCVN 01:2009/BYT... khía cạnh hệ thống giám sát chất lượng nước ăn uống bao gồm: - Bộ thông số chất lượng cần giám sát - Phương pháp xây dựng ứng dụng framework Spark để giám sát - Đồ hình mạng lưới cấp nước tham khảo