Ứng dụng mô hình ai để dự báo các tham số môi trường trong hệ thống quan trắc môi trường nuôi trồng thủy sản thông minh

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng mơ hình AI để dự báo tham số môi trường hệ thống quan trắc môi trường nuôi trồng thủy sản thông minh HÀ NGỌC ANH Anh.HN202049M@sis.hust.edu.vn Ngành: Kỹ thuật viễn thông Giảng viên hướng dẫn: PGS.TS Trần Quang Vinh Trường: Điện - Điện tử HÀ NỘI, 2022 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng mơ hình AI để dự báo tham số môi trường hệ thống quan trắc môi trường nuôi trồng thủy sản thông minh HÀ NGỌC ANH Anh.HN202049M@sis.hust.edu.vn Ngành: Kỹ thuật viễn thông Giảng viên hướng dẫn: PGS.TS Trần Quang Vinh Trường: Điện - Điện tử HÀ NỘI, 2022 Chữ ký GVHD CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Hà Ngọc Anh Đề tài luận văn: Ứng dụng mơ hình AI để dự báo tham số mơi trường hệ thống quan trắc môi trường nuôi trồng thủy sản thông minh Chuyên ngành: Kỹ thuật viễn thông Mã số HV: 20202049M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 20/10/2022 với nội dung sau: - Đã chỉnh thay đổi từ “bài báo” thành “luận văn” số trang nội dung luận văn - Đã giải thích ý nghĩa đường cong CDF đánh giá kết - Đã thêm số phân tích bình luận đánh giá khoảng tin cậy - Đã thêm phần Phạm vi nghiên cứu sau phần Mục tiêu luận văn - Đã chỉnh lại nội dung tiếng việt số hình vẽ luận văn Ngày Giáo viên hướng dẫn PGS.TS Trần Quang Vinh CHỦ TỊCH HỘI ĐỒNG PGS.TS Hà Duyên Trung tháng năm 2022 Tác giả luận văn Hà Ngọc Anh Lời cảm ơn Trước tiên xin chân thành cảm ơn PGS.TS Trần Quang Vinh – Giảng viên hướng dẫn trực tiếp tơi q trình làm luận văn Tôi xin cảm ơn thầy cô Trường Điện – Điện tử, Trường Đại học Bách khoa Hà Nội truyền đạt cho kiến thức chuyên sâu suốt thời gian học tập để tơi có tảng kiến thức hỗ trợ cho q trình làm luận văn thạc sĩ Cuối cùng, tơi xin gửi lời cảm ơn đến gia đình bạn bè ln hỗ trợ tơi khuyến khích liên tục suốt thời gian học tập trình nghiên cứu viết luận văn Xin chân thành cảm ơn! Tóm tắt nội dung luận văn Luận văn trình bày q trình xây dựng mơ hình AI để dự báo tham số môi trường hệ thống quan trắc môi trường nuôi trồng thủy sản thơng minh Để thực mục tiêu đó, tác giả khảo sát vấn đề cơng trình có sẵn liên quan đến đề tài, trình bày nội dung sở lý thuyết liên quan đến liệu chuỗi thời gian ứng dụng deep learning liệu chuỗi thời gian Trên sở đó, tác giả đưa giải pháp lựa chọn, cải tiến cập nhật mơ hình dự báo Đề xuất tác giả luận văn phương pháp dự báo chất lượng nước mới, dựa mạng neural nhớ dài hạn ngắn hạn (LSTM), cải tiến để phù hợp với đặc điểm dự báo nuôi trồng thủy sản Các thông số liệu môi trường nước sử dụng luận văn đo vịnh Xuân Đài, tỉnh Phú Yên vào năm 2020, phương pháp so sánh với mơ hình RNN, GRU kết cho thấy mơ hình LSTM hoạt động xác hiệu HỌC VIÊN Hà Ngọc Anh MỤC LỤC DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT iv DANH MỤC HÌNH VẼ v DANH MỤC BẢNG BIỂU viii CHƯƠNG TỔNG QUAN VỀ ĐỀ TÀI 1.1 Đặt vấn đề 1.2 Mục tiêu đề tài 1.3 Phạm vi nghiên cứu 1.4 Công cụ thực phương pháp nghiên cứu 1.5 Bố cục luận văn 1.6 Tổng kết CHƯƠNG KHẢO SÁT THỰC TRẠNG VÀ CÁC CƠNG TRÌNH LIÊN QUAN 2.1 Thực trạng quan trắc môi trường thủy sản 2.1.1 Quan trắc môi trường thủy sản giới 2.1.2 Quan trắc môi trường thủy sản Việt Nam 10 2.2 Các hệ thống quan trắc liên quan 15 2.2.1 Hệ thống giám sát môi trường nông ngư nghiệp công ty FarmTech 16 2.2.2 Hệ thống mạng cảm biến khơng dây nơng nghiệp xác ĐH Kinh tế công nghiệp Long An 17 2.2.3 Hệ thống giám sát chất lượng nước nuôi trồng thủy sản e-AQUA 17 2.2.4 Hệ thống mạng cảm biến không dây giám sát môi trường nước phục vụ nuôi trồng thủy hải sản, triển khai Quảng Ninh (BKRES) 18 2.2.5 Hệ thống quan trắc mực nước sông tự động 19 2.2.6 Hệ thống quản lý giám sát nguồn phóng xạ di dộng (BKRAD) 20 2.3 Các tham số thiết yếu môi trường nuôi trủy sản 21 2.3.1 Nhiệt độ 21 2.3.2 pH 22 2.3.3 Nồng độ Oxy hòa tan (DO) hay Dissolved Oxygen 22 2.3.4 Độ muối hay độ mặn (salt) 23 2.3.5 Nồng độ H2S 23 2.3.6 Nồng độ NH4+ 23 2.3.7 Độ đục (TUR) Turbidity 24 i 2.4 Tổng kết 24 CHƯƠNG HỆ THỐNG QUAN TRẮC MÔI TRƯỜNG 25 3.1 Tổng quan hệ thống quan trắc tự động cảnh báo môi trường nuôi tôm hùm vịnh Xuân Đài đầm Cù Mông tỉnh Phú Yên 25 3.1.1 Kiến trúc tổng thể 25 3.1.2 Phân hệ cảm biến phân hệ trạm gốc 27 3.1.3 Phân hệ xử lý liệu cung cấp dịch vụ (máy chủ) 29 3.1.4 Phân hệ vận hành phân hệ người dùng 33 3.2 Phạm vi luận văn hệ thống 41 3.3 Tổng kết 41 CHƯƠNG DỰ BÁO CHUỖI THỜI GIAN VÀ DEEP LEARNING 42 4.1 Dự báo chuỗi thời gian (Time Series Forecasting) 42 4.1.1 Dữ liệu chuỗi thời gian 42 4.1.2 Phân tích chuỗi thời gian (Time series analysis) dự báo chuỗi thời gian (Time series forecasting) 42 4.1.3 Các phương pháp dự báo chuỗi thời gian 45 4.2 Deep Learning 45 4.2.1 Đôi nét Deep Learning 45 4.2.2 Các mơ hình Deep Learning phổ biến 47 4.2.3 Deep Learning với liệu chuỗi thời gian 47 4.3 Convolutional Neural Networks với liệu chuỗi thời gian 47 4.4 Recurrent Neural Networks với liệu chuỗi thời gian 50 4.5 Long Short-term Memory Networks với liệu chuỗi thời gian 53 4.6 Tổng kết 56 CHƯƠNG XÂY DỰNG VÀ TRIỂN KHAI MÔ HÌNH DỰ BÁO 57 5.1 Kiến trúc module dự báo 57 5.2 Lưu đồ xây dựng mơ hình 58 5.3 Xây dựng liệu huấn luyện mạng 59 5.3.1 Tiền xử lý liệu 59 5.3.2 Chuẩn hóa liệu 59 5.4 Mơ hình sử dụng LSTM 61 5.4.1 Khởi tạo 61 5.4.2 Lựa chọn Dropout 62 5.5 Mơ hình RNN (SimpleRNN) 63 5.5.1 SimpleRNN lớp hồi tiếp 63 ii 5.5.2 SimpleRNN lớp hồi tiếp 64 5.6 Mơ hình GRU 65 5.7 Lựa chọn mơ hình phù hợp 65 5.8 Sự phụ thuộc lẫn tham số quan trắc 66 5.9 Cải tiến mô hình LSTM với nhiều tham số đầu vào (LSTM đa biến) 66 5.10 Retrain model có liệu 67 5.11 Tổng kết 71 CHƯƠNG KẾT QUẢ VÀ ĐÁNH GIÁ 72 6.1 Đánh giá kết dự báo (LSTM đơn biến) 72 6.1.1 Đánh giá kết dự báo tham số nhiệt độ 72 6.1.2 Đánh giá kết dự báo tham số độ mặn 73 6.1.3 Đánh giá kết dự báo tham số pH 74 6.1.4 Đánh giá kết dự báo tham số NH3 75 6.1.5 Đánh giá kết dự báo tham số H2S 76 6.1.6 Đánh giá kết dự báo tham số DO 77 6.1.7 Đánh giá kết dự báo tham số COD 78 6.1.8 Đánh giá kết dự báo tham số TSS 79 6.1.9 Đánh giá tổng hợp kết mơ hình dự báo 80 6.1.10 So sánh kết dự báo với kết quan trắc định kỳ 80 6.2 Đánh giá mơ hình LSTM đa biến 82 6.3 Tổng kết 83 CHƯƠNG KẾT LUẬN 84 7.1 Kết luận 84 7.1.1 Những điểm đạt 84 7.1.2 Những điểm chưa đạt 84 7.2 Hướng phát triển đồ án tương lai 84 TÀI LIỆU THAM KHẢO 85 PHỤ LỤC 88 iii DANH MỤC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu AI API ATBXHN BTNMT CDF CSDL CBMT DO GRU H2S HTML HTTP IoT JSON LED LORA LSTM MLP NCHS NH4+ NTTS OSI ORP PH PNDBTS QGQT QCVN RNN Salt SSL TCP/IP TLS TUR/TSS Giải thích Artificial Intelligence Application Programming Interface An Toàn Bức Xạ Hạt Nhân Bộ Tài Nguyên Môi Trường Comulative Distribution Function Cơ Sở Dữ Liệu Cảnh Báo Mơi Trường Oxy hịa tan Gated Recurrent Units Hydro sulfide HyperText Markup Language Hyper Text Transfer Protocol Internet of Things JavaScript Object Notation Light-Emitting Diode Long Range Long Short Term Memory MultiLayer Perceptron Nghiên Cứu Hải Sản Amoni Nuôi Trồng Thủy Sản Open Systems Interconnection model Oxygen Reduction Potential Thể tính axit kiềm nước Phòng Ngừa Dịch Bệnh Thủy Sản Quốc Gia Quan Trắc Quy chuẩn kỹ thuật quốc gia Recurrent Neural Network Độ mặn Secure Sockets Layer Transmission Control Protocol/Internet Protocol Transport Layer Security Độ đục hay hàm lượng chất lơ lửng iv DANH MỤC HÌNH VẼ Hình 2.1 Một số hệ thống quan trắc môi trường NTTS giới Hình 2.2 Mơ hình tích hợp cảm biến vào xử lý liệu (Libelium, 2018) Hình 2.3 Mơ hình truyền liệu mạng cảm biến (Peng Jiang, 2018) 10 Hình 2.4 Mơ hình hệ thống thủy canh sử dụng mạng cảm biến không dây (VLIR) 15 Hình 2.5 Hệ thống mạng cảm biến môi trường không dây (AE Visor) FarmTech 16 Hình 2.6 Hệ thống giám sát điều khiển chất lượng nước e-Aqua 18 Hình 2.7 Hệ thống mạng cảm biến không dây giám sát môi trường nuôi tôm (BKRES) 19 Hình 2.8 Hệ thống quan trắc cảnh báo mức nước sông tự động 20 Hình 2.9 Lắp đặt hệ thống quản lý giám sát nguồn phóng xạ di động khu công nghiệp Formosa Hà Tĩnh tháng 3/2016 21 Hình 3.1 Kiến trúc tổng thể hệ thống quan trắc tự động môi trường nuôi tôm hùm 25 Hình 3.2 Kiến trúc trạm quan trắc tự động (nút mạng cảm biến) 27 Hình 3.3 Các thành phần trạm phao 28 Hình 3.4 Trạm phao ngồi thực địa 28 Hình 3.5 Kiến trúc trạm thu thập liệu quan trắc (trạm gốc) 29 Hình 3.6 MongoDB hệ thống quan trắc 30 Hình 3.7 Máy chủ ứng dụng hệ thống quan trắc 31 Hình 3.8 Remote cài đặt ứng dụng máy chủ ứng dụng 33 Hình 3.9 Các chức quản trị - vận hành 33 Hình 3.10 Các chức quản trị, vận hành giao diện web 34 Hình 3.11 Xem liệu thời gian thực từ quản lý node 36 Hình 3.12 Website giám sát hệ thống quan trắc 36 Hình 3.13 Vị trí thơng số node cảm biến đồ 37 Hình 3.14 Giám sát dạng biểu đồ website 37 Hình 3.15 Giao diện ứng dụng mobile (a) vị trí trạm quan trắc đồ số, (b) biểu đồ biểu diễn tham số theo thời gian 39 Hình 3.16 Các mức cảnh báo theo màu sắc 39 Hình 3.17 Các thông báo, cảnh báo web 40 Hình 3.18 Cảnh báo ứng dụng 40 Hình 3.19 Mơ hình dự báo AI module 41 v Hình 4.1 Phân tích thành phần liệu chuỗi thời gian 43 Hình 4.2 Quan hệ AI, Machine Learning Deep Learning 46 Hình 4.3 Quan hệ lượng liệu hiệu Deep Learning [23] 46 Hình 4.4 Bộ lọc áp dụng cho đầu vào hai chiều để tạo feature map [24] 48 Hình 4.5 Mơ hình CNNs [25] 49 Hình 4.6 Feed Forward Neural Network [27] 50 Hình 4.7 Recurrent Neural Network [27] 51 Hình 4.8 One to One RNNs [26] 51 Hình 4.9 One to Many RNNs [26] 52 Hình 4.10 Many to One RNNs [26] 52 Hình 4.11 Many to Many RNNs [26] 53 Hình 4.12 Cấu trúc cell LSTM 54 Hình 5.1 Các thành phần module dự báo 57 Hình 5.2 Lưu đồ xây dựng mơ hình dự báo cho hệ thống quan trắc môi trường nước 58 Hình 5.3 Cấu trúc liệu database 59 Hình 5.4 Chuẩn hóa liệu 60 Hình 5.5 Đối chiếu kết dự báo nhiệt độ mơ hình LSTM với thực tế 63 Hình 5.6 Đối chiếu kết dự báo nhiệt độ mơ hình SimpleRNN với thực tế 64 Hình 5.7 Đối chiếu kết dự báo nhiệt độ mơ hình GRU với thực tế 65 Hình 5.8 Tập huấn luyện tập kiểm thử với đa biến đầu vào 67 Hình 5.9 Mơ tả lớp cấu trúc đầu mơ hình LSTM 67 Hình 5.10 Huấn luyện với liệu cứng 68 Hình 5.11 Huấn luyện mơ hình có liệu 69 Hình 5.12 Các phương pháp cập nhật model 70 Hình 6.1 So sánh kết dự báo nhiệt độ với giá trị đo thực tế 72 Hình 6.2 Phân phối tích lũy sai số giá trị dự báo nhiệt độ giá trị đo thực tế 73 Hình 6.3 So sánh kết dự báo độ mặn với giá trị đo thực tế 73 Hình 6.4 Phân phối tích lũy sai số giá trị dự báo độ mặn giá trị đo thực tế 74 Hình 6.5 So sánh kết dự báo pH với giá trị đo thực tế 74 Hình 6.6 Phân phối tích lũy sai số giá trị dự báo pH giá trị đo thực tế 75 Hình 6.7 So sánh kết dự báo NH3 với giá trị đo thực tế 75 vi Hình 6.12 Phân phối tích lũy sai số giá trị dự báo DO giá trị đo thực tế Đồ thị phân bố xác suất tích lũy Hình 6.12 cho thấy kết dự báo lớn 90% độ chênh lệch dự báo lớn 0.6 ‰ Đánh giá sai số cho thấy sai số lớn ≈ 1.2 ‰, sai số trung bình ≈ 0.2 ‰ Phương sai độ lệch chuẩn tương đối tốt, ≈ 0.03 ≈ 0.17 6.1.7 Đánh giá kết dự báo tham số COD Kết đánh giá tổng kết mơ hình dự báo tham số COD: - Sai số trung bình 0.3935 - Sai số nhỏ 0.000416 - Sai số lớn 2.9412 - Phương sai 0.172 - Độ lệch chuẩn 0.4156 Biều đồ so sánh kết dự báo với kết tập kiểm thử biểu diễn Hình 6.13 Biểu đồ phân phối tích lũy sai số tham số COD biểu diễn Hình 6.14 Hình 6.13 So sánh kết dự báo COD với giá trị đo thực tế 78 Hình 6.14 Phân phối tích lũy sai số giá trị dự báo COD giá trị đo thực tế Đồ thị phân bố xác suất tích lũy Hình 6.14 cho thấy kết dự báo lớn 90% độ chênh lệch dự báo lớn 1.0 Đánh giá sai số cho thấy sai số lớn ≈ 2.9, sai số trung bình ≈ 0.39 Phương sai độ lệch chuẩn tương đối tốt 6.1.8 Đánh giá kết dự báo tham số TSS Kết đánh giá tổng kết mơ hình dự báo tham số TSS: - Sai số trung bình 0.7379 - Sai số nhỏ 0.0012 - Sai số lớn 3.742 - Phương sai 0.4073 - Độ lệch chuẩn 0.6382 Biều đồ so sánh kết dự báo với kết tập kiểm thử biểu diễn Hình 6.15 Biểu đồ phân phối tích lũy sai số tham số TSS biểu diễn Hình 6.16 Hình 6.15 So sánh kết dự báo TSS với giá trị đo thực tế 79 Hình 6.16 Phân phối tích lũy sai số giá trị dự báo TSS giá trị đo thực tế Hàm phân phối xác suất tích lũy TSS có kết dự báo xác lớn 90% độ chênh lệch dự báo lớn 2.0 Giá trị dự báo bám tốt xu hướng biến đổi TSS Phương sai độ lệch chuẩn tốt 6.1.9 Đánh giá tổng hợp kết mơ hình dự báo Kết tổng hợp mơ hình dự báo tham số mơi trường thống kê trình bày Bảng 6.1 Bảng 6.1 Bảng tổng hợp kết mơ hình dự báo Nhiệt Độ mặn PH NH3 H2S TSS DO COD độ Sai số Trung 0.3353 0.6108 0.13533 0.01670 0.00176 0.7379 0.2147 0.3935 bình Sai số nhỏ Sai số lớn Phạm vi sai số Phương sai Độ lệch chuẩn 0.0011 0.0004 3.8337 ∗ 10−5 1.283 9.609 ∗ 10−5 ∗ 10−7 0.0012 0.0009 0.00041 1.7098 4.1177 0.79313 0.1291 0.0250 3.742 1.215 2.9412 1.7087 4.1173 0.79310 0.1291 0.0250 3.741 1.214 2.9407 0.077 0.4868 0.03208 0.0004 6.478 ∗ 10−6 0.4073 0.2774 0.6977 0.17911 0.0197 0.0025 0.6382 0.0287 0.1695 0.172 0.4156 6.1.10 So sánh kết dự báo với kết quan trắc định kỳ Kết dự báo tham số môi trường nước ni thủy sản mơ hình LSTM cải tiến đề xuất luận văn so sánh, đánh giá 80 với kết quan trắc môi trường nước định kỳ sử dụng phương pháp phân tích mẫu phịng thí nghiệm vùng ni tơm hùm Tx Sông Cầu, tỉnh Phú Yên tháng 10, 11, 12 năm 2019 Bảng 6.2 Kết quan trắc định kỳ từ 07/10/2020 đến 16/12/2020 Giá trị giới hạn cho phép: Theo QCVN 10 - MT: STT Thơng số Phương pháp phân tích 2015/BTNMT; Kết Thiết bị QCVN 08- phân quan MT:2015/BTNMT tích trắc cột A1, QĐ số 299/QĐ-TCTSKHCN&HTQT Nhiệt độ ( C) 2550B:2012 Độ mặn SMEWW (‰) 2520B:2012 pH TCVN 6492:2011 N-NH3 Salicylate method (mg/l) (HB-8155 Hach) H2S (mg/l) TSS (mg/l) DO (mg/l) SMEWW Methylene blue (HB-8131 Hach) TCVN 6625:2000 TCVN 5499: 1995 COD TCVN (mg/l) 5370:1991 Nhiệt 26-32oC 25,5-27 kế thuỷ ngân 28-36 6,5-8,5 < 0,1 32-35 8,008,10 0,010,11 ≤0,02 0-0,003