Nghiên cứu phương pháp phát hiện sự kiện cực hiếm bằng mô hình Autoencoder và ứng dụng vào dự báo trước sự cố trong nhà máy giấy.

Nghiên cứu phương pháp phát hiện sự kiện cực hiếm bằng mô hình Autoencoder và ứng dụng vào dự báo trước sự cố trong nhà máy giấy.Nghiên cứu phương pháp phát hiện sự kiện cực hiếm bằng mô hình Autoencoder và ứng dụng vào dự báo trước sự cố trong nhà máy giấy.Nghiên cứu phương pháp phát hiện sự kiện cực hiếm bằng mô hình Autoencoder và ứng dụng vào dự báo trước sự cố trong nhà máy giấy.Nghiên cứu phương pháp phát hiện sự kiện cực hiếm bằng mô hình Autoencoder và ứng dụng vào dự báo trước sự cố trong nhà máy giấy.

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Bùi Minh Thành NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN CỰC HIẾM BẰNG MÔ HÌNH AUTOENCODER VÀ ỨNG DỤNG VÀO DỰ BÁO TRƯỚC SỰ CỐ TRONG NHÀ MÁY GIẤY Chuyên ngành: Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Việt Anh Hà Nội - 2020 LỜI CAM ĐOAN Tôi xin cam đoan đề tài: “Nghiên cứu phương pháp phát kiện cực mơ hình Autoencoder ứng dụng vào dự báo trước cố nhà máy giấy” luận văn thân trực tiếp thực Tất giúp đỡ cho việc xây dựng sở lý luận cho luận trích dẫn đầy đủ ghi rõ nguồn gốc rõ ràng phép công bố Tôi xin hoàn toàn chịu trách nhiệm trước pháp luật cam kết Hà Nội, ngày 18 tháng 07 năm 2020 Tác giả luận văn Bùi Minh Thành LỜI CẢM ƠN Trong trình học tập, nghiên cứu hồn thành luận văn này, tơi nhận nhiều động viên, khuyến khích giúp đỡ nhiệt tình Thầy Cơ, anh chị em, bạn bè đồng nghiệp gia đình Trước tiên tơi xin cảm ơn Ban giám hiệu, Phòng đào tạo thầy cô Học viện Khoa học Công nghệ Việt Nam giúp đỡ tạo điều kiện tốt cho học tập thời gian qua Tôi xin cảm ơn thầy cô Viện Công nghệ thông tin thuộc Viện Hàn lâm Khoa học Công nghệ Việt Nam đã truyền đạt cho kiến thức chuyên sâu chuyên ngành suốt thời gian học tập, để tơi có tảng kiến thức hỗ trợ lớn cho tơi q trình làm luận văn thạc sĩ Tôi muốn bày tỏ biết ơn sâu sắc đến Tiến sĩ Nguyễn Việt Anh với tư cách người trực tiếp hướng dẫn, tận tình bảo giúp đỡ cho tơi suốt q trình thực luận văn Cuối cùng, tơi xin gửi lời cảm ơn đến gia đình bạn bè, đồng nghiệp ln hỗ trợ tơi khuyến khích liên tục suốt năm học tập qua trình nghiên cứu viết luận văn Thành tựu khơng thể có khơng có họ Xin chân thành cảm ơn tất người! Danh mục ký hiệu chữ viết tắt Từ viết tắt Nghĩa ANN Artificial neural networks (Mạng nơ-ron nhân tạo) MLP Multi-layer Perceptron (Mạng nơ-ron Perceptron đa lớp) LSTM Long short-term memory (Mạng nơ-ron nhớ ngắn hạn) GRU Gated Recurrent Units (Mạng nơ-ron đơn vị tái phát có kiểm sốt) RNN Recurrent Neural Network (Mạng nơ-ron hồi quy hay mạng nơ-ron tái phát) PCA Principal Component Analysis (Phương pháp phân tích thành phần chính) MNIST Modified National Institute of Standards and Technology (Bộ liệu chữ số viết tay) NMT Neural Machine Translation (máy dịch nơ-ron) RELU Rectified Linear Unit AUC Area under the curve ROC Receiver operating characteristic curve mse mean squared error (lỗi bình phương trung bình) Danh mục bảng Bảng 3.1 Giá trị hàm mát mơ hình MLP Autoencoder 48 Bảng 3.2 Tỉ lệ thu hồi MLP Autoencoder ngưỡng FPR = 4% 49 Bảng 3.3 Giá trị hàm mát mô hình LSTM Autoencoder 62 Bảng 3.4 So sánh tỉ lệ thu hồi MLP LSTM Autoencoder 63 Bảng 3.5 Tỉ lệ thu hồi LSTM Autoencoder ngưỡng FPR = 4% 64 Danh mục hình vẽ, đồ thị Hình 2.1 Phương pháp nhân mẫu dương tính 20 Hình 2.2 Phương pháp giảm số lượng mẫu âm tính 21 Hình 2.3 Phương pháp tạo thêm mẫu dương tính thuật tốn 22 Hình 2.4 Mơ hình Autoencoder mã hóa tự động số 24 Hình 2.5 Kiến trúc mạng nơ-ron Autoencoder 25 Hình 2.6 Kiến trúc mạng MLP Autoencoder 27 Hình 2.7 Kiến trúc mạng LSTM Autoencoder 28 Hình 2.8 Kiến trúc mạng Convolutional Autoencoder 29 Hình 2.9 Kết mã hóa liệu MNIST PCA Linear Autoencoder 31 Hình 2.10 Hình ảnh khơi phục sau nén PCA Autoencoder 32 Hình 2.11 Mơ hình đào tạo mạng Autoencoder để khử nhiễu hình ảnh 33 Hình 2.12 Hình ảnh sử dụng Autoencoder để khử nhiễu 34 Hình 2.13 Dử dụng Autoencoder để tơ màu hình ảnh 34 Hình 2.14 Tăng độ phân giải hình ảnh với Convolutional Autoencoder 35 Hình 2.15 Mơ hình MLP Autoencoder dự đốn kiện 36 Hình 2.16 Mơ hình LSTM Encoder dự đoán kiện 37 Hình 3.1 Hình ảnh dây chuyền sản xuất nhà máy giấy 39 Hình 3.2 MLP Autoencoder lớp ẩn khối mã hóa giải mã 41 Hình 3.3 Dữ liệu trước sau dán nhãn lại 43 Hình 3.4 Loại bỏ trường khơng cần thiết 43 Hình 3.5 Dữ liệu sau chuẩn hóa 45 Hình 3.6 Lập trình mạng nơ-ron MLP Autoencoder 46 Hình 3.7 Cấu trúc mơ hình MLP Autoencoder 46 Hình 3.8 Mơ-đun huấn luyện mơ hình MLP Autoencoder 47 Hình 3.9 Huấn luyện mơ hình MLP Autoencoder 47 Hình 3.10 Lịch sử huấn luyện mạng MLP Autoencoder 48 Hình 3.11 Kết dự báo mơ hình MLP Autoencoder 50 Hình 3.12 Biểu đồ ROC, AUC mơ hình MLP Autoencoder 51 Hình 3.13 Phân bố lỗi theo mục MLP Autoencoder 53 Hình 3.14 Bộ mã hóa tự động LSTM Autoencoder 55 Hình 3.15 Dữ liệu trước sau dán nhãn lại 57 Hình 3.16 Dữ liệu đầu vào cho mơ hình LSTM Autoencoder 58 Hình 3.17 Lập trình mạng nơ-ron LSTM Autoencoder 59 Hình 3.18 Cấu trúc mơ hình LSTM Autoencoder 60 Hình 3.19 Mơ-đun huấn luyện mơ hình LSTM Autoencoder 60 Hình 3.20 Huấn luyện mơ hình LSTM Autoencoder 61 Hình 3.21 Lịch sử huấn luyện mạng LSTM Autoencoder 62 Hình 3.22 Biểu đồ ROC, AUC mơ hình MLP Autoencoder 63 Hình 3.23 Kết dự báo mơ hình LSTM Autoencoder 65 Hình 3.24 Phân bố lỗi theo mục MLP Autoencoder 65 MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN Danh mục ký hiệu chữ viết tắt Danh mục bảng Danh mục hình vẽ, đồ thị MỤC LỤC MỞ ĐẦU 10 Lý chọn đề tài 10 Mục đích nghiên cứu 13 Nhiệm vụ nghiên cứu 13 Đối tượng phạm vi nghiên cứu 13 Phương pháp nghiên cứu 13 Chương TỔNG QUAN VỀ SỰ KIỆN HIẾM 14 1.1 KHÁI NIỆM VỀ SỰ KIỆN HIẾM 14 1.1.1 Định nghĩa kiện 14 1.1.2 Các kiện tự nhiên xã hội 15 1.2 BÀI TOÁN DỰ BÁO TRƯỚC SỰ KIỆN HIẾM 17 Chương PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN HIẾM 19 2.1 TÌM HIỂU CÁC PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN HIẾM 19 2.1.1 Nhân mẫu dương tính 19 2.1.2 Giảm số lượng mẫu âm tính 20 2.1.3 Tạo thêm mẫu dương tính thuật tốn 21 2.1.4 Điều chỉnh trọng số học tập mẫu 22 2.1.5 Đánh giá phương pháp cân số lượng mẫu 22 2.2 PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN HIẾM BẰNG MƠ HÌNH AUTOENCODER 24 2.2.1 Mơ hình Autoencoder 24 2.2.2 Sử dụng Autoencoder phát kiện 36 Chương ỨNG DỤNG MƠ HÌNH AUTOENCODER ĐỂ DỰ BÁO TRƯỚC SỰ CỐ TRONG NHÀ MÁY GIẤY 38 3.1 BÀI TOÁN DỰ BÁO SỰ CỐ TRONG NHÀ MÁY GIẤY 38 3.1.1 Phát biểu toán 38 3.1.2 Bộ liệu nhà máy giấy 39 3.1.3 Mục tiêu toán 40 3.2 ỨNG DỤNG MÔ HÌNH MLP AUTOENCODER CHO BÀI TỐN… 41 3.2.1 Tiếp cận tốn với mơ hình MLP Autoencoder 41 3.2.2 Xây dựng mơ hình MLP Autoencoder cho tốn 41 3.2.3 Các bước lập trình MLP Autoencoder cho toán 42 3.2.4 Kết thử nghiệm đánh giá mơ hình 47 3.3 ỨNG DỤNG MƠ HÌNH LSTM AUTOENCODER CHO BÀI TOÁN… 54 3.3.1 Tiếp cận toán với mơ hình LSTM Autoencoder 54 3.3.2 Xây dựng mơ hình LSTM Autoencoder cho tốn 55 3.3.3 Các bước lập trình LSTM Autoencoder cho tốn 56 3.3.4 Kết thử nghiệm đánh giá mơ hình 61 Chương KẾT LUẬN VÀ KIẾN NGHỊ 67 4.1 KẾT LUẬN 67 4.2 KIẾN NGHỊ 68 TÀI LIỆU THAM KHẢO 69 10 MỞ ĐẦU Lý chọn đề tài Ngày bối cảnh cách mạng công nghiệp 4.0 phát triển vũ bão, doanh nghiệp ngày trọng đầu tư vào hoạt động nghiên cứu, phát triển ứng dụng công nghệ thông tin vào quản lý sản xuất kinh doanh Ngay Việt Nam, gần 90% doanh nghiệp bước ứng dụng Công nghệ thông tin vào quản lý doanh nghiệp nhằm nâng cao hiệu hoạt động sản xuất kinh doanh để bắt kịp với xu hướng toàn cầu Trong lĩnh vực công nghệ thông tin áp dụng vào phục vụ sản xuất kinh doanh, nghiên cứu ứng dụng để phân loại dự báo hướng ứng dụng sử dụng nhiều đem lại hiệu cao cho doanh nghiệp, tăng khả cạnh tranh doanh nghiệp bối cảnh hội nhập quốc tế sâu rộng Thông thường lĩnh vực phân loại dự báo, nghiên cứu thường hay sử dụng liệu có số phần tử lớp tương đối cân Tuy nhiên thực tế, số trường hợp có số phần tử liệu cân Đa số trường hợp liệu có số phần tử lớp bất đối xứng, chênh lệch nhiều lần Trong toán phân loại lớp, thường trường hợp lớp cần dự đoán kiện xảy với tần suất thấp Tuy không thường xuyên xảy kiện lại có tác động lớn làm ổn định hệ thống, gây nhiều hậu nghiêm trọng, thiệt hại kinh tế lẫn tính mạng người Các kiện gọi chung kiện [1] Sự kiện có tự nhiên [2] (như động đất, sóng thần, bão lũ, núi lửa …) xã hội (như chiến tranh, cố nhà máy cơng nghiệp, sụp đổ thị trường tài chính, cố hàng không …), thường gây thiệt hại mát lớn Chính việc dự báo trước kiện [3] có ý nghĩa vơ to lớn, không giúp người giảm bớt nhiều thiệt hại kiện gây mà nhiều trường hợp người ngăn chặn để kiện không xảy Do kiện kiện xảy so với kiện bình thường, nên liệu thu thập kiện cân Một ... ? ?Nghiên cứu phương pháp phát kiện cực mơ hình Autoencoder ứng dụng vào dự báo trước cố nhà máy giấy” làm luận văn tốt nghiệp thạc sĩ 13 Mục đích nghiên cứu Áp dụng số mơ hình mã hóa tự động Autoencoder. .. Autoencoder có đặc trưng khác hẳn đầu vào có khả kiện [11] Bài luận văn tập trung nghiên cứu, cải tiến ứng dụng mơ hình Autoencoder để dự báo kiện cực hiếm, áp dụng mô hình vào dự đốn trước cố. .. Chương ỨNG DỤNG MƠ HÌNH AUTOENCODER ĐỂ DỰ BÁO TRƯỚC SỰ CỐ TRONG NHÀ MÁY GIẤY 38 3.1 BÀI TOÁN DỰ BÁO SỰ CỐ TRONG NHÀ MÁY GIẤY 38 3.1.1 Phát biểu toán 38 3.1.2 Bộ liệu nhà máy giấy