NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN CỰC HIẾM BẰNG MÔ HÌNH AUTOENCODER VÀ ỨNG DỤNG VÀO DỰ BÁO TRƯỚC SỰ CỐ TRONG NHÀ MÁY GIẤY LUẬN VĂN THẠC SĨ

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Bùi Minh Thành NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN CỰC HIẾM BẰNG MÔ HÌNH AUTOENCODER VÀ ỨNG DỤNG VÀO DỰ BÁO TRƯỚC SỰ CỐ TRONG NHÀ MÁY GIẤY Chuyên ngành: Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Việt Anh Hà Nội - 2020 LỜI CAM ĐOAN Tôi xin cam đoan đề tài: “Nghiên cứu phương pháp phát kiện cực mơ hình Autoencoder ứng dụng vào dự báo trước cố nhà máy giấy” luận văn thân trực tiếp thực Tất giúp đỡ cho việc xây dựng sở lý luận cho luận trích dẫn đầy đủ ghi rõ nguồn gốc rõ ràng phép công bố Tôi xin hoàn toàn chịu trách nhiệm trước pháp luật cam kết Hà Nội, ngày 18 tháng 07 năm 2020 Tác giả luận văn Bùi Minh Thành LỜI CẢM ƠN Trong trình học tập, nghiên cứu hồn thành luận văn này, tơi nhận nhiều động viên, khuyến khích giúp đỡ nhiệt tình Thầy Cơ, anh chị em, bạn bè đồng nghiệp gia đình Trước tiên tơi xin cảm ơn Ban giám hiệu, Phòng đào tạo thầy cô Học viện Khoa học Công nghệ Việt Nam giúp đỡ tạo điều kiện tốt cho học tập thời gian qua Tôi xin cảm ơn thầy cô Viện Công nghệ thông tin thuộc Viện Hàn lâm Khoa học Công nghệ Việt Nam đã truyền đạt cho kiến thức chuyên sâu chuyên ngành suốt thời gian học tập, để tơi có tảng kiến thức hỗ trợ lớn cho tơi q trình làm luận văn thạc sĩ Tôi muốn bày tỏ biết ơn sâu sắc đến Tiến sĩ Nguyễn Việt Anh với tư cách người trực tiếp hướng dẫn, tận tình bảo giúp đỡ cho tơi suốt q trình thực luận văn Cuối cùng, tơi xin gửi lời cảm ơn đến gia đình bạn bè, đồng nghiệp ln hỗ trợ tơi khuyến khích liên tục suốt năm học tập qua trình nghiên cứu viết luận văn Thành tựu khơng thể có khơng có họ Xin chân thành cảm ơn tất người! Danh mục ký hiệu chữ viết tắt Từ viết tắt Nghĩa ANN Artificial neural networks (Mạng nơ-ron nhân tạo) MLP Multi-layer Perceptron (Mạng nơ-ron Perceptron đa lớp) LSTM Long short-term memory (Mạng nơ-ron nhớ ngắn hạn) GRU Gated Recurrent Units (Mạng nơ-ron đơn vị tái phát có kiểm sốt) RNN Recurrent Neural Network (Mạng nơ-ron hồi quy hay mạng nơ-ron tái phát) PCA Principal Component Analysis (Phương pháp phân tích thành phần chính) MNIST Modified National Institute of Standards and Technology (Bộ liệu chữ số viết tay) NMT Neural Machine Translation (máy dịch nơ-ron) RELU Rectified Linear Unit AUC Area under the curve ROC Receiver operating characteristic curve mse mean squared error (lỗi bình phương trung bình) Danh mục bảng Bảng 3.1 Giá trị hàm mát mơ hình MLP Autoencoder 48 Bảng 3.2 Tỉ lệ thu hồi MLP Autoencoder ngưỡng FPR = 4% 49 Bảng 3.3 Giá trị hàm mát mô hình LSTM Autoencoder 62 Bảng 3.4 So sánh tỉ lệ thu hồi MLP LSTM Autoencoder 63 Bảng 3.5 Tỉ lệ thu hồi LSTM Autoencoder ngưỡng FPR = 4% 64 Danh mục hình vẽ, đồ thị Hình 2.1 Phương pháp nhân mẫu dương tính 20 Hình 2.2 Phương pháp giảm số lượng mẫu âm tính 21 Hình 2.3 Phương pháp tạo thêm mẫu dương tính thuật tốn 22 Hình 2.4 Mơ hình Autoencoder mã hóa tự động số 24 Hình 2.5 Kiến trúc mạng nơ-ron Autoencoder 25 Hình 2.6 Kiến trúc mạng MLP Autoencoder 27 Hình 2.7 Kiến trúc mạng LSTM Autoencoder 28 Hình 2.8 Kiến trúc mạng Convolutional Autoencoder 29 Hình 2.9 Kết mã hóa liệu MNIST PCA Linear Autoencoder 31 Hình 2.10 Hình ảnh khơi phục sau nén PCA Autoencoder 32 Hình 2.11 Mơ hình đào tạo mạng Autoencoder để khử nhiễu hình ảnh 33 Hình 2.12 Hình ảnh sử dụng Autoencoder để khử nhiễu 34 Hình 2.13 Dử dụng Autoencoder để tơ màu hình ảnh 34 Hình 2.14 Tăng độ phân giải hình ảnh với Convolutional Autoencoder 35 Hình 2.15 Mơ hình MLP Autoencoder dự đốn kiện 36 Hình 2.16 Mơ hình LSTM Encoder dự đoán kiện 37 Hình 3.1 Hình ảnh dây chuyền sản xuất nhà máy giấy 39 Hình 3.2 MLP Autoencoder lớp ẩn khối mã hóa giải mã 41 Hình 3.3 Dữ liệu trước sau dán nhãn lại 43 Hình 3.4 Loại bỏ trường khơng cần thiết 43 Hình 3.5 Dữ liệu sau chuẩn hóa 45 Hình 3.6 Lập trình mạng nơ-ron MLP Autoencoder 46 Hình 3.7 Cấu trúc mơ hình MLP Autoencoder 46 Hình 3.8 Mơ-đun huấn luyện mơ hình MLP Autoencoder 47 Hình 3.9 Huấn luyện mơ hình MLP Autoencoder 47 Hình 3.10 Lịch sử huấn luyện mạng MLP Autoencoder 48 Hình 3.11 Kết dự báo mơ hình MLP Autoencoder 50 Hình 3.12 Biểu đồ ROC, AUC mơ hình MLP Autoencoder 51 Hình 3.13 Phân bố lỗi theo mục MLP Autoencoder 53 Hình 3.14 Bộ mã hóa tự động LSTM Autoencoder 55 Hình 3.15 Dữ liệu trước sau dán nhãn lại 57 Hình 3.16 Dữ liệu đầu vào cho mơ hình LSTM Autoencoder 58 Hình 3.17 Lập trình mạng nơ-ron LSTM Autoencoder 59 Hình 3.18 Cấu trúc mơ hình LSTM Autoencoder 60 Hình 3.19 Mơ-đun huấn luyện mơ hình LSTM Autoencoder 60 Hình 3.20 Huấn luyện mơ hình LSTM Autoencoder 61 Hình 3.21 Lịch sử huấn luyện mạng LSTM Autoencoder 62 Hình 3.22 Biểu đồ ROC, AUC mơ hình MLP Autoencoder 63 Hình 3.23 Kết dự báo mơ hình LSTM Autoencoder 65 Hình 3.24 Phân bố lỗi theo mục MLP Autoencoder 65 MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN Danh mục ký hiệu chữ viết tắt Danh mục bảng Danh mục hình vẽ, đồ thị MỤC LỤC MỞ ĐẦU 10 Lý chọn đề tài 10 Mục đích nghiên cứu 13 Nhiệm vụ nghiên cứu 13 Đối tượng phạm vi nghiên cứu 13 Phương pháp nghiên cứu 13 Chương TỔNG QUAN VỀ SỰ KIỆN HIẾM 14 1.1 KHÁI NIỆM VỀ SỰ KIỆN HIẾM 14 1.1.1 Định nghĩa kiện 14 1.1.2 Các kiện tự nhiên xã hội 15 1.2 BÀI TOÁN DỰ BÁO TRƯỚC SỰ KIỆN HIẾM 17 Chương PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN HIẾM 19 2.1 TÌM HIỂU CÁC PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN HIẾM 19 2.1.1 Nhân mẫu dương tính 19 2.1.2 Giảm số lượng mẫu âm tính 20 2.1.3 Tạo thêm mẫu dương tính thuật tốn 21 2.1.4 Điều chỉnh trọng số học tập mẫu 22 2.1.5 Đánh giá phương pháp cân số lượng mẫu 22 2.2 PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN HIẾM BẰNG MƠ HÌNH AUTOENCODER 24 2.2.1 Mơ hình Autoencoder 24 2.2.2 Sử dụng Autoencoder phát kiện 36 Chương ỨNG DỤNG MƠ HÌNH AUTOENCODER ĐỂ DỰ BÁO TRƯỚC SỰ CỐ TRONG NHÀ MÁY GIẤY 38 3.1 BÀI TOÁN DỰ BÁO SỰ CỐ TRONG NHÀ MÁY GIẤY 38 3.1.1 Phát biểu toán 38 3.1.2 Bộ liệu nhà máy giấy 39 3.1.3 Mục tiêu toán 40 3.2 ỨNG DỤNG MÔ HÌNH MLP AUTOENCODER CHO BÀI TỐN… 41 3.2.1 Tiếp cận tốn với mơ hình MLP Autoencoder 41 3.2.2 Xây dựng mơ hình MLP Autoencoder cho tốn 41 3.2.3 Các bước lập trình MLP Autoencoder cho toán 42 3.2.4 Kết thử nghiệm đánh giá mơ hình 47 3.3 ỨNG DỤNG MƠ HÌNH LSTM AUTOENCODER CHO BÀI TOÁN… 54 3.3.1 Tiếp cận toán với mơ hình LSTM Autoencoder 54 3.3.2 Xây dựng mơ hình LSTM Autoencoder cho tốn 55 3.3.3 Các bước lập trình LSTM Autoencoder cho tốn 56 3.3.4 Kết thử nghiệm đánh giá mơ hình 61 Chương KẾT LUẬN VÀ KIẾN NGHỊ 67 4.1 KẾT LUẬN 67 4.2 KIẾN NGHỊ 68 TÀI LIỆU THAM KHẢO 69 10 MỞ ĐẦU Lý chọn đề tài Ngày bối cảnh cách mạng công nghiệp 4.0 phát triển vũ bão, doanh nghiệp ngày trọng đầu tư vào hoạt động nghiên cứu, phát triển ứng dụng công nghệ thông tin vào quản lý sản xuất kinh doanh Ngay Việt Nam, gần 90% doanh nghiệp bước ứng dụng Công nghệ thông tin vào quản lý doanh nghiệp nhằm nâng cao hiệu hoạt động sản xuất kinh doanh để bắt kịp với xu hướng toàn cầu Trong lĩnh vực công nghệ thông tin áp dụng vào phục vụ sản xuất kinh doanh, nghiên cứu ứng dụng để phân loại dự báo hướng ứng dụng sử dụng nhiều đem lại hiệu cao cho doanh nghiệp, tăng khả cạnh tranh doanh nghiệp bối cảnh hội nhập quốc tế sâu rộng Thông thường lĩnh vực phân loại dự báo, nghiên cứu thường hay sử dụng liệu có số phần tử lớp tương đối cân Tuy nhiên thực tế, số trường hợp có số phần tử liệu cân Đa số trường hợp liệu có số phần tử lớp bất đối xứng, chênh lệch nhiều lần Trong toán phân loại lớp, thường trường hợp lớp cần dự đoán kiện xảy với tần suất thấp Tuy không thường xuyên xảy kiện lại có tác động lớn làm ổn định hệ thống, gây nhiều hậu nghiêm trọng, thiệt hại kinh tế lẫn tính mạng người Các kiện gọi chung kiện [1] Sự kiện có tự nhiên [2] (như động đất, sóng thần, bão lũ, núi lửa …) xã hội (như chiến tranh, cố nhà máy cơng nghiệp, sụp đổ thị trường tài chính, cố hàng không …), thường gây thiệt hại mát lớn Chính việc dự báo trước kiện [3] có ý nghĩa vơ to lớn, không giúp người giảm bớt nhiều thiệt hại kiện gây mà nhiều trường hợp người ngăn chặn để kiện không xảy Do kiện kiện xảy so với kiện bình thường, nên liệu thu thập kiện cân Một 57 Hình 3.15 Dữ liệu trước sau dán nhãn lại Loại bỏ trường không cần thiết Trong trường đầu vào mẫu, có trường khơng có nhiều ý nghĩa cho mơ hình đào tạo trường “time” thời điểm lấy mẫu, trường “x28” chứa giá trị phân loại kiểu lựa chọn vài giá trị tự nhiên xác định nên ta loại bỏ Như đầu vào 59 trường liệu liên tục chuẩn hóa Loại bỏ mẫu nhiễu Trong liệu có số khoảng thời gian từ lúc khởi động dây chuyền đến lúc xảy cố ngắn vài lần lấy mẫu Như có khả mẫu chưa đạt trạng thái bình thường lúc dây chuyền hoạt động ổn định, gây nên nhiễu ta đưa vào huấn luyện Vì với mẫu nằm chu kỳ hoạt động tương đối ngắn ta loại bỏ Tạo mẫu phù hợp với mơ hình LSTM Autoencoder 58 Cả bước tiền xử lý phía tương tự mơ hình MLP Autoencoder Tuy nhiên mơ hình LSTM Autoencoder đòi hỏi biến đổi nhiều chút so với MLP Autoencoder Các mơ hình hồi quy có nghĩa nhìn khứ Tại thời điểm t, LSTM xử lý liệu lên đến (t – khoảng thời gian nhìn lại) để đưa dự đốn Bài luận văn lựa chọn khoảng thời gian nhìn lại lần thời gian lấy mẫu Như mẫu để đào tạo cho mạng LSTM gồm liệu mẫu liên tiếp từ (t – 4) đến t, nên cần phải tạo mẫu gộp có mẫu liên tiếp để phù hợp làm đầu vào đầu cho mạng Hình 3.16 Dữ liệu đầu vào cho mơ hình LSTM Autoencoder 3.3.3.2 Phân chia liệu Trong toán thực tế, để đánh giá tính xác mơ hình cần phải có liệu: train, valid test − Bộ liệu train: dùng để huấn luyện cho mơ hình − Bộ liệu valid: dùng để đánh giá độ xác mơ hình, từ định lựa chọn mơ hình tham số phù hợp − Bộ liệu test: dùng để xác thực độ xác cuối Đây coi liệu chưa biết, không dùng liệu test để lựa chọn mơ hình tham số tối ưu liệu valid Bởi phần xác định mơ hình khảo sát cụ thể MLP Autoencoder khảo sát tất tham số khơng nhằm mục đích tối ưu tham số phù hợp nên không cần sử dụng liệu valid Chính tác giả chia liệu thành liệu train test với tỉ lệ số lượng mẫu 59 70:30 Do toán chuỗi thời gian đa biến, giá trị mẫu cạnh có xu hướng tương tự nhau, ta phân chia tập train test hồn tồn ngẫu nhiên vị trí gây tượng overfit, khơng đánh giá xác kết Chính tác giả lựa chọn 70% số mẫu chuỗi thời gian hoạt động tính từ lúc bắt đầu đến lúc xảy cố làm tập train, 30% số mẫu sau làm tập test có chứa mẫu dương tính Chuẩn hóa giá trị đầu vào Do đầu vào giá trị đo từ cảm biến nên biến có khoảng giá trị biến đổi khác Để mạng nơ-ron học tập hiệu cần chuẩn hóa lại giá trị đầu vào Sau phân chia liệu tác giả chuẩn hóa giá trị cảm biến đầu vào dạng chuẩn phân phối Gauss dựa giá trị biết liệu train 3.3.3.3 Xây dựng mơ hình LSTM Autoencoder Tác giả sử dụng thư viện Keras Python để xây dựng mơ hình LSTM Autoencoder, sử dụng thuật toán Adam để cập nhật trọng số, mse làm hàm mát # Xây dựng Model LSTM Autoencoder lstm_autoencoder = Sequential() # Encoder lstm_autoencoder.add(LSTM(32, activation='relu', input_shape=(timesteps, n_features), return_sequences=False)) lstm_autoencoder.add(Dense(4, activation='relu')) lstm_autoencoder.add(RepeatVector(timesteps)) # Decoder lstm_autoencoder.add(LSTM(32, activation='relu', return_sequences=True)) lstm_autoencoder.add(TimeDistributed(Dense(n_features))) Hình 3.17 Lập trình mạng nơ-ron LSTM Autoencoder 60 Hình 3.18 Cấu trúc mơ hình LSTM Autoencoder Như hình 3.18, với mơ hình mạng MLP Autoencoder với lớp mã nút, tổng số tham số tự cần phải huấn luyện 18.591 tham số Đây số lượng tham số không lớn mạng phải mã hóa tái tạo liệu mẫu 3.3.3.4 Huấn luyện mơ hình Ta sử dụng liệu train làm đầu vào đầu cho mơ hình, sau huấn luyện mơ hình 100 chu kỳ huấn luyện với kích thước lô 32 epochs = 100 batch = 32 adam = optimizers.Adam() lstm_autoencoder.compile(loss='mse', optimizer=adam) lstm_autoencoder_history = lstm_autoencoder.fit(X_train, X_train,epochs=epochs, batch_size=batch, validation_data=(X_valid, X_valid), verbose=2).history Hình 3.19 Mơ-đun huấn luyện mơ hình LSTM Autoencoder 61 Hình 3.20 Huấn luyện mơ hình LSTM Autoencoder 3.3.4 Kết thử nghiệm đánh giá mơ hình 3.3.4.1 Kết thử nghiệm Lịch sử huấn luyện mô hình Trước tiên nhìn vào lịch sử huấn luyện hình 3.21 thấy mạng LSTM Autoencoder với kích thươc khối mã 16 dần hội tụ sau 100 chu kỳ huấn luyện, sai số tập train test giảm dần mát tập test có xu hướng hội tụ quanh mốc 0.23 62 Hình 3.21 Lịch sử huấn luyện mạng LSTM Autoencoder Khi thử nghiệm với kích thước mã khác tác giả thu giá trị hội tụ hàm mát mạng bảng 3.3 Từ giá trị hội tụ thấy kích thước lớp mã lớn giải mã tín hiệu đầu giống với tín hiệu đầu vào Bảng 3.3 Giá trị hàm mát mơ hình LSTM Autoencoder Encoding_dim 16 32 Test Loss 0.44 0.31 0.26 0.23 0.2 Tỷ lệ thu hồi Tương tự mơ hình MLP Autoencoder, để đánh giá xác tính hiệu việc dự báo mơ hình LSTM Autoencoder kiểm tra biểu đồ ROC-AUC hình 3.22 ma trận Confusion hình 3.23 với ngưỡng báo động nhầm mức 4% Sau thử nghiệm với kích thước mã biến đổi từ đến 16, tác giả nhận thấy với kích thước lớp mã mơ hình 63 có khả dự đốn xác nhất, thu hồi cao (xem Bảng 3.5) cao mơ hình MLP Autoencoder chút : ngưỡng báo động nhầm 4%, LSTM Autoencoder thu hồi 17.4% so với 16.3% MLP Autoencoder Ở ngưỡng báo động nhầm cao ta thấy mơ hình LSTM Autoencoder có cải thiện rõ rệt so với MLP Autoencoder : 30% ngưỡng báo động nhầm 10% so với 25% mơ hình MLP (Bảng 3.4) Chỉ số AUC 0.693 cao chút so với 0.673 MLP Bảng 3.4 So sánh tỉ lệ thu hồi MLP LSTM Autoencoder MLP Autoencoder LSTM Autoencoder FPR = 4% 0.173913 0.163043 FPR = 10% 0.304347826 0.25 AUC 0.693 0.673 Hình 3.22 Biểu đồ ROC, AUC mơ hình MLP Autoencoder 64 Bảng 3.5 Tỉ lệ thu hồi LSTM Autoencoder ngưỡng FPR = 4% Encoding_dim Tỉ lệ thu hồi 130435 16 32 0.173913 0.163043 0.130435 0.119565 65 Hình 3.23 Kết dự báo mơ hình LSTM Autoencoder Tỉ lệ báo động nhầm Tỉ lệ báo động nhầm mơ hình LSTM Autoencoder tương tự MLP Autoencoder chủ yếu tập trung số chu kỳ hoạt động Trên hình 3.24 ta thấy ngồi chu kỳ hoạt động gây nhiều cảnh báo nhầm, mạng LSTM Autoencoder có giá trị lỗi mẫu bình thường thấp tỉ lệ báo động nhầm mẫu đơn lẻ khác thấp mạng MLP Autoencoder Hình 3.24 Phân bố lỗi theo mục MLP Autoencoder 3.3.4.2 Đánh giá kết Mơ hình LSTM Autoencoder sau trình huấn luyện cho kết dự đốn trước cố phá vỡ giấy xác mơ hình MLP Autoencoder : có khả thu hồi 17.4% trường hợp dương tính so với 16.3% MLP Autoencoder ngưỡng báo động giả 4% ; thu hồi 30% trường hợp dương tính so với 25% MLP Autoencoder ngưỡng báo động giả 10% 66 Kết thử nghiệm cho thấy với kích thước mã cho tỉ lệ dự đốn xác cao Kích thước mã lớn cho tỉ lệ xác giảm dần sai số đầu đầu vào thấp Điều chứng tỏ tạo nút thắt cổ chai phù hợp, mạng LSTM Autoencoder học đặc điểm nhận dạng tốt liệu loại trừ nhiễu đầu vào Tỉ lệ báo động nhầm mơ hình LSTM Autoencoder tương tự MLP Autoencoder chủ yếu tập trung số chu kỳ hoạt động riêng rẽ Tỉ lệ báo động nhầm mẫu đơn lẻ khác mạng LSTM thấp mạng MLP Autoencoder Với tỉ lệ thu hồi 17.4% ngưỡng báo động nhầm 4% 30% ngưỡng báo động nhầm 10% việc áp dụng mơ hình LSTM Autoencoder để dự báo trước cố dây chuyền sản xuất giấy phù hợp Tùy vào điều kiện thực tế doanh nghiệp lựa chọn ngưỡng thu hồi thích hợp 67 CHƯƠNG KẾT LUẬN VÀ KIẾN NGHỊ 4.1 KẾT LUẬN Việc dự báo trước kiện cực toán khó có ý nghĩa vơ thiết thực đời sống Độ hiệu mơ hình dự báo phụ thuộc lớn vào chất nguồn liệu phù hợp mơ hình lựa chọn với toán Trong luận văn này, học viên trình bày phương pháp sử dụng mã hóa tự động Autoencoder kết hợp với mơ hình mạng nơron cụ thể MLP LSTM để ứng dụng vào toán dự đoán kiện cực chuỗi thời gian đa biến điển hình : dự đoán trước cố dây chuyền sản xuất nhà máy giấy Cả mơ hình mã hóa tự động đạt kết định : dự báo khoảng 17% số cố dây chuyền sản xuất nhà máy giấy ngưỡng báo động nhầm 4% Mơ hình LSTM Autoencoder dự đốn xác cao MLP Autoencoder ít, đặc biệt ngưỡng báo động nhầm cao ( lớn 10%) Các vấn đề mà luận văn làm : Trình bày tổng quan kiện : khái niệm kiện hiếm, kiện tự nhiên, xã hội, cần thiết việc dự báo trước kiện Tìm hiểu đánh giá số phương pháp phát dự báo kiện nhằm cân lại số lượng mẫu lớp Trình bày tổng quan mơ hình mã hóa tự động Autoencoder : định nghĩa mơ hình Autoencoder, phân loại mơ hình Autoencoder ứng dụng vào lĩnh vực sống Trình bày phương pháp ứng dụng mơ hình Autoencoder để giải toán dự báo kiện cực Xây dựng thành cơng chương trình thử nghiệm đánh giá kết phương pháp kết hợp Autoencoder với mơ hình mạng nơ-ron cụ thể MLP LSTM để giải toán dự báo kiện cực chuỗi thời gian đa biến điển hình : dự báo trước cố nhà máy giấy 68 4.2 KIẾN NGHỊ Trong toán dự báo cố dây chuyền sản xuất nhà máy giấy, mơ hình mã hóa tự động MLP Autoencoder LSTM Autoencoder cho kết dự báo khả quan ngưỡng thu hồi khoảng 20%-30% tăng ngưỡng thu hồi lên cao tỉ lệ báo động nhầm tăng lên nhanh chóng Để tăng hiệu việc dự báo tốn nhà máy giấy nói riêng toán dự báo kiện thực tế nói chung, tác giả tiếp tục hướng nghiên cứu sau: − Nghiên cứu cải thiện hiệu phương pháp sử dụng mã hóa tự động Autoencoder giúp mạng nơ-ron tìm đặc điểm quan trọng đưa vào khối mã − Nghiên cứu phương pháp sử dụng khối mã Autoencoder làm đầu vào cho mạng nơ-ron phân loại Từ sử dụng khối mã kiện cực để đào tạo cho mô hình dự báo khơng phải loại bỏ hồn tồn mã hóa tự động Việc kết hợp thêm liệu kiện gặp cách hợp lý sau mã hóa qua Autoencoder hứa hẹn hướng khả quan việc cải thiện hiệu suất dự báo kiện cực thực tế 69 TÀI LIỆU THAM KHẢO [1] Morio J., Balesdent M., 2015, Estimation of Rare Event Probabilities in Complex Aerospace and Other Systems, Elsevier Science [2] Sharma A S., Bunde A., Dimri V P., Baker D N., 2012, Extreme events and natural hazards: The complexity perspective, Wiley [3] Ghil M., Yiou P., Hallegatte S., Malamud B D., Naveau P., Soloviev A., Friederichs P., 2011, Extreme events: Dynamics, statistics and prediction, Nonlinear Processes in Geophysics [4] Goodfellow Ian, Bengio Yoshua, Courville Aaron, 2016, Deep Learning, MIT Press [5] Goodwin P., Wright G., 2010, The limits of forecasting methods in anticipating rare events., Technological Forecasting and Social Change [6] Sakurada M., Yairi T., 2014, Anomaly detection using Autoencoders with nonlinear dimensionality reduction, MLSDA'14 2014 [7] Welling Max, Kingma Diederik P, 2019, An Introduction to Variational Autoencoders, Foundations and Trends in Machine Learning [8] Hinton G E., Salakhutdinov R R., 2006, Reducing the Dimensionality of Data with Neural Networks, Science [9] Vincent Pascal, Larochelle Hugo, 2010, Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion, The Journal of Machine Learning Research [10] Diederik Kingma P., Welling Max, 2013, Auto-Encoding Variational Bayes, arXiv:1312.6114 [11] Zhou C., Paffenroth R C., 2017, Anomaly detection with robust deep autoencoders, ACM SIGKDD 2017 International Conference on Knowledge Discovery and Data Mining [12] Ranjan C., Mustonen M., Paynabar K., Pourak K., 2018, Dataset: Rare Event Classification in Multivariate Time Series 70 [13] King G., Zeng L., 2001, Logistic regression in rare events data, Political Analysis [14] Embrechts P., Klüppelberg C., Mikosch T , 1997, Modelling extremal events: For insurance and finance, Vol 33 Springer [15] Chicco Davide, Sadowski Peter, Baldi Pierre, 2014, Deep Autoencoder neural networks for gene ontology annotation predictions, ACM BCB 2014 [16] Nitesh V., Kevin W., Lawrence O., Philip W., 2002, SMOTE: Synthetic Minority Over-sampling Technique, Journal of Artificial Intelligence Research [17] Nicola L., Giovanna M., Nicola T., 2014, ROSE: A Package for Binary Imbalanced Learning, The R Journal [18] An J., Cho S., 2015, Variational autoencoder based anomaly detection using reconstruction probability, Special Lecture on IE [19] Ribeiro M., Lazzaretti A E., Lopes H S., 2018, A study of deep convolutional auto-encoders for anomaly detection in videos, Pattern Recognition Letters [20] Arpit Devansh, Zhou Yingbo, Ngo Hung, Govindaraju Venu, 2015, Why Regularized Auto-Encoders learn Sparse Representation?, arXiv:1505.05561 [21] Salakhutdinov Ruslan, Hinton Geoffrey, 2009, Semantic hashing, International Journal of Approximate Reasoning Special Section on Graphical Models and Information Retrieval [22] Cho K., 2013, Simple sparsification improves sparse denoising autoencoders in denoising highly corrupted images, In International Conference on Machine Learning [23] Zeng Kun, Yu Jun, Wang Ruxin, Li Cuihua, Tao Dacheng, 2017, Coupled Deep Autoencoder for Single Image Super-Resolution, IEEE Transactions on Cybernetics [24] Gondara Lovedeep, 2016, Medical Image Denoising Using Convolutional Denoising Autoencoders, 2016 IEEE 16th International Conference on Data Mining Workshops 71 [25] Tzu-Hsi Song, Sanchez Victor, Hesham,EIDaly, Nasir Rajpoot M., 2017, Hybrid deep autoencoder with Curvature Gaussian for detection of various types of cells in bone marrow trephine biopsy images, 2017 IEEE 14th International Symposium on Biomedical Imaging [26] Xu Jun, Xiang Lei, Liu Qingshan, Gilmore Hannah, Wu Jianzhong, Tang Jinghai, Madabhushi Anant, 2016, Stacked Sparse Autoencoder (SSAE) for Nuclei Detection on Breast Cancer Histopathology Images, IEEE Transactions on Medical Imaging [27] Martinez-Murcia Francisco J., Ortiz Andres, Gorriz Juan M., Ramirez Javier, Castillo-Barnes Diego, 2020, Studying the Manifold Structure of Alzheimer's Disease: A Deep Learning Approach Using Convolutional Autoencoders, IEEE Journal of Biomedical and Health Informatics [28] Ranjan C., Mustonen M., Paynabar K., Pourak, K., 2018, Dataset: Rare Event Classification in Multivariate Time Series, arXiv:1809.10717