Nghiên cứu phương pháp phát hiện sự kiện cực hiếm bằng mô hình autoencoder và ứng dụng vào dự báo trước sự cố trong nhà máy giấy

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Bùi Minh Thành NGHIÊN CỨU PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN CỰC HIẾM BẰNG MÔ HÌNH AUTOENCODER VÀ ỨNG DỤNG VÀO DỰ BÁO TRƯỚC SỰ CỐ TRONG NHÀ MÁY GIẤY Chuyên ngành: Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ: CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Việt Anh Hà Nội - 2020 LỜI CAM ĐOAN Tôi xin cam đoan đề tài: “Nghiên cứu phương pháp phát kiện cực mơ hình Autoencoder ứng dụng vào dự báo trước cố nhà máy giấy” luận văn thân trực tiếp thực Tất giúp đỡ cho việc xây dựng sở lý luận cho luận trích dẫn đầy đủ ghi rõ nguồn gốc rõ ràng phép công bố Tôi xin hoàn toàn chịu trách nhiệm trước pháp luật cam kết Hà Nội, ngày 18 tháng 07 năm 2020 Tác giả luận văn Bùi Minh Thành LỜI CẢM ƠN Trong trình học tập, nghiên cứu hồn thành luận văn này, tơi nhận nhiều động viên, khuyến khích giúp đỡ nhiệt tình Thầy Cơ, anh chị em, bạn bè đồng nghiệp gia đình Trước tiên tơi xin cảm ơn Ban giám hiệu, Phòng đào tạo thầy cô Học viện Khoa học Công nghệ Việt Nam giúp đỡ tạo điều kiện tốt cho học tập thời gian qua Tôi xin cảm ơn thầy cô Viện Công nghệ thông tin thuộc Viện Hàn lâm Khoa học Công nghệ Việt Nam đã truyền đạt cho kiến thức chuyên sâu chuyên ngành suốt thời gian học tập, để tơi có tảng kiến thức hỗ trợ lớn cho tơi q trình làm luận văn thạc sĩ Tôi muốn bày tỏ biết ơn sâu sắc đến Tiến sĩ Nguyễn Việt Anh với tư cách người trực tiếp hướng dẫn, tận tình bảo giúp đỡ cho tơi suốt q trình thực luận văn Cuối cùng, tơi xin gửi lời cảm ơn đến gia đình bạn bè, đồng nghiệp ln hỗ trợ tơi khuyến khích liên tục suốt năm học tập qua trình nghiên cứu viết luận văn Thành tựu khơng thể có khơng có họ Xin chân thành cảm ơn tất người! Danh mục ký hiệu chữ viết tắt Từ viết tắt ANN MLP LSTM GRU RNN PCA MNIST NMT RELU AUC ROC mse Nghĩa Artificial neural networks (Mạng nơ-ron nhân tạo) Multi-layer Perceptron (Mạng nơ-ron Perceptron đa lớp) Long short-term memory (Mạng nơ-ron nhớ ngắn hạn) Gated Recurrent Units (Mạng nơ-ron đơn vị tái phát có kiểm sốt) Recurrent Neural Network (Mạng nơ-ron hồi quy hay mạng nơ-ron tái phát) Principal Component Analysis (Phương pháp phân tích thành phần chính) Modified National Institute of Standards and Technology (Bộ liệu chữ số viết tay) Neural Machine Translation (máy dịch nơ-ron) Rectified Linear Unit Area under the curve Receiver operating characteristic curve mean squared error (lỗi bình phương trung bình) Danh mục bảng Danh mục hình vẽ, đồ thị MỤC LỤC MỞ ĐẦU Lý chọn đề tài Ngày bối cảnh cách mạng công nghiệp 4.0 phát triển vũ bão, doanh nghiệp ngày trọng đầu tư vào hoạt động nghiên cứu, phát triển ứng dụng công nghệ thông tin vào quản lý sản xuất kinh doanh Ngay Việt Nam, gần 90% doanh nghiệp bước ứng dụng Công nghệ thông tin vào quản lý doanh nghiệp nhằm nâng cao hiệu hoạt động sản xuất kinh doanh để bắt kịp với xu hướng tồn cầu Trong lĩnh vực công nghệ thông tin áp dụng vào phục vụ sản xuất kinh doanh, nghiên cứu ứng dụng để phân loại dự báo hướng ứng dụng sử dụng nhiều đem lại hiệu cao cho doanh nghiệp, tăng khả cạnh tranh doanh nghiệp bối cảnh hội nhập quốc tế sâu rộng Thông thường lĩnh vực phân loại dự báo, nghiên cứu thường hay sử dụng liệu có số phần tử lớp tương đối cân Tuy nhiên thực tế, số trường hợp có số phần tử liệu cân Đa số trường hợp liệu có số phần tử lớp bất đối xứng, chênh lệch nhiều lần Trong tốn phân loại lớp, thường trường hợp lớp cần dự đoán kiện xảy với tần suất thấp Tuy không thường xuyên xảy kiện lại có tác động lớn làm ổn định hệ thống, gây nhiều hậu nghiêm trọng, thiệt hại kinh tế lẫn tính mạng người Các kiện gọi chung kiện [1] Sự kiện có tự nhiên [2] (như động đất, sóng thần, bão lũ, núi lửa …) xã hội (như chiến tranh, cố nhà máy công nghiệp, sụp đổ thị trường tài chính, cố hàng khơng …), thường gây thiệt hại mát lớn Chính việc dự báo trước kiện [3] có ý nghĩa vơ to lớn, khơng giúp người giảm bớt nhiều thiệt hại kiện gây mà nhiều trường hợp người ngăn chặn để kiện không xảy Do kiện kiện xảy so với kiện bình thường, nên liệu thu thập kiện cân Một liệu kiện thường có số lượng liệu dán nhãn dương tính chiếm từ 5% đến 10% tổng số mẫu liệu Khơng có nhiều kiện xảy ra, liệu có số lượng nhãn dương tính 1% Với liệu cân vậy, mơ hình phân lớp dự báo mạng nơ- ron nhân tạo (Artificial neural networks – ANN) truyền thống [4], mơ hình thường hoạt động tốt với liệu cân bằng, lại không hoạt động tốt việc phân loại dự báo kiện cực [5] Chính cần phải dùng phương pháp, mơ hình phân loại dự báo khác để giải trường hợp Một phương pháp hiệu phương pháp phân loại lớp mơ hình Autoencoder [6] Autoencoder hay cịn gọi mã hóa tự động mạng nơ-ron nhân tạo có đầu mạng giống hệt với đầu vào [7] Bộ mã hóa tự động sử dụng để tìm đặc trưng nén liệu hiệu phương pháp học khơng giám sát Mục đích Autoencoder tìm hiểu cách biểu diễn (mã hóa) cho liệu, thường để giảm kích thước liệu đầu vào [8], cách đào tạo mạng bỏ qua tín hiệu nhiễu [9], giữ lại đặc tính quan trọng [10] để khơi phục liệu Đồng thời, Autoencoder cịn có khối chức tái tạo lại liệu từ đặc trưng nén, đảm bảo liệu giải mã giống với đầu vào tốt Chính đào tạo Autoencoder khái quát hóa đặc trưng quan trọng kiện bình thường Sau trình huấn luyện, mơ hình có khả tái tạo tốt với kiện bình thường, kiện hiếm, kiện bất thường lại gây tỉ lệ lỗi cao Vì liệu sau chạy qua mã hóa tự động Autoencoder có đặc trưng khác hẳn đầu vào có khả kiện [11] Bài luận văn tập trung nghiên cứu, cải tiến ứng dụng mơ hình Autoencoder để dự báo kiện cực hiếm, áp dụng mơ hình vào dự đoán trước cố dây chuyền sản xuất nhà máy giấy [12] Để sản xuất giấy, nhà máy giấy có dây chuyền gồm nhiều phận hoạt động liên tục suốt ngày đêm Tuy nhiên đặc điểm giấy mỏng, dễ bị đứt, nên có phận dây chuyền trục trặc, đồng phận khơng cịn trơn tru, giấy lớn bị phá vỡ Bất xảy cố phá vỡ giấy, toàn dây chuyền sản xuất nhà máy phải dừng lại để kiểm tra khôi phục Thông thường phải để máycó thể khơi phục hoạt động trở lại bình thường Trong khoảng thời gian chết này, nhà máy thiệt hại khoảng 10 nghìn đơ-la kỹ sư phải vào khu vực nguy hiểm để kiểm tra khơi phục lại dây chuyền sản xuất Trung bình cố xảy vài lần ngày, gây tổn thất cho doanh nghiệp hàng triệu đô-la năm, kèm theo mối nguy hiểm, rủi ro cho sức khỏe cơng nhân phục hồi hệ thống Chính việc giảm 5% số cố mang lại lợi ích đáng kể nhà máy kinh tế lẫn sức khỏe nhân viên Để phục vụ việc dự báo trước cố phá vỡ giấy, doanh nghiệp cho lắp đặt 60 cảm biến đặt phận khác dọc theo dây chuyền Các cảm biến lấy mẫu tự động định kỳ phút/lần tạo mẫu liệu Khi có cố dây chuyền sản xuất, mẫu liệu sau xảy cố đánh dấu dương tính loại bỏ qua mẫu thu thập khoảng thời gian nghỉ để khắc phục cố Chính số lượng mẫu dương tính liệu thu thập từ cảm biến chiếm tỉ lệ thấp, khoảng 0.67% tổng số mẫu Bài luận văn nghiên cứu xây dựng mơ hình mã hóa tự động Autoencoder nhằm đạt mục tiêu chính: dự đốn trước cố phá vỡ giấy dây chuyền sản xuất nhà máy giấy xác định phận có khả cao gây cố Từ nội dung nêu lựa chọn đề tài “Nghiên cứu phương pháp phát kiện cực mơ hình Autoencoder ứng dụng vào dự báo trước cố nhà máy giấy” làm luận văn tốt nghiệp thạc sĩ 10 Mục đích nghiên cứu Áp dụng số mơ hình mã hóa tự động Autoencoder vào toán dự báo kiện cực Nhiệm vụ nghiên cứu Nội dung nhiệm vụ chủ yếu nghiên cứu vấn đề liên quan đến việc dự báo kiện sử dụng mơ hình mã hóa tự động Autoencoder để dự báo kiện cực hiếm, ứng dụng vào toán thực tế dự đoán cố dây chuyền sản xuất nhà máy giấy Đối tượng phạm vi nghiên cứu Đối tượng phạm vi nghiên cứu đề tài luận văn số mơ hình mạng nơ-ron nhân tạo, số giải pháp xử lý liệu phân lớp kiện bật, mơ hình mã hóa tự động Autoencoder Phương pháp nghiên cứu Phương pháp nghiên cứu sử dụng xuyên suốt trình thực luận văn phương pháp nghiên cứu lý thuyết phương pháp thực nghiệm 54 Hình 3.3.3.a.1.1 Dữ liệu trước sau dán nhãn lại Loại bỏ trường không cần thiết Trong trường đầu vào mẫu, có trường khơng có nhiều ý nghĩa cho mơ hình đào tạo trường “time” thời điểm lấy mẫu, trường “x28” chứa giá trị phân loại kiểu lựa chọn vài giá trị tự nhiên xác định nên ta loại bỏ Như đầu vào 59 trường liệu liên tục chuẩn hóa Loại bỏ mẫu nhiễu Trong liệu có số khoảng thời gian từ lúc khởi động dây chuyền đến lúc xảy cố ngắn vài lần lấy mẫu Như có khả mẫu chưa đạt trạng thái bình thường lúc dây chuyền hoạt động ổn định, gây nên nhiễu ta đưa vào huấn luyện Vì với mẫu nằm chu kỳ hoạt động tương đối ngắn ta loại bỏ 55 Tạo mẫu phù hợp với mơ hình LSTM Autoencoder Cả bước tiền xử lý phía tương tự mơ hình MLP Autoencoder Tuy nhiên mơ hình LSTM Autoencoder địi hỏi biến đổi nhiều chút so với MLP Autoencoder Các mơ hình hồi quy có nghĩa nhìn q khứ Tại thời điểm t, LSTM xử lý liệu lên đến (t – khoảng thời gian nhìn lại) để đưa dự đoán Bài luận văn lựa chọn khoảng thời gian nhìn lại lần thời gian lấy mẫu Như mẫu để đào tạo cho mạng LSTM gồm liệu mẫu liên tiếp từ (t – 4) đến t, nên cần phải tạo mẫu gộp có mẫu liên tiếp để phù hợp làm đầu vào đầu cho mạng Hình 3.3.3.a.1.2 Dữ liệu đầu vào cho mơ hình LSTM Autoencoder 3.3.3.a.2 Phân chia liệu Trong toán thực tế, để đánh giá tính xác mơ hình cần phải có liệu: train, valid test − Bộ liệu train: dùng để huấn luyện cho mơ hình − Bộ liệu valid: dùng để đánh giá độ xác mơ hình, từ định lựa chọn mơ hình tham số phù hợp − Bộ liệu test: dùng để xác thực độ xác cuối Đây coi liệu chưa biết, không dùng liệu test để lựa chọn mơ hình tham số tối ưu liệu valid Bởi phần xác định mơ hình khảo sát cụ thể MLP Autoencoder khảo sát tất tham số khơng nhằm mục đích tối ưu 56 tham số phù hợp nên không cần sử dụng liệu valid Chính tác giả chia liệu thành liệu train test với tỉ lệ số lượng mẫu 70:30 Do toán chuỗi thời gian đa biến, giá trị mẫu cạnh có xu hướng tương tự nhau, ta phân chia tập train test hồn tồn ngẫu nhiên vị trí gây tượng overfit, khơng đánh giá xác kết Chính tác giả lựa chọn 70% số mẫu chuỗi thời gian hoạt động tính từ lúc bắt đầu đến lúc xảy cố làm tập train, 30% số mẫu sau làm tập test có chứa mẫu dương tính Chuẩn hóa giá trị đầu vào Do đầu vào giá trị đo từ cảm biến nên biến có khoảng giá trị biến đổi khác Để mạng nơ-ron học tập hiệu cần chuẩn hóa lại giá trị đầu vào Sau phân chia liệu tác giả chuẩn hóa giá trị cảm biến đầu vào dạng chuẩn phân phối Gauss dựa giá trị biết liệu train 3.3.3.a.3 Xây dựng mơ hình LSTM Autoencoder Tác giả sử dụng thư viện Keras Python để xây dựng mơ hình LSTM Autoencoder, sử dụng thuật toán Adam để cập nhật trọng số, mse làm hàm mát # Xây dựng Model LSTM Autoencoder lstm_autoencoder = Sequential() # Encoder lstm_autoencoder.add(LSTM(32, activation='relu', input_shape=(timesteps, n_features), return_sequences=False)) lstm_autoencoder.add(Dense(4, activation='relu')) lstm_autoencoder.add(RepeatVector(timesteps)) # Decoder lstm_autoencoder.add(LSTM(32, activation='relu', return_sequences=True)) lstm_autoencoder.add(TimeDistributed(Dense(n_features))) Hình 3.3.3.a.3.1 Lập trình mạng nơ-ron LSTM Autoencoder 57 Hình 3.3.3.a.3.2 Cấu trúc mơ hình LSTM Autoencoder Như hình 3.18, với mơ hình mạng MLP Autoencoder với lớp mã nút, tổng số tham số tự cần phải huấn luyện 18.591 tham số Đây số lượng tham số không lớn mạng phải mã hóa tái tạo liệu mẫu 3.3.3.a.4 Huấn luyện mơ hình Ta sử dụng liệu train làm đầu vào đầu cho mơ hình, sau huấn luyện mơ hình 100 chu kỳ huấn luyện với kích thước lô 32 epochs = 100 batch = 32 adam = optimizers.Adam() lstm_autoencoder.compile(loss='mse', optimizer=adam) lstm_autoencoder_history = lstm_autoencoder.fit(X_train, X_train,epochs=epochs, batch_size=batch, validation_data=(X_valid, X_valid), verbose=2).history Hình 3.3.3.a.4.1 Mơ-đun huấn luyện mơ hình LSTM Autoencoder 58 Hình 3.3.3.a.4.2 Huấn luyện mơ hình LSTM Autoencoder 3.3.4 Kết thử nghiệm đánh giá mô hình 3.3.4.a.1 Kết thử nghiệm Lịch sử huấn luyện mơ hình Trước tiên nhìn vào lịch sử huấn luyện hình 3.21 thấy mạng LSTM Autoencoder với kích thươc khối mã 16 dần hội tụ sau 100 chu kỳ huấn luyện, sai số tập train test giảm dần mát tập test có xu hướng hội tụ quanh mốc 0.23 59 Hình 3.3.4.a.1.1 Lịch sử huấn luyện mạng LSTM Autoencoder Khi thử nghiệm với kích thước mã khác tác giả thu giá trị hội tụ hàm mát mạng bảng 3.3 Từ giá trị hội tụ thấy kích thước lớp mã lớn giải mã tín hiệu đầu giống với tín hiệu đầu vào Giá trị hàm mát mơ hình LSTM Autoencoder Encoding_di m 16 32 Test Loss 0.44 0.31 0.26 0.23 0.2 Tỷ lệ thu hồi Tương tự mơ hình MLP Autoencoder, để đánh giá xác tính hiệu việc dự báo mơ hình LSTM Autoencoder kiểm tra biểu đồ ROC-AUC hình 3.22 ma trận Confusion hình 3.23 với ngưỡng báo động nhầm mức 4% Sau thử nghiệm với kích thước mã biến đổi từ đến 16, tác giả nhận thấy với kích thước lớp mã 60 mơ hình có khả dự đốn xác nhất, thu hồi cao (xem Bảng 3.5) cao mơ hình MLP Autoencoder chút : ngưỡng báo động nhầm 4%, LSTM Autoencoder thu hồi 17.4% so với 16.3% MLP Autoencoder Ở ngưỡng báo động nhầm cao ta thấy mơ hình LSTM Autoencoder có cải thiện rõ rệt so với MLP Autoencoder : 30% ngưỡng báo động nhầm 10% so với 25% mơ hình MLP (Bảng 3.4) Chỉ số AUC 0.693 cao chút so với 0.673 MLP Bảng 3.3.4.a.1.1.1 So sánh tỉ lệ thu hồi MLP LSTM Autoencoder FPR = 4% MLP Autoencoder LSTM Autoencoder 0.173913 0.163043 FPR = 10% 0.30434782 0.25 AUC 0.693 0.673 Hình 3.3.4.a.1.2 Biểu đồ ROC, AUC mơ hình MLP Autoencoder 61 Tỉ lệ thu hồi LSTM Autoencoder ngưỡng FPR = 4% Encoding_dim Tỉ lệ thu hồi 130435 16 32 0.17391 0.16304 0.13043 0.119565 62 Hình 3.3.4.a.1.3 Kết dự báo mơ hình LSTM Autoencoder Tỉ lệ báo động nhầm Tỉ lệ báo động nhầm mơ hình LSTM Autoencoder tương tự MLP Autoencoder chủ yếu tập trung số chu kỳ hoạt động Trên hình 3.24 ta thấy chu kỳ hoạt động gây nhiều cảnh báo nhầm, mạng LSTM Autoencoder có giá trị lỗi mẫu bình thường thấp tỉ lệ báo động nhầm mẫu đơn lẻ khác thấp mạng MLP Autoencoder Hình 3.3.4.a.1.4 Phân bố lỗi theo mục MLP Autoencoder 3.3.4.a.2 Đánh giá kết Mơ hình LSTM Autoencoder sau q trình huấn luyện cho kết dự đoán trước cố phá vỡ giấy xác mơ hình MLP Autoencoder : có khả thu hồi 17.4% trường hợp dương tính so với 16.3% MLP Autoencoder ngưỡng báo động giả 4% ; thu hồi 30% trường hợp dương tính so với 25% MLP Autoencoder ngưỡng báo động giả 10% 63 Kết thử nghiệm cho thấy với kích thước mã cho tỉ lệ dự đốn xác cao Kích thước mã lớn cho tỉ lệ xác giảm dần sai số đầu đầu vào thấp Điều chứng tỏ tạo nút thắt cổ chai phù hợp, mạng LSTM Autoencoder học đặc điểm nhận dạng tốt liệu loại trừ nhiễu đầu vào Tỉ lệ báo động nhầm mơ hình LSTM Autoencoder tương tự MLP Autoencoder chủ yếu tập trung số chu kỳ hoạt động riêng rẽ Tỉ lệ báo động nhầm mẫu đơn lẻ khác mạng LSTM thấp mạng MLP Autoencoder Với tỉ lệ thu hồi 17.4% ngưỡng báo động nhầm 4% 30% ngưỡng báo động nhầm 10% việc áp dụng mơ hình LSTM Autoencoder để dự báo trước cố dây chuyền sản xuất giấy phù hợp Tùy vào điều kiện thực tế doanh nghiệp lựa chọn ngưỡng thu hồi thích hợp 64 CHƯƠNG KẾT LUẬN VÀ KIẾN NGHỊ 4.1 KẾT LUẬN Việc dự báo trước kiện cực tốn khó có ý nghĩa vơ thiết thực đời sống Độ hiệu mơ hình dự báo phụ thuộc lớn vào chất nguồn liệu phù hợp mơ hình lựa chọn với tốn Trong luận văn này, học viên trình bày phương pháp sử dụng mã hóa tự động Autoencoder kết hợp với mơ hình mạng nơ-ron cụ thể MLP LSTM để ứng dụng vào toán dự đoán kiện cực chuỗi thời gian đa biến điển hình : dự đốn trước cố dây chuyền sản xuất nhà máy giấy Cả mô hình mã hóa tự động đạt kết định : dự báo khoảng 17% số cố dây chuyền sản xuất nhà máy giấy ngưỡng báo động nhầm 4% Mơ hình LSTM Autoencoder dự đốn xác cao MLP Autoencoder ít, đặc biệt ngưỡng báo động nhầm cao ( lớn 10%) Các vấn đề mà luận văn làm : Trình bày tổng quan kiện : khái niệm kiện hiếm, kiện tự nhiên, xã hội, cần thiết việc dự báo trước kiện Tìm hiểu đánh giá số phương pháp phát dự báo kiện nhằm cân lại số lượng mẫu lớp Trình bày tổng quan mơ hình mã hóa tự động Autoencoder : định nghĩa mơ hình Autoencoder, phân loại mơ hình Autoencoder ứng dụng vào lĩnh vực sống Trình bày phương pháp ứng dụng mơ hình Autoencoder để giải tốn dự báo kiện cực Xây dựng thành công chương trình thử nghiệm đánh giá kết phương pháp kết hợp Autoencoder với mơ hình mạng nơ-ron cụ thể MLP LSTM để giải toán dự báo kiện cực chuỗi thời gian đa biến điển hình : dự báo trước cố nhà máy giấy 65 4.2 KIẾN NGHỊ Trong toán dự báo cố dây chuyền sản xuất nhà máy giấy, mô hình mã hóa tự động MLP Autoencoder LSTM Autoencoder cho kết dự báo khả quan ngưỡng thu hồi khoảng 20%-30% tăng ngưỡng thu hồi lên cao tỉ lệ báo động nhầm tăng lên nhanh chóng Để tăng hiệu việc dự báo toán nhà máy giấy nói riêng tốn dự báo kiện thực tế nói chung, tác giả tiếp tục hướng nghiên cứu sau: − Nghiên cứu cải thiện hiệu phương pháp sử dụng mã hóa tự động Autoencoder giúp mạng nơ-ron tìm đặc điểm quan trọng đưa vào khối mã − Nghiên cứu phương pháp sử dụng khối mã Autoencoder làm đầu vào cho mạng nơ-ron phân loại Từ sử dụng khối mã kiện cực để đào tạo cho mơ hình dự báo khơng phải loại bỏ hồn tồn mã hóa tự động Việc kết hợp thêm liệu kiện gặp cách hợp lý sau mã hóa qua Autoencoder hứa hẹn hướng khả quan việc cải thiện hiệu suất dự báo kiện cực thực tế 66 TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] Morio J., Balesdent M., 2015, Estimation of Rare Event Probabilities in Complex Aerospace and Other Systems, Elsevier Science Sharma A S., Bunde A., Dimri V P., Baker D N., 2012, Extreme events and natural hazards: The complexity perspective, Wiley Ghil M., Yiou P., Hallegatte S., Malamud B D., Naveau P., Soloviev A., Friederichs P., 2011, Extreme events: Dynamics, statistics and prediction, Nonlinear Processes in Geophysics Goodfellow Ian, Bengio Yoshua, Courville Aaron, 2016, Deep Learning, MIT Press Goodwin P., Wright G., 2010, The limits of forecasting methods in anticipating rare events., Technological Forecasting and Social Change Sakurada M., Yairi T., 2014, Anomaly detection using Autoencoders with nonlinear dimensionality reduction, MLSDA'14 2014 Welling Max, Kingma Diederik P, 2019, An Introduction to Variational Autoencoders, Foundations and Trends in Machine Learning Hinton G E., Salakhutdinov R R., 2006, Reducing the Dimensionality of Data with Neural Networks, Science Vincent Pascal, Larochelle Hugo, 2010, Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion, The Journal of Machine Learning Research Diederik Kingma P., Welling Max, 2013, Auto-Encoding Variational Bayes, arXiv:1312.6114 Zhou C., Paffenroth R C., 2017, Anomaly detection with robust deep autoencoders, ACM SIGKDD 2017 International Conference on Knowledge Discovery and Data Mining Ranjan C., Mustonen M., Paynabar K., Pourak K., 2018, Dataset: Rare Event Classification in Multivariate Time Series 67 [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] King G., Zeng L., 2001, Logistic regression in rare events data, Political Analysis Embrechts P., Klüppelberg C., Mikosch T , 1997, Modelling extremal events: For insurance and finance, Vol 33 Springer Chicco Davide, Sadowski Peter, Baldi Pierre, 2014, Deep Autoencoder neural networks for gene ontology annotation predictions, ACM BCB 2014 Nitesh V., Kevin W., Lawrence O., Philip W., 2002, SMOTE: Synthetic Minority Over-sampling Technique, Journal of Artificial Intelligence Research Nicola L., Giovanna M., Nicola T., 2014, ROSE: A Package for Binary Imbalanced Learning, The R Journal An J., Cho S., 2015, Variational autoencoder based anomaly detection using reconstruction probability, Special Lecture on IE Ribeiro M., Lazzaretti A E., Lopes H S., 2018, A study of deep convolutional auto-encoders for anomaly detection in videos, Pattern Recognition Letters Arpit Devansh, Zhou Yingbo, Ngo Hung, Govindaraju Venu, 2015, Why Regularized Auto-Encoders learn Sparse Representation?, arXiv:1505.05561 Salakhutdinov Ruslan, Hinton Geoffrey, 2009, Semantic hashing, International Journal of Approximate Reasoning Special Section on Graphical Models and Information Retrieval Cho K., 2013, Simple sparsification improves sparse denoising autoencoders in denoising highly corrupted images, In International Conference on Machine Learning Zeng Kun, Yu Jun, Wang Ruxin, Li Cuihua, Tao Dacheng, 2017, Coupled Deep Autoencoder for Single Image Super-Resolution, IEEE Transactions on Cybernetics 68 [24] [25] [26] [27] [28] Gondara Lovedeep, 2016, Medical Image Denoising Using Convolutional Denoising Autoencoders, 2016 IEEE 16th International Conference on Data Mining Workshops Tzu-Hsi Song, Sanchez Victor, Hesham,EIDaly, Nasir Rajpoot M., 2017, Hybrid deep autoencoder with Curvature Gaussian for detection of various types of cells in bone marrow trephine biopsy images, 2017 IEEE 14th International Symposium on Biomedical Imaging Xu Jun, Xiang Lei, Liu Qingshan, Gilmore Hannah, Wu Jianzhong, Tang Jinghai, Madabhushi Anant, 2016, Stacked Sparse Autoencoder (SSAE) for Nuclei Detection on Breast Cancer Histopathology Images, IEEE Transactions on Medical Imaging Martinez-Murcia Francisco J., Ortiz Andres, Gorriz Juan M., Ramirez Javier, Castillo-Barnes Diego, 2020, Studying the Manifold Structure of Alzheimer's Disease: A Deep Learning Approach Using Convolutional Autoencoders, IEEE Journal of Biomedical and Health Informatics Ranjan C., Mustonen M., Paynabar K., Pourak, K., 2018, Dataset: Rare Event Classification in Multivariate Time Series, arXiv:1809.10717 ... ? ?Nghiên cứu phương pháp phát kiện cực mơ hình Autoencoder ứng dụng vào dự báo trước cố nhà máy giấy? ?? làm luận văn tốt nghiệp thạc sĩ 10 Mục đích nghiên cứu Áp dụng số mơ hình mã hóa tự động Autoencoder. .. trung vào nghiên cứu, áp dụng thử nghiệm cải tiến mơ hình Autoencoder để dự báo kiện cực vào toán thực tế dự báo trước cố dây chuyền sản xuất nhà máy giấy Đây toán dự báo kiện cực điển hình thách... phương pháp nghiên cứu giới để dự báo kiện 16 CHƯƠNG PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN HIẾM Chương luận văn sâu nghiên cứu trình bày số phương pháp sử dụng để giải toán dự báo kiện nghiên cứu giới