Phân lớp dữ liệu chuỗi thời gian dựa vào mạng nơ ron tích chập cnn

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA - LÝ MINH TRÍ PHÂN LỚP DỮ LIỆU CHUỖI THỜI GIAN DỰA VÀO MẠNG NƠ-RON TÍCH CHẬP CNN Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2023 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA - LÝ MINH TRÍ PHÂN LỚP DỮ LIỆU CHUỖI THỜI GIAN DỰA VÀO MẠNG NƠ-RON TÍCH CHẬP CNN Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2023 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : PGS.TS Dương Tuấn Anh, TS Nguyễn Đức Dũng Cán chấm nhận xét : TS Lê Văn Quốc Anh Cán chấm nhận xét : TS Bùi Công Giao Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 13 tháng 07 năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) PGS.TS Võ Thị Ngọc Châu - Chủ tịch TS Phan Trọng Nhân - Thư ký TS Lê Văn Quốc Anh - Phản biện TS Bùi Công Giao - Phản biện TS Trần Tuấn Anh - Ủy viên Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH i ĐẠI HỌC QUỐC GIA TP HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc I NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: LÝ MINH TRÍ MSHV: 1970132 Ngày, tháng, năm sinh: 06/01/1992 Nơi sinh: Kiên Giang Chuyên ngành: Khoa học máy tính Mã số: 8480101 I TÊN ĐỀ TÀI: PHÂN LỚP DỮ LIỆU CHUỖI THỜI GIAN DỰA VÀO MẠNG NƠ-RON TÍCH CHẬP CNN (TIME SERIES CLASSIFICATION WITH CONVOLUTIONAL NEURAL NETWORKS) II NHIỆM VỤ VÀ NỘI DUNG: Đề xuất, nghiên cứu, thực hiện,đánh giá hiệu áp dụng mạng nơ ron tích chập (CNN) cho toán phân lớp chuỗi thời gian so với phương pháp truyền thống 1-lân cận gần (1-NN) kết hợp với độ đo DTW phương pháp SAX kết hợp mơ hình khơng gian vectơ III NGÀY GIAO NHIỆM VỤ: 06/02/2023 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 11/06/2023 V CÁN BỘ HƯỚNG DẪN: PGS TS Dương Tuấn Anh, TS Nguyễn Đức Dũng Tp HCM, ngày tháng năm 2023 CÁN BỘ HƯỚNG DẪN HỘI ĐỒNG NGÀNH (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên chữ ký) ii LỜI CẢM ƠN Tôi muốn gửi lời cảm ơn chân thành đến PGS.TS Dương Tuấn Anh, người định hướng, hỗ trợ, tạo điều kiện tốt cho trình làm luận văn thạc sĩ Tơi muốn gửi lời cảm ơn đến tất giảng viên thuộc mơn Khoa học máy tính, người chia sẻ kiến thức kinh nghiệm quý báu Sự hỗ trợ động viên từ phía họ giúp tơi tiến hồn thiện tốt q trình nghiên cứu Cuối cùng, tơi muốn bày tỏ lịng biết ơn chân thành đến gia đình bạn bè đồng hành hỗ trợ suốt trình học tập thực luận văn Sự ủng hộ động viên họ trở thành động lực quan trọng giúp vượt qua khó khăn hồn thành nhiệm vụ Xin chân thành cảm ơn Lý Minh Trí 05/06/2022 iii TĨM TẮT Việc nghiên cứu ứng dụng kỹ thuật phân lớp liệu chuỗi thời gian thu hút nhiều ý nhà nghiên cứu liệu Với phát triển nhanh công nghệ, liệu chuỗi thời gian thu thập nhiều thiết bị Việc khai phá liệu chuỗi thời gian mang lại lợi ích hữu hiệu trải dài nhiều lĩnh vực khai phá liệu, thống kê, học máy, xử lý tín hiệu, v.v… Có nhiều phương pháp phân lớp liệu chuỗi thời gian, gần với phát triển mạng nơ ron học sâu, có xuất cơng trình nghiên cứu áp dụng mạng nơ ron tích chập (CNN) vào cơng tác phân lớp liệu chuỗi thời gian Trong luận văn này, chúng tơi chọn áp dụng mạng nơ ron tích chập chiều (1D-CNN) vào toán phân lớp liệu chuỗi thời gian, tính phù hợp mơ hình 1D-CNN với thể loại liệu chuỗi thời gian mơ hình 2D-CNN phù hợp với thể loại liệu hình ảnh Chúng tơi tiến hành thực nghiệm 14 tập liệu mẫu từ website UCR cho phương pháp đề xuất so sánh kết thực nghiệm với hai phương pháp phân lớp khác: giải thuật 1-nearest-neighbors với độ đo xoắn thời gian động (DTW) phương pháp kết hợp phép biến đổi SAX với mơ hình khơng gian vector (SAX-SVM) Kết thực nghiệm cho thấy mơ hình 1D-CNN đem lại hiệu phân lớp tốt hai mơ hình đối sánh phần lớn liệu thực nghiệm iv ABSTRACT The research and application of time series data classification techniques have been attracting the attention of data researchers With the rapid development of technology, time series data has been collected by many devices Time series data mining will bring benefits to many areas, such as data mining, statistics, machine learning, signal processing, etc… There are many methods of time series data classification And recently, with the development of deep neural networks, there have been several research works which applied convolutional neural networks (CNNs) in time series classification In this work, we choose to apply 1-dimensional convolutional neural networks (1D-CNN) in time series data classification since 1D-CNN model is more suitable with time series data than the standard 2D-CNN model which is more suitable with image data We experimented on 14 sample datasets from the UCR website for this proposed method and compared the performance of the proposed model to the two other methods for time series classification: 1-nearest neighbors algorithm with DTW distance and SAX transformation combined with vector space model (SAX-SVM) The experimental results showed that the classification performance of 1D-CNN model is better than those of the two other comparative methods in most of the benchmark datasets v LỜI CAM ĐOAN Tôi cam đoan luận văn này, tất công thức, ý tưởng, nghiên cứu, phân tích mà tơi mượn từ bên thứ ba thích nguồn dẫn cách đầy đủ mục tài liệu tham khảo theo quyền tác giả Tơi khẳng định tồn nội dung khác, bao gồm lý luận, cơng thức, hình ảnh, thành nghiên cứu khác (trừ tài liệu tham khảo trích dẫn) kết cơng việc nghiên cứu hướng dẫn PGS.TS Dương Tuấn Anh Tơi cam đoan tồn thơng tin kiến thức tơi tìm hiểu thu thập từ nguồn tin cậy Các số liệu dẫn chứng đánh giá trình bày luận văn trung thực không bị gian lận phóng đại Nếu có gian lận luận văn này, tơi xin hồn tồn chịu trách nghiệm sẵn sàng chấp nhận hình phạt Tp Hồ Chí Minh, tháng 06 năm 2023 Lý Minh Trí vi MỤC LỤC CHƯƠNG GIỚI THIỆU ĐỀ TÀI 1.1 Động nghiên cứu 1.2 Mục tiêu phạm vi nghiên cứu 1.3 Những kết đạt luận văn 1.4 Cấu trúc luận văn CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Chuỗi thời gian 2.2 Phân lớp liệu 2.2.1 Khái niệm phân lớp liệu 2.2.2 Phương pháp phân lớp k lân cận gần (k-NN) 2.3 Các độ đo khoảng cách 2.3.1 Độ đo Euclid 2.3.2 Độ đo xoắn thời gian động 2.4 Mạng nơron đa tầng (MLP) 2.5 Học sâu 2.6 Mạng nơ ron tích chập (CNN) 10 2.7 Hàm Softmax 11 2.8 Tinh chỉnh siêu tham số giải thuật Grid Search 12 2.9 Chuẩn hóa liệu 14 CHƯƠNG CÁC CƠNG TRÌNH LIÊN QUAN 15 3.1 Phân lớp chuỗi thời gian dựa vào shapelet 15 3.2 Phân lớp chuỗi thời gian phương pháp SAX-VSM 16 3.3 Phân lớp chuỗi thời gian mạng nơ ron tích chập FCN 17 3.4 Mạng nơ ron tích chập chiều 19 CHƯƠNG PHƯƠNG PHÁP PHÂN LỚP ĐỀ XUẤT 23 4.1 Phương pháp tiếp cận 23 4.2 Ứng dụng kỹ thuật grid search 25 vii 4.3 Các liệu thực nghiệm 25 4.4 Thư viện phần mềm hỗ trợ 26 4.5 Cách đánh giá chất lượng phương pháp phân lớp 26 CHƯƠNG THỰC NGHIỆM ĐÁNH GIÁ 28 5.1 Cấu hình hệ thống sử dụng thực nghiệm 28 5.2 Các phương pháp đối sánh liệu thực nghiệm 28 5.2.1 Các phương pháp đối sánh cho công tác phân lớp liệu chuỗi thời gian 28 5.2.2 Các liệu thực nghiệm 28 5.2.3 Bộ liệu nhịp tim ECGFiveDays 31 5.2.4 Bộ liệu Fish 32 5.2.5 Bộ liệu CBF 33 5.2.6 Bộ liệu Trace 33 5.3 Giá trị siêu tham số cho liệu thực nghiệm 34 5.4 Kết thực nghiệm ba liệu ArrowHead, BeeFl ECGFiveDays 35 5.4.1 Kết thực nghiệm liệu ArrowHead 35 5.4.2 Kết thực nghiệm liệu BeeFl 36 5.4.3 Kết thực nghiệm liệu ECGFiveDays 38 5.5 Kết tổng hợp tỷ lệ lỗi liệu thực nghiệm 39 5.6 Kết tổng hợp thời gian thực thi liệu thực nghiệm 40 CHƯƠNG KẾT LUẬN 42 6.1 Kết đạt luận văn 42 6.2 Hướng phát triển tương lai 42 TÀI LIỆU THAM KHẢO 43 PHỤ LỤC A 45 PHỤ LỤC B 47 PHỤ LỤC C 50 viii Hình 5.7 : Tỉ lệ lỗi phân lớp liệu ArrowHead Hình 5.8 cho thấy thời gian thực thi phương pháp 1D-CNN cao so với phương pháp lại Thời gian phân lớp quan sát giây(s) Hình 5.8 : Thời gian phân lớp liệu ArrowHead 5.4.2 Kết thực nghiệm liệu BeeFl Hình 5.9 biểu diễn tỉ lệ lỗi phân lớp liệu BeeFl Kết quan sát nhận xét rằng, tỉ lệ lỗi phân lớp kỹ thuật 1D-CNN 0.1 tốt kỹ thuật 1NN-DTW SAX-VSM với tỉ lệ lỗi phân lớp tương ứng 0.3 0.2 36 Hình 5.9 : Tỉ lệ lỗi phân lớp liệu BeeFl Hình 5.10 cho thấy thời gian thực thi phương pháp 1D-CNN cao so với phương pháp lại Thời gian phân lớp quan sát giây(s) Hình 5.10 : Thời gian phân lớp liệu BeeFl 37 5.4.3 Kết thực nghiệm liệu ECGFiveDays Hình 5.11 biểu diễn tỉ lệ lỗi phân lớp liệu ECGFiveDays Kết thực nghiệm cho thấy tỷ lệ lỗi phân lớp kỹ thuật 1D-CNNlà 0.079 tốt kỹ thuật 1NNDTW 0.232 SAX-VSM 0.217 Hình 5.11 : Tỉ lệ lỗi phân lớp liệu ECGFiveDays Hình 5.12 cho thấy thời gian thực thi phương pháp 1D-CNN cao so với phương pháp lại Thời gian phân lớp quan sát giây(s) Hình 5.12 : Thời gian phân lớp liệu ECGFiveDays 38 5.5 Kết tổng hợp tỷ lệ lỗi liệu thực nghiệm Bảng 5.4 biểu diễn số liệu tổng hợp tỷ lệ lỗi phân lớp liệu thực nghiệm áp dụng phương pháp phương pháp truyền thống 1-lân cận gần (1NN) kết hợp với độ đo DTW, phương pháp SAX kết hợp mô hình khơng gian vectơ phương pháp mạng 1D-CNN Ở hầu hết loại liệu, sau tiến hành thực nghiệm thu thập kết quả, quan sát phương pháp 1D-CNN có hiệu tốt so với phương pháp truyền thống 1-lân cận gần (1-NN) kết hợp với độ đo DTW, phương pháp SAX kết hợp mơ hình khơng gian vectơ Ngoại trừ có tập liệu CBF Fish phương pháp 1NN-DTW đạt kết tốt Nguyên nhân tập liệu nhỏ, đặc trưng đơn giản nên 1NN-DTW làm việc tốt so với mơ hình 1D-CNN chun làm việc để rút trích đặc trưng phức tạp tập liệu Bảng 5.4 : Tổng hợp tỷ lệ lỗi phân lớp liệu thực nghiệm Mã liệu 1NN-DTW SAX-VSM 1D-CNN 1_ArrHead 0.297 0.246 0.217 2_Beef 0.367 0.400 0.267 3_BeeFl 0.300 0.200 0.100 4_CBF 0.003 0.080 0.048 5_Dis.Ph.O.Co 0.283 0.301 0.254 6_Fish 0.177 0.326 0.326 7_GunPoint 0.093 0.167 0.033 8_ECG.5.Days 0.232 0.217 0.079 9_Chinatown 0.026 0.33 0.026 10_Trace 0.333 39 11_Coffee 0.036 12_Adiac 0.396 0.683 0.381 13_Car 0.267 0.333 0.250 14_Strawberry 0.059 0.162 0.027 5.6 Kết tổng hợp thời gian thực thi liệu thực nghiệm Bảng 5.5 tổng hợp thời gian phân lớp liệu thực nghiệm Thời gian phân lớp quan sát giây(s) Kết cho thấy phương pháp 1D-CNN đạt kết tốt cần tốn nhiều thời gian tính tốn việc tìm đặc trưng hiệu để phân lớp Bảng 5.5: Tổng hợp thời gian phân lớp liệu thực nghiệm Mã liệu 1NN-DTW SAX-VSM 1D-CNN 1_ArrHead 4.745 0.104 21.914 2_Beef 1.798 0.043 21.379 3_BeeFl 0.979 0.042 11.069 4_CBF 9.321 0.399 13.222 5_Dis.Ph.O.Co 30.955 0.397 35.493 6_Fish 65.291 0.177 47.132 7_GunPoint 1.905 0.108 13.408 8_ECG.5.Days 4.028 0.393 21.925 9_Chinatown 0.479 0.202 22.072 10_Trace 7.557 0.110 40.302 11_Coffee 1.637 0.033 42.380 40 12_Adiac 47.904 0.313 72.645 13_Car 8.759 0.057 27.944 14_Strawberry 116.940 0.390 143.400 41 CHƯƠNG KẾT LUẬN Chương chúng tơi trình bày vài kết luận sau tiến hành nghiên cứu thực nghiệm, khó khăn phương hướng phát triển tương lai 6.1 Kết đạt luận văn Sau thời gian nghiên cứu thực nghiệm, hiểu rõ kỹ thuật áp dụng mạng nơ ron tích chập chiều (1D-CNN), phương pháp truyền thống 1-lân cận gần (1-NN) kết hợp với độ đo DTW phương pháp SAX kết hợp mô hình khơng gian vectơ Qua việc áp dụng phương pháp lên 14 liệu chuỗi thời gian mẫu khác từ website UCR, rút số kết luận sau: Về độ xác : - Việc áp dụng mạng nơ ron tích chập chiều (1D-CNN) cho kết phân lớp xác tốt so với phương pháp truyền thống 1-lân cận gần (1NN) kết hợp với độ đo DTW phương pháp SAX kết hợp mơ hình khơng gian vectơ phần lớp liệu thực nghiệm Về thời gian phân lớp - Với việc nâng cao độ xác phân lớp, việc áp dụng mạng nơ ron tích chập (CNN) cần nhiều thời gian để huấn luyện mạng, đặc biệt việc áp dụng kỹ thuật grid search để tìm siêu tham số phù hợp cho tập liệu 6.2 Hướng phát triển tương lai Luận văn quan tâm tới việc nâng cao độ xác với ký thuật áp dụng phân lớp 1D-CNN Hướng phát triển đề tài tập trung vào vấn đề : - Cải tiến thời gian phân lớp mô hình 1D-CNN - Áp dụng mơ hình 1D-CNN phân lớp liệu chuỗi thời gian sau chuỗi thời gian rút trích đặc trưng - Áp dụng giải thuật di truyền để tinh chỉnh siêu tham số mạng nơ ron 1DCNN cho công tác phân lớp liệu chuỗi thời gian 42 TÀI LIỆU THAM KHẢO [1] X Wang et al “Experimental Comparision of Representation Methods and Distance Measures for Time Series” in Data Mining and Knowledge Discovery, 3rd ed., vol 26 Eyke Hullermeier, Ed Netherlands: Springer, 2013, pp.275-309 [2] P Senin and S Malinchik “SAX-VSM: Interpretable Time Series Classification using SAX and Vector Space Model,” in IEEE 13th International Conference on Data Mining, Dallas, TX, USA, 2013, pp 1175-1180 [3] Z Wang et al “Time series classification from scratch with deep neural networks: A strong baseline,” in International Joint Conference on Neural Networks, Alaska, USA, 2017, pp 1578-1585 [4] F Itakura, “Minimum prediction residual principle applied to speech recognition,” IEEE Trans Acoust., vol 23, no 1, pp 67–72, Feb 1975 [5] H Sakoe and S Chiba, “Dynamic programming algorithm optimization for spoken word recognition,” IEEE Trans Acoust vol 26, pp 43–49, Feb 1978 [6] D J Berndt and J Clifford “Using dynamic time warping to find patterns in time series” Washington, USA: Springer, 2016, pp 359–370 [7] D T Anh 2021, Topic: “Bài giảng chương Mạng Nơ Ron Học Sâu, môn cao học Học Máy Ứng Dụng, Khoa Khoa Học Kỹ Thuật Máy Tính”, Trường Đại Học Bách Khoa Tp Hồ Chí Minh, Sep 5, 2021 [8] C C Aggarwal Neural Networks and Deep Learning Switzerland: Springer, 2018, pp 135-138 [9] L Ye, and E Keogh “Time Series Shapelets: a new primitive for data mining.” Proceedings of the 15 th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, Paris, France, 2009 [10] N V Kien and D T Anh “An Effective Implementation of Motif-based Time Series Classification,” in Proc of 2019 IEEE-RIVF International Conference on Computing and Communication Technologies, IEEE, Danang, Vietnam, 2019, pp 7-12 43 [11] H A Dau et al “The UCR time series classification archive,” IEEE/ CAA Journal of Automatica Sinica vol 6, pp 1293-1305, Nov 2019 [12] Z Cui et al “Multi-scale convolutional neural networks for time series classification.” Internet: https://www.arxiv.org/abs/1603.06995v4, May 11, 2016 [13] S Kiranyaz et al “Convolutional Neural Networks for patient-specific ECG classification” in Proc of Annu Int Conf IEEE Eng Med Biol Soc (EMBS), Milan, Italy, 2015, pp 2608-2611 [14] S Kiranyaz et al “1D convolutional neural networks and applications: A survey”, Mechanical Systems and Signal Processing vol 151, pp 107398, April 2021 [15] S Kiranyaz et al “Real-time patient specific ECG classification by 1-D convolutional neural networks”, IEEE Transactions on Biomedical Engineering vol 63, pp 884-675, August 2015 [16] S Kiranyaz et al “Real-time structural damage detection by convolutional neural networks” U.S Patent 20190017911, Jul.10, 2018 [17] T Ince et al “Real-time motor fault detection by 1-D convolutional neural networks,” IEEE Transactions on Industrial Electronics vol 63, pp 7067–7075, Jun 2016 [18] F Chollet “Keras.” Internet: https://www.keras.io, May 22, 2023 [19] R Tavenard “Tslearn, A Machine Learning Toolkit for Time Series Data,” Journal of Machine Learning Research vol 21, pp 1-6, Jan 2020 [20] R Tavenard "Tslearn Toolkit." Internet: https://github.com/tslearn-team/tslearn, May 20, 2023 44 PHỤ LỤC A BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH - VIỆT Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Times Series Chuỗi thời gian Times Series Data Dữ liệu chuỗi thời gian Classification Phân lớp Classifier Bộ phân lớp k-Nearest Neighbor k-lân cận gần k-NN 1-Nearest Neighbor 1-lân cận gần 1-NN Multilayer perceptron Mạng perceptron nhiều tầng MLP Feed-forward neural network Mạng nơ ron truyền thẳng Decision tree Cây định Support vector machine Máy vector hỗ trợ Training Set Tập huấn luyện Test Set Tập kiểm thử Deep learning Học sâu Deep neural network Mạng nơ ron học sâu Similarity Measure Độ đo tương tự Euclidean Distance Khoảng cách Euclid ED Dynamic Time Warping Xoắn thời gian động DTW Convolutional neural network Mạng nơ ron tích chập CNN Convolution layer Tầng tích chập Filter Bộ lọc Convolution operation Phép tốn tích chập Subsampling layer Tầng lấy mẫu giảm 45 Viết tắt SVM DNN Feature map Bản đồ đặc trưng Max pooling Gộp cực đại 1-Dimensional Convolutional neural network Mạng nơ ron tích chập chiều 1DCNN Fully Convolutional network Mạng nơ ron tích chập đầy đủ FCN Multi-scale convolutional neural network Mạng nơ ron tích chập đa nhánh Hyperparameter Siêu tham số Accuracy Độ xác Error rate Tỉ lệ lỗi phân lớp k-fold cross validation Kiểm tra chéo k-phần Piecewise Aggregate Approximation Xấp xỉ gộp đoạn PAA Symbolic Aggregate Approximation Xấp xỉ gộp ký hiệu hóa SAX Space vector model Mơ hình không gian vector SAX-SVM Phương pháp kết hợp SAX mơ hình khơng gian vector Grid search Tìm kiếm lưới Data normalization Chuẩn hóa liệu Min-max-normalization Chuẩn hóa min-max z-score normalization Chuẩn hóa z-score Electrocardiogram Điện tâm đồ 46 ECG PHỤ LỤC B PHÉP TỐN TÍCH CHẬP VÀ PHÉP TỐN MAX POOLING Phép tốn tích chập (convolution operation) giải thích thơng qua thí dụ sau Cho ma trận đầu vào (hình ảnh) sau: -2 -1 2 1 0 Và lọc (filter) ma trận sau: -1 Phép tốn tích chập ma trận đầu vào lọc tiến hành sau: Bước Tích chập ma trận 2×2 bên trái ma trận đầu vào lọc cho kết quả: 1*0 + 0*1 + (-1)*(-1) + 0*2 = Bước Ma trận 2×2 bước dịch sang phải ma trận tích chập với lọc kết quả: 0*0 + 1*(-2) + 0*(-1) + 2*1 = -2 + = Bước Ma trận 2×2 bước dịch sang phải ô ma trận tích chập với lọc kết quả: (-2)*0 + 1*1 + 1*(-1) + 2*2 = -1 + = Bước Ma trận 2×2 bước dịch từ xuống ô ma trận tích chập với lọc kết quả: (-1)*0 + 0*1 + 0*(-1) + 2*2 = Bước Ma trận 2×2 bước dịch sang phải ô ma trận tích chập với lọc kết quả: 47 0*0 + 1*1 + 2*(-1) + 1*2 = -2 +2 =1 Diễn tiến phép toán tích chập từ Bước đến bước minh họa hình B.1 Hình B.1: Diễn tiến bước thực phép tốn tích chập ma trận đầu vào lọc Sau thực bước mô tả trên, phép tốn tích chập cịn thực thêm bước để đem lại kết ma trận (bản đồ đặc trưng) kích thước × sau: 4 1 1 Phép toán gộp cực đại (max-pooling) giải thích qua thí dụ sau Giả sử ta có đồ đặc trưng dạng ma trận (bên trái) hình B.2, ta áp dụng phép toán gộp cực đại với vùng gộp có kích thước × chiều dài trượt (slide length) ta đồ đặc trưng dạng ma trận cô đọng (bên phải) hình vẽ B.2 Phép gộp cực đại chọn phần tử lớn vùng gộp × làm phần tử đại diện cho vùng gộp 48 Hình B.2 Minh họa phép tốn gộp cực đại với vùng gộp × đem lại đồ đặc trưng cô đọng (bên phải) từ ma trận đặc trưng ban đầu (bên trái) 49 PHỤ LỤC C LÝ LỊCH TRÍCH NGANG Họ tên: Lý Minh Trí Ngày, tháng, năm sinh: 06/01/1992 Nơi sinh: Kiên Giang Địa liên lạc: 536 Âu Cơ, phường 10, quận Tân Bình, TP HCM Q TRÌNH ĐÀO TẠO Bậc đại học Nơi đào tạo Chuyên môn Năm tốt nghiệp Đại học Trường Đại học Bách khoa, Đại học Quốc gia Thành phố Hồ Chí Minh Khoa học máy tính 2015 Q TRÌNH CƠNG TÁC Thời gian Vị trí cơng Tổ chức cơng tác tác Địa tổ chức Từ năm 2014 đến năm 2015 Lập trình viên Công ty Younet Quận 11, TP HCM Từ năm 2015 đến năm 2017 Lập trình viên Cơng ty Merkle Việt Nam Quận Tân Bình, TP HCM Từ năm 2017 đến Lập trình viên Cơng ty Lotte Data Communication Quận 7, TP HCM 50