Tìm hiểu về explainable ai và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP CƠNG NGHỆ THƠNG TIN TÌM HIỂU VỀ EXPLAINABLE AI VÀ ỨNG DỤNG GVHD: ThS QCH ĐÌNH HỒNG SVTH : LẠI HỮU TRÁC NGUYỄN DUY PHƯỚC S K L0 Tp Hồ Chí Minh, năm 2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HỒ CHÍ MINH KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN KỸ THUẬT DỮ LIỆU LẠI HỮU TRÁC : 19133059 NGUYỄN DUY PHƯỚC : 19133003 Đề Tài: TÌM HIỂU VỀ EXPLAINABLE AI VÀ ỨNG DỤNG KHÓA LUẬN TỐT NGHIỆP KỸ SƯ KỸ THUẬT DỮ LIỆU GIÁO VIÊN HƯỚNG DẪN ThS QCH ĐÌNH HỒNG KHÓA 2019 - 2023 ĐH SƯ PHẠM KỸ THUẬT TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên sinh viên 1: Lại Hữu Trác MSSV: 19133059 Họ tên sinh viên 2: Nguyễn Duy Phước MSSV: 19133003 Ngành: Kỹ thuật liệu Tên đề tài: Tìm hiểu Explainable AI ứng dụng Họ tên giáo viên hướng dẫn: ThS Qch Đình Hồng NHẬN XÉT: Về nội dung đề tài khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: Tp.Hồ Chí Minh, ngày tháng năm 2023 Giáo viên hướng dẫn Ký & ghi rõ họ tên ĐH SƯ PHẠM KỸ THUẬT TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên sinh viên 1: Lại Hữu Trác MSSV: 19133059 Họ tên sinh viên 2: Nguyễn Duy Phước MSSV: 19133003 Ngành: Kỹ thuật liệu Tên đề tài: Tìm hiểu Explainable AI ứng dụng Họ tên giáo viên phản biện: TS Huỳnh Xuân Phụng NHẬN XÉT: Về nội dung đề tài khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: Tp.Hồ Chí Minh, ngày tháng năm 2023 Giáo viên phản biện Ký & ghi rõ họ tên LỜI CẢM ƠN Trong trình nghiên cứu đề tài, giảng viên hỗ trợ, hướng dẫn sinh viên, với tất kính trọng, chúng tơi xin bày tỏ lịng biết ơn đến q Thầy Cô theo dõi hướng dẫn suốt thời gian thực đề tài Đầu tiên, xin gửi lời cảm ơn sâu sắc đến Ban giám hiệu trường Đại học Sư phạm Kỹ Thuật Thành phố Hồ Chí Minh tạo điều kiện, mơi trường học tập chất lượng, hiệu để phát huy cách tốt việc nghiên cứu đề tài Đồng thời, xin gửi lời cảm ơn đến Ban chủ nhiệm khoa Công nghệ Thông tin Thầy Cô khoa Công nghệ Thông tin - Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh tạo mơi trường học tập làm việc chuyên nghiệp, nhiệt tình giảng dạy để chúng tơi thực tốt đề tài nói riêng sinh viên khoa Cơng nghệ Thơng tin nói chung trình học tập làm việc trường Đặc biệt, xin gửi lời cảm ơn chân thành đến Thầy Qch Đình Hồng – Giáo viên hướng dẫn khóa luận tốt nghiệp – Khoa Cơng nghệ Thơng tin – Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, hướng dẫn, quan tâm, góp ý đồng hành giai đoạn khó khăn đề tài Tuy nhiên thời gian hồn thành đề tài ngắn, nên đề tài khó lịng tránh khỏi sai sót hạn chế định Kính mong nhận phản hồi, đóng góp ý kiến bảo thêm từ Quý Thầy Cơ, để chúng tơi đạt kiến thức hữu ích, nâng cao trình độ để phục vụ cho nghiệp sau Xin chân thành cảm ơn Trường ĐH Sư Phạm Kỹ Thuật TP.HCM Khoa : CNTT ĐỀ CƯƠNG LUẬN VĂN TỐT NGHIỆP Họ Tên SV thực : Lại Hữu Trác Mã Số SV : 19133059 Họ Tên SV thực : Nguyễn Duy Phước Mã Số SV : 19133003 Thời gian làm luận văn : từ : 14/2/2023 Đến : 1/7/2023 Chuyên ngành : Kỹ thuật liệu Tên luận văn : Tìm hiểu Explainable AI ứng dụng GV hướng dẫn : ThS Qch Đình Hồng Nhiệm Vụ Của Luận Văn : Tìm hiểu sở lý thuyết Explainable AI Tìm hiểu tốn dựa sở lý thuyết tìm hiểu Thực ứng dụng sở lý thuyết tìm hiểu để trực quan hóa liệu Đề cương viết luận văn : Phần MỞ ĐẦU 1.1 Tính cấp thiết đề tài 1.2 Mục tiêu nhiệm vụ nghiên cứu 1.3 Cách tiếp cận phương pháp nghiên cứu 1.4 Kết dự đoán 1.5 Bố cục luận văn Phần NỘI DUNG Chương 2: Tổng quan XAI phương pháp XAI 2.1 Tổng quan XAI 2.2 Tổng quan phương pháp XAI Chương 3: Tổng quan xử lý ngôn ngữ tự nhiên (NLP) toán Sentiment Analysis 3.1 Tổng quan xử lý ngôn ngữ tự nhiên 3.2 Tổng quan Sentiment Analysis 3.3 Các kỹ thuật Word Embedding Chương 4: Một số thuật toán Machine learning Deep Learning Chương 5: Thực nghiệm 5.1 Bài toán 5.2 Dữ liệu 5.3 Phương pháp kết Phần KẾT LUẬN Chương 6: Kết luận 6.1 Kết đạt 6.2 Hạn chế 6.3 Hướng phát triển Tài liệu tham khảo KẾ HOẠCH THỰC HIỆN STT Thời gian Nội dung công việc 14/2 - 21/2 Lựa chọn xác định đề tài khóa luận 21/2 – 28/2 1/3-8/3 9/3-16/3 Tìm hiểu LIME 17/3-23/3 Tìm hiểu SHAP 24/3-1/4 Tìm hiểu Anchors 2/4-9/4 Tìm hiểu phương pháp Tìm hiểu sơ lược đề tài Tìm hiểu sơ lược XAI ICE 10/4-17/4 Tìm hiểu phương pháp Feature Interaction, Partial Dependence Plot (PDP) 18/4-25/4 Tìm hiểu cơng trình trội cho XAI 10 26/4-15/5 Thực tìm hiểu, xây dựng mơ hình demo, hồn thiện báo cáo 11 16/5-30/5 Thực xây dựng mơ hình demo, hồn thiện báo cáo Ghi 12 1/6 – 7/6 Thực xây dựng mơ hình demo, hồn thiện báo cáo 13 7/6 – 30/6 Tiếp tục làm phần demo toán viết báo cáo phần ứng dụng 14 1/7-9/7 Hồn thiện, rà sốt báo cáo hồn chỉnh phần ứng dụng Ngày… tháng… năm 203 Ý kiến giáo viên hướng dẫn Người viết đề cương (Ký ghi rõ họ tên) Lại Hữu Trác Nguyễn Duy Phước MỤC LỤC MỤC LỤC .1 CHƯƠNG 1: MỞ ĐẦU 1.1 TÍNH CẤP THIẾT CỦA ĐỀ TÀI 1.2 MỤC TIÊU VÀ NHIỆM VỤ NGHIÊN CỨU .1 1.3 CÁCH TIẾP CẬN VÀ PHƯƠNG PHÁP NGHIÊN CỨU .2 1.4 KẾT QUẢ DỰ KIẾN ĐẠT ĐƯỢC 1.5 BỐ CỤC LUẬN VĂN CHƯƠNG 2: TỔNG QUAN VỀ XAI VÀ CÁC PHƯƠNG PHÁP TRONG XAI 2.1 TỔNG QUAN VỀ EXPLAINABLE AI 2.1.1 Định nghĩa Explainable AI 2.1.2 Lợi ích Explainable AI 2.1.3 Explainable AI sử dụng đâu? .7 2.1.4 Đánh giá lời giải thích .8 2.2 TỔNG QUAN VỀ CÁC PHƯƠNG PHÁP TRONG EXPLAINABLE AI 2.2.1 Local Explanations 2.2.2 Global Explanations .26 CHƯƠNG 3: TỔNG QUAN VỀ NLP VÀ BÀI TOÁN SENTIMENT ANALYSIS 33 3.1 TỔNG QUAN VỀ XỬ LÝ NGÔN NGỮ TỰ NHIÊN (NLP) .33 3.1.1 Định nghĩa NLP .33 3.1.2 Những lợi ích NLP .33 CHƯƠNG 5: THỰC NGHIỆM 5.1 BÀI TỐN AI giải thích (XAI) lĩnh vực phát triển nhanh chóng nhằm cung cấp tính minh bạch khả diễn giải cho mơ hình máy học phức tạp Trong bối cảnh phân loại cảm xúc, XAI giúp cung cấp thơng tin chi tiết cách mơ hình đưa dự đốn tính mà mơ hình sử dụng để xác định cảm xúc thể văn định Phân loại cảm xúc nhiệm vụ đầy thách thức tính chất chủ quan cảm xúc phức tạp ngôn ngữ người Các mơ hình học máy truyền thống, chẳng hạn mạng lưới thần kinh, đạt độ xác cao nhiệm vụ phân loại cảm xúc thường thiếu tính minh bạch khả diễn giải Điều gây khó khăn cho doanh nghiệp tổ chức việc hiểu lý đằng sau dự đốn mơ hình đưa định sáng suốt dựa dự đốn Các kỹ thuật XAI giúp giải vấn đề cách cung cấp thông tin chi tiết hoạt động bên mơ hình Ví dụ: kỹ thuật tầm quan trọng tính sử dụng để xác định tính mà mơ hình sử dụng để đưa dự đốn Điều giúp doanh nghiệp tổ chức hiểu khía cạnh văn quan trọng để xác định cảm xúc 5.2 DỮ LIỆU Tập liệu nhóm lấy để xây dựng mơ hình từ nguồn: https://www.kaggle.com/datasets/praveengovi/emotions-dataset-for-nlp Đây tập liệu phân loại cảm xúc dạng text (văn bản) gán vào nhãn: sadness (buồn rầu), anger (tức giận), love (yêu), surprise (ngạc nhiên), fear (sợ hãi), joy (vui vẻ) Tập liệu chia làm tập train, test validation dạng file txt Tập train có 16000 dịng cho nhãn cần dự đoán Tương tự, tập test tập validation có 2000 dịng cho nhãn dự đốn 58 5.3 PHƯƠNG PHÁP VÀ KẾT QUẢ Trong tốn nhóm chọn mơ hình thử nghiệm sau:  Machine learning: Logistic regression, SVM  Deep learning: CNN - LSTM, Bi-LSTM  Explainable AI: LIME , SHAP Với cách Word Embedding, chúng tơi dùng mơ hình TF-IDF Glove, độ đo nhóm dùng accuracy mơ hình  Mơ hình Logistic Regression Logistic Regression – thuật tốn học có giám sát sử dụng nhiều cho tốn phân loại có toán phân loại văn Logistic Regression mơ hình tuyến tính tốn phân nhãn – thuật ngữ tuyến tính có ý nghĩa quan trọng kết hợp tuyến tính đầu vào tham số để đưa kết dự đốn Logistic Regression xem mơ hình mạng nơ-ron đơn giản giống mạng nơ-ron “perceptron” Với cách chuyển đổi từ thành tính năng: nhóm dùng “CountVectorizer” thư viện scikit-learn để chuyển câu văn thành ma trận từ dùng thư viện NLTK để xóa kí tự, từ khơng quan trọng câu Tiếp theo, nhóm dùng TF-IDF để đánh trọng cho từ ma trận từ tạo Các tham số nhóm dùng cho mơ hình Logistic Regression cho tốn sau: “solver: newton-cg” tham số dùng để tối ưu hóa hàm mát cho mơ hình “L2 regularization” – kĩ thuật giúp mạng nơ-ron tránh bị overfitting 59 Hình 47: Cấu trúc mơ hình Logistic Regression Kết sau huấn luyện mơ hình logistic Regression với tham số trên, nhóm thu độ xác mơ hình tập liệu test 86,1% Hình 48: Kết mơ hình Logistic Regression  Mơ hình Support Vector Machine (SVM) SVM mơ hình có nét tương đồng với mơ hình Logistic Regression với cách mà hàm tối ưu mát định ranh giới điểm liệu Sự khác biệt chính, SVM dùng “kernel function” – hàm biến đổi không gian phức tạp, phi tuyến tính thành khơng gian có số chiều cao để tìm thấy siêu phẳng thích hợp phân tách điểm liệu SVM tìm cách tối đa khoảng cách điểm liệu từ siêu phẳng cách sử dụng “support vector” 60 Với bước chuẩn bị liệu cho huấn luyện mơ hình SVM giống với Logistic Regression bước đầu Cịn tham sơ cho mơ hình “linear SVM” sau: “loss: hinge” hàm mát với tối ưu SGD (stochastic gradient descent) L2 -regularization số thơng số khác Hình 49: Cấu trúc mơ hình SVM Kết thu với mơ hình SVM cho tốn 85% nhóm thực mơ hình tập liệu test  Mơ hình CNN-LSTM Với cấu trúc mơ hình bao gồm: + lớp embedding input liệu + lớp dropout + lớp convolution + lớp pooling +1 lớp lstm + lớp dense 61 Hình 50: Cấu trúc mơ hình CNN-LSTM Với mơ hình này, nhóm huấn luyện với tham số bacth_size, epochs số tham số khác Nhóm thường thay đổi tham số bacth_size, epochs, số lớp dense, lớp dropout mơ hình đạt kết tốt Thì với mơ hình CNN-LSTM huấn luyện với tham số bacth_size=256, epochs = cho kết tốt với độ xác 90% tập liệu test Hình 51: Quá trình huấn luyện mơ hình CNN-LSTM với epoch 62 Hình 52: Độ xác mơ hình CNN-LSTM  Mơ hình Bi-LSTM Với mơ hình Bi-LSTM, nhóm thực mơ hình với lớp: + lớp embedding +3 lớp Bidirectional +1 lớp dense Với mơ hình nay, nhóm huấn luận máy vật lí khơng có GPU hỗ trợ train khoảng 32 tiếng Sau nhóm dùng google colab có hỗ trợ GPU, nhóm huấn luyện mơ hình tốn thời gian Cũng mơ hình CNN-LSTM nhóm thay đổi tham số epochs, bacth_size, … dùng thêm Glove để đánh thêm trọng số cho ma trận vector từ để tăng độ xác mơ hình Hình 53: Kiến trúc mơ hình BiLSTM 63 Hình 54: Các tham số huấn luyện mơ hình BiLSTM Với tham số huấn luyện hình 53, mơ hình thu kết với độ xác mơ hình 93% tập liệu test Hình 55: Kết mơ hình tập liệu test Sau train bốn mơ hình, nhóm sử dụng LIME SHAP để giải thích dự đốn triển khai cách giải thích lên Streamlit 64 Hình 56: Giao diện giải thích Streamlit Hình 56 giao diện triển khai lên Streamlit với ô textbox để nhập câu thể cảm xúc “Choose classifier” cho lựa chọn thuật tốn mà nhóm huấn luyện dùng để giải thích Hình 57: Các thuật tốn select box “Choose option Explainer” cho lựa chọn phương pháp giải thích LIME SHAP 65 Hình 58: Lựa chọn phương pháp giải thích Khi nhập câu thể cảm xúc vào chọn thuật toán phân loại ta lời giải thích thuật tốn Ví dụ ta nhập câu “im updating my blog because i feel shitty” Kết giải thích với LIME hình sau Hình 59: Kết giải thích với phương pháp LIME Nhìn vào hình 59 ta thấy với câu ví dụ từ “shitty” đóng góp vào kết dự đốn LIME hiển thị từ ảnh hưởng đến kết dự đoán 66 Hình 60: Kết giải thích phương pháp SHAP Hình 60 với phương pháp SHAP cho ta thấy từ câu ảnh hưởng tích cực hay tiêu cực Trong từ màu đỏ ảnh hưởng tích cực vào dự đoán, từ màu xanh ảnh hưởng tiêu cực vào kết dự đoán 67 CHƯƠNG 6: KẾT LUẬN 6.1 KẾT QUẢ ĐẠT ĐƯỢC 6.1.1 Ý nghĩa khoa học Báo cáo trình bày sở lý thuyết “Explanable Artifical Intelligence” lý thuyết CNN cho phần ứng dụng Nội dung đề tài trình bày sở lý thuyết phương pháp thường dùng để giải thích mơ hình học máy Ngồi cịn cho thấy ứng dụng tốn vào giải thích kết dự đốn cảm xúc thơng qua phương pháp LIME, SHAP Thơng qua đề tài, nắm bắt phương pháp XAI dùng để xử giải thích cho mơ hình học máy giải thích Và thông qua ứng dụng demo, nâng thêm hiểu biết kỹ sử dụng python thư viện hỗ trợ để tạo mô hình deep learning phân tích liệu Bên cạnh đó, chúng tơi cịn nâng cao thêm khả đọc hiểu tài liệu, khả làm việc nhóm khả trình bày báo cáo khoa học 6.1.2 Ý nghĩa thực tiễn Chúng biết nhiều phương pháp, mơ hình để diễn giải thuật tốn học máy ứng dụng vào toán cụ thể Thông qua việc thực đề tài, biết việc diễn giải học máy trở thành hướng nghiên cứu phát triển đặc biệt doanh nghiệp Khả diễn giải mơ hình có nhiều ý nghĩa lĩnh vực y tế, bảo hiểm, tài chính, Trong lĩnh vực này, việc giải thích mơ hình đưa định người quản lý đưa giải pháp kinh doanh hiệu quả, bác sĩ đưa phương pháp điều trị kịp thời cho người bệnh Bên cạnh đó, sau thực xây dựng phương pháp LIME, SHAP cho dự đốn cảm xúc chúng tơi biết nhiều thư viện Tensorflow, biết rõ cách thức hoạt động mơ hình RNN, LSTM 55 6.2 HẠN CHẾ Do hạn chế nguồn lực thời gian, chọn tập trung vào nghiên cứu lý thuyết “Explanable Artifical Intelligence” 6.3 HƯỚNG PHÁT TRIỂN Lý thuyết trình bày báo cáo áp dụng để giải tốn phân tích doanh nghiệp như: giải thích dự đốn đưa đúng, qua giúp doanh nghiệp đưa giải pháp phù hợp Báo cáo mở nhiều hướng nghiên cứu tương lai như: • Nghiên cứu sâu nhiều phương pháp cho mơ hình học máy • Nghiên cứu thuật tốn deep learning khác diễn giải thuật tốn Về phần thực nghiệm, ta hồn tồn mở rộng để áp dụng tập liệu khác vào xây dựng mơ hình đốn có tính thực tiễn áp dụng thêm tập liệu tiếng Việt, thử nghiệm nhiều thuật toán khác hơn, thay đổi nhiều siêu tham số để cải thiện độ xác mơ hình 56 TÀI LIỆU THAM KHẢO [1] C Molnar, Interpretable Machine Learning, 2023-03-02, 2023 [2] Carlos Guestrin,Sameer Singh and Marco Tulio Ribeiro, "“Why Should I Trust You?”Explaining the Predictions of Any Classifier," 2016 [3] Scott Lundberg and Su-In Lee, "A Unified Approach to Interpreting Model Predictions," no 2, 2017 [4] Mukund Sundararajan and Amir Najmi, "The many Shapley values for model explanation," 2019 [5] Ian Covert and Su-In Lee, "Improving KernelSHAP: Practical Shapley Value Estimation via Linear Regression," pp - 9, 2020 [6] Gabriel Laberge and Yann Pequignot, ""Understanding Interventional TreeSHAP : How and Why it Works"," 2022 [7] Gianluigi Lopardo, Damien Garreau and Frederic Precioso, "A Sea of Words: An InDepth Analysis of Anchors for Text Data," 2022 [8] Alex Goldstein, Adam Kapelner, Justin Bleich and Emil Pitkin, ""Peeking Inside the Black Box: Visualizing Statistical Learning with Plots of Individual Conditional Expectation"," Computational and Graphical Statistics, pp 44-65, 2015 [9] Goldstein, Alex, Adam Kapelner, Justin Bleich, and Emil Pitkin, "Peeking inside the black box: Visualizing statistical learning with plots of individual conditional expectation," Computational and Graphical Statistics, pp 44-65, 2015 [10] Christoph Molnar, Timo Freiesleben, Gunnar König, Giuseppe Casalicchio, Marvin N Wright and Bernd Bischl, "Relating the Partial Dependence Plot and Permutation Feature Importance to the Data Generating Process," pp 4-10, 2021 [11] J H Friedman, "Greedy function approximation: A gradient boosting machine," pp 1189-1232, 2001 [12] Greenwell, Brandon M., Bradley C Boehmke and Andrew J McCarthy, "A simple and effective model-based variable importance measure," 2018 [13] Seyedehzahra Khoshmanesh, Tuba Yavuz and Robyn R Lutz, "Learning Feature 57 Interactions With and Without Specifications," 2021 [14] Coursera, "What is Natural Language Processing? Definition and Examples," [Online] [15] R Wolff, "7 Benefits of Natural Language Processing (NLP)," 11 12 2020 [Online] Available: https://monkeylearn.com/blog/nlp-benefits/ [16] VinBigData, "Kỹ thuật phân tích quan điểm (Sentiment Analysis)," 18 2022 [Online] Available: https://vinbigdata.com/chatbot/ky-thuat-phan-tich-quan-diemsentiment-analysis.html [17] N V Hung, "Trích chọn thuộc tính đoạn văn với TF-IDF," 20 10 2017 [Online] Available: https://viblo.asia/p/trich-chon-thuoc-tinh-trong-doan-van-ban-voitf-idf-Az45bAOqlxY [18] T t n t "Hướng dẫn sử dụng GloVe," 26 2019 [Online] Available: https://trituenhantao.io/kien-thuc/huong-dan-su-dung-glove/ [19] D Duong, "Recurrent Neural Network(Phần 1): Tổng quan ứng dụng," 2018 [20] Afshine Amidi Shervine Amidi, "Convolutional Neural Networks cheatsheet," [Online] Available: https://stanford.edu/~shervine/teaching/cs-230/cheatsheetconvolutional-neural-networks [21] Afshine Amidi Shervine Amidi, "Recurrent Neural Networks cheatsheet," [Online] Available: https://stanford.edu/~shervine/teaching/cs-230/cheatsheet-recurrent-neuralnetworks#architecture [22] Y Verma, Complete Guide To Bidirectional LSTM (With Python Codes) [23] Muhammad Zain Amin and Noman Nadeem, "Convolutional Neural Network: Text Classification Model for Open Domain Question Answering System," 2018 [24] N Hưng, "Neural Network gì? Đặc điểm ứng dụng Neural Network," 15 08 2022 [Online] [25] Aston Zhang, Zachary C Lipton, Mu Li, and Alexander J Smola, "Dive into Deep Learning," 2023 58