TOÁN ỨNG DỤNG CHO TRÍ TUỆ NHÂN TẠO BÁO CÁO Đề tài Naive Bayes Classifier

TRƯỜNG ĐẠI HỌC PHENIKAA KHOA KHOA HỌC CƠ BẢN ******* TỐN ỨNG DỤNG CHO TRÍ TUỆ NHÂN TẠO BÁO CÁO Đề tài 13: Naive Bayes Classifier Thành viên: Khổng Thị Dung – 21012374 Trương Thị Nhung – 21011061 Trần Tiến Dũng - 21013342 HÀ NỘI, THÁNG 10, 2022 MỤC LỤC LỜI CẢM ƠN LỜI NÓI ĐẦU .5 PHẦN 1: CƠ SỞ LÝ THUYẾT 1.Thuật toán Naive Bayes Classification 2.Công thức Naive Bayes: PHẦN 2: NỘI DUNG Naive Bayes Classification 1.1 Đặc điểm Naive Bayes Classification 1.2 Cách hoạt động Naive Bayes Classification 1.3 Các loại mơ hình Naive Bayes Classification 1.4 Ví dụ: 1.5 Ứng dụng thuật toán Naive Bayes Classification 10 PHẦN 3: KẾT LUẬN 11 1.Ưu điểm: 11 2.Nhược điểm: 12 Tài liệu tham khảo 13 Bảng nhiệm vụ Thành viên Nhiệm vụ Khổng Thị Dung Cơ sở lí thuyết, Đặc điểm Naive Bayes Classification Trương Thị Nhung Cách hoạt động Naive Bayes Classification, Các loại mô hình Naive Bayes Classification Trần Tiến Dũng Ứng dụng thuật toán Naive Bayes Classification,ưu điểm , nhược điểm LỜI CẢM ƠN Để có kiến thức tảng hồn thành đề tài này, nhóm chúng em xin cảm ơn nhà trường đưa mơn học Tốn ứng dụng cho trí tuệ nhân tạo học máy vào chương trình giảng dạy Mơn học mang lại cho chúng em kiến thức tốn sử dụng cho trí tuệ nhân tạo bản, ngồi mơn học cịn giúp chúng em cải thiện kỹ mềm kỹ thuyết trình, kỹ viết báo cáo, kỹ làm việc nhóm, … Đây kỹ quan trọng vô cần thiết cho chúng em giảng đường đại học cho tương lai công việc sau Đặc biệt, chúng em xin gửi lời cảm ơn sâu sắc đến Thầy Vũ Hoàng Diệu giảng dạy, bảo truyền đạt cho chúng em kiến thức quý báu suốt thời gian chúng em học mơn Tốn ứng dụng cho trí tuệ nhân tạo học máy Nhóm chúng em cố gắng để hồn thành đề tài cách hồn chỉnh nhất, nhiên kiến thức chúng em hạn chế, khả tiếp thu thực tế cịn nhiều khó khăn, đề tài khơng tránh khỏi thiếu sót Chúng em mong ý kiến đóng góp Thầy để hoàn thiện rút kinh nghiệm quý báu Xin chân thành cảm ơn! LỜI NÓI ĐẦU Trong kỷ ngun cơng nghiệp 4.0 phát triển nở rộ, “Trí tuệ nhân tạo yếu tố không nhắc đến Ngày nay, cơng nghệ trí tuệ nhân tạo ngành công nghệ quan trọng hàng đầu, giúp người giải nhiều vấn đề sống Tốn ứng dụng cho trí tuệ nhân tạo học phần trang bị kỹ lập trình kiến thức đại số tuyến tính, giải tích nhiều chiều, lý thuyết xác suất thống kê, phương pháp thuật tốn tối ưu cho trí tuệ nhân tạo học máy Hiện nay, khoa học công nghệ ngày phát triển Các hệ thống thư viện điện tử, thư viện trực tuyến ngày sử dụng rộng rãi, kèm theo vấn đề liên quan đến phân loại, tìm kiếm chia theo danh mục gợi ý nội dung đọc cho người dùng Với lượng thông tin lớn, đồ sộ, yêu cầu đặt để tổ chức tìm kiếm thơng tin có hiệu Phân loại thông tin giải pháp hợp lý cho yêu cầu Nhưng thực tế khối lượng thông tin lớn, việc phân loại liệu thủ công điều Hướng giải chương trình máy tính tự động phân loại thơng tin Vì nhóm em chọn đề tài số 13: Naive bayes classifier để nghiên cứu, tìm hiểu thuật toán ưu nhược điểm thuật toán PHẦN 1: CƠ SỞ LÝ THUYẾT 1.Thuật toán Naive Bayes Classification Thuật toán phân loại Naive Bayes – thuật toán dựa định lý Bayes lý thuyết xác suất để đưa phán đoán phân loại liệu dựa liệu quan sát thống kê, ứng dụng nhiều lĩnh vực học máy dùng để đưa dự đốn có độ xác cao, dựa tập liệu thu thập Naive Bayes Classification thuộc vào nhóm học máy có giám sát Mơ hình Naive Bayesian dễ thực đặc biệt hữu ích cho tập liệu lớn Ngồi đơn giản Naive Bayes nhận xét xử lý nhanh, độ xác cao vượt trội phương pháp phân loại tiên tiến Ví dụ, coi cam có màu cam, trịn đường kính khoảng inch Ngay tính phụ thuộc vào dựa tồn tính khác, phân loại Naive Bayes xem xét tất đặc điểm để đóng góp độc lập vào xác suất loại quả cam 2.Công thức Naive Bayes: Cơng thức Nạve Bayes định nghĩa: P(B|A): xác xuất lớp mục tiêu dự đoán P(B): xác xuất lớp trước P(A|B): khả xác xuất lớp dự đoán đưa P(A): xác xuất dự đoán trước PHẦN 2: NỘI DUNG Naive Bayes Classification Đây một kỹ thuật phân loại dựa Định lý Bayes với giả định độc lập yếu tố dự đốn. Nói cách khác, phân loại Naive Bayes giả định diện đối tượng cụ thể lớp không liên quan đến diện đối tượng địa lý khác 1.1 - Đặc điểm Naive Bayes Classification Thuật tốn Nạve Bayes thuật tốn học có giám sát, dựa trên định lý Bayes và sử dụng để giải tốn phân loại - Nó chủ yếu sử dụng trong phân loại văn bản bao gồm tập liệu đào tạo chiều cao - Naïve Bayes Classifier thuật toán Phân loại đơn giản hiệu giúp xây dựng mơ hình học máy nhanh đưa dự đốn nhanh chóng - Nó phân loại theo xác suất, có nghĩa dự đốn sở xác suất đối tượng - Một số ví dụ phổ biến Thuật tốn Nạve Bayes là lọc thư rác, phân tích tình cảm, phân loại báo 1.2 Cách hoạt động Naive Bayes Classification Bước 1: Chuyển tập liệu thành bảng tần số Bước 2: Tạo bảng khả cách tìm xác suất Bước 3: Bây giờ, sử dụng phương trình Naive Bayesian để tính xác suất sau cho lớp. Lớp có xác suất hậu phương cao kết dự đoán 1.3 Các loại mơ hình Naive Bayes Classification 1.1.1 Gaussian: Mơ hình Gaussian giả định đối tượng địa lý tuân theo phân phối chuẩn. Điều có nghĩa yếu tố dự đoán nhận giá trị liên tục thay rời rạc, mơ hình giả định giá trị lấy mẫu từ phân phối Gaussian 1.1.2 Đa thức: Bộ phân loại Naïve Bayes đa thức sử dụng liệu phân phối đa thức. Nó chủ yếu sử dụng cho vấn đề phân loại tài liệu, có nghĩa tài liệu cụ thể thuộc danh mục thể thao, trị, giáo dục, Trình phân loại sử dụng tần suất từ cho yếu tố dự đoán 1.1.3 Bernoulli: Bộ phân loại Bernoulli hoạt động tương tự bộ phân loại đa thức, biến dự báo biến Booleans độc lập. Chẳng hạn từ cụ thể có tài liệu hay khơng. Mơ hình tiếng với nhiệm vụ phân loại tài liệu 1.4 Ví dụ: Xét liệu đơn giản việc làm muộn bạn nhân viên Bộ liệu biểu diễn dạng bảng Giờ dậy (x1) Sức khỏe (x2) Thời tiết (x3) Đi muộn (x4) Sớm Tốt Nắng Khơng Sớm Xấu Mưa Khơng Bình thường Tốt Nắng Có Muộn Xấu Nắng Có Sớm Xấu Nhiều mây Khơng Bình thường Xấu Nhiều mây Khơng Muộn Tốt Nắng Có Bình thường Tốt Nắng Khơng Sớm Xấu Nhiều mây Có 10 Muộn Tốt Mưa Có Lập bảng tần suất cho đặc trưng cho mục tiêu: Giờ dậy (x1) Muộn Không muộn P (x1|Muộn) P (x1|không muộn) Sớm 1/5 3/5 Bình thường 1/5 2/5 Muộn 3/5 0/5 Sức khỏe (x2) Muộn Không muộn P (x2|Muộn) P (x2|Không muộn) Tốt 3/5 2/5 Xấu 2/5 3/5 Thời tiết (x3) Muộn Không muộn P (x3|Muộn) P (x3|Không muộn) Nắng 3/5 2/5 Nhiều mây 1/5 2/5 Mưa 1 1/5 1/5 Để dự đoán cho ngày X = (Muộn, Xấu, Mưa), cần tính: P(Muộn|X) = P(Muộn|Muộn) * P(Xấu|Muộn) * P(Mưa|Muộn) * P(Muộn) = (3/5) * (2/5) * (1/5) * (5/10) = 0.024 P (Không muộn|X) = P(Muộn|Không muộn) * P(Xấu|Không muộn) * P(Mưa| Không muộn) * P(Không muộn) = (0/5) * (3/5) * (1/5) * (5/10) =  y = argmax {P(X|y)P(y)} = Muộn 1.5  Ứng dụng thuật toán Naive Bayes Classification Dự đoán thời gian thực:  Naive Bayes công cụ phân loại ham học hỏi chắn nhanh. Do đó, sử dụng để đưa dự đoán thời gian thực  Dự đoán nhiều lớp:  Thuật toán tiếng với tính dự đốn nhiều lớp. Ở dự đốn xác suất nhiều lớp biến mục tiêu  Phân loại văn / Lọc thư rác / Phân tích tình cảm: Các bộ phân loại Naive Bayes chủ yếu sử dụng phân loại văn (do kết tốt tốn nhiều lớp quy tắc độc lập) có tỷ lệ thành cơng cao so với thuật tốn khác. Do đó, sử dụng rộng rãi lọc Spam 10 (xác định e-mail spam) Phân tích cảm xúc (trong phân tích phương tiện truyền thơng xã hội, để xác định cảm xúc tích cực tiêu cực khách hàng)  Hệ thống đề xuất:  Naive Bayes Classifier và Collaborative Filtering cùng xây dựng Hệ thống đề xuất sử dụng kỹ thuật học máy khai thác liệu để lọc thơng tin khơng nhìn thấy dự đốn liệu người dùng có muốn tài ngun định hay không PHẦN 3: KẾT LUẬN 1.Ưu điểm: - Naive Bayes Classifiers thường sử dụng toán Text Classification - Naive Bayes Classifiers dễ dàng cài đặt, có thời gian training test nhanh Điều có nhờ vào việc giả sử tính độc lập thành phần, biết class - Naive Bayes Classifiers hoạt động với feature vector mà phần liên tục (sử dụng Gaussian Naive Bayes), phần lại dạng rời rạc (sử dụng Multinomial Bernoulli) - Khi sử dụng Multinomial Naive Bayes Laplace smoothing thường sử dụng để tránh trường hợp thành phần test data chưa xuất training data - Dự đoán đa lớp với độ xác cao 11 2.Nhược điểm: - Giả thuyết tính độc lập điều kiện làm giảm độ xác thuật tốn - Khi tiến hành dự đốn tập liệu mà khơng có training xác suất xác định 12 Tài liệu tham khảo Marc Peter Deisenroth, A Aldo Faisal, and Cheng Soon Ong (2020),  Mathematics for Machine Learning, Cambridge University Press, ISBN13: 978-1108455145 Bengio, Yoshua Deep Learning (2016), Adaptive Computation and Machine Learning Series, London, England: MIT Press, ISBN-13: 978-0262035613 https://techtalk.vn Exercise 6: Naive Bayes 13