TOÁN ỨNG DỤNG CHO TRÍ TUỆ NHÂN tạo báo cáo đề tài 13 naive bayes classifier

TRƯỜNG ĐẠI HỌC PHENIKAA KHOA KHOA HỌC CƠ BẢN ******* TỐN ỨNG DỤNG CHO TRÍ TUỆ NHÂN TẠO BÁO CÁO Đề tài 13: Naive Bayes Classifier Thành viên: Khổng Thị Dung – 21012374 Trương Thị Nhung – 21011061 Trần Tiến Dũng - 21013342 HÀ NỘI, THÁNG 10, 2022 Tieu luan MỤC LỤC LỜI CẢM ƠN LỜI NÓI ĐẦU .5 PHẦN 1: CƠ SỞ LÝ THUYẾT 1.Thuật toán Naive Bayes Classification 2.Công thức Naive Bayes: PHẦN 2: NỘI DUNG Naive Bayes Classification 1.1 Đặc điểm Naive Bayes Classification 1.2 Cách hoạt động Naive Bayes Classification 1.3 Các loại mơ hình Naive Bayes Classification 1.4 Ví dụ: 1.5 Ứng dụng thuật toán Naive Bayes Classification 10 PHẦN 3: KẾT LUẬN 11 1.Ưu điểm: 11 2.Nhược điểm: 12 Tài liệu tham khảo 13 Tieu luan Bảng nhiệm vụ Thành viên Nhiệm vụ Khổng Thị Dung Cơ sở lí thuyết, Đặc điểm Naive Bayes Classification Trương Thị Nhung Cách hoạt động Naive Bayes Classification, Các loại mơ hình Naive Bayes Classification Trần Tiến Dũng Ứng dụng thuật toán Naive Bayes Classification,ưu điểm , nhược điểm Tieu luan LỜI CẢM ƠN Để có kiến thức tảng hồn thành đề tài này, nhóm chúng em xin cảm ơn nhà trường đưa mơn học Tốn ứng dụng cho trí tuệ nhân tạo học máy vào chương trình giảng dạy Mơn học mang lại cho chúng em kiến thức toán sử dụng cho trí tuệ nhân tạo bản, ngồi mơn học cịn giúp chúng em cải thiện kỹ mềm kỹ thuyết trình, kỹ viết báo cáo, kỹ làm việc nhóm, … Đây kỹ quan trọng vô cần thiết cho chúng em giảng đường đại học cho tương lai công việc sau Đặc biệt, chúng em xin gửi lời cảm ơn sâu sắc đến Thầy Vũ Hoàng Diệu giảng dạy, bảo truyền đạt cho chúng em kiến thức quý báu suốt thời gian chúng em học mơn Tốn ứng dụng cho trí tuệ nhân tạo học máy Nhóm chúng em cố gắng để hoàn thành đề tài cách hồn chỉnh nhất, nhiên kiến thức chúng em hạn chế, khả tiếp thu thực tế cịn nhiều khó khăn, đề tài khơng tránh khỏi thiếu sót Chúng em mong ý kiến đóng góp Thầy để hồn thiện rút kinh nghiệm quý báu Xin chân thành cảm ơn! Tieu luan LỜI NÓI ĐẦU Trong kỷ nguyên cơng nghiệp 4.0 phát triển nở rộ, “Trí tuệ nhân tạo yếu tố không nhắc đến Ngày nay, cơng nghệ trí tuệ nhân tạo ngành công nghệ quan trọng hàng đầu, giúp người giải nhiều vấn đề sống Toán ứng dụng cho trí tuệ nhân tạo học phần trang bị kỹ lập trình kiến thức đại số tuyến tính, giải tích nhiều chiều, lý thuyết xác suất thống kê, phương pháp thuật tốn tối ưu cho trí tuệ nhân tạo học máy Hiện nay, khoa học công nghệ ngày phát triển Các hệ thống thư viện điện tử, thư viện trực tuyến ngày sử dụng rộng rãi, kèm theo vấn đề liên quan đến phân loại, tìm kiếm chia theo danh mục gợi ý nội dung đọc cho người dùng Với lượng thông tin lớn, đồ sộ, yêu cầu đặt để tổ chức tìm kiếm thơng tin có hiệu Phân loại thơng tin giải pháp hợp lý cho yêu cầu Nhưng thực tế khối lượng thông tin lớn, việc phân loại liệu thủ công điều khơng thể Hướng giải chương trình máy tính tự động phân loại thơng tin Vì nhóm em chọn đề tài số 13: Naive bayes classifier để nghiên cứu, tìm hiểu thuật tốn ưu nhược điểm thuật toán Tieu luan PHẦN 1: CƠ SỞ LÝ THUYẾT 1.Thuật toán Naive Bayes Classification Thuật toán phân loại Naive Bayes – thuật toán dựa định lý Bayes lý thuyết xác suất để đưa phán đoán phân loại liệu dựa liệu quan sát thống kê, ứng dụng nhiều lĩnh vực học máy dùng để đưa dự đốn có độ xác cao, dựa tập liệu thu thập Naive Bayes Classification thuộc vào nhóm học máy có giám sát Mơ hình Naive Bayesian dễ thực đặc biệt hữu ích cho tập liệu lớn Ngồi đơn giản Naive Bayes nhận xét xử lý nhanh, độ xác cao vượt trội phương pháp phân loại tiên tiến Ví dụ, coi cam có màu cam, trịn đường kính khoảng inch Ngay tính phụ thuộc vào dựa tồn tính khác, phân loại Naive Bayes xem xét tất đặc điểm để đóng góp độc lập vào xác suất loại quả cam 2.Công thức Naive Bayes: Cơng thức Nạve Bayes định nghĩa: P(B|A): xác xuất lớp mục tiêu dự đoán P(B): xác xuất lớp trước P(A|B): khả xác xuất lớp dự đoán đưa P(A): xác xuất dự đoán trước Tieu luan PHẦN 2: NỘI DUNG Naive Bayes Classification Đây một kỹ thuật phân loại dựa Định lý Bayes với giả định độc lập yếu tố dự đốn. Nói cách khác, phân loại Naive Bayes giả định diện đối tượng cụ thể lớp không liên quan đến diện đối tượng địa lý khác 1.1 - Đặc điểm Naive Bayes Classification Thuật tốn Nạve Bayes thuật tốn học có giám sát, dựa trên định lý Bayes và sử dụng để giải tốn phân loại - Nó chủ yếu sử dụng trong phân loại văn bản bao gồm tập liệu đào tạo chiều cao - Naïve Bayes Classifier thuật toán Phân loại đơn giản hiệu giúp xây dựng mô hình học máy nhanh đưa dự đốn nhanh chóng - Nó phân loại theo xác suất, có nghĩa dự đốn sở xác suất đối tượng - Một số ví dụ phổ biến Thuật tốn Nạve Bayes là lọc thư rác, phân tích tình cảm, phân loại báo 1.2 Cách hoạt động Naive Bayes Classification Bước 1: Chuyển tập liệu thành bảng tần số Bước 2: Tạo bảng khả cách tìm xác suất Bước 3: Bây giờ, sử dụng phương trình Naive Bayesian để tính xác suất sau cho lớp. Lớp có xác suất hậu phương cao kết dự đốn Tieu luan 1.3 Các loại mơ hình Naive Bayes Classification 1.1.1 Gaussian: Mơ hình Gaussian giả định đối tượng địa lý tuân theo phân phối chuẩn. Điều có nghĩa yếu tố dự đốn nhận giá trị liên tục thay rời rạc, mơ hình giả định giá trị lấy mẫu từ phân phối Gaussian 1.1.2 Đa thức: Bộ phân loại Naïve Bayes đa thức sử dụng liệu phân phối đa thức. Nó chủ yếu sử dụng cho vấn đề phân loại tài liệu, có nghĩa tài liệu cụ thể thuộc danh mục thể thao, trị, giáo dục, Trình phân loại sử dụng tần suất từ cho yếu tố dự đoán 1.1.3 Bernoulli: Bộ phân loại Bernoulli hoạt động tương tự bộ phân loại đa thức, biến dự báo biến Booleans độc lập. Chẳng hạn từ cụ thể có tài liệu hay khơng. Mơ hình tiếng với nhiệm vụ phân loại tài liệu 1.4 Ví dụ: Xét liệu đơn giản việc làm muộn bạn nhân viên Bộ liệu biểu diễn dạng bảng Giờ dậy (x1) Sức khỏe (x2) Thời tiết (x3) Đi muộn (x4) Sớm Tốt Nắng Không Sớm Xấu Mưa Không Tieu luan Bình thường Tốt Nắng Có Muộn Xấu Nắng Có Sớm Xấu Nhiều mây Khơng Bình thường Xấu Nhiều mây Khơng Muộn Tốt Nắng Có Bình thường Tốt Nắng Khơng Sớm Xấu Nhiều mây Có 10 Muộn Tốt Mưa Có Lập bảng tần suất cho đặc trưng cho mục tiêu: Giờ dậy (x1) Muộn Không muộn P (x1|Muộn) P (x1|không muộn) Sớm 1/5 3/5 Bình thường 1/5 2/5 Muộn 3/5 0/5 Sức khỏe (x2) Muộn Không muộn P (x2|Muộn) P (x2|Không muộn) Tốt 3/5 2/5 Xấu 2/5 3/5 Tieu luan Thời tiết (x3) Muộn Không muộn P (x3|Muộn) P (x3|Không muộn) Nắng 3/5 2/5 Nhiều mây 1/5 2/5 Mưa 1 1/5 1/5 Để dự đốn cho ngày X = (Muộn, Xấu, Mưa), cần tính: P(Muộn|X) = P(Muộn|Muộn) * P(Xấu|Muộn) * P(Mưa|Muộn) * P(Muộn) = (3/5) * (2/5) * (1/5) * (5/10) = 0.024 P (Không muộn|X) = P(Muộn|Không muộn) * P(Xấu|Không muộn) * P(Mưa| Không muộn) * P(Không muộn) = (0/5) * (3/5) * (1/5) * (5/10) =  y = argmax {P(X|y)P(y)} = Muộn 1.5  Ứng dụng thuật toán Naive Bayes Classification Dự đoán thời gian thực:  Naive Bayes công cụ phân loại ham học hỏi chắn nhanh. Do đó, sử dụng để đưa dự đoán thời gian thực  Dự đoán nhiều lớp:  Thuật toán tiếng với tính dự đốn nhiều lớp. Ở dự đoán xác suất nhiều lớp biến mục tiêu  Phân loại văn / Lọc thư rác / Phân tích tình cảm: Các bộ phân loại Naive Bayes chủ yếu sử dụng phân loại văn (do kết tốt toán nhiều lớp quy tắc độc lập) có tỷ lệ thành cơng cao so với thuật tốn khác. Do đó, sử dụng rộng rãi lọc Spam 10 Tieu luan (xác định e-mail spam) Phân tích cảm xúc (trong phân tích phương tiện truyền thơng xã hội, để xác định cảm xúc tích cực tiêu cực khách hàng)  Hệ thống đề xuất:  Naive Bayes Classifier và Collaborative Filtering cùng xây dựng Hệ thống đề xuất sử dụng kỹ thuật học máy khai thác liệu để lọc thơng tin khơng nhìn thấy dự đốn liệu người dùng có muốn tài ngun định hay không PHẦN 3: KẾT LUẬN 1.Ưu điểm: - Naive Bayes Classifiers thường sử dụng toán Text Classification - Naive Bayes Classifiers dễ dàng cài đặt, có thời gian training test nhanh Điều có nhờ vào việc giả sử tính độc lập thành phần, biết class - Naive Bayes Classifiers hoạt động với feature vector mà phần liên tục (sử dụng Gaussian Naive Bayes), phần lại dạng rời rạc (sử dụng Multinomial Bernoulli) - Khi sử dụng Multinomial Naive Bayes Laplace smoothing thường sử dụng để tránh trường hợp thành phần test data chưa xuất training data - Dự đoán đa lớp với độ xác cao 11 Tieu luan 2.Nhược điểm: - Giả thuyết tính độc lập điều kiện làm giảm độ xác thuật tốn - Khi tiến hành dự đoán tập liệu mà khơng có training xác suất xác định 12 Tieu luan Tài liệu tham khảo Marc Peter Deisenroth, A Aldo Faisal, and Cheng Soon Ong (2020),  Mathematics for Machine Learning, Cambridge University Press, ISBN13: 978-1108455145 Bengio, Yoshua Deep Learning (2016), Adaptive Computation and Machine Learning Series, London, England: MIT Press, ISBN-13: 978-0262035613 https://techtalk.vn Exercise 6: Naive Bayes 13 Tieu luan ... nở rộ, ? ?Trí tuệ nhân tạo yếu tố không nhắc đến Ngày nay, cơng nghệ trí tuệ nhân tạo ngành công nghệ quan trọng hàng đầu, giúp người giải nhiều vấn đề sống Toán ứng dụng cho trí tuệ nhân tạo học... ơn nhà trường đưa mơn học Tốn ứng dụng cho trí tuệ nhân tạo học máy vào chương trình giảng dạy Mơn học mang lại cho chúng em kiến thức toán sử dụng cho trí tuệ nhân tạo bản, ngồi mơn học giúp chúng... em chọn đề tài số 13: Naive bayes classifier để nghiên cứu, tìm hiểu thuật tốn ưu nhược điểm thuật toán Tieu luan PHẦN 1: CƠ SỞ LÝ THUYẾT 1.Thuật toán Naive Bayes Classification Thuật toán phân