(TIỂU LUẬN) xây DỰNG mô HÌNH PHÂN lớp với THUẬT TOÁN NAIVE BAYES

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO CUỐI KÌ XÂY DỰNG MƠ HÌNH PHÂN LỚP VỚI THUẬT TỐN NAIVE BAYES Giảng viên hướng dẫn: Ths BÙI TIẾN ĐỨC Sinh viên thực hiện: TRẦN CAO MINH MSSV: 2000004265 Chuyên ngành: TRÍ TUỆ NHÂN TẠO Mơn học: LẬP TRÌNH TRÍ TUỆ NHÂN TẠO Khóa: 2021-2022 Tp.HCM, tháng 09 năm 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NGUYỄN TẤT THÀNH KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO CUỐI KÌ XÂY DỰNG MƠ HÌNH PHÂN LỚP VỚI THUẬT TỐN NAIVE BAYES Giảng viên hướng dẫn: Ths BÙI TIẾN ĐỨC Sinh viên thực hiện: TRẦN CAO MINH MSSV: 2000004265 Chuyên ngành: TRÍ TUỆ NHÂN TẠO Mơn học: LẬP TRÌNH TRÍ TUỆ NHÂN TẠO Khóa: 2021-2022 Tp.HCM, tháng 09 năm 2022 Lời cảm ơn Lời đầu tiên, em chân thành gửi lời cảm ơn tới thầy BÙI TIẾN ĐỨC giúp đỡ em lớp suốt môn học Trong q trình học tập tìm hiểu mơn “LẬP TRÌNH TRÍ TUỆ NHÂN TẠO”, thầy tận tuỵ hỗ trợ nhiệt tình cho em, lớp Thầy giúp em tích luỹ thêm nhiều kiến thức để hồn thiện ước mơ cơng nghệ thơng tin Thơng qua báo cáo kì này, em muốn thể tổng quan tất kiến thức thầy truyền đạt cho em đến thời điểm Trong thời gian thực đồ án cuối kì mơn học để có kết nộp thầy không tránh thiếu sót, em mong thầy xem xét đưa nhận xét, góp ý chân thành để đồ án hồn thiện Kính chúc thầy nhiều sức khoẻ, thành công đường truyền đạt tri thức Em cảm ơn thầy! Lời mở đầu Trước hết xin nói chữ 'trí tuệ nhân tạo', vốn dùng rộng rãi cộng đồng Công nghệ thông tin Trí tuệ nhân tạo, tiếng Anh Artificial Intelligence hay chữ viết tắt dùng phổ biến AI, hiểu bình dân 'thơng minh nhân tạo', tức thơng minh máy móc người tạo ra, đặc biệt tạo cho máy tính, robot, hay máy móc có thành phần tính tốn điện tử Trí tuệ nhân tạo lĩnh vực khoa học công nghệ nhằm làm cho máy có khả trí tuệ trí thơng minh người, tiêu biểu biết suy nghĩ lập luận để giải vấn đề, biết giao tiếp hiểu ngơn ngữ tiếng nói, biết học tự thích nghi, dựa mơ hình máy học (Machine Learning) khai phá liệu (Data Mining) Tập liệu (Dataset) cung cấp 'nhiên liệu' cho mơ hình AI giống xăng điện cho ô tô Cho dù nhiệm vụ chúng tạo văn bản, nhận dạng đối tượng hay dự đốn giá cổ phiếu cơng ty, hệ thống AI 'học' cách chọn lọc qua vơ số ví dụ để phân biệt mẫu liệu Ví dụ, hệ thống thị giác máy tính (computer vision) đào tạo để nhận số vật thể 'học' trước đó, Dữ liệu kho tàng tài nguyên khổng lồ doanh nghiệp Bởi có q nhiều liệu khơng xếp phân nhóm dễ bị mất, tốn nhiều thời gian cho việc tìm kiếm hay thực mã hóa Encryption việc sử dụng sau Bên cạnh đó, việc thực phân loại liệu giúp doanh nghiệp dễ dàng quản lý liệu tránh việc thất Từ tiết kiệm chi phí cho giải pháp Data Loss Prevention tương lai Sau lợi ích việc phân loại liệu đem lại: - Xác định loại data có giá trị tổ chức, doanh nghiệp - Việc phân loại rõ ràng cụ thể liệu giúp cho việc lựa chọn giải pháp bảo vệ liệu nhanh chóng phù hợp - Dữ liệu phân loại rõ ràng giúp doanh nghiệp, tổ chức dựa vào để thiết lập hệ thống phân quyền truy cập cho cá nhân, từ tạo hiểu việc sử dụng liệu - Việc tiến hành phân loại thể chuyên nghiệp tổ chức Doanh nghiệp việc bảo vệ tài nguyên liệu có giá trị khách hàng doanh nghiệp Ta áp dụng Định lý Bayes cho phép tính xác suất xảy kiện ngẫu nhiên A biết kiện liên quan B xảy Xác suất ký hiệu P(A|B), đọc “xác suất A có B” Đại lượng gọi xác suất có điều kiện hay xác suất hậu nghiệm rút từ giá trị cho B phụ thuộc vào giá trị - Dựa định lý Bayes + Phân loại Naïve Bayesian Giả định: độc lập có điều kiện lớp (class conditional independence) + Phân loại Bayesian belief networks - Phương pháp phân loại dựa xác suất Nạve Bayes tính xác suất cho yếu tố, sau chọn kết với xác suất cao Tuy nhiên, ta cần lưu ý giả định thuật toán Naive Bayes yếu tố đầu vào cho độc lập với PHẦN NHẬN XÉT + CHẤM ĐIỂM CỦA GIẢNG VIÊN Điểm giáo viên hướng dẫn: Điểm giảng viên chấm vòng 2: TPHCM, Ngày …… tháng …… năm Giáo viên chấm vòng Giáo viên hướng dẫn MỤC LỤC Lời cảm ơn i Lời mở đầu ii PHẦN NHẬN XÉT + CHẤM ĐIỂM CỦA GIẢNG VIÊN iv MỤC LỤC .v DANH MỤC HÌNH vii Chương Giới thiệu đề tài 1.1 Lý chọn đề tài 1.2 Mô tả hướng xây dựng đề tài 1.3 Môi trường cài đặt .1 Chương Lý thuyết .3 2.1 Định lý Bayes 2.1.1 Giải thích kí hiệu cơng thức Bayes .3 2.2 Phân lớp Naïve Bayes 2.2.1 Cách để xây dựng mơ hình phân lớp Nạve Bayes .4 2.2.2 Tập liệu mẫu 2.2.3 Tính phân lớp mẫu A Chương Xây dựng thuật toán phân lớp 3.1 Quy trình khai phá tri thức 3.1.1 Phân tích mơ hình .7 3.1.2 Giải thích mơ hình Chương Dựa Trên Naïve Bayes Xây Dựng Mơ Hình Machine Learning Bằng Ngơn Ngữ Python 10 4.1 Các thư viện cần thiết 10 4.1.1 Thư viện Pandas 10 4.1.2 Thư viện Scikit-learn 10 4.2 Tiến hành viết lệnh 10 4.3 Các bước để chạy mơ hình Machine Learning Google Colaboratory .13 Kết luận 16 Hướng phát triển tương lai 16 Tài liệu kham khảo 17 DANH MỤC HÌNH Hình Bảng liệu giả lập Hình Quy trình khai phá tri thức Hình Trực quan bảng liệu sau chuyển thành số nguyên 11 Hình Kết mà máy học dựa bảng liệu giả lập mà ta áp vào 13 Hình Khởi chạy bước 13 Hình Khởi chạy bước 14 Hình Khởi chạy bước 14 Hình Khởi chạy bước 14 Hình Khởi chạy bước 15 Hình 10 Xem kết đánh giá độ xác model máy học 15 Chương Giới thiệu đề tài 1.1 Lý chọn đề tài Naïve Bayes Classification (NBC) thuật toán dựa định lý Bayes lý thuyết xác suất để đưa dự đoán phân loại liệu dựa liệu quan sát thống kê Naïve Bayes Classification thuật toán ứng dụng nhiều lĩnh vực Machine learning dùng để đưa dự đoán dựa tập liệu thu thập, độ phúc tạp thuật tốn thấp, thời gian huấn luyện mơ hình nhỏ, phù hợp với mơ hình liệu vừa phải Nó thuộc vào nhóm Supervised Machine Learning Algorithms (học có giám sát) dễ hiểu độ xác tương đối cao 1.2 Mô tả hướng xây dựng đề tài Sử dụng định lý Naïve Bayes để phân lớp gán nhãn cho liệu từ liệu cho trước, bỏ qua vấn đề tiền xử lý liệu - Ta tách dòng từ bảng liệu thành hai phần: + Train: Dùng máy học + Test: Dùng để kiểm tra lại kết máy học - Tức máy học từ ví dụ từ mẫu liệu có sau đánh giá lại sai số mơ hình - Tiến hành viết lệnh ngôn ngữ Python thực thi môi trường Google Colaboratory 1.3 Môi trường cài đặt Môi trường: - Ngôn ngữ: Python Sản phẩm viết thực thi Google Colaboratory Bộ liệu lưu trữ GitHub Chương Lý thuyết 2.1 Định lý Bayes Định lý Bayes cho phép tính xác suất xảy kiện ngẫu nhiên A biết kiện liên quan B xảy Xác suất ký hiệu P(A|B), đọc "xác suất A có B" Đại lượng gọi xác suất có điều kiện hay xác suất hậu nghiệm rút từ giá trị cho B phụ thuộc vào giá trị - Theo định lý Bayes, xác suất xảy A biết B phụ thuộc vào yếu tố: + Xác suất xảy A riêng nó, khơng quan tâm đến B Ký hiệu P(A) đọc xác suất A Đây gọi xác suất biên duyên hay xác suất tiên nghiệm, "tiên nghiệm" theo nghĩa không quan tâm đến thông tin B + Xác suất xảy B riêng nó, không quan tâm đến A Ký hiệu P(B) đọc "xác suất B" Đại lượng gọi số chuẩn hóa (normalising constant), giống nhau, không phụ thuộc vào kiện A muốn biết + Xác suất xảy B biết A xảy Ký hiệu P(B|A) đọc "xác suất B có A" Đại lượng gọi khả (likelihood) xảy B biết A xảy Chú ý không nhầm lẫn khả xảy B biết A xác suất xảy A biết B Khi biết ba đại lượng này, xác suất A biết B cho công thức: P( A∨B)= P(B∨A)∗P( A) P(B) 2.1.1 Giải thích kí hiệu cơng thức Bayes Từ cơng thức Bayes ta có : A: Một mẫu (đối tượng), thuộc phân lớp B B: Phân lớp (ví dụ phân lớp Yes - No, Có – Khơng, – 1,…) P(A): Xác suất giả thuyết C (khi chưa có chứng cứ) P(B): Xác suất quan sát chứng B P(A | B) : Xác suất giả thuyết A có chứng B P(B | A): Xác suất nhìn thấy chứng B biết giả thuyết A 2.2 Phân lớp Naïve Bayes Dựa Định lý Bayes, đưa giả thiết “ngây thơ” thuộc tính độc lập với Với giả thuyết thuộc tính hồn tồn độc lập với nhau, thực tế thuộc tính khơng độc lập với Ví dụ: Trời nắng ảnh hưởng tới nhiệt độ Tuổi cao ảnh hưởng đến khả ghi nhớ học,… 2.2.1 Cách để xây dựng mô hình phân lớp Nạve Bayes Mẫu số P(B) khơng phụ thuộc vào liệu đầu vào lớp A → Khơng thiết phải tính để phân lớp Với P(A | B), P(A) P(B) tính từ tập liệu → Phân lớp mẫu B cho P(A | B) lớn 2.2.2 Tập liệu mẫu - Cho tập liệu mẫu có cột + Cột ‘CongTy’ mô tả công ty làm việc: nhận giá trị + Cột ‘CongViec’ mô tả vị trí làm việc cơng ty đó: nhận giá trị + Cột ‘BangCap’ mô tả cấp làm việc cơng ty đó: nhận giá trị + trị Cột ‘LuongTren_20Trieu’ mô tả mức cơng ty đó: nhận giá Hình Bảng liệu giả lập 2.2.3 Tính phân lớp mẫu A Cho phân lớp giả lập mẫu A=(CongTy = FPT_sof, CongViec = Banhang, BangCap=Thacsi) - Lúc ta cần tính: P(Luong20Trieu = Co) * P( A | Luong20Trieu = Co) = P(Luong20Trieu = Co) * P(CongTy = FPT_sof | Luong20Trieu = Co) * P(CongViec = Banhang | Luong20Trieu = Co) * P(BangCap=Thacsi | Luong20Trieu = Co) P(Luong20Trieu = Khong) * P( A | Luong20Trieu = Khong) = P(Luong20Trieu = Khong) * P(CongTy = FPT_sof | Luong20Trieu = Khong) * P(CongViec = Banhang | Luong20Trieu = Khong) * P(BangCap=Thacsi | LuongT20Trieu = Khong) - Sau quan sát bảng liệu giả lập ta thu 23 dòng liệu: P(Luong20Trieu = Co) P(Luong20Trieu = Khong) P(CongTy = FPT_sof | Luong20Trieu = Co) P(CongTy = FPT_sof | Luong20Trieu = Khong) P(CongViec = Banhang | Luong20Trieu = Co) P(CongViec = Banhang | Luong20Trieu = Khong) P(BangCap=Thacsi | LuongT20Trieu = Co) P(BangCap=Thacsi | Luong20Trieu = Khong) - Tính tốn phân lớp dựa vào định lý Naïve Bayes P(Luong20Trieu = Co) * P(A | Luong20Trieu = Co) = (14/23) * (4/14) * (3/14) * (11/14) = 0.0292 P(Luong20Trieu = Khong) * P(A | Luong20Trieu = Khong) =(9/23) * (2/9) * (3/9) * (2/9) = 0.0064 ⟹ Vậy kết luận mẫu A thuộc phân lớp Luong20Trieu = Co Chương Xây dựng thuật toán phân lớp 3.1 Quy trình khai phá tri thức - Q trình xử lý liệu thơ/gốc (raw/original data) nhằm cải thiện chất lượng liệu (quality of the data) cải thiện chất lượng kết khai phá - Chất lượng liệu (data quality): tính xác, tính hành, tính tồn vẹn, tính quán Hình Quy trình khai phá tri thức 3.1.1 Phân tích mơ hình - Làm liệu (data cleaning/cleansing): loại bỏ nhiễu (Remove noise), hiệu chỉnh phần liệu khơng qn (Correct data inconsistencies) - Tích hợp liệu (Data integration): từ nhiều nguồnkhác vào kho liệu - Biến đổi liệu (Data transformation): chuẩn hoá liệu (Data normalization) - Thu giảm liệu (Data reduction): + Thu giảm kích thước liệu (nghĩa giảm số phần tử) kết hợp liệu (Data Aggregation), gom cụm liệu + loại bỏ đặc điểm dư thừa (redundant features) giảm số chiều/thuộc tính liệu 3.1.2 Giải thích mơ hình - Làm liệu: + Xử lý liệu bị thiếu (Missing data) Nguyên nhân: không tồn lúc nhập liệu, cố,… Giải pháp: Bỏ qua dòng liệu đó, cập nhật tay, dùng giá trị thay (tự động): số toàn cục, trị phổ biến, trung bình (tồn cục, cục bộ), trị dự đốn,… Ngăn chặn từ ban đầu: thiết kế tốt CSDL thủ tục nhập liệu (các ràng buộc liệu) + Nhận diện phần tử biên (Outliers) giảm thiểu nhiễu (Noisy data) Nguyên nhân: (công cụ thu thập liệu, lỗi đường truyền, giới hạn công nghệ, Giải pháp: Dựa phân bố thống kê, Dựa mật độ, Hồi quy, Phân tích cụm,… + Xử lý liệu khơng quán (Inconsistent data) Nguyên nhân: Không quán qui ước đặt tên hay mã hóa, Định dạng không quán vùng nhập liệu, Thiết bị ghi nhận liệu, … Giải pháp: Tận dụng siêu liệu, ràng buộc liệu, kiểm tra nhà phân tích liệu cho việc nhận diện, Điều chỉnh liệu khơng qn tay,… - Tích hợp liệu: + Quá trình tập hợp liệu từ nguồn khác vào kho liệu sẵn sàng cho trình Khai Phá Dữ Liệu + Vấn đề nhận dạng thực thể (Entity identification problem) Tích hợp lược đồ (Schema integration) So trùng đối tượng (Object matching) + Vấn đề dư thừa (Redundancy) + Vấn đề mâu thuẫn giá trị liệu (Data value conflicts) - Biến đổi liệu + Làm trơn liệu (Smoothing) + Kết hợp liệu (Aggregation) + Tổng quát hoá (Generalization) + Chuẩn hố (Normalization) + Xây dựng thuộc tính/đặc tính (Attribute/Feature construction) - Thu giảm liệu + Các chiến lược thu giảm Kết hợp khối liệu (Data cube aggregation) Chọn số thuộc tính (Attribute subset selection) Thu giảm chiều (Dimensionality reduction) Thu giảm lượng (Numerosity reduction) Rời rạc hóa (Discretization) Tạo phân cấp ý niệm (concept hierarchy generation) Chương Dựa Trên Naïve Bayes Xây Dựng Mơ Hình Machine Learning Bằng Ngơn Ngữ Python - Giả thuyết liệu ta có liệu chuẩn, không cần phải xử lý lại - Giả sử tên cột giá trị bảng liệu thật xử lý 4.1 Các thư viện cần thiết 4.1.1 Thư viện Pandas Là thư viện Python cung cấp cấu trúc liệu nhanh, mạnh mẽ, linh hoạt mang hàm ý Tên thư viện bắt nguồn từ panel data (bảng liệu) Pandas thiết kế để làm việc dễ dàng trực quan với liệu có cấu trúc (dạng bảng, đa chiều, có tiềm khơng đồng nhất) liệu chuỗi thời gian 4.1.2 Thư viện Scikit-learn Sklearn thiết kế để xử lý thư viện số khoa học Python NumPy SciPy Các tính thư viện Scikit-learning bao gồm thuật toán phân loại, hồi quy phân cụm (hỗ trợ máy vectơ, rừng ngẫu nhiên, tăng độ dốc, k-means DBSCAN) 4.2 Tiến hành viết lệnh - Đầu tiên ta gọi thư viện đọc file csv # Bước 1: Khởi tạo thư viện đọc file data CSV # Gọi thư viện import pandas as pd from sklearn.preprocessing import LabelEncoder # Load file liệu csv url='https://raw.githubusercontent.com/CaoMinhh/file-dulieu-tieuduong/main/DataTest.csv' df = pd.read_csv(url) - Sau ta đặt biến phụ thuộc (x) biến độc lập (y) # lấy tất cột để làm biến độc lập trừ cột LuongTren_20Trieu inputs = df.drop('LuongTren_20Trieu', axis='columns') # Lấy cột LuongTren_20Trieu để làm biến phụ thuộc targets = df['LuongTren_20Trieu'] - Do liệu từ file csv kiểu chuỗi nên ta tiến hành dùng hàm LabelEncoder() từ thư viện sklearn để chúng thành số ngun để máy tính hiểu # Bước 2: Conver liệu text sang number # chuyển giá trị data từ liệu text sang number (do máy tính xử lý data có giá trị số) le_Congty = LabelEncoder() le_Congviec = LabelEncoder() le_Bangcap = LabelEncoder() inputs['Công ty'] = le_Congty.fit_transform(inputs['CongTy']) inputs['Công việc'] = le_Congviec.fit_transform(inputs['CongViec']) inputs['Bằng cấp'] = le_Bangcap.fit_transform(inputs['BangCap']) - Lúc bảng liệu gốc ta có thêm cột giá trị vừa chuyển đổi thành số Hình Trực quan bảng liệu sau chuyển thành số nguyên - Ta tiến hành xố bỏ cột có giá trị kiểu chuỗi drop() inputs_n = inputs.drop(['CongTy', 'CongViec', 'BangCap',],axis='columns') print(inputs_n) - Lúc ta tách bảng liệu thành phần train test - Ta lấy 70% bảng liệu máy học dùng 30% cịn lại để kiểm tra độ xác # Bước 3: Tạo model từ phân loại đưa vào máy học # Tạo model đưa vào máy học from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(inputs_n,targets,test_size=0.3) from sklearn.naive_bayes import GaussianNB # Đại diện cho Gaussian Naive Bayes model = GaussianNB() # Đưa liệu vào model máy học dựa Naive Bayes model.fit(X_train,y_train) - Dùng model.core để đánh giá lại mô hình xác phần trăm # Bước 4: Đánh giá mơ hình máy học # Đánh giá độ xác mơ hình doChinhXac = model.score(X_test,y_test) # Đếm số dòng dùng để học kiểm tra sizeHocMay = (round(len(X_train) / len(inputs) , 2)) sizeKiemTra = (round(len(X_test) / len(inputs) , 2)) - Sau ta tiến hành in kết thu sau chạy model # Bước 5: Xuất kết print(f'Từ tập liệu có {len(inputs)} dịng ta lấy {sizeHocMay*100}% cho máy học dùng {sizeKiemT ra*100}% để kiểm tra') print(f'Số dòng máy học: {len(X_train)} \nSố dịng kiểm tra: {len(X_test)} \n') print(f'Kết máy dự đốn ra: \n{y_test[0:5]} \n') print(f'Kết thực tế: \n{model.predict(X_test[0:5])}') print(f'Độ xác model máy học: {doChinhXac*100}% \n') - Ví dụ ta khởi chạy, model trả kết mà máy học dựa bảng liệu giả lập mà ta áp vào: Hình Kết mà máy học dựa bảng liệu giả lập mà ta áp vào 4.3 Các bước để chạy mơ hình Machine Learning Google Colaboratory - Truy cập vào địa mã nguồn 4.1 sau tiến hành bước sau: Bước 1: Khởi tạo thư viện đọc file data CSV Hình Khởi chạy bước Bước 2: Conver liệu text sang number Hình Khởi chạy bước Bước 3: Tạo model từ phân loại đưa vào máy học Hình Khởi chạy bước Bước 4: Đánh giá mơ hình máy học Hình Khởi chạy bước Bước 5: Xuất kết Hình Khởi chạy bước Bước 6: Xem kết đánh giá độ xác model máy học Hình 10 Xem kết đánh giá độ xác model máy học Kết luận - Kết thúc khóa học hiểu quy trình khai phá tri thức lĩnh vực AI nói chung Machine Learning Deep Learning nói riêng - Biết cách áp dụng toán học vào AI để khai phá tri thức từ liệu - Biết cách tổ chức liệu trình khai phá tri thức - Biết áp dụng cơng cụ tốn học để huấn luyện cho máy học - Có thể áp dụng thư viện hỗ trợ mạnh mẽ tốn học ngơn ngữ lập trình Python Hướng phát triển tương lai - Xây dựng thêm giao diện cho người dùng tương tác - Điều chỉnh tham số truyền vào - Giảm sai số mơ hình Tài liệu kham khảo Mã nguồn source code: https://drive.google.com/drive/folders/1N_8N_0Evv84rFi6GOBD0DDOSDL slBJDf?usp=sharing Mã nguồn liệu giả lập : https://drive.google.com/file/d/1WQ1U1oBloVbKrKAwd1W6FScww6j4hek/view?usp=sharing Thực thi sản phẩm Google Colab : https://colab.research.google.com/drive/1h96ocsY1AYT6B4ynhqMba79ULPen9qS?authuser=3 ... 2.2.1 Cách để xây dựng mơ hình phân lớp Nạve Bayes Mẫu số P(B) không phụ thuộc vào liệu đầu vào lớp A → Khơng thiết phải tính để phân lớp Với P(A | B), P(A) P(B) tính từ tập liệu → Phân lớp mẫu B... Tính phân lớp mẫu A Chương Xây dựng thuật toán phân lớp 3.1 Quy trình khai phá tri thức 3.1.1 Phân tích mơ hình .7 3.1.2 Giải thích mơ hình. .. .3 2.1 Định lý Bayes 2.1.1 Giải thích kí hiệu cơng thức Bayes .3 2.2 Phân lớp Naïve Bayes 2.2.1 Cách để xây dựng mơ hình phân lớp Nạve Bayes .4