Nghiên cứu một số thuật toán máy học và ứng dựng trong truy vấn văn bản tự động

Trong khoa học máy tính, trí tuệ nhân tạo hay AI (tiếng Anh: artificial intelligence), đôi khi được gọi là trí thông minh nhân tạo, là trí thông minh được thể hiện bằng máy móc, trái ngược với trí thông minh tự nhiên của con người. Thông thường, thuật ngữ trí tuệ nhân tạo thường được sử dụng để mô tả các máy chủ móc (hoặc máy tính) có khả năng bắt chước các chức năng nhận thức mà con người thường phải liên kết với tâm trí, như học tập và giải quyết vấn đề

Trường Đại học Khoa học Tự nhiên Khoa Công nghệ Thơng tin ĐỀ TÀI: NGHIÊN CỨU MỘT SỐ THUẬT TOÁN MÁY HỌC VÀ ỨNG DỤNG TRONG TRUY VẤN VĂN BẢN TỰ ĐỘNG NGƯỜI HƯỚNG DẪN KHOA HỌC: TS VŨ THANH NGUYÊN HỌC VIÊN THỰC HIỆN: NGUYỄN PHƯỚC ĐẠI Nội dung trình bàyi dung trình bày A Nhu cầu truy vấn thông tin B Mục đích luận văn C Giải toán D Đánh giá đề xuất A Nhu cầu truy vấn thoâng tinu truy vấn thông tinn thông tin A1 Tính đa dạng, phức tạp thông tin A2 Nhu cầu truy vấn thông tin Lượng thông tin tiếp nhận lớn Các thông tin không tổ chức theo cấu trúc định A3 Sự cần thiết hệ thống truy vấn thông tin văn Tổ chức lại hệ thống văn phân lớp văn Hỗ trợ tìm kiếm thông tin nhanh chóng B Mục đích luận văn Lý thuyết: Nghiên cứu số thuật toán máy học phục vụ cho việc truy vấn văn bản: K-Trung bình, DBSCAN, dựa vào phản hồi người dùng, mạng Bayes Ứng dụng: Trên sở đó, xây dựng hệ thống gom nhóm truy vấn văn Tiếng Việt, cho phép người sử dụng tìm kiếm thông tin nhanh chóng C Giải toán C1 Phân chia tập văn thành tập nhỏ theo chủ đề C1.1 Nguyên lý phân lớp C1.2 Các thuật toán phân lớp Thuật toán K-Trung bình Thuật toán DBSCAN C2 Xây dựng hệ thống truy vấn thông tin tập văn phân chia C1.1 Nguyên lý phân lớp Khái niệm phân lớp: Lớp B Lớp A Lớp C Hình 1: Khái niệm phân lớp C1.1 Nguyên lý phân lớp Mô hình phân lớp Phân lớp Phân cấp Tích tụ Không phân cấp Chia nhỏ Ngưỡng Ngưỡng song song Tối ưu phân hoạch Hình 2: Các mô hình phân lớp C1.1 Nguyên lý phân lớp Phân cấp: Kết trình phân nhóm phân cấp chuỗi nhóm văn bản, nhóm chứa nhóm bên nó, đến lượt nhóm lại chứa nhóm beân trong,… A B C D E F G H I K Hình Mô hình gom nhóm phân cấp C1.1 Nguyên lý phân lớp Không phân cấp: Kết trình phân lớp không phân cấp tập lớp (nhóm) Mỗi lớp không chứa lớp bên trong,… Lớp B Lớp A Lớp C Hình Mô hình gom nhóm không phân cấp C1.2 Các thuật toán phân lớp Thuật toán K-Trung bình Bước 1: Khởi tạo tâm k nhóm: C1, C2, ,Ck Bước 2: Lặp lại:  Phân loại m mẫu xi vào nhóm Cj cho khoảng cách xi-Cj nhỏ  Tính toán lại Cj (Chỉnh tâm) Đến khi: Các tâm Cj không đổi Kết quả: Các lớp C1,C2,…Ck 10 C2.1 Tiền xử lý: Thu thập chọn đặc trưng: Chuyển tập văn HTML dạng TXT Tập văn HTML Loại bỏ html Tập văn TXT Chuyển tập văn HTML dạng TXT 19 C2.1 Tiền xử lý: Thu thập chọn đặc trưng Ví dụ: Chuyển tập văn HTML dạng TXT Tập tin HTML Tập tin HTML hiển thị lên trình duyệt Tập tin sau chuyển dạng TXT 20