Bài giảng Tìm kiếm và trình diễn thông tin: Bài 14 - TS.Nguyễn Bá Ngọc hướng đến trình bày chia cụm và ứng dụng trong tìm kiếm; vấn đề chia cụm; vấn đề chia cụm, minh họa; phân lớp vs. Chia cụm; ứng dụng chia cụm trong tìm kiếm;...
(IT4853) Tìm kiếm trình diễn thơng tin Chia cụm ứng dụng tìm kiếm Giảng viên TS Nguyễn Bá Ngọc Địa chỉ: Viện CNTT & TT/BM HTTT/B1-603 Email: ngocnb@soict.hust.edu.vn Website: http://is.hust.edu.vn/~ngocnb Nội dung Vấn đề chia cụm Ứng dụng chia cụm tìm kiếm Giải thuật K-means Vấn đề chia cụm Chia cụm chia tập văn lớn thành nhiều tập nhỏ với nội dung tương tự, gọi cụm; Các văn cụm phải tương tự; Các văn khác cụm phải khác nhau; Chia cụm phương pháp học không giám sát (unsupervised); Không yêu cầu liệu luyện Vấn đề chia cụm, minh họa Làm cách để chia cụm hình vẽ? Phân lớp vs Chia cụm Phân lớp: Học có giám sát Các lớp định nghĩa người Chia cụm: Học không giám sát Cụm suy diễn trực tiếp từ liệu Con người giám sát tham số: số cụm, phương pháp tính độ tương đồng, biểu diễn văn v.v Nội dung Vấn đề chia cụm Ứng dụng chia cụm tìm kiếm Giải thuật K-means Giả thuyết chia cụm Giả thuyết: Các văn cụm có đặc tính phù hợp với nhu cầu thơng tin Theo Van Rijbergen: “Closely associated documents tend to be relevant to the same requests” Ứng dụng chia cụm tìm kiếm Ứng dụng Tập văn chia cụm? Lợi ích Chia cụm kết Tập kết Dễ tìm kết phù hợp Chia cụm – gom nhóm (Scatter-Gather) Bộ văn Giao diện duyệt tập văn (search without typing) Chia cụm để duyệt Bộ văn Hỗ trợ tìm kiếm phương pháp duyệt Lọc văn theo cụm Bộ văn Xử lý truy vấn nhanh Chia cụm kết tìm kiếm 10 Ví dụ chia cụm theo K-means 31 Ví dụ chia cụm theo K-means 32 Ví dụ chia cụm theo K-means 33 Ví dụ chia cụm theo K-means 34 Ví dụ chia cụm theo K-means 35 Ví dụ chia cụm theo K-means 36 Ví dụ chia cụm theo K-means 37 Ví dụ chia cụm theo K-means 38 Ví dụ chia cụm theo K-means 39 Ví dụ chia cụm theo K-means 40 Ví dụ chia cụm theo K-means 41 Ví dụ chia cụm theo K-means 42 Ví dụ chia cụm theo K-means 43 Ví dụ chia cụm theo K-means 44 45 ... theo K-means 32 Ví dụ chia cụm theo K-means 33 Ví dụ chia cụm theo K-means 34 Ví dụ chia cụm theo K-means 35 Ví dụ chia cụm theo K-means 36 Ví dụ chia cụm theo K-means 37 Ví dụ chia cụm theo K-means... 25 Ví dụ, lặp q trình chia cụm 26 Ví dụ chia cụm theo K-means 27 Ví dụ chia cụm theo K-means 28 Ví dụ chia cụm theo K-means 29 Ví dụ chia cụm theo K-means 30 Ví dụ chia cụm theo K-means 31 Ví dụ... chia cụm tìm kiếm Giải thuật K-means 17 Mơ hình hóa văn chia cụm Tương tự mô hình khơng gian vec-tơ Mức độ khác biệt văn thể khoảng cách Euclide Không chuẩn hóa vec-tơ trọng tâm 18 K-means