Bài giảng Tìm kiếm và trình diễn thông tin: Bài 7 của TS.Nguyễn Bá Ngọc hướng đến trình bày về đánh giá kết quả tìm kiếm với vấn đề đánh giá kết quả tìm kiếm; các tiêu chí phụ thuộc hệ thống; truy vấn vs. nhu cầu thông tin; nhu cầu thông tin vs. truy vấn;...
(IT4853) Tìm kiếm trình diễn thơng tin Đánh giá kết tìm kiếm Giảng viên Nguyễn Bá Ngọc, TS., ĐHBKHN/Viện CNTT & TT/BM HTTT/B1-603, ngocnb@soict.hust.edu.vn, http://is.hust.edu.vn/~ngocnb Nội dung Vấn đề đánh giá kết tìm kiếm Độ xác, độ đầy đủ Độ đo F Đồ thị P/R Các giá trị trung bình Mục đích đánh giá kết tìm kiếm Vai trị cơng cụ tìm kiếm đáp ứng nhu cầu thông tin người dùng Khả đáp ứng nhu cầu thông tin nhân tố định trải nghiệm người dùng Yếu tố đảm bảo khả đáp ứng nhu cầu thông tin phương pháp mơ hình hóa khái niệm phù hợp Các tiêu chí phụ thuộc hệ thống Trong thực tế có nhiều tiêu chí giúp đánh giá khả đáp ứng nhu cầu thơng tin người dùng, ví dụ: Cơng cụ tìm kiếm Web Thương mại điện tử Người tìm thơng tin Hài lịng tìm thấy thơng tin cần thiết Đo: Tỉ lệ quay trở lại cơng cụ tìm kiếm Nhà quảng cáo Hài lịng người tìm kiếm mở quảng cáo Đo: Tỉ lệ mở quảng cáo Khách hàng Được cho hài lịng mua thứ Đo: Tỉ lệ người mua hàng Người bán Hài lòng bán sản phẩm Đo: Lợi nhuận sản phẩm bán Cơng ty CEO Hài lịng nhân viên làm việc suất nhờ áp dụng cơng cụ tìm kiếm Đo: Mức tăng lợi nhuận công ty Truy vấn vs nhu cầu thông tin Phù hợp với truy vấn chưa đáp ứng nhu cầu thông tin Ví dụ, nhu cầu thơng tin i : “Liệu rượu vang có tác dụng làm giảm nguy mắc bệnh tim hay khơng? Nếu có vang đỏ có hiệu vang trắng không?” Truy vấn q: [vang đỏ vang trắng tim] Xét văn d: Bài diễn thuyết từ trái tim anh đòn công trực diện hướng vào công ty sản xuất rượu vang nhằm làm giảm ảnh hưởng vang trắng đỏ đến vấn nạn lái xe tình trạng say xỉn d khớp với truy vấn q không phù hợp với nhu cầu thông tin i Nhu cầu thông tin vs truy vấn Con người đánh giá phù hợp với nhu cầu thơng tin Giải thuật tìm kiếm đánh giá phù hợp với truy vấn Có thể sử dụng đánh giá người làm chuẩn mực để đánh giá giải thuật tìm kiếm Dữ liệu kiểm thử Dữ liệu để đánh giá kết tìm kiếm gồm: Bộ văn lựa chọn kỹ lưỡng, Tập truy vấn mẫu, Đánh giá phù hợp cho cặp truy vấn – văn Nội dung Vấn đề đánh giá kết tìm kiếm Độ xác, độ đầy đủ Độ đo F Đồ thị P/R Các giá trị trung bình Độ xác độ đầy đủ Độ xác tỉ lệ văn phù hợp số văn trả Precision = #(văn phù hợp trả về)/#(văn trả về) Độ đầy đủ tỉ lệ văn phù hợp trả tổng số văn phù hợp Recall = #(văn phù hợp trả về)/#(văn phù hợp) Ký hiệu P: độ xác, R: độ đầy đủ 10 Độ xác nội suy/độ đầy đủ Lý sử dụng nội suy: Hầu hết người dùng sẵn sàng xem thêm kết văn phù hợp 24 Những giá trị chuẩn độ đầy đủ Độ đầy Độ xác đủ nội suy 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 1.00 0.67 0.63 0.55 0.45 0.41 0.36 0.29 0.13 0.10 0.08 trung bình ≈ 0.425 25 Đường cong ROC P/R ROC: TPR/FPR PR: Precision/Recall TPR = Recall = TP/(TP+FN) = p(trả về|phù hợp) FPR = Fall-out = FP/(FP+TN) = p(trả về|không phù hợp) Precision = TP/(TP+FP) = p(phù hợp|trả về) Fall-out = FP/(FP+TN) = p(trả về|không phù hợp) Specificity = TN/(FP+TN) = p(không trả về|không phù hợp) Sensitivity = TP/(TP+FN) = p(trả về|phù hợp) FPR = Fall-out = – specificity TPR = Recall = Sensitivity 26 Đường cong ROC Tương đương đồ thị độ xác/độ đầy đủ so sánh thuật toán Thường quan tâm tới khoảng nhỏ góc thấp bên trái ứng với độ 27 nhạy (sensitivity) < 0.4 Đường cong P/R ROC 28 Nội dung Vấn đề đánh giá kết tìm kiếm Độ xác, độ đầy đủ Độ đo F Đồ thị P/R Các giá trị trung bình 29 Độ xác trung bình AP – Average Precision Ký hiệu vị trí văn phù hợp danh sách kết là: K , K2 , … K R Độ xác trung bình: 𝐴𝑃 = 𝑃@𝐾𝑖 𝑅 Ví dụ: d1*, d2, d3*, d4, d5* R= 1 AP 0.76 1 30 Precision@K Thiết lập ngưỡng K Tính tỉ lệ văn phù hợp K kết Bỏ qua văn xếp hạng thấp K Ví dụ: d1*, d2, d3*, d4, d5* Precision@3 = 2/3 Precision@4 = 2/4 Precision@5 = 3/5 Một cách tương tự có Recall@K 31 Bình qn độ xác trung bình Mean Average Precision (MAP) 1 𝑀𝐴𝑃 = ∙ ∙ 𝑃@𝐾𝑖 𝑄 𝑅𝑖 Trong Ri số văn liệu phù hợp với truy vấn qi 32 Ví dụ MAP ***** Văn phù hợp với truy vấn * – * – – * – – * * Độ đầy đủ 0,2 0,2 0,4 0,4 0,4 0,6 0,6 0,6 0,8 1,0 Độ xác 1,0 0,5 0,67 0,5 0,4 0,5 0,43 0,38 0,44 0,5 Xếp hạng # *** Xếp hạng # Văn phù hợp với truy vấn – * – – * – * – – – 1,0 1,0 1,0 Độ đầy đủ 0,0 0,33 0,33 0,33 0,67 0,67 1,0 Độ xác 0,0 0,5 0,33 0,25 0,4 0,33 0,43 0,38 0,33 0,3 AP1 = (1,0 + 0,67 + 0,5 + 0,44 + 0,5)/5 = 0,62 AP2 = (0,5 + 0,4 + 0,43)/3 = 0,44 MAP = (0,62 + 0,44)/2 = 0,53 33 Tính ổn định độ đo Trên liệu kiểm thử hệ thống trả kết chất lượng với số truy vấn lại trả kết tốt với truy vấn khác Biên độ giao động độ đo hệ thống truy vấn khác lớn nhiều so với hệ thống khác truy vấn Truy vấn có độ khó khác 34 Tính ổn định độ đo Lấy trung bình tất truy vấn làm tăng tính ổn định độ đo Cần nhiều truy vấn cho độ đo ổn định AP: 25 (đủ), 50 (tốt) P@10: 150 – 200 (tốt) [Modern Information Retrieval] 35 Bài tập Tính độ xác, độ đầy đủ F1 cho tập kết sau: phù hợp trả 10 không trả 80 không phù hợp 20 1,000,000,000 36 Bài tập Công cụ tìm kiếm Snoogle ln trả lời “tìm thấy kết thỏa mãn”, cho truy vấn Vì Snoogle thể độ xác khái quát khơng hữu ích đánh giá kết tìm kiếm? AC = (TP+TN)/(TP+TN+FP+FN) 37 38 ... nhu cầu thông tin người dùng, ví dụ: Cơng cụ tìm kiếm Web Thương mại điện tử Người tìm thơng tin Hài lịng tìm thấy thông tin cần thiết Đo: Tỉ lệ quay trở lại cơng cụ tìm kiếm Nhà.. .Giảng viên Nguyễn Bá Ngọc, TS., ĐHBKHN/Viện CNTT & TT/BM HTTT/B 1-6 03, ngocnb@soict.hust.edu.vn, http://is.hust.edu.vn/~ngocnb Nội dung Vấn đề đánh giá kết tìm kiếm Độ... P/R Các giá trị trung bình Mục đích đánh giá kết tìm kiếm Vai trị cơng cụ tìm kiếm đáp ứng nhu cầu thơng tin người dùng Khả đáp ứng nhu cầu thông tin nhân tố định trải nghiệm người dùng Yếu