Hcmute đánh giá kết quả tìm kiếm của các hệ thống truy tìm thông tin

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG ÐÁNH GIÁ KẾT QUẢ TÌM KIẾM CỦA CÁC HỆ THỐNG TRUY TÌM THƠNG TIN S K C 0 9 MÃ SỐ: T2014-49 S KC 0 9 Tp Hồ Chí Minh, 2014 Luan van BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI KH&CN CẤP TRƯỜNG ĐÁNH GIÁ KẾT QUẢ TÌM KIẾM CỦA CÁC HỆ THỐNG TRUY TÌM THƠNG TIN Mã số: T2014-49 Chủ nhiệm đề tài: CN Qch Đình Hồng Hồ Chí Minh, Tháng 11/2014 Luan van TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA CƠNG NGHỆ THÔNG TIN BÁO CÁO TỔNG KẾT ĐỀ TÀI KH&CN CẤP TRƯỜNG ĐÁNH GIÁ KẾT QUẢ TÌM KIẾM CỦA CÁC HỆ THỐNG TRUY TÌM THƠNG TIN Mã số: T2014-49 Chủ nhiệm đề tài: CN Qch Đình Hồng Thành viên đề tài: CN Qch Đình Hồng Hồ Chí Minh, Tháng 11/2014 Luan van Mục lục Mở đầu 1.1 Tổng quan tình hình nghiên cứu thuộc lĩnh vực đề tài 1.2 Tính cấp thiết 1.3 Mục tiêu nghiên cứu 1.4 Cách tiếp cận 1.5 Phương pháp nghiên cứu 1.6 Đối tượng phạm vi nghiên cứu 1.7 Nội dung nghiên cứu Tổng quan truy tìm thơng tin 2.1 Truy tìm thơng tin 2.2 Hệ thống truy tìm thơng tin 2.3 Mô hình truy tìm thơng tin 10 Giới thiệu đánh giá hệ thống truy tìm thơng tin 12 3.1 Tại phải đánh giá 12 3.2 Phương pháp Cranfield 15 3.3 Phương pháp TREC 19 3.3.1 Lịch sử TREC 19 3.3.2 Kỹ thuật tổng hợp 21 i Luan van 3.3.3 Xây dựng sưu tập thử nghiệm 22 Các độ đo độ xác hệ thống truy tìm thơng tin 28 4.1 Độ xác độ bao phủ 29 4.2 Độ xác hạng thứ k (P@k) 30 4.3 R-Precision 30 4.4 Độ xác trung bình 31 4.5 Tổng hợp, trung bình nội suy 31 4.6 Các độ đo khác 32 Sử dụng thống kê để so sánh kết 34 5.1 Mẫu quần thể 36 5.2 Xác suất 37 5.3 Kiểm định giả thuyết lỗi loại 39 5.4 Mức độ ảnh hưởng 42 5.5 Khoảng tin cậy 43 5.6 So sánh hai hệ thống 44 Thử nghiệm đánh giá 47 6.1 Chuẩn bị liệu 47 6.2 Đánh giá kết 48 Kết luận kiến nghị 52 7.1 Các kết đạt 52 7.2 Giới hạn đề tài 53 7.3 Các kiến nghị 53 Tài liệu tham khảo 54 ii Luan van Danh sách hình vẽ 2.1 Hệ thống truy tìm thơng tin (phỏng theo Croft [17]) 3.1 Kỹ thuật tổng hợp (pooling) [30] 22 6.1 Đồ thị recall-precision 51 iii Luan van Danh sách bảng 6.1 Giá trị precision ứng với mức recall 49 6.2 Độ xác thứ hạng k (P@k) 50 6.3 Độ xác phương pháp với khoảng tin cậy 95% dùng t-test 50 6.4 So sánh phương pháp iv Luan van 51 Danh mục chữ viết tắt • SIGIR - Special Interest Group on Information Retrieval • CIKM - Conference on Information and Knowledge Management • AAAI - Association for the Advancement of Artificial Intelligence • IJCAI - International Joint Conference on Artificial Intelligence • JASIST - Journal of American Society for Information Sciences and Technol- ogy • JASIS - Journal of American Society for Information Sciences • IJCAI - International Joint Conference on Artificial Intelligence • TOIS - ACM Transactions on Information Systems • TKDE - IEEE Transaction on Knowledge and Data Engineering • IPM - Information Processing and Management • TREC - Text Retrieval Conferfence v Luan van BM 08T Thông tin kết nghiên cứu TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc KHOA CNTT Tp HCM, ngày tháng năm THƠNG TIN KẾT QUẢ NGHIÊN CỨU Thơng tin chung: - Tên đề tài: Đánh giá kết tìm kiếm hệ thống truy tìm thơng tin - Mã số: T2014-49 - Chủ nhiệm: Qch Đình Hồng - Cơ quan chủ trì: Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh - Thời gian thực hiện: 1/2014 - 12/2014 Mục tiêu: - Nghiên cứu kỹ thuật đánh giá so sánh hệ thống truy tìm thơng tin Tính sáng tạo: - Tổng hợp nghiên cứu đánh giá so sánh hệ thống truy tìm thơng tin Kết nghiên cứu: - Báo cáo tổng kết phương pháp độ đo để đánh giá hệ thống truy tìm thơng tin - Chương trình minh họa để đánh giá so sánh kết phương pháp tập liệu thử nghiệm chuẩn Sản phẩm: - Báo cáo tổng kết chương trình minh họa Hiệu quả, phương thức chuyển giao kết nghiên cứu khả áp dụng: - Là nguồn tài liệu phục vụ cho người có nhu cầu học tập nghiên cứu truy tìm thơng tin Trưởng Đơn vị (ký, họ tên, đóng dấu) Chủ nhiệm đề tài (ký, họ tên) Luan van Chương Mở đầu 1.1 Tổng quan tình hình nghiên cứu thuộc lĩnh vực đề tài Sự bùng nổ thông tin thời đại khiến đối mặt với vấn đề tải thơng tin Do vậy, việc tìm kiếm thơng tin cách nhanh chóng xác ngày trở thành nhu cầu cấp thiết Một lĩnh vực khoa học máy tính liên quan nhiều đến việc nghiên cứu phát triển kỹ thuật tìm kiếm truy tìm thơng tin (information retrieval) Nói ngắn gọn, khoa học tảng cho công cụ tìm kiếm Lĩnh vực cung cấp kỹ thuật tảng cho việc xây dựng hệ thống tìm kiếm thơng tin nhằm giúp người dùng tìm thông tin (thường tài liệu dạng văn bản) thỏa mãn nhu cầu họ (thường diễn đạt dạng truy vấn) từ nguồn thông tin (thường lớn) lưu trữ máy tính [1] Truy tìm thơng tin lĩnh vực có truyền thống thực nghiệm lâu đời Mặc dù năm 1960, vấn đề đánh giá độ xác hệ thống tìm kiếm chủ đề nóng nay, với nhiều báo Luan van xảy ngẫu nhiên hay tình cờ Họ sử dụng kiểm định ý nghĩa thống kê để tính tốn xác suất xảy khác biệt ngẫu nhiên Xác xuất giá trị p (p-value) Nếu p ≤ α (α mức ý nghĩa, thường α = 0.05 α = 0.01) khác biệt coi ý nghĩa thống kê Trong thực tế điều có nghĩa họ tự tin khác biệt thử nghiệm với sưu tập thử nghiệm tương tự lớn khác biệt quan sát Nếu p > α khác biệt khơng có ý nghĩa thống kê, họ tự tin khác biệt quan sát thực có thật Cho trước hai phương pháp A B, A phương pháp sở (baseline), B phương pháp mới, ta thường muốn chứng tỏ B tốt A Ta tiến hành thí nghiệm hai phương pháp sưu tập liệu thử nghiệm Thơng thường, truy tìm thơng tin, tập liệu thử nghiệm có tập tài liệu cố định, tập truy vấn lấy ngẫu nhiên, tập đánh giá liên quan ứng với truy vấn xây dựng từ tập truy vấn tập tài liệu nhờ chuyên gia Các hệ thống so sánh độ xác tập truy vấn, loại so sánh gọi matched pair test Các bước để so sánh hai phương pháp A B truy tìm thơng tin thường tiến hành sau: • Thiết lập giả thiết khơng (null hypothesis) khơng có khác biệt hai hệ thống A B • Chạy hai hệ thống truy vấn tập liệu thử nghiệm tính số liệu thống kê (test statistic) dựa việc so sánh độ đo độ xác ứng với truy vấn • Số liệu thống kê sử dụng để tính giá trị p (p-value), xác suất mà số liệu thống kê lớn số liệu quan sát giả thuyết khơng 45 Luan van • Nếu p < α (α mức ý nghĩa xác định trước), ta bác bỏ giả thuyết không (nghĩa chấp nhận B tốt A) Nếu ngược lại, có hai trường hợp xảy ra: (1) hai hệ thống khơng có khác biệt (hay khác biệt may mắn) (2) liệu quan sát khơng đủ để chứng tở hai hệ thống có khác biệt 46 Luan van Chương Thử nghiệm đánh giá Trong chương này, mô tả liệu dùng để thử nghiệm, kết phương pháp phân tích thống kê so sánh phương pháp 6.1 Chuẩn bị liệu Dữ liệu Để thử nghiệm hệ thống sử dụng sưu tập tài liệu OHSUMED Bộ sưu tập tài liệu bao gồm 348,566 trích dẫn (trên tổng số khoảng triệu) 70 tạp chí y học giai đoạn 1987-1991, 106 truy vấn đánh giá liên quan cho truy vấn OHSUMED có dung lượng khoảng 400 MB Mỗi trích dẫn gồm tựa đề tài liệu (title), tóm tắt (abstract), từ khóa MeSH (Medical Subject Headings term), tác giả (author), tên ấn phẩm (source), loại ấn phẩm (publication type) Tiền xử lý Mỗi tài liệu (trích dẫn) từ OHSUMED tiền xử lý để lưu lại thông tin gồm id (là chuỗi xác định tài liệu), tên tài liệu (title), tóm tắt (abstract), từ khóa MeSH (Medical Subject Headings term), tác giả (author), http://ir.ohsu.edu/ohsumed/ 47 Luan van tên ấn phẩm (source), loại ấn phẩm (publication type) Lập mục Sau lấy thông tin gồm id, source, MeSH terms, title, publication type, abstract author tài liệu (trích dẫn) chúng tơi tiến hành lập mục OHSUMED theo thông tin dùng thư viện Lucene Tất thông tin lập mục Thông tin tần số xuất vị trí từ trường lưu lại 6.2 Đánh giá kết Tài liệu tìm kiếm xếp hạng dựa phương pháp (mơ hình) TFIDF [44], BM25 [45], DRF [46] LM [47] Bảng 6.1 hình 2.1 minh họa giá trị đồ thị recall-precision ứng với mơ hình tập liệu OHSUMED Bảng 6.2 mơ tả độ xác phương pháp thứ hạng k khác (P@k) Bảng 6.3 mơ tả độ xác phương pháp với khoảng tin cậy 95% dùng kiểm đinh t (t test) Bảng 6.4 mô tả so sánh cặp kết MAP phương pháp khác nhau, với độ tin cậy 95%, giá trị p mô tả mức ý nghĩa khác biệt, giá trị d mô tả mức độ ảnh hưởng khác biệt Các kết phân tích (giá trị p, khoảng tin cậy hệ số ảnh hưởng d) cho phép ta rút số nhận xét sau: • Phương pháp BM25 tốt so với hai phương pháp DFR TFIDF, khác biệt có ý nghĩa thống kê hệ số ảnh hưởng khác biệt nhỏ • Sự khác biệt phương pháp BM25 LM khơng có ý nghĩa thống kê, hệ số ảnh hưởng khác biệt nhỏ http://lucene.apache.org/ 48 Luan van Bảng 6.1: Giá trị precision ứng với mức recall Recall Precision BM25 DFR LM TFIDF 0.0 0.4962 0.4836 0.4477 0.5042 0.1 0.3989 0.3882 0.3459 0.3748 0.2 0.3265 0.3186 0.2934 0.3022 0.3 0.2481 0.2332 0.2354 0.2334 0.4 0.205 0.5 0.1805 0.1714 0.1852 0.1676 0.6 0.1385 0.1266 0.1439 0.1241 0.7 0.1038 0.0911 0.1006 0.0845 0.8 0.071 0.9 0.0292 0.0248 0.0351 0.0237 1.0 0.0093 0.0083 0.0178 0.0117 0.1938 0.2048 0.19 0.0587 0.073 0.059 Mean Average Precision - MAP Non-interpolated 0.183 0.1729 0.1737 0.1704 • Các phương pháp DFR, LM TFIDF khơng có khác biệt đáng kể so với 49 Luan van Bảng 6.2: Độ xác thứ hạng k (P@k) Measures Methods BM25 DFR LM TFIDF R-Precision 0.2042 0.1912 0.1935 0.194 P5 0.2713 0.2614 0.2594 0.2772 P10 0.2475 0.2337 0.2168 0.2416 P15 0.2323 0.2132 0.1914 0.2119 P20 0.2104 0.1955 0.1748 0.1931 P30 0.1752 0.1634 0.1578 0.1663 P100 0.0941 0.0878 0.0922 0.0885 P200 0.0621 0.0585 0.06 P500 0.0304 0.0293 0.0296 0.0295 P1000 0.0166 0.0161 0.0165 0.0162 0.059 Bảng 6.3: Độ xác phương pháp với khoảng tin cậy 95% dùng t-test Methods Measures MAP R-Precision BM25 0.183 (0.1475-0.2185) 0.2042 (0.1686-0.2397) 0.2475 (0.2034-0.2916) DFR 0.1729 (0.1377-0.2081) 0.1912 (0.1565-0.2258) 0.2337 (0.1900-0.2773) LM 0.1737 (0.1374-0.2101) 0.1935 (0.1563-0.2308) 0.2168 (0.1718-0.2619) TFIDF 0.1704 (0.1368-0.2039) 0.194 (0.1589-0.2290) 50 Luan van P@10 0.2416 (0.1993-0.2839) Hình 6.1: Đồ thị recall-precision Bảng 6.4: So sánh phương pháp Method A Method B MAPA−B (CI95% ) p-value BM25 DFR 0.0101 (0.0054-0.0148) 4.15 × 10−5 0.0238 BM25 LM 0.0093 (-0.0047-0.02328) 0.193 0.1304 BM25 TFIDF 0.0126 (0.0062-0.0191) 0.0002 0.0327 DFR LM -0.0009 (-0.0156-0.0139) 0.9087 0.0749 DFR TFIDF 0.0025 (-0.0051-0.0102) 0.5172 0.0388 LM TFIDF 0.0034 (-0.0131-0.01985) 0.6866 0.0403 51 Luan van d Chương Kết luận kiến nghị Trong chương này, mô tả kết đạt được, giới hạn kiến nghị 7.1 Các kết đạt Trong đề tài này, nghiên cứu đạt số kết sau: • Khảo sát tổng quan lĩnh vực truy tìm thơng tin thành phần hệ thống truy tìm thơng tin tổng qt • Nhấn mạnh tầm quan trọng việc đánh giá thực nghiệm để thực chứng ý tưởng kỹ thuật, đồng thời khảo sát phương pháp độ đo để đánh giá hệ thống truy tìm thơng tin • Khảo sát phương pháp thống kê dùng để so sánh thuật tốn, kỹ thuật, phương pháp nói chung áp dụng cho truy tìm thơng tin nói riêng • Tiến hành đánh giá so sánh kết phương pháp tập liệu thử nghiệm chuẩn dựa phương pháp, độ đo trình bày 52 Luan van 7.2 Giới hạn đề tài • Chương trình xây dựng nhằm mục đích mô cách đánh giá thực nghiệm phương pháp truy tìm thơng tin nên chưa trọng đến vấn đề chọn tham số tối ưu phương pháp • Chưa thể thực đánh giá thử nghiệm với tập liệu TREC (vì khơng có quyền truy xuất) 7.3 Các kiến nghị Dưới số kiến nghị cho nghiên cứu tiếp theo: • Việc so sánh phương pháp tập liệu chuẩn, dùng chung phổ biến truy tìm thơng tin góp phần quan trọng việc thúc đẩy lĩnh vực phát triển Các phân tích thống kê so sánh phương pháp quan trọng để biết phương pháp tốt thực ngẫu nhiên tốt thực tốt đến mức độ nào, có đáng kể hay khơng Cách tiếp cận nên mở rộng lĩnh vực khác khoa học máy tính • Các kho liệu chuẩn có nội dung đa dạng (như tập liệu TREC) nên sử dụng để đánh giá so sánh hiệu phương pháp xác 53 Luan van Tài liệu tham kho [1] Christopher D Manning, Prabhakar Raghavan, and Hinrich Schăutze Introduction to information retrieval Cambridge University Press, 2008 [2] ChengXiang Zhai Statistical language models for information retrieval Synthesis Lectures on Human Language Technologies Morgan & Claypool Publishers, 2008 [3] Cyril Cleverdon The cranfield tests on index language devices Aslib Proceedings, 19(6):173–194, 1967 [4] Cyril W Cleverdon The significance of the cranfield tests on index languages In SIGIR, pages 3–12, 1991 [5] C J Van Rijsbergen Information Retrieval, 2nd Edition Butterworth- Heinemann Newton, MA, USA, 1979 [6] E Voorhees and D Harman TREC: Experiment and evaluation in information retrieval MIT press Cambridge eMA MA, 2005 [7] Tefko Saracevic Evaluation of evaluation in information retrieval In SIGIR, pages 138–146, 1995 [8] S Mizzaro Relevance: The whole story Journal of the American Society for Information Science, 48(9):810–832, 1997 54 Luan van [9] Justin Zobel How reliable are the results of large-scale information retrieval experiments? In SIGIR, pages 307–314, 1998 [10] Chris Buckley and Ellen M Voorhees Retrieval evaluation with incomplete information In SIGIR, pages 25–32 ACM, 2004 [11] Ellen M Voorhees and Chris Buckley The effect of topic set size on retrieval experiment error In SIGIR, pages 316–323 ACM, 2002 [12] Mark Sanderson and Justin Zobel Information retrieval system evaluation: effort, sensitivity, and reliability In SIGIR, pages 162–169 ACM, 2005 [13] Ben Carterette, James Allan, and Ramesh Sitaraman Minimal test collections for retrieval evaluation In SIGIR, pages 268–275 ACM, 2006 [14] David A Hull Using statistical testing in the evaluation of retrieval experiments In SIGIR, pages 329–338 ACM, 1993 [15] Mark D Smucker, James Allan, and Ben Carterette A comparison of statistical significance tests for information retrieval evaluation In CIKM, pages 623– 632 ACM, 2007 [16] Ricardo A Baeza-Yates and Berthier A Ribeiro-Neto Modern information retrieval ACM Press / Addison-Wesley, 1999 [17] W Bruce Croft Knowledge-based and statistical approaches to text retrieval IEEE Intelligent Systems, 6(2):8–12, 1993 [18] Gerard Salton, A Wong, and C S Yang A vector space model for automatic indexing Commun ACM, 18(11):613–620, 1975 [19] S Robertson and K S Jones Relevance weighting of search terms Journal of the American Society for Information Science, (27), 1976 55 Luan van [20] Karen Sparck Jones, Steve Walker, and Stephen E Robertson A probabilistic model of information retrieval: development and comparative experiments part & Information Processing & Management, 36(6):779–808, 2000 [21] Jay M Ponte and W Bruce Croft A language modeling approach to information retrieval In SIGIR, pages 275–281, 1998 [22] Amit Singhal, Chris Buckley, and Mandar Mitra Pivoted document length normalization In SIGIR, pages 21–29, 1996 [23] Scott C Deerwester, Susan T Dumais, Thomas K Landauer, George W Furnas, and Richard A Harshman Indexing by latent semantic analysis JASIS, 41(6):391–407, 1990 [24] Christopher J C Burges, Tal Shaked, Erin Renshaw, Ari Lazier, Matt Deeds, Nicole Hamilton, and Gregory N Hullender Learning to rank using gradient descent In ICML, pages 89–96, 2005 [25] Tie-Yan Liu Learning to rank for information retrieval Springer-Verlag Berlin Heidelberg, 2011 [26] Gerald Salton The SMART Retrieval System: Experiments in Automatic Document Processing Prentice Hall, 1971 [27] Karen Sparck-Jones Information retrieval experiment Butterworths, 1981 [28] Chris Buckley and Ellen M Voorhees Evaluating evaluation measure stability In SIGIR, pages 33–40, 2000 [29] Peter Ingwersen and Kalervo Jarvelin The turn: Integration of information seeking and retrieval in context Springer-Verlag New York, Inc., 2005 56 Luan van [30] Ellen M Voorhees Trec: Continuing information retrieval’s tradition of experimentation Communications of the ACM, 50:51–54, 2007 [31] Ben Carterette, Virgiliu Pavlu, Evangelos Kanoulas, Javed A Aslam, and James Allan Evaluation over thousands of queries In SIGIR, pages 651–658 ACM, 2008 [32] Stefano Mizzaro and Stephen Robertson Hits hits trec: exploring ir evaluation results with network analysis In SIGIR, pages 479–486 ACM, 2007 [33] L Schamber Relevance and information behavior Annual Review of Information Science and Technology, 29:3–48, 1994 [34] Ellen M Voorhees Variations in relevance judgments and the measurement of retrieval effectiveness In SIGIR, pages 315–323 ACM, 1998 [35] Peter Bailey, Nick Craswell, Ian Soboroff, Paul Thomas, Arjen P de Vries, and Emine Yilmaz Relevance assessment: are judges exchangeable and does it matter In SIGIR, pages 667–674 ACM, 2008 [36] Kenneth A Kinney, Scott B Huffman, and Juting Zhai How evaluator domain expertise affects search result relevance judgments In CIKM, pages 591–598 ACM, 2008 [37] Javed A Aslam, Virgiliu Pavlu, and Emine Yilmaz A statistical method for system evaluation using incomplete judgments In SIGIR, pages 541–548 ACM, 2006 [38] W Bruce Croft, Donald Metzler, and Trevor Strohman Search engines: Information retrieval in practice Pearson Education, 2009 57 Luan van [39] Kalervo Jarvelin and Jaana Kekalainen Cumulated gain-based evaluation of ir techniques ACM TOIS, 20(4):422–446, 2002 [40] Kalervo Jarvelin, Susan L Price, Lois M L Delcambre, and Marianne Lykke Nielsen Discounted cumulated gain based evaluation of multiple-query ir sessions In ECIR, pages 4–15, 2008 [41] Alistair Moffat and Justin Zobel Rank-biased precision for measurement of retrieval effectiveness ACM TOIS, 27(1):1–27, 2008 [42] Thorsten Joachims Evaluating retrieval performance using clickthrough data SIGIR Workshop on Mathematical/Formal Methods in Information Retrieval, pages 79–96, 2002 [43] Ben Carterette and Rosie Jones Evaluating search engines by modeling the relationship between relevance and clicks In Advances in Neural Information Processing Systems (NIPS), 2007 [44] Gerard Salton and Chris Buckley Term-weighting approaches in automatic text retrieval Information Processing and Management, 25(5):513–523, 1988 [45] Stephen Robertson and Hugo Zaragoza The probabilistic relevance framework: Bm25 and beyond Foundations and Trends in Information Retrieval, 3(4):333–389, 2009 [46] Gianni Amati and Cornelis J van Rijsbergen Probabilistic models of information retrieval based on measuring the divergence from randomness ACM TOIS, 20(4):357–389, 2002 [47] Chengxiang Zhai and John David Lafferty A study of smoothing methods for language models applied to information retrieval ACM TOIS, 22(2):179–214, 2004 58 Luan van S K L 0 Luan van ... pháp đánh giá so sánh kết tìm kiếm hệ thống truy tìm thơng tin • Các phương pháp thống kê để so sánh hai phương pháp 1.4 Cách tiếp cận • Tìm hiểu độ đo để đánh giá so sánh hệ thống truy tìm thơng... vực truy tìm thơng tin để có kiến thức sở việc xây dựng hệ thống tìm kiếm • Khảo sát độ đo để đánh giá so sánh hệ thống truy tìm thơng tin • Khảo sát phương pháp đánh giá so sánh hệ thống truy tìm. .. thuật đánh giá so sánh hệ thống truy tìm thơng tin Tính sáng tạo: - Tổng hợp nghiên cứu đánh giá so sánh hệ thống truy tìm thơng tin Kết nghiên cứu: - Báo cáo tổng kết phương pháp độ đo để đánh giá