HỆ TRUY TÌM THÔNG TIN

6 MỞ ĐẦU Ngày nay, truy tìm thông tin có vai trò quan trọng lĩnh vực hoạt động – đặc biệt với xuất mạng toàn cầu khối lượng thông tin máy tính tăng theo hàm mủ; việc tìm kiếm thông tin hữu ích ngày tăng trở nên thiết yếu, kéo theo toán cần giải để phục vụ cho vấn đề nêu - xây dựng hệ thống phục vụ cho việc tìm kiếm tra cú thông tin cách xác nhanh thông tin mà họ cần kho tư liệu khổng lồ Các kỹ thuật truy vấn thông tin thường dùng [6]: • Dựa mô hình: mô hình boolean, mô hình xác suất mô hình không gian vector • Dùng kỹ thuật gom cụm liệu Luận văn trình bày cần thiết mô hình không gian vector trọng số từ mục – văn bản, câu truy vấn từ mục biểu diễn thành vector không gian vector Hiện nay, mô hình không gian vector mô hình Latin Semantec Index (LSI) nghiên cứu cho việc xây dựng hệ truy tìm thông tin (Information Retrievel System) – gọi tắt IR, đạt hiệu nhiều so với hệ thống sử dụng mô hình Boolean [3] Với mô hình không gian vector, văn bản, câu truy vấn từ mục biểu diễn thành vector không gian vector Mỗi tập văn đại diện tập từ mục gọi không gian văn Trong không gian vector văn bản, thành phần vector văn biểu diễn độ đo trọng số tập từ mục tương ứng với văn Sử dụng phép toán không gian vector để tính toán độ đo tương tự câu truy vấn văn từ mục, kết sau tính toán xếp hạng theo độ đo tương tự với vector truy vấn Ngoài ra, mô hình không gian vector hướng dẫn người dùng biết văn độ tương tự cao có nội dung gần với nội dung họ cần so với văn khác[2], [4] Mô hình LSI sử dụng phép chiếu trực giao ma trận biểu diễn tập văn có hạng r vào không gian k chiều (k[...]... trong câu truy vấn cũng có thể có độ đo tương tự cao với câu truy vấn [9] Lấy một ví dụ nhỏ, ta xét các từ chỉ mục car, automobile, driver và elephant Từ car và automobile đồng nghĩa, driver cũng có quan hệ về nghĩa với car và automobile, còn elephant thì hoàn toàn không Trong các hệ thống truy tìm thông 35 tin truy n thống, truy tìm các văn bản sử dụng từ automobile hệ thống không thể truy tìm các văn... tìm thông tin 22 Người dùng Câu truy vấn Xử lý văn bản, câu truy vấn Số hoá câu truy vấn Vector truy vấn Tập văn bản đã xếp hạng Tập văn bản Số hoá văn bản Gom cụm Văn bản Truy tìm Văn bản Index file Xếp Hạng Tập văn bản trả về Hình 1.6 Kiến trúc của hệ IR dùng mô hình LSI kết hợp thuật toán gom cụm Đưa ra kiến trúc cơ bản và xây dựng thử nghiệm ba hệ truy tìm thông tin dựa trên mô hình không gian... nhược điểm của các thuật toán gom cụm 1.4 Đánh giá hiệu quả hệ truy tìm thông tin Để đánh giá hiệu quả của hệ truy tìm thông tin có thể dựa theo các tiêu chuẩn sau [6]: • Dựa trên hai độ đo: “độ chính xác” (precision) và “độ bao phủ” (recall) Độ chính xác là tỉ lệ các văn bản liên quan được trả về trên tổng số các văn bản trả về tương ứng với câu truy vấn, và độ bao phủ là tỉ số của số văn bản liên quan... Precision = a a+b Hình 1.5 tính độ hiệu quả của hệ truy tìm thông tin • Hiệu quả thực thi của hệ thống(Execution efficiency) được đo bởi thời gian thực hiện thủ tục tìm kiếm các văn bản liên quan đến câu truy vấn được cho • Hiệu quả lưu trữ được đo bởi dung lượng bộ nhớ cần thiết để lưu trữ dữ liệu (cả bộ nhớ ngoài lưu trữ dữ liệu chỉ mục và bộ nhớ RAM khi hệ thống thực thi) 1.5 Một số công trình nghiên... mối quan hệ tiềm ẩn của các từ chỉ mục nhằm tăng hiệu truy tìm của hệ thống 2.2.3 Truy vấn trong mô hình LSI Để truy vấn trong mô hình LSI, vector truy vấn q được so sánh với các vector cột trong ma trận Ak của ma trận term – document A Gọi ej là vector đơn vị thứ j có số chiều n (cột thứ j của ma trận đơn vị n x n), vector cột thứ j của ma trận Ak là Akej Độ đo cosines của các góc giữa vector truy vấn... truy vấn, và độ bao phủ là tỉ số của số văn bản liên quan được trả về trên tổng số các văn bản liên quan đến câu truy vấn trong tập văn bản Như vậy, precision đo hiệu quả của hệ thống theo quan điểm người dùng, và recall khả năng truy tìm những văn bản liên quan đến câu truy vấn của hệ thống Thông thường khi độ đo precision tăng thì recall giảm và ngược lại Miền giá trị của precision và recall nằm trong... vector và truy vấn • Giới thiệu mô hình LSI • Phân tích Singular Value Decomposition (SVD ) trong mô hình LSI • Chọn hệ số k và cập nhật lại hệ số k • Truy vấn văn bản trong mô hình LSI 2.1 Mô hình không gian vector (VSM) 2.1.1 Giới thiệu Mô hình tổng quát của hệ IR là một bộ bốn [D, Q, F, R(qi, dj)] Trong đó: - D là tập văn bản - Q là các câu truy vấn - F là mô hình biểu diễn tập văn bản, câu truy vấn... 2.1.3 Truy vấn văn bản Trong mô hình không gian vector, việc truy vấn tập dữ liệu văn bản để tìm những văn bản liên quan với câu truy vấn dựa vào các kỹ thuật tính toán trên mô hình không gian vector Một câu truy vấn được xem như tập các từ chỉ mục và được biểu diễn như các văn bản trong tập văn bản.Vì câu truy vấn rất ngắn nên có rất nhiều từ chỉ mục của tập văn bản không xuất hiện trong câu truy vấn,... phần của vector truy vấn là zero Thủ tục truy vấn chính là tìm các 30 văn bản trong tập văn bản liên quan với câu truy vấn hay còn gọi là các văn bản có độ đo tương tự “cao” với câu truy vấn Theo cách biểu diễn hình học, các văn bản được chọn là các văn bản gần với câu truy vấn nhất theo một độ đo (measure) nào đó Độ đo thường được sử dụng nhất là độ đo cosines của góc giữa vector truy vấn và vector... [4] Tuy nhiên, trong mô hình không gian vector việc sử dụng ma trận hóa vector văn bản làm cho số chiều của ma trận rất lớn, ảnh hưởng đến hiệu quả của việc truy tìm thông tin Hơn nữa, việc tìm kiếm các văn bản liên quan đến câu truy vấn có độ tin cậy thấp – nghĩa là có những văn bản liên quan mà không được trả về cho người dùng Do đó, mô hình LSI được đưa ra để khắc phục những hạn chế của mô hình ... hướng dẫn người dùng biết văn độ tương tự cao có nội dung gần với nội dung họ cần so với văn khác Mô hình không gian vector dựa giả thiết nội dung văn hiểu kết hợp từ mục Một văn d biểu diễn vector...7 văn độ tương tự cao có nội dung gần với nội dung họ cần so với văn khác[2], [4] Mô hình LSI sử dụng phép chiếu trực giao ma trận biểu... loại bỏ từ có ý nghĩa (stop word) Các từ mục từ chứa nội dung tập văn Mỗi từ mục gán trọng số, trọng số từ mục nói lên liên quan đến nội dung văn Sử dụng phép toán không gian vector để tính toán