5. ỉ.3 Các hình thức mục ỉục thủ công
7.3.2. Giai đoạn 2; Chuẩn bị thử nghiệm kết quả trả
Các câư hòi được liệt kê trên đây đều liên quan đến các yêu cẩu c ù a người sử dụng hoặc các yếu tố tác động đến các yêu cầu này. T rong các yêu cầu này (phạm vi bao quát, mức độ chính xác, m ứ c đ ộ đầy đủ, thời gian đáp ứng yêu cầu tin, chi phí lao động của người sừ dụng và hình thức cung cấp kết quả), yêu cầu về m ức độ chính xác và đầy đủ là quan trọng nhất và cũng khó đánh giá nhất. Vì vậy, vấn đề cần đặc biệt chú trọng khi thiết kế các thử nghiệm là chuần bị các phương pháp thích họp đế xác định các hệ số chính xác và hệ số đầy đủ c ủ a hệ thống.
7.3.3. G iai đ o ạ n 3: T h ự c h iệ n c ác t h ử n g h iệ m
7.3.3. L X ác đin h h ê s ổ chỉnh xấ ci •
Đ ẻ xác định hệ số chính xác của việc tìm tin, cần đánh giá m ức đ ộ thích hợp của kếl q u à tìm được.
^gười sừ dụng đặt các yêu cầu tin thể hiện các nhu cầu lin cùa mình. Người sử dụng không đặc biệt quan lâm đến inức độ tương thích c ủ a các tài liệu lìm được với biếu thức lìm của yêu cầu tin m à chỉ quan lâm tài liệu tìm được có giá trị Ihòa mãn các nhu cầu tin của mình hay không? Khi đánh giá m ột hệ thống tìm tin đang hoạt động, chính người sử dụng là nhân vật duy nhất có thề đưa ra quyết định chính xác về mức độ thích hợp của tài liệu tìm được. Đ ánh eiá này cần được thực hiện dưới góc đ ộ nhu cầu tin cùa người s ử dụng. Nói cách khác, đánh giá mức độ thích hợp được chuyển thành đánh giá giá trị của tài liệu tìm được.
Tuy nhiên, lý tưởng nhấi là các liêu chí của mức độ chính xác được xác định d ự a trên hoạt động của hệ thống để đáp ứng các yểu cẩu tin ihực íế. N h ó m các yêu cầu tin thứ nghiệm phải thể hiện các
loại yêu cầu tin khác nhau (ví dụ, bao quát tất cả các lĩnh vực của màng tin) và các loại người sử dụng khác nhau. Cách đơn giản đế có một m ẵu Ihử ng h iệ m thích hợp là chọn ngẫu nhiên các yêu cẩu tin (ví dụ, chọn mỗi yêu cầu thứ 5 trong các yêu cầu tin nhập vào hệ thống) trong m ột khoảng thời gian nhấl định. M ộ t cách khác là lập “nhóm n h ữ n g người sử dụng thử n g h iệ m ” từ các tố chức hoặc các cá nhãn sẵn sàng hỗ trợ việc đánh giá. N h ó m người sử dụng này phải được chọn lọc trước trong mối tương quan với tồng thể người sừ d ụ n g hệ th ố n g nói chung.
Các yêu cầu tin thử nghiệm được thực hiện theo cách thông thưòrng. C ác kết q u à tìm cũng được cung cấp cho người sừ dụng với hình ihức thông th ư ờ n g - ở dạng mô tà thư mục, tóm tắt hoặc toàn văn. Riêng những tài liệu đang cần được đánh giá về mức độ thích hợp thì phải được cung cấp chỉ ờ dạng toàn vãn. Nấu kết quà tìm có khoảns 20 - 30 tài liêu thì có Ihể yêu cầu đánh giá m ức độ thích hợp
cúa toàn bộ các tài liệu tìm được. Nẻu số lượng tài liệu tìm được lớn Ihì tốt nhất là yêu cầu người sử dụng đánh giá m ột phần tài liệu lùy chọn (Ví dụ, khoảng 20 - 25 tài liệu) lừ kết q u ả tìm. C ác đánh giá về mức độ thích hợp được ghi lại trên phiếu đánh giá kèm theo lừng tài liệu. Lý tưởng nhất !à nguời sừ dụng đánh giá theo thang điểm với ba mức đ ộ (1- C ó giá trị cao; 2- Có giá trị không cao và 3- hoàn toàn không có giá trị) và lý giài về quyết định c ủ a mình.
7 .3 J .2 . X á c định h ệ số đầy đủ
Việc xác định hệ số đầy đú khó hơn nhiều so với xác định hệ số chính xác. Hệ số đầy đủ hoàn hào nhất là hệ số được xác định dựa trên s ự nghiên cứu và đánh giá của người s ử d ụ n g về toàn bộ mảng tài liệu. Điều này chi có thể thực hiện được trong những tình huống thử nghiệm nhất định, khi qui mô c ủ a vốn tài liệu không quá lớn. Ví dụ, Cleverdon đă thừ nghiệm thành c ô n g trong m ả n g tin gồm 1400 tài liệu với 200 yêu cầu tin, cho kết quả là ma trận mức
đ ộ t h í c h h ợ p y ê u cầu t i n / t à i l i ệ u k í c h thước 1400 X 200. T uy n h i ê n ,
Irong phần lớn các tình huống ihực tế, việc nghiên cứu toàn bộ mãng tin là không khả thi. Vì vậy, phải tìm các ph ư ơ n g pháp khả ihi hơn để đánh giá hệ số đầy đủ. [20
M ột trong những phương pháp đánh giá hệ số đầy đủ là thực hiện việc tìm tin đồng thời trong một hệ thống khác, thường là hệ thống lớn hơn. Hệ số đầy đủ của hệ thống th ử nhất được đánh giá bằng cách so sánh với hệ số đầy đủ của hệ thống Ihứ hai. Phương pháp này chi m ang tính chất so sánh chứ không cho giá trị thực sự cúa hê số đầy đủ.
Phương pháp được sử dụng với nhừng thành công nhất định trong nhiều thử nghiệm là phương pháp sử d ụ n g các “yêu cầu tin
được chuấn bị trước” dựa trên các tài liệu đã được biết trước là hiện diện trong hệ thống (được gọi là tài liệu khởi điểm - sotrce documents). T h e o phương pháp này, người thực hiện đánh giá ỵêu cầu người sử dụng đưa ra các yêu cầu tin thực tế để làm c ơ sở \ác
định các tiêu c h í chính xác. Sau khi nhận được yêu cầu tin từ người sừ dụng, người đánh giá đưa cho người sừ dụng một lài liệu khởi điểm đ ư ợ c chọn một cách ngẫu nhiên từ m ộ t bộ phận trong kho tài liệu tư ơng thích với các vấn đề được người sử dụng đ o quan tâm. Sau đó, người sử dụng được yêu cầu xác lập một yêu cầu tin sao cho tài liệu khởi điểm sẽ là kết quà tìm thích hợp của yêu cầu tin đó. Việc tìm tin theo các yêu cẩu được chuẩn bị sằn đ ư ơ c thực hiện giống n h u tìm các yêu cầu tin thực tế. Tất cả kết quả tìm được hoặc một lựa chọn ngẫu nhiên lừ các kết quả tìm sẽ được c u n g c ấ p cho người đã đặt yêu cầu tin để đánh giá mức độ thích hợp c ủ a tài liệu. Bằng cách này, hệ số chính xác được xác định cho các yêu cầu tin được chuẩn bị im ớc. Hệ số đầy đủ được đánh giá cho cả n h ó m yêu cầu tin được chuẩn bị sằn theo tương quan giừa các tài liệu khởi điểm tìm được với tổng số các tài liệu này (Irong hệ Ihổng). G iả sừ, có 100 yêu cầu tin chuẩn bị iniớc, mỗi yêu cầu tin dựa trên một tài liệu khởi điểm duy nhất. Nếu trong kết quả của 70 cuộc tìm có các tài liệu khởi điểm tương ứng thì có thể khẳng định là m ức đ ộ đầy đủ của hệ thống đối với các cuộc tìm này là 70%, và hộ số đầy đú theo tư ơ n g quan với một nhóm bất kỳ gồm 100 tài liệu thích hợp cũng sẽ là 70/100.
7 .3 .4 . G iai đ oạn 4: Phân tích các kết q u ả th ử n gh iệm
Kết q u ả các th ử nghiệm bao g ồ m hai loại dừ liệu: 1) C ác dừ liệu về chất lư ợ ng hoạt động của hệ thống tìm tin và 2) Các d ữ liệu về n h ừ n g thất bại khi tìm tin.
Sau khi thực hiện các thừ nghiệm với hệ thống, m ộ l trong nhừng công việc đầu liên phải thực hiện là làm rõ và tổng hợp các kết quả về mức độ tìm tin đầy đù và chính xác. C ó hai cách lính hệ số đầy đủ và chính xác trung bình cho m ột ỉoạt các yêu cầu tin thử nghiệm. Cách thứ nhất là cộng kết quả (hệ số đầy đ ủ và chính xác) của tất cà các cuộc tìm riêng lẻ, sau đó chia cho tổng số các cuộc tìm để có hệ số đầy đ ủ và hệ số chính xác trung bình. Cách th ứ hai là tính tổng số tài liệu tìm được trong tất cả các cuộc tìm để có giá trị trung bình của hệ số đầy đủ và chính xác. Ví dụ, nếu tồng số tài liệu tìm được trong 100 cuộc tìm thử nghiệm là 1000 tài liệu, trong đ ó c ó 800 tài liệu được xem lĩi thích hợp thì hệ số chính xác trưng bình sẽ là 80%. Mồi cách tính đều có ưu điểm và hạn chế, nhimg nếu các d ừ liệu thử nghiệm tương đối đồng nhất thì kết quả thu được trong cả hai trường hợp sẽ không có sự khác biệt lớn. Điều quan trọng là cách tính được sử dụng trong suốt q u á trình thực hiện chương trình thử nghiệm phải cố định. T ự thân c ác hệ sổ đ ầ y đ ủ và chính xác ít có giá trị. K hô n g the sử đụng c h ú n g để so sánh đặc trưng của các hệ thống khác nhau về đặc điểm c ủ a tài liệu và yêu cầu tin, về các yêu cầu c ủ a người sử dụng đối với m ức độ tìm tin đầy đủ và chính xác, về thời gian lìm tin và m ức độ tham gia của người sử dụng vào q u á trình tìm tin.
Sau khi tính các hệ số đầy đủ và chính xác, bước tiếp theo là phân tích các nguyên nhân mất tin và độ ồn (nhiều tin) khi tìm tin. Phân tích các thất bại ỉchi tìm tin là một khía cạnh gây tranh cãi nhiều nhất cùa chương trình đánh giá. Đối với mồi trường hợp thất bại, cẩn nghiên cứu các yếu tố sau:
- Toàn văn tài liệu; - M ầu lìm của tài liệu;
- Yêu cầu tin;
- Biểu thức tìm được thực hiện;
- Đánh giá của người sử dụng, đặc biệt là nhửng lời giải Ihích vì sao tài liệu được xem là k h ô n g thích hợp (khi nghiên cứu độ ồn).
Các nguyên nhân chính của mồi. thất bại được nghiên cứu sè được xác định dựa trên cơ sở phân tích các nguyên nhân ihất bại được iiệl kê. Phần lơn nguyên nhân thất bại c ó liên quan đến qui trình đánh chi số và tìm tin, ngôn ngừ đ á n h chỉ số, quá trình tìm tin, quá trình xử lý trên m áy tính hoặc sự tư ơ n g tác giữa người sử dụng và hệ thống.
- Thất bại khi tìm tin do chất lượng của n s ô n n g ữ tìm tin chưa cao: chât lượng c ủ a ngôn ngừ lìm tin được sừ d ụ n g đê đánh chì số (sau đây sẽ cọi là ngôn ngữ đánh chí số) là yếu tố có tác động quan trọng nhất đến hiệu quá c ủ a hệ thống tìm tin. Chiến lược tìm tin kém và chất lượng đánh chỉ số thấp có thể làm giám hiệu quả của hệ thống tìm tin, nhưng kỳ thuật đánh chi số và tìm tin lốt không Ihể bù đắp cho các nhược điểm c ù a ngôn ngữ đánh chi số. Nói cách khác, những người thực hiện c ô n g việc đánh chỉ số và tìm tin chi có thể đạt được kết quà ở một m ứ c đ ộ tương thích với các khả năng của ngôn ngữ đánh chi số. Hai hạn chế chủ yếu của ngôn ngừ đánh chi số dẫn đến các thấl bại khi tìm tin bao gồm: 1) Các thuật ngừ cùa ngôn ngừ đánh chí sổ chưa đủ đặc trưng, và 2) Mối quan hệ giữa các thuật ngừ k h ô n g rõ ràng và chính xác. M ức độ đặc trưng thấp của ngôn ngừ đánh chỉ số c ó thể dẫn đến hiện tư ợng mất lin hoặc nhiễu tin (độ ồn) khi tìm lin. S ự không rõ ràng và chính xác của các mối quan hệ giữa các thuật ngừ c ó thể dẫn đến
nhiễu tin khi lìm tin. Mất tin do m ức đ ộ đặc trưng của ngôn ngữ đánh chi số thấp c ó nghĩa là chủ đề cần tìm hoặc một số khía cạnh cùa nó không được phàn ánh irong từ v ự n g đầu vào của hệ thống.
- Thất bại khi tìm lin do hạn c h ế c ủ a quá trình đánh chỉ số: Có thể chia nguyên nhân cùa các thất bại này thành hai loại chính
là 1) D o lỗi của người đánh chỉ số và 2) D o quyết định về số lượng trung bình các thuật ngừ được dùng để m ô tả tài liệu khi đánh chỉ số (mức độ đánh chi sổ đầy đủ).
Nguyên nhân lồi của người đánh chi số cỏ ihề chia thành: i) Bó sót ihuật ngừ hoặc các thuật ngừ cần thiết để mô tả các chủ đề quan trọng được đề cập trong tài liệu và 2) Sừ dụng các thuật ngữ không thích hợp với nội dung của tài liệu. Việc bò sót các thuật ngừ thường dẫn đến irường hợp mất tin, trong khi việc sử dụng các thuật ngữ không thích hợp (nghĩa là đánh chi số không chính xác) có thể dẫn đển các tiu ờ n g hợp mất tin c ũ n g như nhiều tin.
Giữa các trường hợp mấi tin do lồi của người đánh chỉ số và do việc đánh chi số không đầy đ ú có sự khác biệt như sau:
1. Người đánh chỉ số bò sót thuật ngừ: chủ đề chính được đề cập trong tài liệu hoàn toàn k h ô n g được phán ánh khi đánh chí sổ.
2. M ức độ đ ầ y đ ủ của việc đánh chỉ số không cao: các khía cạnh không quan trọng cùa nội dung tài liệu không được thề hiện khi đánh chí số.
Các lồi bò sót Ihuật ngừ c ó thể phát hiện được khi thực hiện chương trình đánh giá nhưng rất khó phát hiện trong chế độ hoạt động bình Ihường c ù a hệ thống.
- Thất bại k h i tìm tin do hạn chế của quá trình tìm lin: Có :hể chia các nguyên nhân dẫn đến các thất bại n à y thành ba loại chính là 1) Sử dụng các thuật ngừ không thích h ợ p hoặc chiến lược lỉm sai, 2) D o các mức độ đặc trưng và/hoặc đầy đủ được s ử d ụ n g tronơ chiến lược tìm và 3) Bỏ sót m ột thuật ngữ hoặc sự kết hợp các Ihuật n gừ hoặc bỏ sót một khía cạnh của yêu cầu tin khi xây d ự n g biểu thức tìm. Việc bỏ sót các thuật ngừ cần thiết trons biểu thứb lim dẫn đến mất tin trong khi sử dụng các thuật n g ữ không thích họp dẫn đến nhiều tin. Nhiều trường hợp mất tin và nhiều lin hên quan đến mức độ đầy đủ và/hoặc đặc trưng của biểu thức tìm tin. Thay đổi mức độ đầy đủ và đặc trưng là yếu tố c ơ bản của chiến lược tìm tin. Biểu thức tìm tin càng không đầy đủ và cụ thể thì lài liệu tim được có thể sẽ càng nhiều, các hệ số tìm tin c ó thể thay đổi theo hướng hệ sổ đầy đù tăng và hệ số chính xác giảm. Biểu thức tìm tin đầy đủ là biểu thức thế hiện tất cả các khái niệm được người sử dụng yêu cầu ở một mức đ ộ nào đó (mặc dù không nhất thiếi ở inức độ cụ thể như yêu cầu tin xác định).
T ương tự, các biểu thức tìm tin chi tiết sẽ dẫn đến mất tin, còn các biểu thức tìm tin không chi tiết dẫn đến sự nhiều lin.
- Thất bại khi tìm tin do hạn chế trong sự tương tác giừa người sử dụng và hệ thống: Sự tương tác giữa người sử dụng và hệ thống nếu không được tổ chức tốt thì có thể trờ thành nguyên nhân của hiện tượng mất lin và nhiễu tin, đặc biệt trong các hệ thống rất lớn. Kết quả đánh giá hệ thống M E D L A R S cho thấy 25 % tiu ờ n g hợp mất tin và 17% nhiều tin là do nguyên nhân này. M ất tin d o sự tương tác không hợp lý giừa người s ử dụng và hệ thống c ó nghĩa là yêu cầu tin được xác định quá đặc trưng so với lĩnh vực người sử dụng quan tâm. Nhiễu tin do sự tương tác không hợp lý c ó nghĩa là
yêu cầu tin được xác định quá tống quát so với các nhu cầu tin thực tế dẫn đến kết quà tìm là các lài liệu không có giá trị đối với người sử đụng.
7.3.5. G iai đ o ạ n 5: T ổng h ọp các k ết quả th ử nghiệm và xác định các biện pháp hoàn th iện hệ thống
M ục đích c ủ a chương trình đánh giá hiệu quả của hệ thống tìm tin là tìm ra các giải pháp để nâng cao hiệu quả hoạt động của hệ thống. Vì vậy, nhiệm vụ chính của giai đoạn này là dựa trên kết quả đánh giá để xác đinh nhừiig hạn chễ quan trọng của nệ thống và đưa ra các biện pháp hoàn thiện hệ thống. Đ e nâng cao hiệu quả hoạt động của hệ thống tìm tin, có thể áp dụng các biện oháp liên quan đến các yếu tố khác nhau như ngôn ngừ tìm tin được sừ dụng để đánh chì số, qui trình đánh chỉ số, chiến lược tìm tin, sự tương lác giừa người sử dụng và hệ thống... Các biện pháp hoàn thiện hệ thống phải được xác định dựa trên điều kiện thực tế và khá năng cùa hệ thống để bảo đ ả m tính khả thi của các biện pháp.