Nh chúng tôi đã đ c p, chúng tôi th c hi n đánh giá d a trên mô hình h ng h th ng đ đánh giá k t qu tr v c a các h th ng tìm ki m thông tin (chúng tôi g i t t là h th ng IR). Nh ng đ vi c đánh giá đ c th c hi n m t
Lu n v n : ánh giá các h th ng tìm ki m thông tin
th ng tr giúp đánh giá các h tìm ki m thông tin. H th ng tr giúp đánh giá g m có ch ng trình h tr đánh giá các h th ng tìm ki m t đ ng và b ng li u dùng đ đánh giá.
3.2.1.2. M c tiêu
Ch ng trình h tr đánh giá cho phép th c thi và xem cách th c ho t đ ng c a các h th ng tìm ki m thông tin b t k . th c thi tìm ki m trên m t h th ng tìm ki m thông tin b t k , ch ng trình ph i cho phép đ nh d ng b ng li u dùng đ đánh giá c a ch ng trình thành b ng li u mà h th ng tìm ki m có th hi u và tìm ki m đ c. Còn cách th c ho t đ ng c a h th ng tìm ki m ch y u là vi c l p ch m c câu h i, tài li u đ cho ng i đánh giá th y m t cách tr c quan cách l p ch m c c a h th ng tìm ki m và so sánh cách l p ch m c c a các h th ng v i nhau. Nh ng ph n quan tr ng nh t mà ch ng trình ph i h tr đó là tính hi u su t th c thi c a các h th ng tìm ki m thông tin đ bi t đ c h th ng tìm ki m có t t hay không. Hi u su t th c thi đ c tính d a trên đ đo đ bao ph và đ chính xác c a k t qu mà h th ng tìm ki m tr v . Hi u su t th c thi c a t ng h th ng và so sánh hi u su t c a các h th ng đ c bi u di n b ng đ th tr c quan cho phép ng i đánh giá có th d dàng xác đ nh kh n ng tìm ki m c a m t h th ng và so sánh nhi u h th ng tìm ki m v i nhau.
3.2.1.3. Ph m vi
Ph m vi c a h th ng đánh giá là ch tr giúp các h th ng IR có: - các file k t qu và file ch m c là d ng XML
- t p d li u ki m th (t p tài li u và t p câu h i) có th d ng XML hay d ng text file
3.2.1.4. Ch c n ng
Lu n v n : ánh giá các h th ng tìm ki m thông tin
- cho phép th c thi m t h th ng IR (v i đi u ki n h th ng IR ph i có file th c thi)
- Cho phép xem cách th c ho t đ ng c a h th ng IR (ví d nh cách l p ch m c b ng li u dùng đ đánh giá).
- Hi u thông tin k t qu tr v c a h th ng IR và tính toán ,đánh giá h th ng IR đó
- cho phép xem k t qu đánh giá c a m t h th ng c th - so sánh các h th ng IR
cho phép xem đ th bi u di n đ ng cong RP chu n hóa
3.2.1.5. Tính kh d ng
- T ng thích, ch y đ c trên hai môi tr ng Windows và Linux
- Giao di n ng i dùng d s d ng, cho phép đnh d ng, xem h th ng tìm ki m th c thi và đánh giá tr c quan b ng đ th .
3.2.1.6. Hi u su t - có kh n ng đnh d ng b ng li u dùng đ đánh giá kích th c l n m t cách nhanh chóng. 3.2.1.7. Tính b o m t (không có) 3.2.2. Phân tích h th ng đánh giá 3.2.2.1. Ch c n ng c a h th ng
H th ng tr giúp đánh giá có các ch c n ng chính sau: ánh giá k t qu truy v n c a m t h th ng IR So sánh hi u su t th c thi c a nhi u h th ng IR
Lu n v n : ánh giá các h th ng tìm ki m thông tin
3.2.2.2. Ch c n ng yêu c u
3.2.2.2.1.Ch c n ng đánh giá m t h th ng IR
3.2.2.2.2.Ch c n ng so sánh nhi u h th ng IR
Lu n v n : ánh giá các h th ng tìm ki m thông tin
Mô t usecase: Dinh dang tai lieu
Usecase này cho phép ng i s d ng chuy n đ i c u trúc t p tài li u c a ch ng trình thành c u trúc tài li u c a h th ng IR
Dinh dang cau hoi:
Usecase này cho phép ng i s d ng chuy n đ i c u trúc t p câu h i c a ch ng trình thành c u trúc câu h i c a h th ng IR
Thuc thi he thong IR:
Usecase này cho phép th c thi m t h th ng IR bên ngoài
Dinh dang ket qua:
Usecase này cho phép ng i s d ng chuy n đ i c u trúc t p tin k t qu c a h th ng IR thành c u trúc t p tin k t qu do ch ng trình đnh ngh a và x lý các thông tin k t qu này đ đánh giá h th ng IR
Dinh dang index file:
Usecase này cho phép ng i s d ng chuy n đ i c u trúc t p tin index c a h th ng IR thành c u trúc t p tin index do ch ng trình đnh ngh a
Xem ket qua danh gia
Tap du lieu kiem tra
(from Actors)
He thong IR
(from Actors)
Thuc thi he thong IR
(from Use Cases)
Dinh dang tai lieu
(from Use Cases)
Dinh dang cau hoi
(from Use Cases)
Dinh dang ket qua
(from Use Cases)
Dinh dang index file
(from Use Cases)
Xem ket qua danh gia
(from Use Cases)
So sanh nhieu he thong IR
(from Use Cases)
NguoiSuDung
Lu n v n : ánh giá các h th ng tìm ki m thông tin
Usecase này cho phép ng i s d ng xem k t qu đánh giá h th ng IR
So sanh nhieu he thong IR
Usecase này cho phép so sánh nhi u h th ng IR v i nhau
3.2.2.2.4.S đ tu n t ho t đ ng usecase Dinh dang tai lieu:
: NguoiSuDung TH_DDTaiLieu XL_Doc XL_XML XL_Text LT_XML LT_Text Mo man hinh
Nhap thong tin dinh dang
Yeu cau chuyen sang XML Dinh dang tai lieu
Chuyen doi XML Ghi file XML
Yeu cau chuyen sang text
Yeu cau dinh dang text
Chuyen doi text
Lu n v n : ánh giá các h th ng tìm ki m thông tin
Dinh dang cau hoi:
: NguoiSuDung TH_DDCauHoi XL_Topic XL_XML XL_Text LT_XML LT_Text Mo man hinh
Nhap thong tin dinh dang Yeu cau chuyen sang XML
Dinh dang cau hoi
Chuyen doi XML Ghi file XML
Yeu cau chuyen doi sang text
Dinh dang cau hoi text
Chuyen doi sang Text
Lu n v n : ánh giá các h th ng tìm ki m thông tin
Thuc thi he thong IR:
: NguoiSuDung TH_ThucThiHT TH_DKThucThi XL_HeThongIR : He thong IR
Mo man hinh
Yeu cau thuc thi he thong IR
Xet tap du lieu kiem tra da san sang ?
Chua san sang Yeu cau nhap vi tri luu tru tap du lieu
Nhap vi tri luu tap du lieu
Sao chep tap du lieu den vi tri yeu cau Thuc thi he thong
Da san sang
Thuc thi he thong
hien thi he thong IR
Lu n v n : ánh giá các h th ng tìm ki m thông tin
Dinh dang ket qua
: NguoiSuDung TH_DDKetQua XL_KetQua XL_XML LT_XML Mo man hinh
Nhap thong tin dinh dang
Yeu cau dinh dangDinh dang ket qua IRLay du lieu file kq
Thong tin ve ket qua Tao file ket qua co cau truc cua chuong trinh
Ghi file XML
Lu n v n : ánh giá các h th ng tìm ki m thông tin
Dinh dang index file:
: NguoiSuDung TH_DDIndex
XL_Index
XL_XML LT_XML
Mo man hinh
Nhap thong tin dinh dang
Yeu cau chuyen doi
Chuyen doi file index tai lieu
Lay thong tin file index tai lieu Thong tin file index tai lieu Tao file index tai lieu theo cau truc cua chuong trinh
Chuyen doi file index cau hoi
Ghi file XML
Lay thong tin file index cau hoi Thong tin file index cau hoi
Ghi file XML
Lu n v n : ánh giá các h th ng tìm ki m thông tin
XL_Index
: NguoiSuDungTH_Kq_DanhGiaTH_XemChiTietTH_DoThi_HeThongXL_Topic XL_KetQuaXL_Doc XL_HeThongIRXL_XML XL_DoThi LT_XML
Mo nam hinh
Yeu cau thong tin ve cac he thong da danh gia
danh sach he thong
Hien thi danh sach he thong Chon he thong can xem
Lay danh sach cac cau hoi duoc kiem tra
Lay noi dung cua cac the theo yeu cau cua file xmlDoc file he thong
Lay noi dung cua cac the theo yeu cau cua file xml Doc file danh gia Danh sach cau hoi
xem thong tin lien quan cua mot cau hoi
Lay cac tai lieu lien quan den cau hoi do va ket qua danh gia
Lay noi dung cua cac the theo yeu cau cua file xml Doc file danh gia Cac tai lieu lien quan va thong tin danh gia
Hien thi ket qua danh gia
Yeu cau xem thong tin chi tiet
Mo man hinh xem chi tietLay noi dung cua cau hoi
Noi dung cau hoi
Lay noi dung tai lieu lien quan va do tuong quan
Noi dung tai lieu lien quan va do tuong quan
Lay noi dung cua cac the theo yeu cau
Doc file cau hoi tuong ung
Lay noi dung cua cac the theo yeu cau
Doc file tai lieu tuong ung
Lay thong tin chi muc cua tai lieu va cau hoiLay noi dung cua cac the theo yeu cau
Doc file index cua tai lieu va cau hoi Noi dung theo yeu cau
Noi dung theo yeu cau
Noi dung theo yeu cau Noi dung index
hien thi thong tin lien quan cua cau voi voi 1 tai lieu
Yeu cau xem do thi he thong
Ve do thi he thong
Lay thong tin ve do chinh xac o 11 diem chuan cua do bao phu
Lay noi dung cua the theo yeu cau Doc file he thong
Lu n v n : ánh giá các h th ng tìm ki m thông tin
So sanh nhieu he thong IR
: NguoiSuDung TH_SoSanhHT XL_HeThongIR XL_DoThi XL_XML LT_XML
Mo man hinh
Lay danh sach cac he thong
Lay thong tin cac the theo yeu cau Doc file he thong
Danh sach he thong IR
Thong tin theo yeu cau
Hien thi cac he thong IR
Chon cac he thong IR can so s anh
Lay gia tri R,P chuan cua cac he thong
Yeu cau ve do thi
Lay thong tin cac the theo yeu cau Doc file he thong thong tin theo yeu cau
Thong tin R,P o 11 diem chuan
Lu n v n : ánh giá các h th ng tìm ki m thông tin
3.3. Thi t k h th ng đánh giá
3.3.1. Các ch c n ng c a ch ng trình
3.3.1.1. Ch c n ng “ nh d ng c s d li u tài li u”
Ch ng trình ph i xây d ng t p c s d li u dùng cho vi c ki m tra các h th ng IR . T p c s d li u bao g m : các tài li u , tâp câu truy v n . (Ngoài ra còn có b ng k t qu đánh giá chu n đ so sánh h th ng IR v i các h th ng IR chu n). V i ch c n ng này, ch ng trình s cho phép ng i dùng khai báo đnh d ng d li u (bao g m tài li u và câu truy v n) mà h th ng IR c a h c n. D a vào đnh d ng này , ch ng trình s t o t p d li u có n i dung là t p d li u c a mình nh ng có c u trúc c a h th ng IR
3.3.1.2. Ch c n ng “ nh d ng k t qu tr v ”
H th ng IR sau khi th c hi n t t c các câu truy v n trong t p c s d li u tài li u , s g i k t qu th c thi v cho ch ng trình.
M i h th ng IR s đnh d ng k t qu tr v khác nhau, và k t qu tr v mà ch ng trình quan tâm là t p tin k t qu ghi nh n s liên quan c a m i câu h i v i t p tài li u
ánh giá nhi u h th ng IR
ánh giá m t h th ng IR
Th c thi h th ng IR X lý k t qu tr v
Lu n v n : ánh giá các h th ng tìm ki m thông tin
Ch c n ng này ghi nh n các thông tin đnh d ng k t qu t o file k t qu có c u trúc c a ch ng trình và ghi nh n thông tin k t qu c a h th ng IR
t o b ng liên quan th c t (do ch ng trình IR c n đánh giá cung c p)
3.3.1.3. Ch c n ng “ nh d ng file index”
H th ng IR có l u tr thông tin l p ch m c cho tài li u và cho câu h i h tr ng i dùng đánh giá ch c n ng l p ch m c c a h th ng IR, ch ng trình hi n th thông tin ch m c c a h th ng IR. Do đó ch c n ng này cho phép ng i dùng khai báo c u trúc file index đ ch ng trinh l y thông tin
3.3.1.4. Ch c n ng “Th c thi h th ng IR”
G i th c thi h th ng IR
3.3.1.5. Ch c n ng “X lý k t qu tr v ”
D a vào b ng đánh giá chu n (b ng liên quan theo lý thuy t) và b ng liên quan tính đ bao ph ,đ chính xác và các giá tr đ chính xác t i 11
đi m chu n c a đ bao ph , tính giá tr đ bao ph trung bình, đ chính xác trung bình
3.3.1.6. Ch c n ng ” ánh giá m t h th ng IR”
D a vào t p k t qu tr v đã đ c c u hình theo đnh d ng c a ch ng trình, chu ng trình s tính hi u su t th c thi c a h th ng d a vào đ bao ph và đ chính xác