Bước 1. Lấy các dữ liệu đầu vào cho mô hình LDA
Ở bước này tác giả sử dụng các kết quả tìm kiếm của các câu truy vấn thuộc tập DTest để làm dữ liệu đầu vào cho mô hình LDA. Đối với mỗi câu truy vấn, tác giả lấy 5 kết quả tìm kiếm trên Google có thứ hạng cao nhất.
Bước 2. Chạy chương trình JGibbsLDA tìm các chủ đề ẩn
Tác giả sử dụng chương trình mã nguồn mở JGibbsLDA v.1.0 với dữ liệu ở bước 1 để tìm các chủ đề ẩn đối với kết quả tìm kiếm của mỗi câu truy vấn. Với mỗi câu truy vấn, số lượng các chủ đề ẩn đầu ra là K = 50 chủ đề, với mỗi chủ đề lấy 300 từ có xác suất lớn nhất.
Sau bước này, tác giả có 9,46 GB dữ liệu là các chủ đề ẩn của 6.235 câu truy vấn thuộc tập DTest.
Bước 3. Chọn các chủ đề ẩn
Sử dụng chương trình QClassification để chọn các chủ đề ẩn. Tiêu chí để chọn chủ đề ẩn z là độ tương tự giữa chủ đề z và một lớp C lớn hơn 1 giá trị
ngưỡng cho trước (τs(q)), sao cho số lượng các chủ đề ẩn được chọn không quá W = 10 chủ đề (= 20% × 50 chủ đề): ) ( ) | ( ) , ( } : | { q z w p z C sim s T w C q T w w q τ ≥ = ∑ ∈ ∈ ∃ ∈ ∈
với T là tập các từ vựng, Tq là tập hợp các từ trong câu truy vấn q.
Để thực hiện bước này với 6.235 câu truy vấn của tập kiểm thử, tác giả thiết lập giá trị ban đầu của τs(q) = 0,1 rồi chạy chương trình QClassification để chọn các chủ đề ẩn của tất cả các câu truy vấn trong tập DTest. Các câu truy vấn nào có số chủ đề ẩn được chọn lớn hơn W sẽ được lọc ra, sau đó tăng giá trị
) (q
s
τ = 0,15 rồi tiếp tục chạy chương trình QClassification để chọn các chủ đề ẩn của các câu truy vấn được lọc ra này. Quá trình trên tiếp tục đến khi nào số chủ đề ẩn được chọn của các câu truy vấn đều không vượt quá W.
Sau bước 3, tác giả có gần 400MB các chủ đề ẩn đã được chọn của các câu truy vấn trong tập kiểm thử DTest.
Bước 4. Làm giàu và phân lớp các câu truy vấn trong tập kiểm thử
Tác giả tiến hành làm giàu các câu truy vấn sau đó tiến hành phân lớp các câu truy vấn đã được làm giàu sử dụng thuật toán ALTest. Các bước làm giàu câu truy vấn q tương tự bước 4 của thực nghiệm với mô hình 1.
Bảng 5.10: Một số kết quả phân lớp sau khi làm giàu câu truy vấn theo mô hình 2
Câu truy vấn Lớp Kết quả 1 Từ mới Kết quả 2
2005 xterra autos.dat holidays.dat nissan autos.dat
3com modem driver
computing.dat autos.dat card computing.dat
accidently in love lyrics
ent.dat ent.dat shrek ent.dat
ambest pf.dat UNDEFINED stocks pf.dat
beatles music ent.dat ent.dat lennon ent.dat
better homes and garden
home.dat business.dat bedroom home.dat
cree summer ent.dat sports.dat lyrics ent.dat
ericsson t68 cell phone backgrounds
computing.dat computing.dat ringtones computing.dat
fleetwood the new best of fleetwood mac
for guit
ent.dat research.dat guitar ent.dat
globexplorer research.dat UNDEFINED postgis, database, system research.dat homeless shelter director careers
news.dat computing.dat tribune news.dat
irritable male syndrome
health.dat porn.dat levels health.dat
jcpenny shopping.dat UNDEFINED jcpenney shopping.dat
jdm engine swaps 88 91
civic
autos.dat ent.dat honda autos.dat
livido reticularis
health.dat UNDEFINED lupus health.dat
malayala manorama
news.dat UNDEFINED newspaper news.dat
pocono camp grounds
holidays.dat other.dat campground holidays.dat
premature birth stories
health.dat other.dat pregnancy health.dat
robert williams conductor
ent.dat sport.dat music ent.dat
robots computing.dat UNDEFINED computer computing.dat
sade baderinwa
news.dat UNDEFINED daily news.dat
saleen autos.dat UNDEFINED mustang autos.dat
toothache home remedy
health.dat home.dat dentist health.dat
traci lords ent.dat UNDEFINED film ent.dat
tv stands shopping.dat ent.dat furniture shopping.dat
ty rick james daughter
news.dat ent.dat news news.dat
types of feline diseases which
cause abdominal e
health.dat home.dat pain health.dat
used cars in new york
autos.dat autos.dat sedan autos.dat
verizon bluetooth tech
phones
computing.dat computing.dat device computing.dat
veteran prescription
benefits
health.dat health.dat medicare health.dat
weight loss health.dat health.dat exercise health.dat
wellbutron health.dat UNDEFINED recognize, therapy
health.dat
wellsburg west virginia real
estate
business.dat business.dat owner business.dat
what causes tenderness in
breasts