tốn trích rút snippet Kỹ thuật trích rút snippet văn sử dụng mơ hình ngơn ngữ thống kê

Giáo Viên Hướng Dẫn : TS Lê Thanh Hương Sinh viên thực : Phạm Hồng Đức Lớp : Tin Pháp K51 Nội dung Giới thiệu máy tìm kiếm Giới thiệu tốn trích rút snippet Kỹ thuật trích rút snippet văn sử dụng mơ hình ngơn ngữ thống kê Kiến trúc hệ thống Cài đặt thử nghiệm 1.Giới thiệu máy tìm kiếm Phân loại máy tìm kiếm Máy tìm kiếm tổng quát Máy tìm kiếm chuyên sâu Kiến trúc hệ thống tìm kiếm Indexer Crawler Searcher 2.Giới thiệu tốn trích rút snippet Mục tiêu cần đạt Nghiên cứu đề xuất giải pháp trích rút snippet văn sử dụng mơ hình ngơn ngữ thống kê Xây dựng hệ thống trích rút snippet văn sử dụng mơ hình ngơn ngữ thống kê, kết hợp xử lý tách từ tiếng việt Một số kỹ thuật trích rút snippet FS-Win Cos-Win Đoạn gồm k từ chứa hầu hết tồn từ khóa truy vấn thích hợp snippet Đoạn mà có độ tương đồng Cosin cao với câu truy vấn snippet 3.Kỹ thuật trích rút snippet văn sử dụng mơ hình ngơn ngữ thống kê  Trích rút snippet văn tài liệu rút gọn Snippet theo cách mà phản ánh đặc tính câu truy vấn  Mơ hình ngơn ngữ thống kê phân bố xác suất mà bắt quy luật thống kê (như quy luật phân bố từ) ngơn ngữ tự nhiên Cặp mơ hình ngơn ngữ thống kê Mř Mr Tính xác suất từ xuất tập tài liệu khơng thích hợp Ký hiệu: P(w| Mř) Tính xác suất từ xuất tập tài liệu thích hợp Ký hiệu: P(w|Mr) 10 Ước lượng tham số cặp mơ hình ngôn ngữ thống kê Mř Mr  Bước 1: truy vấn q  tập tài liệu thích hợp Rq  Bước 2: tính xác suất từ w tài liệu thích hợp d  Bước 3:tính xác suất từ w Mr P(d|q) = score/total_score 11 Phương pháp phân tích chuỗi từ d w1 w2 wn Xác suất từ w tài liệu d: P(w|d) =P(w|Mr) – P(w|Mř) 12 Phương pháp phân tích chuỗi từ  Tính:  Snippet: {ws,…,wt} 13 4.Kiến trúc hệ thống Tập tài liệu Câu truy vấn Snippet Bộ tách từ Bộ tách từ Mơ hình thích hợp Bộ phân tích chuỗi từ Bộ tìm kiếm Tập tài liệu tách từ Mơ hình khơng thích hợp 14 5.Cài đặt thử nghiệm  Tập tài liệu thử nghiệm 100 tài liệu lấy từ tin trang dantri.com.vn vnexpress.net, lưu lại dạng file text  Hệ thống cài đặt máy tính cá nhân Intel Core Duo T6600 2.2 GHZ, Ram 2GB, chạy hệ điều hành Ubuntu 15 Cài đặt thử nghiệm 16 Kết thử nghiệm đánh giá Câu truy vấn Các snippet tài liệu thích hợp 1) quan quốc hội 11 ứng cử viên công tác văn phòng quốc hội ứng cử đại biểu quốc hội khóa 13… 2) thời gian lấy ý kiến cử tri danh sách 63 người ứng cử đại biểu quốc hội lần… Đại biểu quốc hội 3) tổ đại biểu quốc hội khóa xii gồm đại biểu huỳnh thành lập…quốc hội khóa xii gồm bà phạm phương thảo… 4) văn phòng quốc hội lào diễn hội đàm đồn đại biểu văn phịng quốc hội việt nam đồn đại biểu văn phịng quốc hội lào… 5) đại biểu quốc hội cử tri tán đồng…buộc quan có trách nhiệm phải xem xét lại cách…quốc hội khóa xiii dễ dàng… 6) đại biểu quốc hội thay mặt…chủ nhiệm ủy ban…đã tin tưởng…rằng không cần thiết phải thành lập…có đức…ủy ban…ở… 7) bầu cử đại biểu quốc hội khóa xii đại biểu hđnd…tú chi cho biết tại… 8) cử tri tham gia bầu đại biểu quốc hội đại biểu hđnd… 17 Kết Luận Các điểm đạt được: -Tìm hiểu hệ thống tìm kiếm -Xây dựng cài đặt thử nghiệm module trích rút snippet văn sử dụng mơ hình ngơn ngữ thống kê có kết hợp tách từ tiếng việt Hạn chế: -Tài liệu thử nghiệm nhỏ -Chưa tích hợp vào hệ thống tìm kiếm hồn chỉnh Định hướng: -Tích hợp thử nghiệm hệ thống tìm kiếm cụ thể 18 19