Máy tính hiện nay đã đóng góp một phần không nhỏ vào đời sống, và đã trở nên phổ dụng. Trong lĩnh vực lưu trữ dữ liệu, chỉ cần một ổ cứng 10x15x3 cm3 là đã có thể lưu trữ được số lượng sách tương ứng với cả một thư viện sách khổng lồ. Theo đó, là vấn đề tra cứu dữ liệu trong kho dữ liệu như thế. Cũng như việc tổ chức trong thư viện, việc lưu trữ tài liệu điện tử trong máy tính cũng được chia thành các loại sách, và chủ đề lớn khác nhau. Hiện nay xu thế người đọc sách là coi sách là nguồn để tra cứu những vấn đề mình quan tâm, chứ không phải học một kiến thức mới do một cuốn sách mang đến. Vấn đề đặt ra là làm sao tư vấn cho người dùng những cuốn sách nào liên quan nhiều nhất tới chủ đề người dùng yêu cầu (thông qua các từ khóa được nhập) bằng phân tích nội dung và lịch sử truy cập của những người dùng trước. Luận văn này đực thực hiện nhằm đề xuất ra được một phương thức xây dựng hệ thống hỗ trợ tư vấn với các kết quả sau: Tư vấn hoàn toàn tự động các tài liệu cho người dùng theo từ khóa, lịch sử truy cập của người dùng đó và những người dùng khác và sở thích của họ. Kết quả tư vấn ngày càng chính xác hơn vì hệ thống có phân tích và cập nhật lịch sử truy cập của người dùng. Giới thiệu tài liệu có độ tương tự nhất định với tài liệu đang nghiên cứu để người dùng lựa chọn tài liệu tiếp theo nghiên cứu. Hệ thống khảo sát (survey) để thu thập các ý kiến đánh giá của người dùng về sự tương tự của các tài liệu hệ thống gợi ý. Qua đó, càng thu thập nhiều sự đánh giá, kết quả tư vấn cho người dùng càng sát với vấn đề người ta đặt ra hơn. Người dùng mới không nhất thiết phải đăng ký thông tin với hệ thống
Page 1 of 130 LỜI NÓI ĐẦU 1 1. MỤC TIÊU VÀ Ý NGHĨA CỦA ĐỀ TÀI Máy tính hiện nay đã đóng góp một phần không nhỏ vào đời sống, và đã trở nên phổ dụng. Trong lĩnh vực lưu trữ dữ liệu, chỉ cần một ổ cứng 10x15x3 cm 3 là đã có thể lưu trữ được số lượng sách tương ứng với cả một thư viện sách khổng lồ. Theo đó, là vấn đề tra cứu dữ liệu trong kho dữ liệu như thế. Cũng như việc tổ chức trong thư viện, việc lưu trữ tài liệu điện tử trong máy tính cũng được chia thành các loại sách, và chủ đề lớn khác nhau. Hiện nay xu thế người đọc sách là coi sách là nguồn để tra cứu những vấn đề mình quan tâm, chứ không phải học một kiến thức mới do một cuốn sách mang đến. Vấn đề đặt ra là làm sao tư vấn cho người dùng những cuốn sách nào liên quan nhiều nhất tới chủ đề người dùng yêu cầu (thông qua các từ khóa được nhập) bằng phân tích nội dung và lịch sử truy cập của những người dùng trước. Luận văn này đực thực hiện nhằm đề xuất ra được một phương thức xây dựng hệ thống hỗ trợ tư vấn với các kết quả sau: 1 - Tư vấn hoàn toàn tự động các tài liệu cho người dùng theo từ khóa, lịch sử truy cập của người dùng đó và những người dùng khác và sở thích của họ. Kết quả tư vấn ngày càng chính xác hơn vì hệ thống có phân tích và cập nhật lịch sử truy cập của người dùng. 2 - Giới thiệu tài liệu có độ tương tự nhất định với tài liệu đang nghiên cứu để SVTH: Lê Ngọc Phương Trinh Page 2 of 130 người dùng lựa chọn tài liệu tiếp theo nghiên cứu. - Hệ thống khảo sát (survey) để thu thập các ý kiến đánh giá của người dùng về sự tương tự của các tài liệu hệ thống gợi ý. Qua đó, càng thu thập nhiều sự đánh giá, kết quả tư vấn cho người dùng càng sát với vấn đề người ta đặt ra hơn. 3 - Người dùng mới không nhất thiết phải đăng ký thông tin với hệ thống. Hệ thống vẫn gợi ý cho người dùng thông qua phân tích nội dung và lịch sử truy cập hệ thống. 4 - Đáp ứng các yêu cầu tìm kiếm trên các trang web (tìm kiếm trong site riêng hoặc trên internet). Hệ thống hướng tới việc tìm kiếm và xây dựng cơ sở dữ liệu động từ internet. 0 2. VẤN ĐỀ GIẢI QUYẾT Có 2 phương pháp chủ đạo được dùng trong hệ tư vấn: Phương pháp lọc cộng tác: là phương pháp tập hợp các đánh giá hoặc các quan điểm của người dùng, nhận dạng sự tương đồng giữa các người dùng trên cơ sở các phiên giao dịch của họ. Phiên giao dịch của người dùng được bắt đầu từ khi người dùng đánh từ khóa và có tín hiệu search. Kết thúc phiên làm việc với một từ khóa mới được nhập. Phương pháp lọc cộng tác ước lượng hàm đánh giá R(u,i) của item i với user u dựa trên cơ sở đánh giá R(u’,i) của user u’ cho cùng item i mà trong đó u và u’ là tương tự nhau. Phương pháp lọc cộng tác có các vấn đề như: SVTH: Lê Ngọc Phương Trinh Page 3 of 130 5 Sự thưa thớt: thực tế thì vấn đề của người dùng quan tâm (từ khóa) nó chiếm phần rất nhỏ và sự đánh giá sự tương đồng cho tài liệu là rất nhỏ so với rất nhiều tài liệu của hệ thống. Với hệ thống gợi ý trong luận văn này, các đánh giá, các nhận định sẽ được lưu lại dần dần, loại bỏ dần những kết quả không chính xác. 6 Vấn đề tài nguyên mới: Hệ thống không ngừng cập nhật các tài liệu mới cho kho dữ liệu của mình. Mỗi lần thêm một tài liệu mới, hệ thống sẽ tính lại (off-line) là phân tích độ tương đồng về ngữ nghĩa giữa các văn bản (kỹ thuật LSA) để tìm ra tập các láng giềng gần của một cuốn sách. 7 Vấn đề người dùng mới: Như đã đề cập, hệ thống sẽ phân tích và lưu trữ lại lịch sử của tất cả các phiên làm việc, kết hợp phân tích nội dung trong hệ thống để lọc ra sự tương đồng, liên quan chính xác nhất của các tài liệu. Nên hệ thống hoàn toàn có thể gợi ý tư vấn cho một người dùng mới. Khi người dùng cung cấp cho hệ thống các sở thích, hệ thống sẽ lọc tiếp theo sở thích đó, để cung cấp kết quả chính xác hơn. Phương pháp lọc dựa trên nội dung: là một giải thuật hướng về nghiên cứu lọc thông tin, phương pháp lọc dựa trên nội dung ước lượng hàm đánh giá R(u,i) của item i với user u được thiết lập dựa trên cơ sở đánh giá R(u,i’) của cùng user u cho item i’ mà trong đó i và i’ là tương tự nhau về mặt nội dung. Nhược điểm chính của phương pháp này là nó giả định các thuật ngữ là độc lập nhau. Trong thực tế, các thuật ngữ thường có liên quan với nhau và hiểu được điều này có thể dẫn đến việc tính độ liên quan tốt hơn. SVTH: Lê Ngọc Phương Trinh Page 4 of 130 Tính đồng nghĩa: có nhiều cách để chỉ đến một đối tượng, ví dụ: car và automobile 8 • Các sản phẩm tương tự được đối xử theo cách khác nhau 9 • Tăng sự thưa thớt, làm mất tính chất bắc cầu giữa các từ khóa 10 • Sinh ra kết quả có chất lượng thấp Tính nhiều nghĩa của từ: hầu hết các từ đều có nhiều nghĩa, ví dụ: model, python, chip. 11 • Độ chính xác thấp 12 2 3. CÁCH GIẢI QUYẾT 3 Sử dụng phương pháp lọc cộng tác, hệ thống đã đưa ra phương án giải quyết được các nhược điểm của nó như đã trình bầy ở trên. Về sử dụng phương pháp lọc dựa trên nội dung, hệ thống đang sử dụng các phương pháp: 1 3.1 Phân tách tài liệu thành các từ khóa (Filter) 2 Các tài nguyên là các tài liệu được thể hiện dưới dạng văn bản như một cuốn sách, tạp chí, hay một bài báo, bài diễn văn điện tử nào đó. Với những tài liệu tiếng Anh, một từ thường có một âm tiết, ta có thể dễ dàng xác định một từ dựa vào dấu cách (space) hoặc dấu câu. Việc phân tách văn bản tiếng anh thành các từ khóa không khó khăn. Với những văn bản tiếng việt, mỗi từ nó có thể có một, hai hoặc nhiều hơn số lượng âm tiết. Việc phân tách thành từ khóa đối với văn bản tiếng việt phải dựa SVTH: Lê Ngọc Phương Trinh Page 5 of 130 trên từ điển và các thuật toán đọc từ khóa sao cho đúng nghĩa nhất của câu. Thí dụ: Học sinh học sinh học thì hệ thống sẽ tách thành Học sinh, học, sinh học. Sau đó, loại bỏ các từ dừng (Stopword – Những từ mang ý nghĩa cảm thán, đại từ…như anh, bạn, do đó…), những từ không mang nhiều ý nghĩa về nội dung. Bước tiếp theo, dùng kỹ thuật TF-IDF để lọc bỏ bớt số lượng từ khóa của tài liệu. 3.2 Phân tích ngữ nghĩa tiềm ẩn (Latent Semantic Analystic-LSA) 3 Kỹ thuật LSA là những lý thuyết và phương thức cho việc trích rút và thể hiện ngữ cảnh sử dụng ngữ nghĩa của từ dựa trên việc tính toán thông kê. Kỹ thuật này cho phép ứng dụng trên một kho dữ liệu văn bản lớn. Ý tưởng cơ bản của kỹ thuật là tổng hợp tất cả các văn cảnh của từ, trong đó, một từ được đưa ra đã và không chỉ định biểu lộ những tập ràng buộc lẫn nhau. Những tập ràng buộc này cho phép xác định sự tương đồng về nghĩa của những từ và tập hợp mỗi từ khác. 4 Tập các từ khóa của các tài liệu của bước phân tích trên được dùng làm đầu vào cho các hàng của ma trận. Theo đó, bộ từ khóa của một tài liệu được dùng làm cột, các tài liệu làm hàng, các cell của ma trận được khởi tạo là tần suất xuất hiện của từ khóa-thuật ngữ đó trong tài liệu. LSA dùng kỹ thuật phân tích giá trị riêng (SVD- singular value decomposition) để giảm bớt để giảm bớt kích thước ma trận thuật ngữ- tài liệu, không gian N-chiều sẽ được giảm bớt xuống một không gian K chiều, K<<N, không gian mới này được gọi là không gian khái niệm. 5 Sử dụng kết quả bước này, ta thu được tập các tài liệu có sự tương đồng về ngữ SVTH: Lê Ngọc Phương Trinh Page 6 of 130 nghĩa nhất định với tài liệu xét. Là nguồn quan trọng trong việc đưa ra gợi ý những tài liệu tương tự với tài liệu người dùng đang đọc. 3.3 Phân tích lịch sử truy cập của người dùng 6 Một phiên làm việc của người dùng được đánh dấu bằng việc nhập một từ khóa và nhấn nút search. Các kết quả gợi ý được đưa ra, khi người dùng quyết định chọn một tài liệu (A), hệ thống gợi thống gợi ý các tài liệu có liên quan (dựa vào phân tích LSA trước và phân tích lịch sử phiên làm việc). Khi người dùng chọn một tài liệu (B) tiếp theo trong phần của hệ thống gợi ý để đọc, hệ thống ghi nhận tài liệu B có liên quan nhất trong phiên làm việc đó với tài liệu A. Và cứ thế, hệ thống sẽ cập nhật và đánh giá lại sự liên quan nhất định của các tài liệu qua các phiên làm việc của người dùng. Hệ thống còn đưa ra kỹ thuật khảo sát (survey) để thu thập ý kiến chính xác hơn của người dùng về sự tương đồng của các tài liệu. Hạn chế của phương pháp này, là khi có một tài liệu mới được cập nhật, chỉ số lịch sử truy cập của nó là 0, hoặc một giá trị âm nào đó. Có thể về cơ bản thì nó rất tương đồng với văn bản A trên chẳng hạn, nhưng phải qua nhiều lần, nhiều phiên làm việc thì nó mới đứng đầu trong các văn bản liên quan của A. SVTH: Lê Ngọc Phương Trinh Page 7 of 130 4. CÁC ĐÓNG GÓP CHÍNH CỦA LUẬN VĂN Cung cấp bộ phân tách văn bản thành các từ khóa với văn bản tiếng Việt và văn bản tiếng Anh. Sử dụng bộ đọc văn bản đầu vào Ifilter để xử lý, kết hợp các file từ điển, file từ stopword để tách dữ liệu được đọc vào thành các từ khóa, đặc trưng cho tài liệu đó. Kỹ thuật LSA, đánh giá độ tương đồng về mặt ngữ nghĩa giữa các tài liệu dựa trên kỹ thuật xử lý ma trận SVD. Phần này sẽ được trình bày chi tiết trong luận văn còn lại của dự án (Liên lạc với Mr Kiều Văn Cường) Cung cấp kỹ thuật xử lý lịch sử phiên làm việc của một người dùng, cho phép các kết quả chính xác hơn sau nhiều phiên làm việc. Đề xuất mô hình và phương thức triển khai cho phần mở rộng dự án, xây dựng hệ thống CSDL động trên Internet và đẩy hết các quá trình xử lý thành on-line (hệ thống như một tool tìm kiếm cho khách hàng. Hệ thống sẽ bắt đầu khi người dùng bắt đầu phiên làm việc) SVTH: Lê Ngọc Phương Trinh Page 8 of 130 5. CÀI ĐẶT 5.1 Tách tài liệu thành các từ khóa. Tìm kiếm dựa trên từ khóa Mô hình này áp dụng cho những lần gợi ý đầu tiên, cho khi người dùng nhập từ khóa. Giải thuật tách từ khóa (chạy off-line): Input: tập tài nguyên là sách, tạp chí, trang thông tin (html) ở các định dạng tài liệu. Output: Tập các từ khóa với rank tương ứng. Quá trình tìm kiếm sẽ ưu tiên với những khóa được lọc ra ở tập khóa có mức độ ưu tiên được đánh giá bằng rank tương ứng của chúng Giải thuật này được thiết kế để chạy offline trong phiên bản đầu tiên này. Quá trình cập nhật tài liệu được người quản trị nhập. Chi phí thời gian cho modul này là khá lớn, một cuốn sách điện tử tầm 200 trang tương ứng là 3 phút cho hệ thống đọc và tách thành từ khóa. SVTH: Lê Ngọc Phương Trinh Tập văn bản nguồn Tập văn bản đã được phân tách Page 9 of 130 Hình 1: Hình minh họa tập tách văn bản SVTH: Lê Ngọc Phương Trinh Page 10 of 130 5.2 Mô hình tìm tư vấn dựa trên phân tích ngữ nghĩa tiềm ẩn Sau khi tách thành tập các từ khóa, modul này sẽ thực hiện việc cập nhật tiếp các tài liệu liên quan, có độ tương đồng nhất định về nội dung. Mỗi tài liệu sẽ được xác định cùng với nó một tập các tài liệu khác có tương đồng về mặt nội dung. Hình 2: Cấu trúc giải thuật LSA SVTH: Lê Ngọc Phương Trinh Tập tài liệu (từ khóa) Xử lý LSA (ma trận và giải thuật SVD) Tập các tài liệu liên quan tới 1 tài liệu Cập nhật CSDL (dữ liệu tài liệu liên quan ) [...]... vào một tài liệu mà hệ thống đưa ra để gợi ý cho tài liệu đang đọc, hệ thống sẽ cập nhật hệ số tương quan giữa 2 tài liệu đó, phục vụ cho các kết quả tư vấn ở lần tiếp theo Nhận và tiền xử lý query Câu truy vấn Hiển thị kết quả ra browser Tài liệu trả về Xử lý tác thao tác người dùng Xử lý query, tạo kết quả trả Tài liệu chứa từ Tài liệu có liên quan khóa trong query với tài liệu kết quả Tập tài liệu. .. Việt hiện tại Đồng thời, trong quá trình xây dựng đồ án, tác giả cũng tiến hành so sánh và bổ sung thêm những phần lý thuyết thuộc hai quan điểm của Nguyễn Tài Cẩn và Diệp Quan Ban Nguyễn Tài Cẩn (1975) [14] cho rằng cụm danh từ (danh ngữ) gồm có ba phần : phần đầu, phần trung tâm và phần cuối như sơ đồ sau : Hình 11: Sơ đồ cấu trúc từ của Nguyễn Tài Cẩn Trong thực tế danh ngữ còn có thể xuất hiện... thống trước đó, hệ thống ghi nhận những tài liệu mà các người dùng trước đã đọc khi đọc tài liệu này học tài liệu khác cùng chủ đề hay có độ tương đồng nhất định với tài liệu đó Sơ đồ tổng quát giao dịch của hệ thống: SVTH: Lê Ngọc Phương Trinh Page 18 of 130 Query search Phân tích phiên làm việc 1.Truy vấn theo từ khóa 2.Truy vấn theo tài liệu liên quan (LSA + phân tích lịch sử làm việc) Items Databases... sử dụng rộng rãi với các ứng dụng tiên tiến của nó Theo đó, các hệ thống lưu trữ tài liệu dần chuyển sang lưu trữ số trên máy tính Các hệ thống thư viện điện tử, thư viện trực tuyến ngày càng được sử dụng rộng rãi Theo đó, là các vấn đề liên quan đến tìm kiếm, chia theo danh mục và gợi ý nội dung đọc Ebook cho người dùng Trên internet, chúng ta đã có rất nhiều các công cụ tìm kiếm và gợi ý các tài liệu. .. cuốn sách được thông tin mình mong muốn Thậm chí trong một cuốn sách dầy tới nghìn trang Mục lục ở mỗi cuốn sách cũng là các tóm tắt ý, các chủ đề viết về cho cuốn sách Người dùng có thể tìm trong các mục lục đó, cũng có thể tìm theo từ khóa (ứng với mỗi tài liệu, chúng được tìm theo từ khóa dựa vào chương trình đọc tài liệu đó) Như hình trên, vấn đề là, tìm được một cuốn sách chứa chủ đề của mình và... query với tài liệu kết quả Tập tài liệu Truy vấn CSDL (tài Các tài liệu liên quan SVTH: Lê Ngọc Phương Trinh Cập nhật tài liệu liên quan Page 12 of 130 Hình 3: Quy trình truy vấn 6 GIAO DIỆN TRANG CHỦ CHƯƠNG TRÌNH SVTH: Lê Ngọc Phương Trinh Page 13 of 130 Hình 4: Giao diện chính trang chủ chương trình SVTH: Lê Ngọc Phương Trinh Page 14 of 130 PHẦN I: VẤN ĐỀ VÀ THỰC TRẠNG 1 ĐẶT BÀI TOÁN Hiện nay, khoa... ba phần: phần trung tâm, phần phụ trước, phần phụ sau Phần trung tâm thường là một danh từ hoặc một ngữ danh từ Trong phần phụ trước người ta đã xác định được ba vị trí khác nhau sắp xếp theo một trật tự nhất định Ở phần phụ sau thường nhận được hai vị trí SVTH: Lê Ngọc Phương Trinh Page 36 of 130 có trật tựổn định Phần phụ trước cụm danh từ chuyên dùng chỉ mặt số lượng của sự vật nêu ở trung tâm, phần. .. gợi ý các tài liệu cần đọc và những tài liệu liên quan Thí dụ như công cụ tìm kiếm của Google, ngoài những tài liệu có chứa từ khóa, nó còn gợi ý những tài liệu có độ tương đồng nhất định với nội dung người dùng tra cứu, thể hiện ở các liên kết cuối mỗi trang Với amazon.co.uk, hệ thống recommender chỉ với những thành viên đăng ký tài khoản với hệ thống Khi đăng ký tài khoản, user đăng ký luôn các sở... (c) Các phần mềm hỗ trợ việc sử dụng tiếng nước ngoài, tiêu biểu là các từ điển song ngữ trên máy tính, thí dụ như các từ điển điện tử của Lạc Việt đã được dùng rộng rãi trên máy tính để tra cứu từ Anh-Việt, Việt-Anh Điều ta cần phân biệt là các từ điển điện tử này dành cho con người sử dụng, khác với từ điển điện tử dành cho máy tính sử dụng trong xử lý ngôn ngữ tự nhiên (sẽ được đề cập ở phần sau)... vấn bằng các câu truy vấn SQL trong cơ sở dữ liệu CSDL phải được thiết kế sao cho quá trình tìm kiếm là thuận lợi nhất Khi tìm được các kết quả theo mức độ ưu tiên, người dùng sẽ chọn một văn bản nào đó để nghiên cứu Hệ thống phải cung cấp tiếp cho người dùng những tài liệu liên quan tới tài liệu mà họ đang đọc Việc tìm những văn bản liên quan là dựa trên sự tương đồng giữa hai văn bản Với loại kết quả . tạo kết quả trả Tài liệu chứa từ khóa trong query Tài liệu có liên quan với tài liệu kết quả Truy vấn CSDL (tài liệu) Tập tài liệu Các tài liệu liên quan Cập nhật tài liệu liên quan Hiển. chọn một tài liệu (A), hệ thống gợi thống gợi ý các tài liệu có liên quan (dựa vào phân tích LSA trước và phân tích lịch sử phiên làm việc). Khi người dùng chọn một tài liệu (B) tiếp theo trong phần. qua phân tích nội dung và lịch sử truy cập hệ thống. 4 - Đáp ứng các yêu cầu tìm kiếm trên các trang web (tìm kiếm trong site riêng hoặc trên internet). Hệ thống hướng tới việc tìm kiếm và xây dựng