Khóa luận tốt nghiệp Nghiên cứu mô hình đa tác tử hút và đẩy cho phương pháp lọc cộng tác

i i Khoá luận tốt nghiệp Sinh viên thực hiện: Nguyễn Minh Đức ii MỤC LỤC LỜI CẢM ƠN i MỤC LỤC ii DANH MỤC HÌNH ẢNH v DANH MỤC CÁC TỪ VIẾT TẮT vii PHẦN MỞ ĐẦU 8 1. Tính cấp thiết của đề tài 8 2. Mục tiêu, nhiệm vụ, đối tượng nghiên cứu 9 3. Phạm vi nghiên cứu 10 4. Phương pháp nghiên cứu 10 5. Kết cấu đề tài 11 Chương 1: TỔNG QUAN VỀ HỆ TƯ VẤN VÀ PHƯƠNG PHÁP LỌC CỘNG TÁC 12 1.1. Tổng quan về hệ tư vấn 12 1.1.1. Giới thiệu về hệ tư vấn 12 1.1.2. Chức năng của hệ tư vấn 14 1.1.3. Các thông tin được sử dụng trong hệ tư vấn 17 1.1.4. Các hướng tiếp cận của hệ tư vấn 19 1.1.5. Phương pháp đánh giá hệ tư vấn 21 1.2. Phương pháp lọc cộng tác 22 1.2.1. Tổng quan 22 1.2.2. Lọc cộng tác dựa trên láng giềng 23 Khoá luận tốt nghiệp Sinh viên thực hiện: Nguyễn Minh Đức iii Chương 2: MÔ HÌNH ĐA TÁC TỬ HÚT VÀ ĐẨY CHO PHƯƠNG PHÁP LỌC CỘNG TÁC 26 2.1. Lý thuyết về tác tử và hệ thống đa tác tử 26 2.1.1. Tác tử 26 2.1.2. Hệ thống đa tác tử 29 2.2. Mô hình đa tác tử sử dụng lực hút và đẩy 32 2.2.1. Mô hình đa tác tử cho phân loại email 32 2.2.2. Mô hình đa tác tử cho tìm kiếm ảnh 33 2.3. Mô hình đa tác tử hút và đẩy cho phương pháp lọc cộng tác 34 2.3.1. Tổng quan về mô hình 34 2.3.2. Lực hút và đẩy trong mô hình 38 2.3.3. Mô hình tự tổ chức 41 Chương 3: HỆ THỐNG THỬ NGHIỆM TƯ VẤN PHIM SỬ DỤNG MÔ HÌNH ĐA TÁC TỬ HÚT VÀ ĐẨY 43 3.1. Giới thiệu hệ thống tư vấn 43 3.1.1. Mô tả bài toán 43 3.1.2. Mô tả về bộ dữ liệu MovieLens 43 3.1.3. Ưu, nhược điểm của bộ dữ liệu MovieLens 45 3.2. Ngôn ngữ lập trình Objective-C và thư viện đồ hoạ OpenGL 46 3.2.1. Ngôn ngữ lập trình Objective-C 46 3.2.2. Thư viện đồ hoạ OpenGL 47 3.3. Cài đặt hệ thống 49 3.3.1. Các yếu tố đầu vào 49 3.3.2. Các yếu tố đầu ra 50 Khoá luận tốt nghiệp Sinh viên thực hiện: Nguyễn Minh Đức iv 3.3.3. Quy trình hoạt động 50 3.4. So sánh, đánh giá mô hình đa tác tử hút và đẩy với phương pháp lọc cộng tác 58 KẾT LUẬN 60 DANH MỤC TÀI LIỆU THAM KHẢO 61 Khoá luận tốt nghiệp Sinh viên thực hiện: Nguyễn Minh Đức v DANH MỤC HÌNH ẢNH Hình 1.1. Hệ tư vấn của trang web www.amazon.com. 13 Hình 1.2. Ma trận đánh giá của người dùng 18 Hình 1.3. Tư vấn dựa trên lọc cộng tác và dựa trên nội dung 20 Hình 1.4. Hệ thống tư vấn lọc cộng tác trên trang web www.amazon.com 22 Hình 1.5. Lọc cộng tác dựa trên người dùng và dựa trên sản phẩm. 25 Hình 2.1. Tác tử tương tác với môi trường 27 Hình 2.2. Mô hình đa tác tử hút và đẩy cho phân loại email 33 Hình 2.3. Mô hình đa tác tử hút và đẩy cho tìm kiếm ảnh 34 Hình 2.4. Không gian của mô hình 35 Hình 2.5. Môi trường của các tác tử 36 Hình 2.6. Quản lý lực quán tính trong mô hình 36 Hình 2.7. Các cách chọn láng giềng 37 Hình 2.8. Tính chất lực và độ mạnh lực dựa trên độ tương tự và khoảng cách (cách tiếp cận rời rạc) 39 Hình 2.9. Tính chất lực và độ mạnh lực dựa trên độ tương tự và khoảng cách (cách tiếp cận liên tục) 39 Hình 2.10. Ví dụ về phản ứng của một tác tử với hai láng giềng 40 Hình 3.1. Ngôn ngữ lập trình Objective-C 46 Hình 3.2. Thư viện đồ họa OpenGL 48 Hình 3.3. Ảnh đại diện của phim / tác tử 49 Hình 3.4. Sơ đồ quy trình hoạt động 50 Khoá luận tốt nghiệp Sinh viên thực hiện: Nguyễn Minh Đức vi Hình 3.5. Cách quản lý trên lưới của mô hình 52 Hình 3.6. Thuật toán chọn láng giềng lân cận. 53 Hình 3.7. Mô hình ở mức độ địa phương 54 Hình 3.8. Mô hình ở mức độ toàn cục 55 Hình 3.9. Thuật toán tính giá trị dự đoán. 57 Hình 3.10. Danh sách tư vấn phim 57 Hình 3.11. Biểu đồ biểu diễn kết quả MAE của 5 bộ dữ liệu kiểm tra 58 Hình 3.12. Biểu đồ biểu diễn kết quả MAE của hai phương pháp. 59 Khoá luận tốt nghiệp Sinh viên thực hiện: Nguyễn Minh Đức vii DANH MỤC CÁC TỪ VIẾT TẮT CF : Collaborative filtering – Lọc cộng tác. MAE : Mean Absolute Error – Sai số tuyệt đối trung bình. MAM : Multi-Agents System – Hệ thống đa tác tử. RMSE : Root Mean Squared Error – Sai số bình phương trung bình. Khoá luận tốt nghiệp Sinh viên thực hiện: Nguyễn Minh Đức 8 PHẦN MỞ ĐẦU 1. Tính cấp thiết của đề tài Trong kỷ nguyên của sự bùng nổ thông tin, internet với các tiện ích của nó đang có ảnh hưởng lớn đối với cộng đồng sử dụng mạng. Với lượng thông tin khổng lồ, nhu cầu người dùng ngày càng tăng thêm, người dùng cần có sự tư vấn chính xác và kịp thời để có thể tìm kiếm thông tin một cách nhanh chóng và tiết kiệm thời gian một cách tối đa. Có rất nhiều hệ tư vấn áp dụng đối với các website thuộc các lnh vực sách, âm nhạc, phim ảnh,… Tuy nhiên, cuộc sống lại rất phong phú trong mọi lnh vực và một khi nhu cầu đã quá lớn thì yêu cầu đặt ra cng s phải cao hơn rất nhiều. Khi người dùng cần tìm kiếm thông tin về một sản phẩm nào đó, giải pháp được sử dụng hầu hết là đưa câu hi vào máy tìm kiếm thay vì tìm đến những website/forum chuyên ngành. Tuy nhiên, máy tìm kiếm không phải lúc nào cng hiệu quả. Máy tìm kiếm ch có thể đưa ra một danh sách các lựa chọn (có thể lên đến hàng triệu) chứ không thể nói được lựa chọn nào là tốt nhất. Chẳng hạn, một khách hàng cần mua một đa phim hay, họ cần một vài cái tên để tham khảo và lựa chọn, đa số họ s vào Google tìm kiếm thông tin nhưng với lượng thông tin về các loại phim quá phong phú, lại không có nhiều thời gian để tìm hiểu tng kết quả đề xuất, họ khó lòng tìm ra được số lượng phim nhất định cng như loại phim va ý, đúng sở thích. Lúc này, họ cần sự tư vấn. Hệ tư vấn ra đời là điều tất yếu để đáp ứng nhu cầu của con người. Trong các kỹ thuật được dùng thì phương pháp lọc cộng tác là một trong những kỹ thuật phổ biến nhất của một hệ tư vấn. Các hệ thống sử dụng phương pháp này biểu diễn mỗi người sử dụng bằng một vectơ sở thích m chiều, mỗi chiều tương ứng với một sản phẩm (một điểm du lịch, một món hàng, một quyển sách,…). Hệ thống s tư vấn bằng cách lọc ra những người sử dụng có sở thích gần với người cần tư vấn. Những sản phẩm được họ thích mà người cần tư vấn chưa bình chọn s là những sản phẩm được chọn để tư vấn. Nếu đặt trong không gian toán học thì bài toán lọc ra những người sử dụng có sở thích gần giống Khoá luận tốt nghiệp Sinh viên thực hiện: Nguyễn Minh Đức 9 là bài toán tính khoảng cách giữa các vectơ sở thích m chiều. Mặc dù đã đạt được một số hiệu quả nhất định, nhưng kỹ thuật này vẫn tồn tại nhiều hạn chế như vấn đề thưa thớt và thay đổi của dữ liệu, cng như độ phức tạp tính toán và thời gian. Kỹ thuật sử dụng các tác tử thông minh (agent) được xem là một giải pháp hữu hiệu nhằm giải quyết những hạn chế nói trên, đồng thời vẫn đảm bảo cung cấp những lời tư vấn chính xác có giá trị, đặc biệt là đối với nguồn dữ liệu đầu vào hỗn tạp. Nghiên cứu của Cao Hồng Huệ và các cộng sự [4] về hệ thống tìm kiếm và truy hồi ảnh đã sử dụng mô hình đa tác tử hút và đẩy. Hệ thống này nhằm mục đích tổ chức các bức ảnh trong không gian 2 chiều dựa trên độ tương tự, ở đó mỗi bức ảnh được biểu diễn bởi một tác tử và không cần phải xác định các trục cng như cách để biểu diễn thông tin. Mô hình này cho phép các tác tử tự động tổ chức một cách có chọn lọc trong không gian 2 chiều. Với không quá nhiều ràng buộc, hệ thống có thể tổ chức (gom cụm/phân lớp) thông tin và cho phép người dùng có thể tương tác với nó. Trong đề tài này, tác giả s vẫn giữ ý tưởng về việc sử dụng các tác tử với các lực hút và đẩy như trong nghiên cứu nói trên nhằm tổ chức dữ liệu trong không gian 2 chiều và nghiên cứu để áp dụng mô hình đa tác tử hút và đẩy thay thế cho hướng tiếp cận lọc cộng tác. Xuất phát t tầm quan trọng của một hệ tư vấn hoàn chnh, những tồn tại cơ bản của phương pháp lọc cộng tác là vấn đề cấp thiết và quan trọng nên tác giả quyết định chọn: “Nghiên cứu mô hình đa tác tử hút và đẩy cho phương pháp lọc cộng tác” làm hướng nghiên cứu cho đề tài. 2. Mục tiêu, nhiệm vụ, đối tượng nghiên cứu  Mục tiêu nghiên cứu - Lý thuyết về hệ tư vấn và phương pháp lọc cộng tác. - Lý thuyết về tác tử, hệ thống đa tác tử, mô hình đa tác tử hút và đẩy. - Đề xuất mô hình đa tác tử hút và đẩy cho hướng tiếp cận lọc cộng tác. - Nghiên cứu các công cụ, kỹ thuật, nền tảng lập trình được sử dụng để xây dựng hệ thống. Khoá luận tốt nghiệp Sinh viên thực hiện: Nguyễn Minh Đức 10 - Xây dựng hệ thống thử nghiệm tư vấn phim sử dụng mô hình đa tác tử hút và đẩy đã đề xuất. - So sánh, đánh giá mô hình đa tác tử hút và đẩy với phương pháp lọc cộng tác.  Nhiệm vụ nghiên cứu Để đạt được mục đích nghiên cứu nêu ra ở trên, đề tài tập trung giải quyết các nhiệm vụ chủ yếu sau: Về mặt lí luận: 1) Phân tích, tổng hợp các kiến thức về hệ tư vấn bảo đảm tính logic, đầy đủ, chính xác; 2) Giải thích các vấn đề liên quan đến lọc cộng tác; 3) Nêu được khái niệm, phân loại, ứng dụng của tác tử và hệ thống đa tác tử; 4) Giới thiệu mô hình đa tác tử hút và đẩy. Về mặt thực tiễn: 1) Xây dựng hệ thống thử nghiệm tư vấn phim sử dụng mô hình đa tác tử hút và đẩy; 2) So sánh, đánh giá mô hình đa tác tử hút và đẩy với phương pháp lọc cộng tác, t đó rút ra kết quả, hướng phát triển trong tương lai.  Đối tượng nghiên cứu Đối tượng nghiên cứu của đề tài là: “Mô hình đa tác tử hút và đẩy cho phương pháp lọc cộng tác”. 3. Phạm vi nghiên cứu Các phương pháp lọc cộng tác có thể được phân thành những tiếp cận nh hơn như các hướng tiếp cận dựa trên láng giềng (neigborhood-based) và dựa trên mô hình (model-based). Mô hình đa tác tử hút và đẩy cho phương pháp lọc cộng tác ch nghiên cứu dựa trên láng giềng, sử dụng kỹ thuật tư vấn dựa trên sản phẩm (item-based). 4. Phương pháp nghiên cứu Phương pháp nghiên cứu bằng tài liệu: chủ động tìm kiếm, nghiên cứu các tài liệu liên quan đến đề tài, các phương pháp của hệ tư vấn để t đó đánh giá những ưu nhược điểm, học hi cách thức xây dựng để t đó đề xuất ra mô hình đa tác tử hút và đẩy thay thế cho phương pháp lọc cộng tác và áp dụng cho hệ tư vấn hỗ trợ khách hàng. [...]... vấn và phương pháp lọc cộng tác Chương này sẽ giới thiệu tổng quan về hệ tư vấn, các chức năng, thông tin, hướng tiếp cận và phương pháp đánh giá hệ tư vấn Chương 2: Mô hình đa tác tử hút và đẩy cho phương pháp lọc cộng tác Chương này đi sâu tìm hiểu lý thuyết về tác tử, hệ thống đa tác tử, mô hình đa tác tử sử dụng lực hút và đẩy trong phân loại email và tìm kiềm ảnh; mô hình đa tác tử hút và đẩy cho. .. dùng trực quan tương tác với nó Sinh viên thực hiện: Nguyễn Minh Đức 32 Khoá luận tốt nghiệp Hình 2.2 Mô hình đa tác tử hút và đẩy cho phân loại email 2.2.2 Mô hình đa tác tử cho tìm kiếm ảnh Dựa trên ý tưởng của Renault [6] đã trình bày ở trên, Cao Hồng Huệ và các đồng nghiệp [4] đã nghiên cứu mô hình đa tác tử hút và đẩy cho tìm kiếm ảnh Mô hình này sử dụng các tác tử phản ứng với môi trường (reactive... dụ phương pháp lọc cộng tác, việc lấy danh sách tư vấn được tính dựa trên công thức phức tạp Còn nếu áp dụng ý tưởng của hệ đa tác tử hút và đẩy thì việc lấy kết quả tư vấn sẽ dễ dàng hơn bằng cách lấy các láng giềng (trong mặt phẳng hai chiều) của một tác tử Do đó, tác giả đề xuất mô hình đa tác tử sử dụng lực hút / đẩy cho tư vấn phim 2.3 Mô hình đa tác tử hút và đẩy cho phương pháp lọc cộng tác. .. gia vào quá trình chăm sóc sức khỏe 2.2 Mô hình đa tác tử sử dụng lực hút và đẩy Trong những năm gần đây, một hướng tiếp cận mới của hệ thống đa tác tử là ứng dụng đa tác tử sử dụng lực hút và đẩy giữa các tác tử vào một số bài toán tự tổ chức (self-organization) Đây là động lực chính để tôi sử dụng mô hình đa tác tử trong bài toán của hệ tư vấn Trong phần này, khóa luận sẽ trình bày hai nghiên cứu. ..Khoá luận tốt nghiệp Phương pháp so sánh: sử dụng các chỉ tiêu để so sánh phương pháp lọc cộng tác với mô hình đa tác tử hút và đẩy Phương pháp phân tích, đánh giá: quan sát, nhìn nhận vấn đề, sàng lọc những kiến thức cần thiết để bổ sung một cách chi tiết, cụ thể, từ đó hoàn thiện khóa luận Phương pháp chủ động học hỏi: bản thân cần chủ động học hỏi những người xung quanh nhằm thu thập thông tin và. .. luận sẽ trình bày hai nghiên cứu ứng dụng hệ thống đa tác tử sử dụng lực hút và đẩy trong ứng dụng phân loại email của Renault [6] và ứng dụng tìm kiếm ảnh của Cao Hồng Huệ và các đồng nghiệp [4] 2.2.1 Mô hình đa tác tử cho phân loại email Renault [6] đã đề xuất một mô hình đa tác tử tự động hút / đẩy cho ứng dụng phân loại email Mục đích của mô hình này là tổ chức các email trong một không gian hai... tác tử hút và đẩy cho phương pháp lọc cộng tác Chương 3: Hệ thống thử nghiệm tư vấn phim sử dụng mô hình đa tác tử hút và đẩy Nội dung chương này đi vào phân tích hệ thống thử nghiệm được sử dụng trong khóa luận, các bộ công cụ hỗ trợ lập trình, cách thức cài đặt hệ thống, so sánh, đánh giá hệ thống với phương pháp lọc cộng tác Sinh viên thực hiện: Nguyễn Minh Đức 11 Khoá luận tốt nghiệp Chương 1 TỔNG... dùng cho bộ phim đó Các tác tử này tương tác với nhau và sinh ra các lực hút hoặc lực đẩy giữa chúng Hai tác tử là hút nhau khi độ tương tự giữa chúng là cao và đẩy nhau khi độ tương tự giữa chúng là thấp Dựa trên việc tổng hợp các lực hút / đẩy tác dụng lên một tác tử, tác Sinh viên thực hiện: Nguyễn Minh Đức 34 Khoá luận tốt nghiệp tử đó sẽ di chuyển đến vị trí mới Tại vị trí mới này, tác tử lại... 2.1 Lý thuyết về tác tử và hệ thống đa tác tử 2.1.1 Tác tử 1) Khái niệm Tác tử là một hệ thống tính toán hoạt động tự chủ trong một môi trường nào đó Các tác tử có khả năng hoạt động độc lập, có khả năng học hỏi và phát triển cũng như tự phân hủy trong môi trường sống Các tác tử tương tác lẫn nhau, tác động với môi trường sống cũng như cảm nhận môi trường Chi tiết hơn, tác tử: - Là thực thể giải... tương tác trao đổi thông tin và học hỏi lẫn nhau, tác động vào môi trường và ngược lại Một hệ thống đa tác tử được cấu thành bởi: môi trường sống; tập các đối tượng thụ động chịu Sinh viên thực hiện: Nguyễn Minh Đức 29 Khoá luận tốt nghiệp sự tác động của các tác tử lên nó; tập các tác tử là các phần tử chủ động; tập các mối quan hệ giữa các phần tử với nhau; tập các thao tác giữa các phần tử với . Chương 2: MÔ HÌNH ĐA TÁC TỬ HÚT VÀ ĐẨY CHO PHƯƠNG PHÁP LỌC CỘNG TÁC 26 2.1. Lý thuyết về tác tử và hệ thống đa tác tử 26 2.1.1. Tác tử 26 2.1.2. Hệ thống đa tác tử 29 2.2. Mô hình đa tác tử sử. sử dụng lực hút và đẩy 32 2.2.1. Mô hình đa tác tử cho phân loại email 32 2.2.2. Mô hình đa tác tử cho tìm kiếm ảnh 33 2.3. Mô hình đa tác tử hút và đẩy cho phương pháp lọc cộng tác 34 2.3.1 tượng nghiên cứu  Mục tiêu nghiên cứu - Lý thuyết về hệ tư vấn và phương pháp lọc cộng tác. - Lý thuyết về tác tử, hệ thống đa tác tử, mô hình đa tác tử hút và đẩy. - Đề xuất mô hình đa tác tử