Tích hợp mô hình collaborative tagging vào hệ thống collaborative filtering chia sẻ tài nguyên trong môi trường tính toán

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA
 PHẠM ĐỨC ĐỆ TÍCH HỢP MƠ HÌNH COLLABORATIVE TAGGING VÀO HỆ THỐNG COLLABORATIVE FILTERING CHIA SẺ TÀI NGUYÊN TRONG MƠI TRƯỜNG TÍNH TỐN LƯỚI Chun ngành: Khoa học máy tính LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 12 năm 2011 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học: TS PHẠM TRẦN VŨ Cán chấm nhận xét 1: Cán chấm nhận xét 2: Luận văn thạc sĩ bảo vệ HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày tháng năm TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC MÁY TÍNH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc Lập – Tự Do – Hạnh Phúc Tp HCM, ngày tháng năm NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: PHẠM ĐỨC ĐỆ Phái: Nam Ngày, tháng, năm sinh: 06–07–1985 Nơi sinh: Bình Định Chuyên ngành: Khoa học máy tính MSHV: 09070431 1- TÊN ĐỀ TÀI: TÍCH HỢP HỆ THỐNG COLLABORATIVE TAGGING VÀO HỆ THỐNG COLLABORATIVE FILTERING CHIA SẺ TÀI NGUYÊN TRONG MÔI TRƯỜNG TÍNH TỐN LƯỚI 2- NHIỆM VỤ LUẬN VĂN: 3- NGÀY GIAO NHIỆM VỤ: 4- NGÀY HOÀN THÀNH NHIỆM VỤ: 5- HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: TS PHẠM TRẦN VŨ Nội dung đề cương Luận văn thạc sĩ Hội Đồng Chuyên Ngành thông qua CÁN BỘ HƯỚNG DẪN (họ tên chữ ký) CHỦ NHIỆM BỘ MÔN QUẢN LÝ CHUYÊN NGÀNH KHOA QL CHUYÊN NGÀNH (họ tên chữ ký) (họ tên chữ ký) i LỜI CAM ĐOAN Tôi cam đoan rằng, ngoại trừ kết tham khảo từ cơng trình khác ghi rõ luận văn, cơng việc trình bày luận văn tơi thực chưa có phần nội dung luận văn nộp để lấy cấp trường Ngày tháng năm Phạm Đức Đệ ii LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành sâu sắc đến với thầy Phạm Trần Vũ Cảm ơn thầy tận tình hướng dẫn, định hướng chia sẻ kinh nghiệm kiến thức suốt thời gian tham gia nghiên cứu hoàn thành luận văn Cảm ơn thầy tạo điều kiện môi trường thuận lợi nghiên cứu thực luận văn Tôi xin cảm ơn gia đình động viên tạo điều kiện cho tơi hồn thành luận văn Tơi xin cảm ơn công ty Viễn thông liên tỉnh khu vực (VTN2) – nơi công tác – tạo điều kiện tốt thời gian để tập trung hồn thành luận văn Phạm Đức Đệ iii TÓM TẮT ĐỀ TÀI Với phát triển ngày mạnh mẽ phổ biến mạng xã hội, hệ thống ứng dụng phát triển công nghệ web 2.0, web 3.0 ngày trở thành nguồn tham khảo hữu ích hướng người dùng việc đưa định Recommender, Collaborative Tagging hay Collaborative Filtering hệ thống tổ chức để chia sẻ thông tin tài nguyên ứng dụng mạng internet người dùng với Những hệ thống giúp người dùng tiết kiệm thời gian trước đưa định Ví dụ, trước mua sản phẩm đó, người mua thường có nhu cầu tham khảo thông tin đánh giá sản phẩm người dùng Grid Computing hệ thống cung cấp hệ thống tính tốn lớn cho tốn có nhu cầu tính tốn lớn Mặc dù Grid Computing đời lâu trình phát triển cịn nhiều hạn chế nhiều lý khác Thứ nhất, mơi trường tính tốn phân bố gây khó khăn cho việc tìm kiếm tài ngun tính tốn phù hợp với nhu cầu người dùng Thứ hai, tài ngun tính tốn Grid Computing phức tạp gồm nhiều tài nguyên khác tài ngun tính tốn (CPU cycles, RAM, Disk), dịch vụ liệu Do đó, vấn đề đặt Grid Computing cung cấp tài nguyên lưới phù hợp với nhu cầu người dùng Đề tài luận văn kết hợp mạng xã hội Grid Computing dạng xây dựng giải thuật gợi ý ứng dụng hệ thống công nghệ Web 2.0 phương pháp Collaborative Filtering sử dụng thông tin từ người dùng để đưa gợi ý danh sách tài nguyên lưới phù hợp cho người dùng hệ thống Grid Computing quan tâm Động lực xây dựng giải thuật để hỗ trợ cho hệ thống Grid portal dự án VN-Grid, VRE thực trường đại học Bách Khoa thành phố Hồ chí minh iv ABSTRACT With the increasingly powerful and popular development of Social Networks, developing application systems on Web 2.0 and 3.0 techniques becomes a useful reference source and supports the users in making decisions Recommender Systems, Collaborative Filtering and Collaborative Tagging are organized as the systems for sharing information of application’s resources on the Internet among users These systems help users save time before making a decision For example, to buy a certain products a buyer can utilize the assessment information from other buyers who have used that product Grid Computing is a system that provides large computing power for big problems which require lots of computing resources Although Grid Computing has been used for a long time, its development is still limited by some reasons First, the distributed computing environment makes it difficult for finding suitable computing resources to address the needs of users Second, computing resources in Grid Computing are complicated, they consist of several different resources as computing resources (CPU cycles, RAM, Disk), data, applications and services Therefore, the question is how to help the users locate resources that best suite their needs This thesis topic is the combination of Social Networking and Grid Computing It takes an algorithm that generates recommendations and uses it in the application system based on Web 2.0 technology by Collaborative Filtering methods This algorithm uses information about resources provided by the users, learns and then recommends a list of Grid Computing resources to users who may like them The work reported in this thesis is motivated by current successes of online social communities and the recent deployment of VN-Grid by the Faculty of Computer Science and Engineering, Ho Chi Minh City University of Technology v MỤC LỤC LỜI CAM ĐOAN ii LỜI CẢM ƠN iii TÓM TẮT ĐỀ TÀI .iv ABSTRACT v Chương 1: GIỚI THIỆU 1.1 Đặt vấn đề 1.2 Tên đề tài 1.3 Đối tượng phạm vi đề tài 1.4 Mục tiêu đề tài 1.5 Phương pháp nghiên cứu 1.6 Ý nghĩa đề tài Chương 2: CƠ SỞ LÝ THUYẾT 2.1 Tổng quan chung 2.1.1 Recommeder systems 2.1.2 Hệ thống Collaborative Filtering 11 2.1.3 Hệ thống Collaborative Tagging 13 2.1.4 Chia sẻ tài nguyên môi trường lưới 15 2.2 Hệ thống Collaborative Filtering (CF) 17 2.3.1 Memory-Based 17 2.3.2 Model-Based 18 2.3.3 Mơ hình lai Memory-Based Model-Based 19 2.4 Mơ hình Collaborative Filtering dùng chế Collaborative Tagging19 2.5 Hệ thống phân tích ngữ nghĩa tiềm ẩn – Latent Semantic Analysis (LSA) 23 2.5.1 Sơ lược LSA 23 vi 2.5.2 Mơ hình hoạt động LSA 24 2.5.3 Kỹ thuật chuyển ma trận chuẩn dùng TF-IDF 26 2.5.4 Kỹ thuật chuyển ma trận chuẩn dùng SVD 28 2.5.5 Ưu nhược điểm ứng dụng LSA 30 Chương 3: HỆ THỐNG PORTAL CỦA GRID COMPUTING 32 3.1 Portal cho hệ thống tính tốn lưới 32 3.2 Hệ thống VN-Grid 33 3.2.1 Hệ thống kiến trúc VN-Grid 34 3.2.2 Mơ hình hoạt động hệ thống VN-Grid portal 37 3.2.3 Hiện thực hệ thống VN-Grid portal 39 3.4 Hệ thống VRE portal 43 3.4.1 Kiến trúc hệ thống VRE portal 44 3.4.2 Tích hợp cơng cụ VN-Grid portlet vào VRE portal 46 Chương 4: HƯỚNG TIẾP CẬN VÀ PHƯƠNG PHÁP GIẢI QUYẾT 49 4.1 Ngữ cảnh ứng dụng 49 4.1 Hướng tiếp cận đề tài 49 4.2 Mơ hình biểu diễn [13] 51 4.2.1 Biểu diễn hồ sơ người dùng – user profile 52 4.2.2 Biểu diễn tài nguyên 52 4.3 Mơ hình giải thuật đo độ tương tự 53 4.3.1 So trùng hồ sơ người dùng 53 4.3.2 Độ tương tự tài nguyên 53 4.4 Phân tích ngữ nghĩa 54 4.4.1 Mơ hình biểu diễn từ khóa 54 4.4.2 So trùng ngữ nghĩa 56 4.5 4.5.1 Cách sinh gợi ý 57 Gợi ý dựa phương pháp User-Based 57 vii 4.5.2 Gợi ý dựa phương pháp Items-based 58 Chương 5: PHƯƠNG PHÁP THỰC HIỆN VÀ ĐÁNH GIÁ THỰC NGHIỆM 59 5.1 Phương pháp thực 59 5.2 Đánh giá thực nghiệm 64 5.2.1 Dataset 64 5.2.2 Kết 65 Chương 6: TỔNG KẾT 68 6.1 Tổng kết công việc làm 68 6.2 Đóng góp đề tài 69 6.3 Hướng phát triển đề tài 70 TÀI LIỆU THAM KHẢO 71 Phụ lục: NHỮNG TỪ VIẾT TẮT 75 viii ... Khoa học máy tính MSHV: 09070431 1- TÊN ĐỀ TÀI: TÍCH HỢP HỆ THỐNG COLLABORATIVE TAGGING VÀO HỆ THỐNG COLLABORATIVE FILTERING CHIA SẺ TÀI NGUN TRONG MƠI TRƯỜNG TÍNH TỐN LƯỚI... Collaborative Tagging vào hệ thống Collaborative Filtering chia sẻ tài ngun mơi trường tính tốn lưới” Đề tài tập trung vào khía cạnh ngữ nghĩa từ khóa người dùng ghi hệ thống Collaborative Tagging. .. loại hệ thống collaborative filtering 13 Hình Hệ thống tài ngun tính tốn lưới VN-Grid 16 Hình Mơ hình ngữ cảnh Collaborative filtering [5] 22 Hình Mỗi từ ánh xạ vào