Hệ thống thu thập thông tin nhằm hỗ trợ đánh giá chất lượng sản phẩm, dịch vụ

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẶNG NGUYÊN HÓA HỆ THỐNG THU THẬP THÔNG TIN NHẰM HỖ TRỢ ĐÁNH GIÁ CHẤT LƯỢNG SẢN PHẨM, DỊCH VỤ Chuyên ngành: Hệ thống thông tin quản lý Mãsố: 60.34.48 LUẬNVĂNTHẠCSĨ TP HỒ CHÍ MINH, tháng 11 năm 2014 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẶNG NGUYÊN HÓA HỆ THỐNG THU THẬP THÔNG TIN NHẰM HỖ TRỢ ĐÁNH GIÁ CHẤT LƯỢNG SẢN PHẨM, DỊCH VỤ CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN QUẢN LÝ MÃSỐ CHUYÊN NGÀNH: 60.34.48 LUẬNVĂNTHẠCSĨ NGƯỜI HƯỚNG DẪN KHOA HỌC TS LÊ THANH VÂN TP HỒ CHÍ MINH, tháng 01 năm 2015 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI: TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG -HCM Cán hướng dẫn khoa học: TS Lê Thanh Vân Cán chấm nhận xét 1: TS Lê Lam Sơn Cán chấm nhận xét 2: TS Nguyễn Tuấn Đăng Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 06 tháng 01năm 2015 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: TS Lê Thành Sách Chủ tịch TS Nguyễn Thanh Bình Thư ký TS Lê Lam Sơn Phản biện TS Nguyễn Tuấn Đăng Phản biện TS Võ Thị Ngọc Châu Ủy viên Xác nhận Chủ tịch Hội đồng đánh giá luận văn Trưởng khoa Quản lý chuyên ngành sau luận văn sữa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KH-KTMT ĐẠI HỌC QUỐC GIA TP HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập – Tự – Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: ĐẶNG NGUYÊN HÓA MSHV: 12321060 Ngày, tháng, năm sinh: 15/01/1987 Nơi sinh: Bình Định Chun ngành: Hệ thống thơng tin quản lý Mã số: 60.34.48 I TÊN ĐỀ TÀI: Hệ thống thu thập thông tin nhằm hỗ trợ đánh giá chất lượng sản phẩm, dịch vụ II NHIỆM VỤ VÀ NỘI DUNG: Xây dựng công cụ thu thập liệu tự động từ nhiều website đảm bảo tính chất xác cập nhật liệu nhà chung cư khu vực thành phố Hồ Chí Minh; đưa số gợi ý từ yêu cầu tìm kiếm nhà chung cư cho người sử dụng Nghiên cứu đề xuất phương pháp thực Chạy thử đánh giá hệ thống III NGÀY GIAO NHIỆM VỤ:20/01/2014 IV NGÀY HOÀN THÀNH NHIỆM VỤ:14/11/2014 V CÁN BỘ HƯỚNG DẪN:TS LÊ THANH VÂN Tp Hồ Chí Minh, ngày 06 tháng 01 năm 2015 TRƯỞNG KHOA KH&KTMT CÁN BỘ HƯỚNG DẪN TS LÊ THANH VÂN i LỜI CÁM ƠN Lời đầu tiên, xin gởi lời cảm ơn đến thầy cô khoa Khoa học Kỹ thuật máy tính tạo điều kiện cho tơi hồn thành khóa học Trong thời gian hai năm học tập trường, nhận tận tình hướng dẫn, giảng dạy thầy cán quản lý khoa Đặc biệt, xin gởi lời tri ân đến côTS.Lê Thanh Vânngười trực tiếp hướng dẫn suốt thời gian làm đề cương thực luận văn Những gợi ý, định hướng lúc Cô cho phép hồn thành nghiên cứu Thực đề tài ngồi việc đánh giá hồn tất khóa học cịn mang đến nhìn tổng quan, hệ thống hội áp dụng kiến thức học vào công việc thực tế Cuối cùng, xin gởi lời cảm ơn đến gia đình bạn bè, người động viên tạo điều kiện thuận lợi cho tơi suốt q trình học tập thực luận văn Tp Hồ Chí Minh, tháng 11 năm 2014 Học viên cao học khóa 2012 Đặng Nguyên Hóa ii TĨM TẮT LUẬN VĂN THẠC SĨ Luận văn thực nhằm mục đích xây dựng hệ thống thu thập liệu nhà chung cư khu vực thành phố Hồ Chí Minh cách tự động, xác cập nhật liệu; đưa gợi ý từ yêu cầu tìm kiếm người dùng hỗ trợ cho người dùng đẩy nhanh trình tìm kiếmnhà chung cư theo nhu cầu Để đạt mục đích đề ra, đề tài cần thực qua giai đoạn sau Bước đầu, khảo sát website bât động sản để thu thập liệu dựa yếu tố xếp hạng trang Alexa (http://www.alexa.com/) Bước hai, sở toán thu thập liệu tự động,bên cạnh tham khảo phương pháp giải vần đề từ báo, cơng trình nghiên cứu liên quan, tác giả đề xuất phương pháp thực xây dựng hệ thống thu thập liệu tự động nhà chung cư Bước cuối cùng, yếu tố ảnh hưởng trực tiếp đến việc chọn nhà chung cư phân tích, xem xét xây dựng hệ thống thu thập tự động lấy thông tin dựa yếu tố ảnh hưởng Việc chạy thử nghiệmvới liệu thực cho phép đối chiếu với mục tiêu ban đầu đề radựa tiêu chí: hiệu quả, an tồn, suất, thỏa mãn Những đánh giá kết luận báo cáo cho thấy tính khả thi triển khai hệ thống vào sử dụng thực tế iii ABSTRACT The thesis is done with the purpose of building a system for collecting data about condominiums in Ho Chi Minh City area automatically, accurately and updating; it suggests results base on a search request from the seeker, help them to shorten their seeking period To achieve its goals, the thesis need to follow steps as below: First step, collecting data from real estate website, basing on ranking factors on Alexa website (http://www.alexa.com/) Second step, based on the problem of automatic data collection, beside referring methods of solving problems from the article, related research, the author will propose methodology to build a system for collecting data about the condominium automatically Final step, analyzing and considering factors affecting directly to purchasing behavior of customers when building this system which collecting data mainly base on these factors The running tests with real data allows us to make a comparison with the initial objective based on four criteria: effectiveness, safety, productivity, satisfaction Assessments and conclusions of this thesis will show the feasibility of implementing this system in reality iv LỜI CAM ĐOAN Tôi xin cam đoan toàn nội dung luận văn kết tơi học tập, nghiên cứu thực Những liệu thu thập chạy thử liệu thực tế khách quan v DANH MỤC BẢNG BIỂU Bảng 3.1:Danh sách trang web để thu thập tin rao bán hộ 31 Bảng 3.2: Danh sách trang web để thu thập tin tức thị trường bất động sản 31 Bảng 3.3: Chi tiết bảng liệu thu thập tin rao bán hộ 36 Bảng 3.4: Chi tiết bảng liệu thu thập tin tức thị trường bất động sản 37 Bảng 4.1:Thống kê thời gian xử lý kết tìm kiếm người dùng 49 Bảng 4.2:Số lượng tin rao hệ thống/phút 49 Bảng 4.3:Đánh giá chất lượng tin rao thu thập 50 Bảng 4.4:Kết thực tế hệ thống 50 vi DANH MỤC HÌNH ẢNH Hình 2.1: Kiến trúc chuẩn web crawler Hình 2.2: Quy trình hoạt động crawler Hình 2.3: Mơ hình crawler đa luồng 13 Hình 2.4: Ví dụ rút trích thơng tin 17 Hình 2.5: Biểu diễn DOM 19 Hình 2.6: Phân loại hàm băm 21 Hình 2.7: Cấu trúc tổng quát hàm băm 22 Hình 2.8: Sơ đồ vịng lặp MD5 23 Hình 2.9: Cơ chế duyệt đồ thị crawler 24 Hình 2.10: Phần mềm VietSpider 26 Hình 3.1: Mơ hình tốn 29 Hình 3.2: Sơ đồ Use Case người dùng 30 Hình 3.3:Các viết cần thu thập từ trang web nguồn (www.batdongsan.com.vn)32 Hình 3.4: Ví dụ nội dung viết trang web nguồn(www.batdongsan.com.vn) 33 Hình 3.5:Các viết cần thu thập từ trang web nguồn (www.muabannhadatcom.vn) 34 Hình 3.6: Ví dụ nội dung viết trang web nguồn(www.muabannhadat.com.vn)35 Hình 3.7: Lưu đồ hoạt động hệ thống 38 Hình 3.8: So sánh nội dung trùng tiêu đề từ web nguồn (www.muabannhadat.com.vn) 40 Hình 3.9: So sánh nội dung trùng tiêu đề từ web nguồn (www.muabannhadat.com.vn) 40 Hình 3.10:Lưu đồ chức kiểm tra viết có khu vực, diện tích, giá tiêu đề trùng 41 45 Hình 3.13: Các tin rao bán gợi ý Khi ngƣời dùng tham khảo tin rao bán chung cƣ, hệ thống đƣa tin rao hộ chung cƣ gợi ý Thông tin viết ngƣời dùng tham khảo có thơng tin chính: khu vực: quận 6, diện tích: 97 m2, giá: 1.9 tỷ.Hệ thống đƣa gợi ý hộ bán tƣơng tự khu vực: quận 6, có diện tích >=97 m2 có giá