Luận văn : Khai phá dữ liệu trong thương mại điện tử- xây dựng hệ thống khuyến cáo sản phẩm pot

Luận văn tốt nghiệp Khai phá liệu thương mại điện tử- xây dựng hệ thống khuyến cáo sản phẩm Lời giới thiệu Hiện nay, Thương mại điện tử phát triển nhanh theo xu tồn cầu hố Việc giao dịch thông qua Website Thương mại điện tử tạo lượng liệu vô lớn Dữ liệu thơng tin khách hàng sản phẩm giao dịch Nếu khai thác nguồn liệu có hệ thống thông tin giá trị phục vụ cho phát triển Thương mại điện tử Tuy nhiên công việc thách thức Trong nỗ lực thúc đẩy giao dịch thơng qua mạng máy tính, xây dựng hệ thống khuyến cáo sản phẩm cho khách hàng công việc thiếu Hệ thống khuyến cáo sản phẩm ứng dụng Website Thương mại điện tử nhằm mục đích tư vấn cho khách hàng mặt hàng thích hợp Hệ thống khuyến cáo sản phẩm ứng dụng khai phá liệu Thương mại điện tử Ý thức lợi ích hệ thống khuyến cáo sản phẩm cho khách hàng Thương mại điện tử, chọn hướng nghiên cứu cho khoá luận xây dựng hệ thống khuyến cáo sản phẩm Mục tiêu khoá luận Trong khố luận này, mục tiêu đưa hệ thống khuyến cáo sản phẩm phù hợp với nhu cầu khách hàng Hệ thống đưa vào ứng dụng được, nhằm mục tiêu gia tăng xác suất giao dịch Để làm điều đó, trước hết cần xây dựng hệ thống mơ hình phục vụ cho việc dự đốn xu mua hàng khách hàng, sản phẩm khách hàng ưa chuộng nhất, sản phẩm tiêu thụ nhiều thời gian tới, … Các mơ hình xây dựng từ liệu Website Thương mại điện tử Cấu trúc khố luận Trong khố luận, chúng tơi trình bày tìm hiểu Khai phá liệu Thương mại điện tử đưa phương pháp xây dựng hệ thống khuyến cáo sản phẩm Chương Thương mại điện tử Khai phá liệu Thương mại điện tử: trình bày Thương mại điện tử, tình hình Thương mại điện tử Việt Nam, vấn đề khai phá liệu Thương mại điện tử Chương Một số mơ hình Khai phá liệu Thương mại điện tử: trình bày hệ thống khuyến cáo sản phẩm phương pháp xây dựng hệ thống Chương Mơ hình thử nghiệm: trình bày mơi trường thử nghiệm kết đạt Mục lục Chương Thương mại điện tử Khai phá liệu Thương mại điện tử 1.1 Thương mại điện tử 1.1.1 Khái niệm 1.1.2 Các nội dung 1.1.3 Tình hình Thương mại điện tử Việt Nam 1.2 Khai phá liệu Thương mại điện tử 14 1.2.1 Khai phá liệu Thương mại điện tử 14 1.2.2 Cơ sở liệu giao dịch 15 Chương Một số mơ hình Khai phá liệu Thương mại điện tử 21 2.1 Hệ thống khuyến cáo sản phẩm 21 Mơ hình tăng trưởng Hotmail 23 2.2 Các phương pháp lọc cộng tác 26 2.2.1 Lọc cộng tác dựa láng giềng gần 27 2.2.2 Lọc cộng tác dựa mơ hình mật độ chung 32 2.2.3 Lọc cộng tác dựa mơ hình phân bố xác suất có điều kiện 36 2.2.4 Mơ hình dự đốn kết hợp phiếu thơng tin sản phẩm 40 2.3 Đánh giá hệ thống khuyến cáo sản phẩm 41 Chương Mơ hình thử nghiệm 43 3.1 Môi trường thử nghiệm 43 3.1.1 Phần cứng 43 3.1.2 Công cụ 43 3.2 Cơ sở liệu 43 3.3 Lọc cộng tác dựa mơ hình mật độ chung 44 3.3.1 Xây dựng mơ hình 44 3.3.2 Kết 48 3.4 Xử lý liệu theo phương pháp láng giềng gần 48 3.4.1 Xây dựng mơ hình 48 3.4.2 Kết 50 3.5 So sánh hai phương pháp xây dựng hệ thống 52 Kết Luận 53 Chương Thương mại điện tử Khai phá liệu Thương mại điện tử 1.1 Thương mại điện tử 1.1.1 Khái niệm Hiện có nhiều định nghĩa thương mại điện tử tổ chức quốc tế đưa chưa có định nghĩa thống thương mại điện tử Theo nghĩa hẹp, thương mại điện tử bao gồm hoạt động thương mại tiến hành mạng máy tính mở Internet Theo nghĩa rộng, thương mại điện tử hiểu giao dịch tài thương mại phương tiện điện tử như: trao đổi liệu điện tử, chuyển tiền điện tử hoạt động gửi/ rút tiền thẻ tín dụng [2][11] Uỷ ban Liên hợp quốc Luật Thương mại quốc tế (UNCITRAL) định nghĩa: "Thuật ngữ thương mại cần diễn giải theo nghĩa rộng để bao quát vấn đề phát sinh từ quan hệ mang tính chất thương mại dù có hay khơng có hợp đồng Các quan hệ mang tính thương mại bao gồm giao dịch sau đây: giao dịch cung cấp trao đổi hàng hoá dịch vụ; thoả thuận phân phối; đại diện đại lý thương mại, uỷ thác hoa hồng, cho th dài hạn; xây dựng cơng trình; tư vấn, kỹ thuật cơng trình; đầu tư; cấp vốn, ngân hàng; bảo hiểm; thoả thuận khai thác tô nhượng, liên doanh hình thức hợp tác cơng nghiệp kinh doanh; chun chở hàng hố hay hành khách đường biển, đường không, đường sắt đường bộ" [3] Theo định nghĩa này, thấy phạm vi hoạt động thương mại điện tử rộng, bao quát hầu hết lĩnh vực hoạt động kinh tế Trong hoạt động mua bán hàng hố dịch vụ phạm vi nhỏ thương mại điện tử 1.1.2 Các nội dung Theo định nghĩa vừa nêu trên, Thương mại điện tử việc mua bán hàng hoá dịch vụ thơng qua mạng máy tính tồn cầu Hoạt động giao dịch mạng có nhiều điểm khác biệt so với hoạt động giao dịch truyền thống phương thức trao đổi hàng hoá, đối tượng tham gia giao dịch, cách thức toán, … Căn theo khác biệt đó, chúng tơi xem xét số khía cạnh Thương mại điện tử mà hoạt động thương mại truyền thống khơng có a Đặc trưng Thương mại điện tử Dựa phương thức trao đổi hàng hố hai bên, Thương mại điện tử có số đặc trưng sau: Các bên tiến hành giao dịch Thương mại điện tử không tiếp xúc trực tiếp với khơng địi hỏi biết từ trước Các giao dịch Thương mại điện tử thực thị trường khơng có biên giới (thị trường toàn cầu) Thương mại điện tử trực tiếp tác động đến mơi trường cạnh tranh tồn cầu Trong hoạt động giao dịch Thương mại điện tử có tham gia ba chủ thể bên thiếu người cung cấp dịch vụ mạng quan chứng thực Đối với thương mại truyền thống mạng lưới thơng tin phương tiện để trao đổi liệu với thương mại điện tử mạng lưới thơng tin thị trường b Các hình thức giao dịch Thương mại điện tử Xét phương diện đối tượng tham gia giao dịch, Thương mại điện tử bao gồm lớp đối tượng [11]: người tiêu dùng, doanh nghiệp phủ Trong lớp, giao dịch Thương mại điện tử chia nhỏ theo đối tượng tham gia: Người tiêu dùng C2C (Consumer-To-Comsumer): Người tiêu dùng với người tiêu dùng C2B (Consumer-To-Business): Người tiêu dùng với doanh nghiệp C2G (Consumer-To-Government): Người tiêu dùng với phủ Doanh nghiệp B2C (Business-To-Consumer): Doanh nghiệp với người tiêu dùng B2B (Business-To-Business): Doanh nghiệp với doanh nghiệp B2G (Business-To-Government): Doanh nghiệp với phủ B2E (Business-To-Employee): Doanh nghiệp với nhân viên Chính phủ G2C (Government-To-Consumer): Chính phủ với người tiêu dùng G2B (Government-To-Business): Chính phủ với doanh nghiệp G2G (Government-To-Government): Chính phủ với phủ c Lợi ích Thương mại điện tử [2] Do việc mua bán hàng hố thực thơng qua mạng máy tính kết nối tồn cầu, Thương mại điện tử đem lại nhiều lợi ích cho phía người mua bán Các lợi ích chủ yếu bao gồm việc thu thập thông tin giao dịch, tiết kiệm chi phí sản xuất, tiết kiệm chi phí giao dịch, xây dựng mối quan hệ mua bán hàng hoá tạo điều kiện tiếp cận kinh tế tri thức: − Thu thập nhiều thông tin: Thương mại điện tử giúp ta thu thập nhiều thơng tin thị trường, đối tác, giảm chi phí tiếp thị, giao dịch, Các doanh nghiệp nắm thông tin phong phú kinh tế thị trường, nhờ xây dựng chiến lược sản xuất kinh doanh thích hợp với xu phát triển thị trường nước, khu vực quốc tế Điều nhiều quốc gia quan tâm coi động lực phát triển kinh tế − Giảm chi phí sản xuất: Thương mại điện tử giúp giảm chi phí sản xuất, trước hết chi phí văn phịng Các “văn phịng khơng giấy tờ” chiếm diện tích nhỏ nhiều hay chi phí tìm kiếm chuyển giao tài liệu giảm nhiều lần Theo ví dụ có [2], tiết kiệm hướng đạt tới 30% Điều quan trọng nhân viên có lực giải phóng nhiều cơng đoạn, tập trung vào nghiên cứu phát triển đưa đến lợi ích to lớn lâu dài − Giảm chi phí bán hàng, tiếp thị giao dịch: Thương mại điện tử giúp giảm thấp chi phí bán hàng chi phí tiếp thị Bằng phương tiện Internet nhân viên bán hàng giao dịch với nhiều khách hàng Các catalogue điện tử thường xuyên cập nhật phong phú nhiều so với catalogue in ấn có khuôn khổ giới hạn luôn lỗi thời Theo ví dụ [2], hãng máy bay Boeing Mỹ có tới 50% khách hàng đặt mua 9% phụ tùng qua Internet (và nhiều đơn hàng lao vụ kỹ thuật), ngày giảm bán 600 gọi điện thoại Thương mại điện tử qua Web giúp người tiêu dùng doanh nghiệp giảm đáng kể thời gian chi phí giao dịch Thời gian giao dịch qua Internet 7% thời gian giao dịch qua Fax, 0.05% thời gian giao dịch qua bưu điện chuyển phát nhanh, chi phí tốn điện tử qua Internet từ 10% đến 20% chi phí tốn thơng thường − Xây dựng quan hệ với đối tác: Thương mại điện tử tạo điều kiện cho việc thiết lập củng cố quan hệ thành viên tham gia vào trình thương mại Thơng qua mạng thành viên tham gia giao tiếp trực tiếp liên tục với nhau, nhờ quản lý hợp tác tiến hành nhanh chóng cách liên tục, phát bạn hàng mới, hội kinh doanh phạm vi toàn quốc, khu vực hay giới − Tạo điều kiện sớm tiếp cận kinh tế tri thức: Thương mại điện tử kích thích phát triển công nghệ thông tin tạo sở cho phát triển kinh tế tri thức Lợi ích có ý nghĩa lớn với nước phát triển Nếu không nhanh chóng tiếp cận kinh tế tri thức sau vài thập kỷ nữa, nước phát triển bị bỏ rơi hồn tồn Khía cạnh lợi ích mang tính chiến lược cơng nghệ cần sách phát triển thời kì cơng nghiệp hố, đặc biệt Việt Nam 1.1.3 Tình hình Thương mại điện tử Việt Nam a Khái quát chung [3][4] Theo thống kê tính từ năm 2003 đến năm 2005, số lượng người Việt Nam truy cập Internet gia tăng với tốc độ lớn Cuối năm 2003 số người truy cập Internet khoảng 3,2 triệu người, đến cuối năm 2004 số khoảng 6,2 triệu người Sáu tháng sau đó, số 10 triệu Đến cuối năm 2005, số người Việt Nam truy cập Internet khoảng 13 đến 15 triệu người, chiếm tỷ lệ 16% - 18% dân số nước Đến Việt Nam có triệu thuê bao Internet với khoảng 18 triệu người sử dụng, 21% dân số Con số mức bình quân cao giới Theo thống kê Vụ Thương mại điện tử thuộc Bộ Thương mại, cuối năm 2004, Việt Nam có khoảng 17.500 website doanh nghiệp, số tên miền (như com.vn, net.vn, ) tăng từ 2.300 (năm 2002) lên 5.510 (năm 2003) 9.037 (năm 2004) Đến cuối năm 2007 số tên miền khoảng 55000 Những số cho thấy tốc độ phát triển lớn Mạng lĩnh vực có liên quan khác Việt Nam Năm 2003, 2004 website sàn giao dịch B2B (marketplace), website rao vặt, siêu thị trực tuyến B2C thi đời Số liệu thống kê Bộ Cơng Thương tính đến thời điểm cho thấy có khoảng 38% số doanh nghiệp Việt Nam có website riêng 93% số doanh nghiệp kết nối Internet để phục vụ cho sản xuất, kinh doanh Tuy nhiên, website phát triển hạn chế, chưa có website thực phát triển đột phá theo xu hướng Thương mại điện tử Lý phần lớn doanh nghiệp Việt Nam website xem kênh tiếp thị bổ sung để quảng bá hình ảnh cơng ty giới thiệu sản phẩm, doanh nghiệp chưa đầu tư khai thác hết lợi ích thương mại điện tử mang lại Cũng có nhiều cá nhân, doanh nghiệp thành lập website như: sàn giao dịch, website phục vụ việc cung cấp thông tin, website rao vặt, siêu thị điện tử để nhằm mục đích giao dịch mạng Tuy nhiên website chưa thực quảng bá phát triển tốt để mang lại lợi nhuận kinh tế đáng kể b Các doanh nghiệp Việt Nam với Thương mại điện tử [2] Thương mại điện tử động lực thúc đẩy doanh nghiệp phát triển Doanh nghiệp Việt Nam đa số doanh nghiệp vừa nhỏ nên Thương mại điện tử cầu nối giúp mở rộng thị trường, tham gia hội nhập tích cực Với chi phí thấp có tính khả thi, doanh nghiệp Việt Nam nhanh chóng tham gia Thương mại điện tử để đem lại hội phát triển cho doanh nghiệp Tuy nhiên doanh nghiệp Việt Nam gặp nhiều khó khăn, chủ yếu do: Thương mại điện tử Việt Nam trình phát triển, số người tham gia truy cập Internet tăng thấp so với dân số nên chưa tạo thị trường nội địa Mặt khác P(u , d , w) ≈ ∑ P(u | z ) P(d | z ) P(w|z) P( z ) (23) z Như cách tiếp cận mơ hình mật độ chung, biến ẩn z đặc trưng cho đề tài khác (được che giấu) tài liệu, nhiều đề tài bên tài liệu đơn d hữu ích cho User đơn u Thuật ngữ P(w| z) cho phép bao gồm nội dung thơng tin tài liệu Mơ hình phù hợp với liệu thưa, chí dựa vào tập gồm 1000 User truy nhập 5000 tài liệu, với mật độ ma trận liệu 0.38% so với 0.01 % lựa chọn ngẫu nhiên User Để so sánh tính tốn thực liệu thưa, mơ hình đơn giản đề xướng: P(u,w) vào nội dung từ đơn lẻ Mơ hình thực dự đốn tốt so với mơ hình ngun Như vậy, mơ hình dự đốn kết hợp thông tin Item phiếu Việc ứng dụng mơ hình tập liệu kích thước lớn thưa thớt thách thức quan trọng 2.3 Đánh giá hệ thống khuyến cáo sản phẩm Khi xây dựng hệ thống khuyến cáo sản phẩm, việc đánh giá hiệu phương pháp có ý nghĩa định Để đánh giá khả hệ thống khuyến cáo sản phẩm phải áp dụng hệ thống vào thực tế Đó thuận lợi cho thí nghiệm hệ thống khuyến cáo sản phẩm khách hàng thực để đo hiệu phương pháp Tuy nhiên với nhà nghiên cứu, thông thường không thu hút số lượng khách hàng tới Website để kiểm tra hiệu hoạt động Với số khách hàng nhỏ, khơng thể đánh giá xác khả hệ thống Trong đó, theo quan điểm cạnh tranh buôn bán Thương mại điện tử, kết thí nghiệm hệ thống cơng bố Đó khó khăn cho việc xây dựng hệ thống khuyến cáo sản phẩm, đánh giá khả hệ thống dựa vào liệu có không áp dụng thực tế Một vấn đề quan trọng để đánh giá hiệu hệ thống kiểm tra xem người sử dụng có thực mua sản phẩm nhận khuyến cáo từ hệ thống hay khơng Đánh giá hệ thống có hiệu khách hàng mua sản phẩm khuyến cáo Tuy nhiên với nhu cầu vô đa dạng phức tạp khách hàng, chưa khách hàng mua sản phẩm 41 khuyến cáo dù sản phẩm có nhiều người khác quan tâm đến Thậm chí nhiều trường hợp, khách hàng mua sản phẩm mà hệ thống khơng khuyến cáo sản phẩm chưa có đánh giá (sản phẩm chưa có khách hàng mua hay đánh giá khả sử dụng) Để giữ uy tín hệ thống khuyến cáo sản phẩm, nhiều trường hợp hệ thống đưa khuyến cáo người sử dụng không nên mua số sản phẩm Đó mâu thuẫn nhà cung cấp sản phẩm người thiết kế hệ thống, nhà cung cấp dịch vụ mong muốn bán nhiều sản phẩm cho khách hàng Có thể coi tiêu chuẩn cho nhà cung cấp dịch vụ để lựa chọn hệ thống khuyến cáo sản phẩm phù hợp Việc áp dụng với khách hàng đánh giá khả phương pháp dùng cho hệ thống Việc đánh giá chí cần thực sản phẩm có tính đại chúng (các sản phẩm phần lớn khách hàng quan tâm), khuyến cáo sản phẩm cho khách hàng kiểm tra xem khách hàng có mua sản phẩm hay khơng Trong Website Thương mại điện tử số lượng sản phẩm lớn, việc đánh giá sản phẩm đại chúng hồn tồn đưa kết tương đối xác Khi xây dựng hệ thống khuyến cáo, liệu lịch sử (dữ liệu cũ sản phẩm mua) dùng để đánh giá hiệu giải thuật trường hợp hệ thống không áp dụng với khách hàng thực tế 42 Chương Mơ hình thử nghiệm Trong Khố luận này, chúng tơi tiến hành thử nghiệm hai hướng tiếp cận tiêu biểu trình bày chương trước: lọc cộng tác sử dụng kNN lọc cộng tác mơ hình mật độ chung 3.1 Môi trường thử nghiệm 3.1.1 Phần cứng Chip Intel Celeron M procesor 420 1.6GHz, RAM 512 MB 3.1.2 Công cụ - Apache Web Server Version 2.2.4 - PHP Script Language Version 5.2.3 - MySQL Database Version 5.0.45 - phpMyAdmin Database Manager Version 2.10.2 3.2 Cơ sở liệu Hệ thống xây dựng sở liệu Jester Jester-data-1.xls với kích thước 15.3 MB (http://goldberg.berkeley.edu/jester-data/ ) Cơ sở liệu gồm 24983 User đánh giá 100 Item Cấu trúc liệu : Bảng liệu có kích thước 24983*101, hàng tương ứng với User Cột số lượng Item mà User bỏ phiếu bình chọn giá trị sử dụng 100 cột tương ứng với 100 Item Giá trị cột tương ứng với phiếu mà User bỏ cho Giá trị phiếu User bỏ cho Item nằm khoảng -10.00 đến 10.00 Nếu giá trị phiếu 99 tương ứng với User không bỏ phiếu ước lượng giá trị sử dụng cho Item 43 Bảng 3.1 Cơ sở liệu Jester-data-1 Number 74 100 49 48 91 100 47 100 100 72 36 100 47 100 Item1 -7.82 4.08 99 99 8.5 -6.17 99 6.84 -3.79 3.01 -2.91 1.31 99 9.22 Item2 8.79 -0.29 99 8.35 4.61 -3.54 99 3.16 -3.54 5.15 4.08 1.8 99 9.27 Item3 -9.66 6.36 99 99 -4.17 0.44 99 9.17 -9.42 5.15 99 2.57 99 9.22 Item4 -8.16 4.37 99 99 -5.39 -8.5 99 -6.21 -6.89 3.01 99 -2.38 99 8.3 Item5 -7.52 -2.38 9.03 1.8 1.36 -7.09 8.59 -8.16 -8.74 6.41 -5.73 0.73 5.87 7.43 Item6 -8.5 -9.66 9.27 8.16 1.6 -4.32 -9.85 -1.7 -0.29 5.15 99 0.73 99 0.44 Item7 -9.85 -0.73 9.03 -2.82 7.04 -8.69 7.72 9.27 -5.29 8.93 2.48 -0.97 5.58 3.5 Item8 4.17 -5.34 9.27 6.21 4.61 -0.87 8.79 1.41 -8.93 2.52 -5.29 0.53 8.16 Item9 -8.98 8.88 99 99 -0.44 -6.65 99 -5.19 -7.86 3.01 99 -7.23 99 5.97 Chúng sử dụng Microsoft Access để lưu trữ liệu chúng cho phép truy cập sở liệu dễ dàng 3.3 Lọc cộng tác dựa mơ hình mật độ chung 3.3.1 Xây dựng mơ hình Tính tốn sở liệu Jester-data-1.xls, bao gồm 24983 User chia thành phần: phần gồm 20000 User dùng để xây dựng mơ hình dự đốn, phần gồm 4983 User lại dùng để kiểm tra hiệu mơ hình vừa xây dựng Phần chia thành 20 nhóm, nhóm gồm 1000 User Mỗi nhóm User dùng để xây dựng mơ hình thành phần Trên sở liệu Jester, giá trị phiếu User nằm khoảng từ -10.00 đến 10.00 Giá trị phiếu 99 tương ứng với User khơng bình cho giá trị cho Item Khi xây dựng mơ hình, mặc định việc User bỏ phiếu cho Item tương ứng với User thích Item bình chọn giá trị sử dụng cho Item khơng bình chọn tương ứng với khơng User quan tâm Chúng ta tính tốn xác suất cho Item mơ hình cách đếm xem có User quan tâm đến 44 P(i ) = Count (i ) Count (m) Với i tương ứng với Item, P(i) xác suất Item chọn Count(i) số User bỏ phiếu cho Item i mơ hình Count(m) số User mơ hình Với 20 mơ hình xây dựng Count(m) = 1000 theo mặc định Trong mơ hình tính tốn xác suất chọn cho Item, Item xếp theo thứ tự giảm dần xác suất Danh sách Item List(P(i)) khuyến cáo cho User thuộc mơ hình Dữ liệu xây dựng mơ hình Dữ liệu kiểm thử mơ hình Xếp nhóm User Tính tốn xác suất cho Item nhóm Tính tốn giá trị dự đốn Dữ liêu mơ hình Mơ hình 1: List1 ( P(i )) Mơ hình 2: List2 ( P(i )) ………………………… Mơ hình 20: List20 ( P(i )) Hình 3.1 Mơ hình thử nghiệm hệ thống khuyến cáo sản phẩm 45 Khuyến cáo cho người sử dụng Sử dụng User phần để kiểm thử khả mơ hình xây dựng Kiểm tra xem User thuộc nhóm mơ hình mật độ, từ đưa khuyến cáo cho User Để xếp nhóm cho User, hệ thống tìm User tương tự 20 nhóm phần User thuộc nhóm có nhiều thành phần tương tự Trong sở liệu Jester_Data, User bỏ phiếu nhiều Item Khi xếp nhóm cho User a bất kỳ, có nhiều User tương tự a độ tương đồng nhỏ Việc gộp tất User vào việc xếp nhóm dẫn đến kết khơng xác Chúng ta mặc định ngưỡng cho User tương tự, tính User có độ tương đồng phiếu >80% so với A Hai User tương đồng Item giá trị phiếu Trong sở liệu Jester mặc định phiếu có giá trị: 99 tương ứng với Item khơng bình chọn, giá trị cịn lại tương ứng với Item chọn Một số module xây dựng kiểm thử mơ hình: - Order (Array A): Sắp xếp xác suất Item mơ hình - GroupUser (A): Xếp nhóm cho User A - Simple (X,Y): Đánh giá độ tương đồng User Order (Array A): - Input: Xác suất tất Item thành phần - Output: Danh sách khuyến cáo For { i tập Item For j tập Item If A[i] NumUser)do { NumUser = Total Model = Mơ hình } } Return Model Simple(X,Y): - Input: User X, User Y - Output: Độ tương đồng hai User Num = 0; For Item sở liệu If (X[Item]=Y[Item]) Num++; If (Num lớn ngưỡng) Return True; Return False; Hệ thống thử nghiệm xây dựng ngôn ngữ PHP, thao tác sở liệu MySQL Phương pháp có lợi thế: ứng dụng trực tiếp Website thương mại, xây dựng hệ thống tương đối đơn giản, dễ dàng thử nghiệm cho User Tuy nhiên phương pháp nhiều thời gian xếp nhóm cho User, xếp nhóm cho User, hệ thống phải tính tốn tồn 20000 User dùng để xây dựng mơ hình Thời gian trung bình để xếp nhóm cho User 27 giây Khi xây dựng hệ thống khuyến cáo sản phẩm, tính toán độ tương đồng User để xếp chúng vào nhóm tương ứng Các quy định khác số nhóm User, số lượng User nhóm độ tương đồng hai User tạo hệ thống khác biệt Các quy định tuỳ 47 thuộc vào người xây dựng hệ thống liệu sử dụng Các hệ thống áp dụng thực tế để kiểm tra hiệu phương pháp 3.3.2 Kết Tiến hàng kiểm thử 200 ghi, ghi tương ứng User phần liệu kiểm tra mơ hình Ta có kết bảng 3.2 Bảng 3.2: Thử nghiệm mơ hình mật độ chung Hàng 1, tương ứng 20 mô hình thành phần Hàng 2, số User thử nghiệm thuộc thành phần Model Model Model Model Model Model Model Model Model Model 10 0 14 0 17 0 Model Model Model Model Model Model Model Model Model Model 11 12 13 14 15 16 17 18 19 20 82 0 74 0 Trong bảng kết thử nghiệm, User chủ yếu thuộc mơ hình 11, 16 Mơ hình 3, 7, 14 có số lượng User mơ hình cịn lại ko có User Điều giải thích: hai mơ hình 11, 16 bao gồm hầu hết User tiêu biểu sở liệu xây dựng mô hình Các User tiêu biểu bình chọn hầu hết Item có xác suất mua lớn, hầu hết User thử nghiệm thuộc mơ hình 11, 16 Các mơ hình cịn lại có số lượng User tiêu biểu có số lượng User kiểm tra Có thể thử nghiệm với nhiều ngưỡng tương đồng hai User để đánh giá phương pháp xây dựng hệ thống 3.4 Xử lý liệu theo phương pháp láng giềng gần 3.4.1 Xây dựng mơ hình Phương pháp tính toán 1000 User sở liệu Jester_data_1 Bảng liệu có kích thước 1000*100 tương ứng 1000 User 100 Item Trong phương pháp mặc định giá trị cho phiếu bảng liệu: 48 - Nếu phiếu sở liệu có giá trị 99 tương ứng với User không bỏ phiếu cho Item bảng liệu - Nếu phiếu có giá trị lớn tương ứng với User thích Item, giá trị bảng liệu ( vi , j =1) - Nếu phiếu nhỏ hợc tương tứng User khơng thích Item, giá trị bảng liệu ( vi , j =0) Để thử nghiệm phương pháp, chọn User bảng liệu Giả sử A User chọn, A có tập phiếu VA Chia VA thành tập con: VA1 VA VA1 tập thông tin đầu vào hệ thống, VA tập liệu kiểm thử Từ liệu đầu vào, thống tính tốn VA ' tập kết dự đoán So sánh VA với VA ' để đo độ xác hệ thống Do sở liệu Jester, User bỏ phiếu nhiều Item, mặc định VA1 gồm 30 Item mà User A bỏ phiếu bình chọn giá trị sử dụng Trong tập VA ' săp xếp giá trị dự đoán theo thứ tự giảm dần, 50% phiếu tương ứng Item User thích ( v A, j =1) phần cịn lại tương ứng với Item khơng ưa chuộng ( v A, j =0) So sánh tập phiếu User với tập phiếu dự đoán để tính hiệu thuật tốn Một số module xây dựng kiểm tra phương pháp: - Weight(User A, User I): Tính tốn trọng số hai User - Predic(User A): Dự đoán tập phiếu User A Weight(User A, User I) - Input : Tập phiếu hai User - Output: Trọng số hai User Tuso = Mauso = 49 Ms1 = 0, Ms2 = For i tập hợp Item { Tuso+= (A[i] – giá trị trung bình I[i] - giá trị trung bình VA )*( VI ) Ms1+=qrt(A[i] – giá trị trung bình VA ) Ms2+=qrt(I[i] – giá trị trung bình VI ) } Return Tuso/sqrt(Ms1*Ms2) Predic(User A) - Input: Tập phiếu A - Output: Tập giá trị dự đoán Item A chưa bỏ phiếu For i tập hợp Item { If A[i] = Null { Tuso = Mauso =0 For j tập hợp User { Tuso+=Weight(A,j)*lá phiếu điều chỉnh ma trận Mauso+=abs(Weight(A,j)) } A[i] = giá trị trung bình VA + Tuso/Mauso } } 3.4.2 Kết Thử nghiệm 100 User, ta có kết bảng 3.3 50 Bảng 3.3 Thử nghiệm phương pháp láng giềng gần Cột Item tương ứng số Item dự đoán đúng, cột Total tổng số Item dự đoán Item 33 23 10 35 35 10 38 54 20 44 10 33 34 47 11 33 14 Total 44 70 19 18 61 70 17 70 70 42 70 17 70 70 70 21 70 19 23 Item 13 28 43 29 22 18 25 13 39 41 38 22 14 35 10 Total 25 20 42 70 44 37 30 42 24 16 70 24 70 70 11 42 21 70 17 Item 32 12 44 37 40 24 42 26 47 41 21 45 8 44 20 39 25 Total 43 20 16 70 70 62 43 59 41 70 70 30 10 70 15 23 70 32 70 33 Item 22 50 46 27 19 27 24 10 20 51 25 34 20 49 11 35 11 35 11 Total 41 70 11 70 43 31 42 41 17 35 70 38 70 37 70 18 70 25 70 23 Item 18 37 21 24 33 32 26 34 25 30 11 23 35 22 41 40 Total 23 70 42 11 42 70 44 42 70 38 42 18 39 70 43 70 70 Thời gian dự đoán cho User khoảng từ 4s đến 18s tuỳ thuộc vào tổng số Item mà hệ thống tính tốn Có thể thử nghiệm phương pháp cách chia tập phiếu User để đo hiệu hệ thống Từ kết bảng 3.3 tính độ xác, độ hồi tưởng F1 để thấy hiệu phương pháp Bảng 3.4 biểu diễn kết 10 lần thử nghiệm, lần thử nghiệm tương ứng 10 User Khi tiến hành dự đoán cho User, hệ thống dự đoán cho tất Item mà User chưa bỏ phiếu Trong sở liệu Jester, hầu hết User không bỏ phiếu cho tất Item hai tập VA VA ' có chênh lệch số phiếu Thực tế số phiếu VA ' cao số phiếu VA , điều dẫn đến chênh lệch lớn độ hồi tưởng độ xác 51 Hệ thống tính tốn 1000 ghi thử nghiệm với 100 User kết tính tốn chưa đánh giá hết khả phương pháp Bảng 3.4 Kết 10 lần thử nghiệm hệ thống 10 Độ xác 31.91853 28.28794 29.97379 28.40589 37.55665 32.63127 33.31025 33.42868 31.02402 29.70346 Độ hồi tưởng 55.01814 53.17733 56.91543 57.82608 62.84569 60.78021 60.82166 56.42093 59.81526 55.98949 F1 39.84473 35.82275 38.95279 36.81668 46.55913 41.5846 42.46354 41.54121 39.76839 37.74017 3.5 So sánh hai phương pháp xây dựng hệ thống Thử nghiệm xây dựng hệ thống khuyến cáo sản phẩm hai phương pháp: lọc cộng tác dựa láng giềng gần lọc cộng tác dựa mơ hình mật độ chung Tuy thực nghiệm số lượng User nhỏ cho thấy điểm khác biệt hai phương pháp Phương pháp mơ hình tính tốn số lượng User lớn nhiều so với phương pháp láng giềng gần Phương pháp láng giềng gần tính tốn với số lượng User nhỏ thơng tin dự đốn xác Trong phương pháp mơ hình mật độ chung, User chọn nhóm thích hợp đưa dự đốn cho User theo nhóm Do thơng tin dự đốn xác so với phương pháp láng giềng gần Hiệu phương pháp xây dựng mơ hình mật độ tuỳ thuộc vào cách thức xây dựng nhóm bên mơ hình 52 Kết Luận Tổng kết công việc làm đóng góp luận văn Khố luận trình bày khái quát số vấn đề Thương mại điện tử, khai phá liệu Thương mại điện tử, hệ thống khuyến cáo sản phẩm ứng dụng Website thương mại cách thức xây dựng hệ thống Các nội dung khố luận đề cập tóm lược - Giới thiệu khái quát Thương mại điện tử, giới thiệu khái niệm Thương mại điện tử, khai phá liệu Thương mại điện tử Đồng thời, trình bày tình hình Thương mại điện tử Việt Nam, hội thách thức cho doanh nghiệp trình hội nhập với thị trường Thương mại điện tử giới - Trình bày sở giao dịch thơng qua mạng máy tính, khó khăn, thách thức vấn đề liên quan đến giao dịch mạng - Trình bày hệ thống khuyến cáo sản phẩm ứng dụng giao dịch thông qua mạng máy tính: mục đích xây dựng hệ thống, tác dụng hệ thống việc thúc đẩy giao dịch, cách thức xây dựng hệ thống số ví dụ hệ thống khuyến cáo sản phẩm Cách xây dựng hệ thống tập trung chủ yếu theo phương pháp lọc cộng tác dựa láng giềng gần dựa mơ hình xác suất Khố luận trình bày ưu, nhược điểm phương pháp lọc cộng tác xây dựng hệ thống khuyến cáo sản phẩm - Đã tiến hành thử nghiệm đánh giá kết Hướng nghiên cứu Do thời gian có hạn nên tơi chưa thể thu thập liệu lớn tiến hành thêm nhiều thử nghiệm khác để xây dựng thành công hệ thống Trong thời gian tới thu thập thêm nhiều liệu lĩnh vực giao dịch Thương mại điện tử, cách thức xây dựng hệ thống khuyến cáo sản phẩm Với lượng liệu phong phú giao dịch thơng qua mạng máy tính, tơi hi vọng xây dựng hệ thống khuyến cáo sản phẩm có độ tin cậy cao 53 Với hệ thống khuyến cáo sản phẩm tơi hi vọng áp dụng vào Website Thương mại điện tử nhằm thúc đầy giao dịch với khách hàng, đem lại hiệu thiết thực mua bán hàng hoá Hệ thống khuyến cáo sản phẩm ứng dụng khai phá liệu Thương mại điện tử, thời gian tới tơi tiếp tục tìm hiểu thêm lĩnh vực khác dự đoán sản phẩm lượng lớn khách hàng ưa chuộng số lượng hàng tiêu thụ thời gian khoảng thời gian gần 54 Tài liệu tham khảo Tiếng Việt [1] [2] [3] [4] Đặng Thanh Hải Thuật toán phần lớp văn Web thực nghiệm máy tìm kiếm VietSeek (Vinahoo) Luận văn tốt nghiệp, Khoa CN-ĐHQGHN, 2003 TS Nguyễn Đăng Hậu Kiến thức Thương mại điện tử, Viện đào tạo công nghệ quản lý quốc tế, 2004 Website http://tintuc.timnhanh.com/kinh_te/thuong_mai_dien_tu/ Website http://tim.vietbao.vn/ Tiếng Anh [5] [6] [7] [8] [9] [10] [11] David Heckerman Dependency Networks for Inference, Collaborative Filtering, and Data Visualization, UAI 2000: 264-273 Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl Itembased Collaborative Filtering Recommendation Algorithms, Proc of the 10th International World Wide Web Conference (WWW10), Hong Kong, May 2001 http://citeseer.ist.psu.edu/sarwar01itembased.html Daniel Billsus and Michael J Pazzani Learning Collaborative Information Filters, ICML 1998: 46-54, 1998 Pierre Baldi, Paolo Frasconi and Padhraic Smyth Modeling the Internet and the Web Probabilistic Methods and Algorithms, Wiley, ISBN: 0470-84906-1, 2003 Manos Papagelis, Dimitris Plexousakis, Ioannis Rousidis and Elias Theoharopoulos Qualitative Analysis of User-based and Item-based Prediction Algorithms for Recommendation Systems, Proceedings of the 3rd Hellenic Data Management Symposium (HDMS 2004), www.ics.forth.gr/isl/publications/paperlink/hdms04_cameraready_submitted.pdf K A Taipale Data Mining and Domestic Security: Connecting the Dots to Make Sense of Data, Columbia Science and Technology Law Review, 5(2), December 2003 Website http://www.wikipedia.org/ 55 ... cung cấp sản phẩm Đó mục đích hệ thống khuyến cáo sản phẩm ứng dụng Website thương mại Hệ thống khuyến cáo sản phẩm mạng Trong mục này, giới thiệu hệ thống khuyến cáo sản phẩm, hệ thống xây dựng. .. nghiên cứu thương mại điện tử năm gần vấn đề xây dựng hệ thống khuyến cáo sản phẩm Website thương mại Hệ thống khuyến cáo sản phẩm lĩnh vực ứng dụng khai phá liêu Thương mại điện tử Hệ thống có... Khai phá liệu Thương mại điện t? ?: trình bày Thương mại điện tử, tình hình Thương mại điện tử Việt Nam, vấn đề khai phá liệu Thương mại điện tử Chương Một số mơ hình Khai phá liệu Thương mại điện