Xây dựng trang web bán hàng sử dụng Khai phá dữ liệu. Thiết kế Website bán hàng sử dụng thuật toán khai phá dữ liệu, với những tính năng độc đáo và thân thiện với người sử dụng như tích hợp quảng cáo sản phẩm cùng loại, có xu hướng mua cùng
LỜI NĨI ĐẦU Cơng nghệ thơng tin phát triển vượt bậc, tin học phát triển hầu hết ngành, lĩnh vực đời sống Các công ty, doanh nghiệp, trường học,… mạnh dạn ứng dụng tin học hóa nhằm nâng cao hiệu cơng việc quản lý, kinh doanh,… Máy tính giúp người nhiều từ tối ưu hóa công việc, giảm thời gian làm việc, tăng hiệu suất mang lại hiệu cao Ngày nay, quảng cáo, giới thiệu sản phẩm qua internet xu xã hội Internet gần thiết yếu sống chúng ta, hầu hết ai biết vào mạng để mua xắm, đọc báo, giải trí, xem tin tức …Các cửa hàng, công ty, doanh nghiệp… muốn quảng bá sản phẩm phải có website để tất người xem thơng tin sản phẩm Các website quảng cáo, giới thiệu, mua bán sản phẩm sở liệu thường nhiều, khơng có chọn lọc Người dùng đa dạng, người dùng lại có nhu cầu mua sắm số loại hàng, sản phẩm khác Hầu hết website giới thiệu sản phẩm cho người cách tràn lan, không hiệu Xuất phát từ tình hình thực tế vận dụng kiến thức học tập trường vào trình thực tập để sâu vào “Xây dựng trang web bán hàng sử dụng Khai phá liệu” cho cửa hàng Cánh Cụt Shop Chúng em chân thành cảm ơn Thầy Trần Thanh Hùng dạy bảo, hướng dẫn chúng em nhiều kiến thức quý giá, hướng dẫn nhiệt tình để chúng em nâng cao chất lượng thực tập tốt nghiệp Tuy cố gắng song tránh khỏi sai sót nhỏ làm Mong Thầy bỏ qua góp ý thêm cho chúng em Em xin chân thành cảm ơn! TÓM TẮT ĐỀ TÀI Mục đích: Thiết kế Website bán hàng sử dụng thuật toán khai phá liệu, với tính độc đáo thân thiện với người sử dụng tích hợp quảng cáo sản phẩm loại, có xu hướng mua Mục tiêu: Tìm hiểu cơng nghệ lập trình ASP.NET Tìm hiểu thuật tốn phân cụm liệu KMeans, khái niệm phân cụm liệu, tư tưởng thuật toán, cách cài đặt đưa vào ứng dụng thực tế Tìm hiểu thuật tốn khai phá luật kết hợp Apriori, tìm mối quan hệ đối tượng khối lượng lớn liệu Cải tiến thuật tốn tìm kiếm sản phẩm nhanh Text Mining AutoComplate Kết luận: Đồ án giải vấn đề lớn sau: Tìm hiểu xây dựng ứng dụng thực công nghệ lập trình ASP.NET Cài đặt thành cơng thuật tốn phân cụm liệu Kmeans khai phá luật kết hợp Apriori vào ứng dụng web Cải thiện thuật tốn tìm kiếm để mang lại hài lòng cho người dùng Purpose: Website Design sales using data mining algorithms , with unique features and user -friendly as integrated advertising similar products , tend to buy the same Objective : Learn ASP.NET programming technology Find out data clustering algorithms KMeans , the concept of data clustering , algorithms thought , how to install and put into practical application Understanding mining algorithms Apriori association rules, to find out the relationship between objects in large volumes which data Improved search algorithm fast Text Mining products and AutoComplate Conclusion: Do police have resolved the major issues the following : Explore and build an application entity ice ASP.NET programming technology Successful installation data clustering algorithm Kmeans and Apriori association rule mining on web applications Improved search algorithm to bring satisfaction to users MỤC LỤC DANH SÁCH HÌNH VẼ DANH SÁCH CÁC BẢNG BIỂU Bảng - 1: Dữ liệu ví dụ Bảng - 2: Dữ liệu thuật tốn lấy Bảng - 3: Thuật toán đưa liệu DANH SÁCH CÁC TỪ VIẾT TẮT Từ viết tắt CSDL K-Mean QL DL SP KPDL Ý nghĩa Cơ sở liệu Số lượng cụm Quản lý Dữ liệu Sản phẩm Khai phá liệu PHẦN – MỞ ĐẦU – Tên đề tài Xây dựng trang web bán hàng sử dụng Khai phá liệu – Lý chọn đề tài Với phát triển vũ bảo cơng nghệ thơng tin nói chung kinh doanh mạng nói riêng, việc phát triển mang đến cho lợi ích nhanh chóng, tiện lợi Cơng nghệ thơng tin len lõi vào khắp nơi, hầu hết tất lĩnh vực sông Trước thông tin sống quanh ta phải qua truyền miệng, việc kinh doanh định phải có cửa hàng quanh vùng định… Ngày khác, cơng nghệ thơng tin phát triển, báo mạng đầy dãy thông tin cách nửa vòng trái đất, đăng lên mạng gần toàn giới biết Các cửa hàng khơng phải cơng quảng bá sản phẩm miệng, cần tạo website internet hầu hết ai, đâu có internet xem hàng trực tiếp đặt hàng sản phẩm Từ có internet khoảng cách gần Một người gọi điện, nói chuyện với nhau, chí nhìn mặt cách nửa vòng trái đất Những năm gần đầy công nghệ thông tin đạt bước phát triển tích cực, với phát triển mạnh mẽ sở hạ tầng đặc biệt hệ thống mạng Internet Những ứng dụng Web phổ biến nhờ vào có mặt nơi đâu chương trình Khả cập nhật bảo trì ứng dụng Web mà khơng phải phân phối cài đặt phần mềm hàng ngàn máy tính lý cho phổ biến Chính nhờ vào phổ biến mà ứng dụng Web không ứng dụng đơn giản nữa, mà việc xây dựng ứng dụng Web trở nên phức tạp nhiều Các ứng dụng Web dùng để thực bán hàng trực tuyến, đấu giá trực tuyến, quản trị quan hệ khách hàng, Các website ngày nhiều thực thao tác thêm, sửa, xóa Dữ liệu ngày lớn dường khó chọn lọc, khó đốn biết khuynh hướng chọn mua người Vì sử dụng thuật toán khai phá liệu để phân loại người mua để quảng cáo cho họ sản phẩm mà họ có xu hướng mua – Mục tiêu đề tài - - Xây dựng website bán hàng trực tuyến o Xây dựng trang chủ đẹp o Xây dựng trang admin đầy đủ chức năng, dễ thao tác Tìm hiểu khai phá liệu Tìm hiểu thuật toán khai phá liệu Cài đặt thuật toán Ứng dụng toán vào website – Nội dung đề tài Chương 1: Cơ sử lý thuyết Tìm hiểu tổng quan khai phá liệu số thuật toán khai phá liệu Chương 2: Website bán hàng Thiết kế, xây dựng website bán hàng Chương 3: Khai phá liệu áp dụng Website bán hàng Cài đặt thuật toán khai phá liệu Chương 4: Thiết kế giao diện cài đặt chương trình Thiết kế, cài đặt chương trình PHẦN – NỘI DUNG CHƯƠNG - CƠ SỞ LÝ THUYẾT 1.1 – Khai phá liệu 1.1.1 - Tại lại cần khai phá liệu (Data mining)? Khoảng thập kỷ trở lại đây, lượng thông tin lưu trữ thiết bị điện tử (đĩa cứng, CD-ROM, băng từ, v.v.) khơng ngừng tăng lên Sự tích lũy liệu xảy với tốc độ bùng nổ Người ta ước đốn lượng thơng tin tồn cầu tăng gấp đơi sau khoảng hai năm theo số lượng kích cỡ sở liệu (CSDL) tăng lên cách nhanh chóng Nói cách hình ảnh “ngập” liệu lại “đói” tri thức Câu hỏi đặt liệu khai thác từ “núi” liệu tưởng chừng như“bỏ đi” không ? “Necessity is the mother of invention”- Data Mining đời hướng giải hữu hiệu cho câu hỏi vừa đặt Khá nhiều định nghĩa Data Mining đề cập ởphần sau, nhiên tạm hiểu Data Mining công nghệ tri thức giúp khai thác thơng tin hữu ích từ kho liệu tích trữ suốt trình hoạt động cơng ty, tổ chức 1.1.2 - Khai phá liệu gì? Khai phá liệu (datamining) định nghĩa trình chắt lọc hay khai phá tri thức từ lượng lớn liệu Một ví dụ hay sử dụng là việc khai thác vàng từ đá cát, Dataming ví cơng việc “Đãi cát tìm vàng” tập hợp lớn liệu cho trước Thuật ngữ Dataminig ám việc tìm kiếm tập hợp nhỏ có giá trị từ số lượng lớn liệu thơ Có nhiều thuật ngữ dùng có nghĩa tương tự với từ Datamining Knowledge Mining (khai phá tri thức), knowledge extraction (chắt lọc tri thức), data/patern analysis (phân tích liệu/mẫu), data archaeoloogy (khảo cổ liệu), datadredging(nạo vét liệu), Định nghĩa: Khai phá liệu tập hợp kỹ thuật sử dụng để tự động khai thác tìm mối quan hệ lẫn liệu tập hợp liệu khổng lồ (Big Data) phức tạp, đồng thời tìm mẫu tiềm ẩn tập liệu Khai phá liệu bước bảy bước trình KDD (Knowleadge Discovery in Database) KDD xem trình khác theo thứ tự sau: Làm liệu (data cleaning & preprocessing): Loại bỏ nhiễu liệu không cần thiết Tích hợp liệu: (data integration): trình hợp liệu thành kho liệu (data warehouses & data marts) sau làm tiền xử lý (data cleaning & preprocessing) Trích chọn liệu (data selection): trích chọn liệu từ kho liệu sau chuyển đổi dạng thích hợp cho q trình khai thác tri thức Q trình bao gờm việc xử lý với liệu nhiễu (noisy data), liệu không đầy đủ (incomplete data), v.v Chuyển đổi liệu: Các liệu chuyển đổi sang dạng phù hợp cho trình xử lý Khai phá liệu (data mining): Là bước quan trọng nhất, sử dụng phương pháp thơng minh để chắt lọc mẫu liệu Ước lượng mẫu (knowledge evaluation): Quá trình đánh giá kết tìm thơng qua độ đo Biểu diễn tri thức (knowledge presentation): Quá trình sử dụng kỹ thuật để biểu diễn thể trực quan cho người dùng Hình - 1: Các bước Data Mining & KDD 1.1.3 - Các chức khai phá liệu Data Mining chia nhỏ thành số hướng sau: • Mô tả khái niệm (concept description): thiên mô tả, tổng hợp tóm tắt khái niệm Ví dụ: tóm tắt văn • Luật kết hợp (association rules): dạng luật biểu diễn tri thứ dạng đơn giản Ví dụ: “60 % nam giới vào siêu thị mua bia có tới 80% số họ mua thêm thịt bò khô” Luật kết hợp ứng dụng nhiều lĩnh vực kính doanh, y học, tin-sinh, tài & thị trường chứng khốn, v.v • Phân lớp dự đoán (classification & prediction): xếp đối tượng vào lớp biết trước Ví dụ: phân lớp vùng địa lý theo liệu thời tiết Hướng tiếp cận thường sử dụng số kỹ thuật machine learning 10 Hình - 3: Dữ liệu phân loại Bảng Statistic (Bảng thống kê click đăng nhập) Hình - 4: Xây dựng liệu lưu lượt view người dùng View1= Người trẻ View2=Người trung niên View3=Người già Khi có tài khoản đăng ký tự động insert User_Id vào bảng Statistic ngầm định lượt view1=0,view2=0,view3=0 [User] Hình - 5: Dữ liệu ví dụ bảng User [Statistic] Hình - 6: Dữ liệu ví dụ bảng Statistic tạo Người dùng đăng nhập vào website, xem sản phẩm tăng view cho loại sản phẩm xem + Ví dụ người dùng có User_Id =1 User_Id=2 vào website xem sản phẩm tương ứng với lượt view là: Hình - 7: Dữ liệu ví dụ bảng Statistic sau thời gian User xem sản phẩm Ví dụ ta có 10 người dùng :A, B, C, D, E, F, G, H, I, J, K, Q, L, M, N 76 Chia làm cụm: + C1: {A, B, C, D, E} + C2: {F, G, H, I, J} + C3: {K, Q, L, M, N} =>Chọn cụm cho quảng cáo nào? Nếu: C1(X1, Y1, Z1) C2(X2, Y2, Z2) C3(X3, Y3, Z3) Ta có: Xi = max(X1, X2, X3) => cụm i quảng cáo người trẻ Yi = max(Y1, Y2, Y3) => cụm i quảng cáo người trung niên Zi = max(Z1, Z2, Z3) => cụm i quảng cáo người già Học: Sau khoảng 1tuần hoặc tháng cho học lần server đổ vào file kết học Website: + Khi đăng nhập vào website, tùy thuộc vào Username/Password => Id => Cụm => Quảng cáo loại => Lấy top N quảng cáo loại phần quảng cáo website + Nếu người dùng newbie( người mà máy chưa kịp học) lấy sản phẩm đưa lên phần quảng cáo website 3.2 – Áp dụng thuật toán Apriori vào tốn Phân tích liệu: từ hóa đơn đặt hàng khách hàng dự đoán xu hướng mua hàng người dùng Từ khách hàng chọn mua hàng hệ thống giới thiệu mặt hàng mà người dùng khác mua với sác xuất cao Thuật toán Apriori giúp giải vấn đề Tìm danh sách sản phẩm mua sản phẩm Thuật toán lấy liệu bảng OrderDetail (Chi tiết hóa đơn) làm liệu sở để đưa vào thuật tốn phân tích Sau phân tích tốn xong thuật toán đưa danh sách sản phẩm mua sản phẩm 77 Hình - 8: CSDL bảng OrderDetail (Chi tiết hóa đơn) Thuật tốn select tồn bảng OrderDetail sau lọc thành hóa đơn, hóa đơn có số lượng sản phẩm mua hàng không giới hạn VD Bảng - 1: Dữ liệu ví dụ Id Order Order_Id Product_Id 0001 0003 0001 0004 0003 0002 0004 Bảng - 2: Dữ liệu thuật toán lấy Quantity 10 12 Product 0001-0003 0001-0004-0003-0002 0004 Khi áp dụng thuật toán thiết kế Thuật toán đưa bảng liệu sau Bảng - 3: Thuật toán đưa liệu Product 0001 0002 0003 0004 Trong ProductView1 0003 0001 0001 0003 ProductView2 0002-0003-0004 0001-0003-0004 0001-0002-0004 0001-0003-0002 Product mã sản phẩm người dùng click vào sản phẩm Hệ thống view lên ProductView1 để giới thiệu việc khách hàng mua sản phẩm thường mua sản phẩm ProductView2 tức khách hàng mua sản phẩm mua số sản phẩm ProductView2 78 Thuật toán Apriori xây dựng có vòng lặp vơ hạn, kiểm tra thỏa mãn điều khiện dừng Khi có nhiều liệu, vài nghìn dòng, có tới vài triệu dòng thuật tốn phân tích liệu lâu Vậy nên chọn Winform thay Webform để tránh bị trình duyệt Sau tuần, tháng cho chạy thuật toán lần hay còn gọi cho máy học, hệ thống lấy bảng OrderDetail từ CSDL để đưa phân tích sau lưu vào bảng Apriori để Website select danh sách sản phẩm mua theo sản phẩm 79 CHƯƠNG – THIẾT KẾ GIAO DIỆN VÀ CÀI ĐẶT CHƯƠNG TRÌNH 4.1 – Phác thảo giao diện người dùng 4.1.1 – Giao diện trang chủ Đăng nhập, đăng ký(thông tin người dùng) Logo Menu Giới thiệu shop - Menu trái - Nhóm sản phẩm - Tìm kiếm theo mức giá - Hỗ trợ trực tuyến Tìm kiếm Giỏ hàng Fanpage Facebook Slide show Sản phẩm Sản phẩm xem nhiều Thông tin công ty 80 4.1.2 – Giao diện xem sản phẩm theo nhóm Đăng nhập, đăng ký(thơng tin người dùng) Logo Tìm kiếm Menu - Menu trái - Nhóm sản phẩm - Tìm kiếm theo mức giá - Hỗ trợ trực tuyến Giỏ hàng Fanpage Facebook Danh sách Sản phẩm Thông tin công ty 4.2.3 – Giao diện xem chi tiết sản phẩm Đăng nhập, đăng ký(thơng tin người dùng) Logo Tìm kiếm Giỏ hàng Fanpage Facebook Menu Chi tiết sản phẩm Quảng cáo sản phẩm loại (K-Mean) Quảng cáo sản phẩm có xu hướng mua (Apriori) Thông tin công ty 4.2.4 – Giao diện Admin Thông tin Admin Banner Admin 81 Danh sách chức Chi tiết chức 4.2 – Giao diện chương trình 4.2.1 – Giao diện trang chủ 82 Hình - 1: Giao diện trang chủ 83 4.2.2 – Giao diện trang danh sách sản phẩm theo nhóm Hình - 2: Giao diện trang danh sách sản phẩm theo nhóm 84 4.2.3 – Giao diện trang chi tiết sản phẩm Hình - 3: Giao diện chi tiết sản phẩm 85 4.2.4 – Giao diện trang admin Hình - 4: Giao diện điều khiển trang admin Hình - 5: Giao diện quản lý ảnh trang admin 86 Hình - 6: Danh sách quản lý sản phẩm 87 Hình - 7: Thêm sản phẩm 88 PHẦN – KẾT LUẬN – Kết luận Sau thời gian dài bắt tay vào nghiên cứu với giúp đỡ tận tình thầy giáo ThS Trần Thanh Hùng, nhóm chúng em hồn thành đề tài “Xây dựng trang web bán hàng sử dụng Khai phá liệu” Qua thành viên nhóm học hỏi nhiều kinh nghiệm Làm việc theo nhóm cách có khoa học hiệu Biết tìm kiếm tài liệu hiệu Biết tầm ảnh hưởng khai phá liệu Tìm hiểu tổng quan, số thuật toán khai khai phá liệu Tăng khả nắm bắt tình hình cơng việc Bên cạnh đó, với kiến thức nhận nhóm chúng em hồn thành thành cơng đề tài Tuy nhiên q trình hồn thành Có nhiều điều hạn chế mà chúng em chưa nhận biết Chúng em mong có nhận xét, đánh giá từ phía bạn, thầy giáo để có nhìn nhận xác hạn chế thành viên nhóm - – Tài liệu tham khảo [1] PGS.TS Hà Quang Thụy, Bài giảng Nhập môn khai phá liệu, Hà Nội 2010 [2] Nguyễn Thanh Bình, Kho liệu Hệ hỗ trợ định, Đại Học Huế, 2013 [3] http://bis.net.vn/, cập cuối ngày 27/4/2014 [4] http://timtailieu.vn/, tài liệu Data Mining, truy cập cuỗi ngày 28/4/2014 [5] http://tailieu.vn/, truy cập cuối ngày 25/4/2014 – Bảng đối chiếu thuật ngữ Anh – Việt Từ tiếng Anh K-Mean Apriori KNN(K-Nearest Neighbors) Data cleaning Data Mining Big Data Data integration Knowledge presentation Confidence Itemset Support Transaction database Frequent Ý nghĩa Việt K cụm (số cụm) Thuật toán apriori Láng giềng gần Làm liệu Khai phá liệu Dữ liệu lớn, liệu khổng lờ Tích hợp liệu Biểu diễn tri thức Độ tin cậy Mỗi giao dịch Độ hỗ trợ Cơ sở liệu giao dịch Thường xuyên 89 Clusters Similar Unsupervised Learning Machine Learning Centroid Objects Euclidean Attribute Group Interation Basket Analysis Feature Hierarchical Single Link Complete link Partitional Square error Graph Theoretic Cụm Tượng tự (cụm tương tự) Học khơng giám sát Máy học Tâm nhóm Đối tượng Khoảng cách Ơ-clit Thuộc tính Nhóm Lặp lại Giỏ phân tích Đặc trưng Cấp bậc Liên kết Liên kết hồn chỉnh Phân chia Lỗi vng Lý thuyết đồ thị 90 ... association rules (luật kết hợp nhị phân): Apple => Banana Quantitative association rules (luật kết hợp định lượng): weight in [70kg – 90kg] => height in [170cm – 190cm] Fuzzy association rules (Luật... KiemTraDangNhap() 5: Lay Username() 6: Username khong hop le 7: LayPassword() 8: Password khong hop le 9: Thong bao tai khoan khong hop le 10: HienThi() Hình – 6: Biểu đồ trình tự Đăng nhập luồng... X = {Apple, Banana} Y = {Cherry, Durian} ta có luật kết hợp X =>Y nói người mua Apple Banana thường mua Cherry Durian 11 Theo quan điểm thống kê, X xem biến độc lập (Independent variable) còn