ỨNG DỤNG CÁC GIẢI THUẬT KHAI THÁC DỮ LIỆU TRONG XÂY DỰNG TRANG THƯƠNG MẠI ĐIỆN TỬ Ở VIỆT NAM

Xét theo xu hướng trên thế giới, các ứng dụng website có thể PR bán hàng trên nền tảng công nghệ thông tin được xem là một xu hướng phát triển mới được ưa chuộng bởi nó có thể phân tích được hành vi con người, có thể dựa trên các hành vi phân tích đó mà tư vấn gợi ý cho các khách hàng mua bán hàng theo xu hướng đám đông, ví dụ như các trang Thương mại điện tử đã thành công lớn như amazon.com, facebook, google, alibaba,... Song nhìn về thực tế ở Việt Nam cho đến nay, chúng ta mới chỉ thấy tư vấn tự động trong các trang thương mại điện tử hiện nay xuất hiện một các nhỏ lẻ trên các trang bán hàng, chưa đưa ra được một cách tiếp cận khách hàng một cách hệ thống, chưa phân tích sâu được hành vi khách hàng để tiếp thị quảng cáo tự động… Hầu hết các công ty thương mại điện tử hiện nay của Việt Nam hầu như chưa có khả năng tư vấn bán hàng (tiếp thị chéo) một cách bài bản cho các khách hàng, chưa phân tích được các nguồn hàng một cách tự động, chưa tư vấn tự động cho khách hàng được.

TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH: HỆ THỐNG THÔNG TIN XÂY DỰNG WEBSITE BÁN MỸ PHẨM ỨNG DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU Sinh viên thực hiện: PHẠM VĂN ĐIẾN NGUYỄN VĂN LONG Lớp: ĐH HTTT K4 Giảng viên hướng dẫn: ThS TRẦN THANH HÙNG Hà Nội, 05/2013 TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Đề tài: XÂY DỰNG WEBSITE BÁN MỸ PHẨM ỨNG DỤNG KỸ THUẬT KHAI PHÁ DỮ LIỆU Sinh viên thực hiện: PHẠM VĂN ĐIẾN NGUYỄN VĂN LONG Lớp: ĐH HTTT K4 Giảng viên hướng dẫn: Cán phản biện: ThS TRẦN THANH HÙNG ThS TRẦN PHƯƠNG NHUNG Hà Nội, 05/2013 LỜI NÓI ĐẦU Ngày nay, với phát triển mạnh mẽ công nghệ thông tin ứng dụng đời sống Máy tính điện tử khơng cịn thứ phương tiện lạ lẫm người mà dần trở thành cơng cụ làm việc giải trí thơng dụng hữu ích chúng ta, khơng cơng sở mà cịn gia đình Trong kinh tế nay, với xu tồn cầu hóa kinh tế giới , mặt đời sống xã hội ngày nâng cao, đặc biệt nhu cầu trao đổi hàng hóa người ngày tăng số lượng chất lượng Thông qua sản phẩm công nghệ này, dễ dàng nhận tầm quan trọng tính tất yếu thương mại điện tử Với thao tác đơn giản máy tính có nối mạng Internet bạn có tận tay cần mà khơng phải nhiều thời gian Bạn cần vào trang dịch vụ thương mại điện tử , làm theo hướng dẫn click vào bạn cần nhà dịch vụ mang đến tận nhà cho bạn Hiện thật khó để tiếp thu thơng tin từ khối lượng lớn liệu, tìm kiếm phát tri thức điều khơng dễ dàng gì? Hiện có nhiều nghiên cứu, phương pháp mang tính khoa học dựa yếu tố thông minh đời, nhằm phục vụ cho q trình trích lọc liệu cách tối ưu từ tìm kiếm tri thức cần có Vì wesbsite cần có ứng dụng giải thuật thơng minh vào điều tất yếu Để đáp ứng phục vụ nhu cầu khách hàng doanh nghiệp hay cơng ty Em xin tìm hiểu xây dựng website : “xây dựng website bán mỹ phẩm áp dụng kỹ thuật khai phá liệu” Để có kết ngày hôm , em xin gửi lời cảm ơn chân thành sâu sắc đến toàn quý thầy cô khoa công nghệ thông tin trường Đại học Công Nghiệp Hà Nội tạo điều kiện giúp đỡ em suốt trình học tập trường Em xin gửi lời cảm ơn đặc biệt đến thầy Th.s Trần Thanh Hùng, thầy ln hướng dẫn bảo tận tình cho em hoàn thành đồ án thực tập tốt nghiệp cách tốt Em xin chân thành cảm ơn ! Hà Nội, ngày 12/05/2013 Sinh viên thực hiện: Phạm Văn Điến Nguyễn Văn Long TÓM TẮT ĐỒ ÁN Đồ án tốt nghiệp với đề tài “xây dựng website bán mỹ phẩm áp dụng kỹ thuật khai phá liệu” xây dựng áp dụng cho công ty phân phối mỹ phẩm Mục đích đề tài xây dựng website áp dụng kỹ thuật khai phá liệu giúp khách hàng xem lựa chọn sản phẩm phù hợp, quảng cáo sản phẩm theo nhóm khách hàng, tìm kiếm tên hàng thơng minh dự báo số lượng sản phẩm loại cho tuần tới để nhà quản lí định nhập với số lượng hợp lý Nội dung đồ án gồm ba chương: - Chương 1: Tổng quan khai phá liệu Chương 2: Các kỹ thuật khai phá liệu Chương 3: Phân tích thiết kế hệ thống Đồng thời website hỗ trợ toán trực tuyến, giúp nhà quản lý quản lý thông tin sản phẩm, đơn đặt hàng GRADUATION PROJECT SUMMARY Graduation project with topic “Building cosmetics selling Website to apply the Data mining techniques” is built to apply in cosmetics distribution companies The purpose of project is to built a website apply the data mining techniques to help customer can veiw and select products, products advertisement by customer group, look for intelligent products name and forecast amount of products groups for next week so the manager decide to enter with reasonable quantity Content of project containd chapter: Chapter 1: an overview of the data mining Chapter 2: data mining techniques Chapter 3: the system design analysis in addition, website also to support online payments, help the manager manage products and order informations DANH SÁCH HÌNH VẼ DANH SÁCH BẢNG BIỂU Mục lục CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU Hiện sách báo, hội thảo, tiếp thị sản phẩm ứng dụng công nghệ thông tin, người ta nói nhiều khai phá liệu hay có người gọi đào mỏ liệu (data mining) Và chắn không không lần nghe thấy từ Vậy khai phá liệu gì? Và lại có nhiều người lại nói đến vấn đề cơng nghiệp máy tính lẫn hoạt động kinh doanh đến vậy? 1.1 Khai phá liệu gì? 1.1.1 Khái niệm Khai phá liệu khái niệm đời vào năn cuối thập kỷ 80 Nó bao hàm loạt kỹ thuật nhằm phát thơng tin có giá trị tiềm ẩn tập liệu lớn (các kho liệu) Về chất, khai phá liệu liên quan đến việc phân tích liệu sử dụng kỹ thuật để tìm mẫu hình có tính quy (regularities) tập liệu Năm 1989, Fayyad, Piatestsky-Shapiro Smyth dùng khái niệm Phát tri thức sở liệu (Kownledge Discovery in Database – KDD) để tồn q trình phát tri thức có ích từ tập liệu lớn Trong đó, khai phá liệu bước đặc biệt tồn q trình, sử dụng giải thuật đặc biệt để chiết xuất mẫu (pattern) (hay mơ hình) từ liệu 1.1.2 Ví dụ minh họa Để minh họa hoạt động cũngNợ mẫu chiết xuất trình khai phá liệu, chương Không cho vay X dùng chủ yếu ví dụ đơn giản cho Hình 2.2 X X Hình 2.2 mô tả tập liệu hai X Cho vay X chiều gồm có 23 điểm mẫu Mỗi điểm X X X biểu thị cho khách hàng vay X X ngân hàng Trục hoành biểu thị cho thu nhập, trục tung biểu thị cho tổng dư nợ Thu nhập khách hàng Dữ liệu khách hàng chia thành hai lớp: dấu x biểu Hình 1: Phân lớp liệu khách hàng thị cho khách hàng bị vỡ nợ, dấu o biểu thị cho khách hàng có khả trả nợ Tập liệu chứa thơng tin có ích tổ chức tín dụng việc định có cho khách hàng vay khơng Ví dụ ta có mẫu “Nếu thu nhập < t đồng khách hàng vay bị vỡ nợ” mơ tả Hình 2.2 1.2 Một số phương pháp khai thác liệu phổ biến Như phân tích trên, ta thấy khai phá liệu khơng có mà hồn toàn dựa phương pháp biết Vậy khai phá liệu có khác so với phương pháp đó? Và khai phá liệu lại có ưu hẳn chúng? Các phân tích sau giải đáp câu hỏi 1.2.1 Học máy (Machine Learning) Mặc dù người ta cố gắng cải tiến phương pháp học máy để phù hợp với mục đích khai phá liệu khác biệt cách thiết kế, đặc điểm sở liệu làm cho phương pháp học máy trở nên không phù hợp với mục đích này, nay, phần lớn phương pháp khai phá liệu đựa tảng sở phương pháp học máy Những phân tích sau cho thấy điều Trong quản trị sở liệu, sở liệu tập hợp tích hợp cách logic liệu lưu hay nhiều tệp tổ chức để lưu trữ có hiệu quả, sửa đổi lấy thông tin liên quan dễ dàng Ví dụ sở liệu quan hệ, liệu tổ chức thành tệp bảng có ghi có độ dài cố định Mỗi ghi danh sách có thứ tự giá trị, giá trị đặt vào trường Thông tin tên trường giá trị trường đặt tệp riêng gọi thư viện liệu (data dictionary) Một hệ thống quản trị sở liệu quản lý thủ tục (procedures) để lấy, lưu trữ, xử lý liệu sở liệu Trong học máy, thuật ngữ sở liệu chủ yếu đề cập đến tập mẫu (instance hay example) lưu tệp Các mẫu thường vector đặc điểm có độ dài cố định Thơng tin tên đặc điểm, dãy giá trị chúng lưu lại từ điển liệu Một giải thuật học sử dụng tập liệu thông tin kèm theo tập liệu làm đầu vào đầu biểu thị kết việc học (ví dụ khái niệm) Với so sánh sở liệu thông thường CSDL học máy trên, thấy học máy có khả áp dụng cho sở liệu, khơng phải học tập mẫu mà học tệp ghi sở liệu Tuy nhiên, phát tri thức sở liệu làm tăng thêm vấn đề vốn điển hình học máy khả học máy Trong thực tế, sở liệu thường động, không đầy đủ, bị nhiễu, lớn nhiều so với tập liệu học máy điển hình Các yếu tố làm cho hầu hết giải thuật học máy trở nên không hiệu hầu hết trường hợp Vì khai phá liệu, cần tập trung nhiều cơng sức vào việc vượt qua khó khăn, phức tạp CSDL 1.2.2 Phương pháp hệ chuyên gia Các hệ chuyên gia cố gắng nắm bắt tri thức thích hợp với tốn Các kỹ thuật thu thập giúp cho việc lấy tri thức từ chuyên gia người Mỗi phương pháp cách suy diễn luật từ ví dụ giải pháp tốn chuyên gia đưa Phương pháp khác với khai phá liệu chỗ ví dụ chuyên gia thường mức chất lượng cao nhiều so với liệu sở liệu, chúng thường bao trường hợp quan trọng Hơn nữa, chuyên gia xác nhận tính giá trị hữu dụng mẫu phát Cũng với c6ng cụ quản trị sở liệu, phương pháp đòi hỏi có tham gia người việc phát tri thức 1.2.3 Phát kiến khoa học Khai phá liệu khác với phát kiến khoa học chỗ khai phá sở liệu có chủ tâm có điều khiển Các liệu khoa học có từ thực nghiệm nhằm loại bỏ tác động số tham số để nhấn mạnh độ biến thiên hay số tham số đích Tuy nhiên, sở liệu thương mại điển hình lại ghi số lượng thừa thơng tin dự án họ để đạt số mục đích mặt tổ chức Độ dư thừa (hay gọi lẫn lộn – confusion) nhìn thấy ẩn chứa mối quan hệ liệu Hơn nữa, nhà khoa học tạo lại thí nghiệm tìm thiết kế ban đầu khơng thích hợp Trong đó, nhà quản lý sở liệu xa xỉ thiết kế lại trường liệu thu thập lại liệu 1.2.4 Phương pháp thống kê Một câu hỏi hiển nhiên khai phá liệu khác so với phương pháp thống kê Từ nhiều năm nay, người sử dụng phương pháp thống kê cách hiệu để đạt mục đích Mặc dù phương pháp thống kê cung cấp tảng lý thuyết vững cho tồn phân tích liệu có tiếp cận thống kê túy thơi chưa đủ Thứ nhất, phương pháp thống kê chuẩn không phù hợp kiểu liệu có cấu trúc nhiều sở liệu Thứ hai, thống kê hoàn toàn theo liệu (data driven), khơng sử dụng tri thức sẵn có lĩnh vực Thứ ba, kết phân tích thống kê nhiều khó làm rõ Cuối cùng, phương 10 ... vậy? 1.1 Khai phá liệu gì? 1.1.1 Khái niệm Khai phá liệu khái niệm đời vào năn cuối thập kỷ 80 Nó bao hàm loạt kỹ thuật nhằm phát thơng tin có giá trị tiềm ẩn tập liệu lớn (các kho liệu) Về chất,... phá liệu chỗ ví dụ chuyên gia thường mức chất lượng cao nhiều so với liệu sở liệu, chúng thường bao trường hợp quan trọng Hơn nữa, chuyên gia xác nhận tính giá trị hữu dụng mẫu phát Cũng với c6ng... khai phá liệu kinh doanh phân tích chứng khốn văn kiện tài chính; phân tích báo cáo thay đổi liệu, bao gồm Coverstory IRI (Schmitz, Armstrong, & Little 1990), Spotlight A.C Nielsen (nand & Kahn 1992)