Tools thu thập dữ liệu khách hàng từ mạng xã hội, ứng dụng cho các doanh nghiệp vừa và nhỏ

Bài viết trình bày quá trình xây dựng công cụ hỗ trợ thu thập dữ liệu với khả năng thu thập dữ liệu thông minh, kịp thời, phân loại dữ liệu cần thiết, là giải pháp tối ưu cho doanh nghiệp vừa và nhỏ ở Việt Nam trong thời đại công nghệ số.

ISSN: 1859-2171 e-ISSN: 2615-9562 TNU Journal of Science and Technology 225(06): 367 - 374 TOOLS THU THẬP DỮ LIỆU KHÁCH HÀNG TỪ MẠNG XÃ HỘI, ỨNG DỤNG CHO CÁC DOANH NGHIỆP VỪA VÀ NHỎ Phạm Thị Liên*, Trần Tuấn Việt, Nguyễn Quang Hiệp, Nguyễn Thu Phương, Trần Thị Tuyết Trường Đại học Công nghệ thông tin & Truyền thông – ĐH Thái Nguyên TÓM TẮT Sự cộng hưởng năm vừa qua cơng nghệ số có nhiều đột phá (như điện toán đám mây, internet vạn vật, liệu lớn, trí tuệ nhân tạo…) báo hiệu thay đổi lớn lao bắt đầu xảy ra, gọi nhiều nơi cách mạng công nghiệp lần thứ tư Cùng với cách mạng 4.0, với phát triển mạnh mẽ thương mại điện tử đẩy mạnh hoạt động kinh doanh, buôn bán, quảng bá sản phẩm, dịch vụ diễn khắp kênh thông tin xã hội, đặc biệt mạng xã hội facebook Người dùng chia sẻ ý kiến nhận xét, đánh giá, phản hồi sản phẩm, ngành hàng mạng xã hội Còn doanh nghiệp thơng qua có hội thấu hiểu khách hàng mình, biết chủ đề mà họ quan tâm mạng xã hội gì; từ đưa chiến lược kinh doanh phù hợp, đạt hiệu Do đó, chúng tơi xây dựng cơng cụ hỗ trợ thu thập liệu với khả thu thập liệu thông minh, kịp thời, phân loại liệu cần thiết, giải pháp tối ưu cho doanh nghiệp vừa nhỏ Việt Nam thời đại cơng nghệ số Từ khóa: facebook; mạng xã hội; online ads; khai phá liệu mạng xã hội; chatbot Ngày nhận bài: 30/11/2019; Ngày hoàn thiện: 25/5/2020; Ngày đăng: 29/5/2020 TOOLS COLLECT CUSTOMER DATA FROM SOCIAL NETWORKS, APPLICATIONS FOR SMALL AND MEDIUM ENTERPRISES Pham Thi Lien*, Tran Tuan Viet, Nguyen Quang Hiep, Nguyen Thu Phuong, Tran Thi Tuyet TNU - University of Information and Communication Technology ABSTRACT Resonance in recent years of digital technologies has breakthroughs (such as cloud computing, internet of things, big data, artificial intelligence ) has signaled that great changes are beginning to happen out, known in many places as the fourth industrial revolution Along with the 4.0 revolution, with the strong development of e-commerce makes the promotion of business, trade and promotion of products and services taking place throughout the Social information channels, especially facebook social network Users share their opinions, comments, reviews about products and industries on social networks And businesses through that will have the opportunity to understand their customers, know what topics they are interested in on social networks Since then, we have come up with appropriate and effective business strategies Therefore, we build a data collection support tool with the ability to collect data intelligently, promptly, and classify necessary data, which is the optimal solution for small and medium enterprises in Vietnam in the digital technology Keywords: advertising; facebook; Social Network; marketing; online ads; data mining social network; chatbot Received: 30/11/2019; Revised: 25/5/2020; Published: 29/5/2020 * Corresponding author Email: ptlien@ictu.edu.vn http://jst.tnu.edu.vn; Email: jst@tnu.edu.vn 367 Phạm Thị Liên Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ ĐHTN Giới thiệu Mạng xã hội nơi kết nối người với để nói chuyện, chia sẻ tâm tư, sở thích kết nối với thông qua phương tiện truyền thông xã hội hay gọi “Social Media” Các trang web truyền thông mạng xã hội chứa nội dung hàng trăm chí hàng triệu người khác tạo Mỗi người dùng thông qua mạng xã hội để thể ý kiến nhận xét mình, nhìn kiện đó; khơng thế, họ cịn thể rõ u/ghét nội dung người khác chia sẻ mạng xã hội Thông qua mạng xã hội, cộng đồng mạng có liên quan liên kết để giúp người dùng tìm thấy địa liên hệ hữu ích với họ Mạng xã hội không nơi để người giao lưu, kết nối chia sẻ, mạng xã hội “mảnh đất vàng” cho kinh doanh online [1], hỗ trợ tìm kiếm khách hàng tiềm năng, tương tác, chí quảng cáo, giúp xây dựng thương hiệu doanh nghiệp xây dựng thương hiệu cá nhân Có nhiều mặt hàng giới thiệu đến người tiêu dùng thơng qua mạng xã hội (hình 1) Hiện nay, trang mạng xã hội phổ biến với số lượng lên đến hàng trăm triệu người dùng 225(06): 367 - 374 là: Instagram, Facebook, Tumblr, Twitter, Pinterest, Snapchat, Youtube, LinkedIn,… Theo thống kê Wearesocial.com [2], đến tháng năm 2018, Việt Nam có 96,02 triệu người dân, có 55 triệu người dùng Social Media (chiếm 55%), 35 triệu người sở hữu điện thoại thông minh (chiếm 36%) Trên website, diễn đàn, mạng xã hội Việt Nam thu 50 triệu posts, comments, shares ngày (hệ thống phân tích SocialHeat, YouNet Media, 2018) Tuy nhiên, mà ngày nhiều người tiêu dùng sử dụng mạng xã hội kèm theo hành vi mua sắm online Chỉ cần sử dụng thiết bị thơng minh với vài thao tác lướt chạm, người tiêu dùng truy cập vào nhiều nguồn tin, nhiều trang bán hàng Đồng thời, họ có nhiều cách để phản hồi chất lượng sản phẩm dịch vụ mà doanh nghiệp cung cấp Các báo cáo thống kê, phân tích hành vi, sở thích khách hàng sở để trì niềm tin khách hàng, thực khuyến khích khách hàng mua sản phẩm, mời khách hàng mua sản phẩm liên quan, thúc đẩy tiếp thị theo hình thức word-of-mouth marketing (tiếp thị truyền miệng) Hình Những mặt hàng mua sắm qua facebook/zalo Để có đủ liệu phân tích cho hoạt động người tiêu dùng, liệu thu thập thông qua giao tiếp với khách hàng, qua hệ thống quản lý quan hệ khách hàng thống kê website không đủ Các thảo luận khách hàng cần lắng nghe khắp nơi 368 http://jst.tnu.edu.vn; Email: jst@tnu.edu.vn Phạm Thị Liên Đtg Tạp chí KHOA HỌC & CƠNG NGHỆ ĐHTN internet Việc sở hữu cho riêng hệ thống thu thập, phân tích liệu đa kênh giải pháp chủ đạo cho doanh nghiệp thương hiệu thời gian tới Tận dụng liệu để tối ưu hóa quảng cáo online quảng bá thương hiệu Q trình bao gồm việc thu thập, phân tích liệu từ khách hàng thói quen, hành vi, mong muốn, hồn cảnh… để tối ưu hóa hiệu chiến dịch marketing Với phát triển công nghệ, việc có liệu khách hàng khơng cịn nhiều khó khăn Doanh nghiệp thu thập qua giao tiếp với khách hàng, qua chiến dịch quảng cáo trực tuyến, từ liệu nhân học; liệu từ hệ thống quản lý quan hệ khách hàng (Customer Relationship Management -CRM) mua liệu từ bên thứ Xác định mục đích tối ưu hóa nguồn liệu khổng lồ (big data) mang đến nhiều lợi ích nhiều mặt thực chiến dịch marketing như: hiệu bán hàng, trải nghiệm người dùng dịch vụ, hiệu ROI marketing, lợi nhuận, tăng trưởng kinh doanh, độ nhận diện thương hiệu, nguồn vốn đầu tư… Do đó, doanh nghiệp nên thay đổi tư marketing [3], thay đầu tư để tìm kiếm khách hàng nên phát triển, thu thập liệu để chăm sóc khách hàng có Nhờ vậy, doanh nghiệp có nhiều khách hàng tiềm năng, xây dựng hình ảnh thương hiệu tốt thu hút thêm khách hàng thơng qua uy tín tạo dựng Phương pháp thu thập liệu mạng xã hội Với tầm quan trọng liệu khách hàng thời đại công nghệ số Nghiên cứu thu thập liệu khách hàng mạng xã hội trở nên thiết thực Đã có nhiều nghiên cứu phương pháp thu thập liệu mạng xã hội hoạt động thu thập liệu công cụ lắng nghe theo dõi mạng xã hội Social Listening [4] mơ hình kinh doanh khác ngành nghiên cứu thị trường Các công cụ thu thập liệu cho biết phản hồi người tiêu dùng thương hiệu, cho biết người tiêu dùng quan tâm đến ngành http://jst.tnu.edu.vn; Email: jst@tnu.edu.vn 225(06): 367 - 374 hàng từ đưa chiến lược quảng bá nhanh chi phí thấp Giải pháp Social Listening theo dõi tất viết đăng tải mạng xã hội có ảnh hưởng lớn tất fanpage Facebook, Google+ Youtube đưa cảnh báo kịp thời trước vấn đề tiêu cực thương hiệu bị phát tán trở thành khủng khoảng Hiện có nhiều nhà cung cấp giải pháp Social Listening Ở nước phát triển có nhiều công cụ Social Media Listening, phần lớn hỗ trợ tiếng Anh ngôn ngữ nước phát triển Một số hệ thống tiêu biểu Radian 6, Sysomos, Meltwater, NetBase… phí sử dụng cao Một số hệ thống có dùng thử (cũng cho tiếng Anh) Social Mention, Topsy, Sprout Social… Tuy nhiên, hệ thống social listening châu Âu, Mỹ phát triển thường thu thập hết nguồn thông tin quốc gia dùng ngôn ngữ riêng Việt Nam khác biệt ngôn ngữ tập trung nguồn lực đầu tư Do hệ thống thường khơng thể áp dụng tốt nước có sử dụng ngơn ngữ riêng Việt Nam, Thái Lan, Malaysia… Ở Việt Nam, Noti5 hệ thống thu thập tin trực tuyến ePi (sau ePi từ bỏ) cịn có hệ thống SocialHeat (của YouNetMedia), Boomerang, Buzzmetrics Buzzmetrics [4] công cụ dùng để theo dõi chiến dịch thương hiệu quản lý tập đoàn lớn Samsung, Coca-Cola, Unilever Agencies global Ogilvy, Maxus, Leo Burnett, Phibious, Performics… Việt Nam đánh giá cao Ở Việt Nam, số trang mạng xã hội phổ biến để doanh nghiệp vừa nhỏ nghiên cứu Facebook, diễn đàn, trang Tin tức, Review site website nhà bán lẻ trực tuyến Nhược điểm hệ thống thu thập liệu tốc độ cập nhật liệu Một số hệ thống Social Listening Việt Nam hầu hết không đáp ứng yêu cầu tốc độ cập nhật liệu theo thời gian thực 369 Phạm Thị Liên Đtg Tạp chí KHOA HỌC & CÔNG NGHỆ ĐHTN Vậy giải pháp cho doanh nghiệp vừa nhỏ Việt Nam? Từ nghiên cứu phân tích đưa ra, nghiên cứu nhằm xây dựng công cụ thu thập liệu mạng xã hội facebook, hỗ trợ cho doanh nghiệp vừa nhỏ Việt Nam Với liệu thu thập doanh nghiệp biết đánh giá/ phản hồi người dùng sản phẩm, thương hiệu mình, biết thông tin bật/ xu hướng sản phẩm mà người dùng quan tâm; từ hoạch định chiến lược phát triển, kinh doanh doanh nghiệp Triển khai xây dựng hệ thống thu thập liệu 3.1 Khảo sát phân tích mơ hình kinh doanh vừa nhỏ Việt Nam Chúng tơi khảo sát mơ hình kinh doanh số doanh nghiệp vừa nhỏ (Small Medium Enterprise - SME) Việt Nam đưa nhìn tổng quan mơ hình hệ thống kinh doanh doanh nghiệp Mơ hình SME Việt Nam gồm số lĩnh vực kinh doanh nhà hàng, thời trang, điện tử, chăm 225(06): 367 - 374 sóc sức khỏe, làm đẹp Hệ thống thơng tin (IS) mơ hình SME gồm hệ thống xử lý giao dịch, hệ thống thông tin quản lý, hệ hỗ trợ định, hệ thông tin hỗ trợ lãnh đạo Để thúc đẩy phát triển SME, dựa tảng thương mại điện tử, đưa kế hoạch thực hiện: Đối tượng mà quan tâm người bán, người tiếp thị, chủ sở hữu Nhiệm vụ trọng tâm thu thập phân loại sở liệu khách hàng (hình 2) Sau khảo sát thực tế doanh nghiệp chúng tơi phân tích nhu cầu tình hình thực tế số doanh nghiệp, từ biết mục đích doanh nghiệp, hình thức kinh doanh, nhu cầu sử dụng liệu facebook Thống kê nguồn lực doanh nghiệp đội ngũ nhân viên, kỹ sử dụng công nghệ, hệ thống sở hạ tầng, phần cứng doanh nghiệp Từ đưa mơ hình hệ thống thu thập liệu facebook phù hợp với SME Việt Nam Đáp ứng mục đích doanh nghiệp chi phí đầu tư thấp (hình 3) Hình Mơ hình kinh doanh doanh nghiệp vừa nhỏ Việt Nam Hệ thống thu thập liệu mà xây dựng gồm phần Phần thứ nhất, xây dựng Niche để quản lý thu thập liệu từ fanpage groups facebook Thứ hai, xây dựng Bot, Crawl nhằm mục đích tham gia vào trang để theo dõi lấy thông tin người dùng từ trang thu thập liệu cần thiết khác Đây phần quan trọng hệ thống Thứ xử lý liệu thu thập 370 http://jst.tnu.edu.vn; Email: jst@tnu.edu.vn Phạm Thị Liên Đtg Tạp chí KHOA HỌC & CƠNG NGHỆ ĐHTN 225(06): 367 - 374 Hình Sơ đồ cơng cụ thu thập liệu khách hàng mạng xã hội facebook Hình Thu thập liệu từ sites liệt kê 3.2 Các phương pháp để thu thập liệu Có phương pháp chính: Từ khóa (Keywords) Trang (Sites) [6], [7] Phương pháp 1: Thu thập liệu keywords Phương pháp áp dụng mạng xã hội toàn cầu Facebook, Google Plus, Youtube, Twitter, Instagram… Phương pháp thực cơng cụ kết nối với API (Application Programming Interface) mạng xã hội gửi yêu cầu cho phép lấy liệu có chứa keywords định Phương pháp theo nguyên tắc cho phép lấy liệu toàn mạng xã hội, bao gồm thông tin cá nhân, http://jst.tnu.edu.vn; Email: jst@tnu.edu.vn thực tế lại phụ thuộc vào hạn chế mạng xã hội Ví dụ, với Facebook có hạn chế số lượt người có khả tiếp cận tự nhiên với viết chủ fanpage nhà quảng cáo, Facebook không trả lại đầy đủ quán viết cá nhân cho công cụ thu thập liệu qua API Phương pháp 2: Thu thập liệu theo trang Phương pháp cho phép thu thập liệu theo trang (sites), trang có liệu muốn thu thập phải liệt kê hệ thống Hình hình mơ tả trang liệt kê hệ thống để thử nghiệm phương pháp thu thập Phương pháp giúp thu thập toàn liệu trang liệt kê 371 Phạm Thị Liên Đtg Tạp chí KHOA HỌC & CƠNG NGHỆ ĐHTN 225(06): 367 - 374 Hình Một số sites liệt kê Thái Nguyên Phương pháp thu thập liệu theo trang thực cách: Liệt kê danh sách trang (panel) Tự động lan tỏa Cách 1: Thu thập theo phương pháp liệt kê danh sách trang [8] Từ danh sách trang, nhóm chịu trách nhiệm liệu cài đặt, thiết lập nhện (crawl) để quét trang liên tục thực chép thảo luận người dùng trang Crawl thao tác người, sau truy cập vào trang cần thu thập tự động quét nội dung trang, nhận diện đâu viết, chép toàn nội dung hiển thị viết như: Title, Replies, Authors, URL, Crawl quay lại trang dựa vào thời gian thiết lập để tìm viết replies cho viết cũ Crawl thấy thơng tin chế độ công khai, thu thập thảo luận để chế độ public, không lấy thảo luận private, tuân thủ theo luật privacy Tuy nhiên, crawl lấy thảo luận nhóm Facebook kín, cách đăng nhập “member ID” (Bot) group đó, việc cần có đồng ý quản trị viên nhóm Bot [5] chương trình tự động tương tác với người dùng tích hợp fanpage Bot gồm có loại: Thứ Bot dựa kịch Đây loại Bot đơn giản dễ dùng nhất, cần tạo 372 trước kịch để Bot dựa vào tương tác với người dùng Loại hiệu việc hỗ trợ đặt hàng, thu thập thông tin phản hồi Loại thứ Bot dựa trí tuệ nhân tạo Loại hiểu ngôn ngữ người học hỏi trò chuyện với người dùng, lĩnh vực thuộc máy học (machine learning) Loại hữu dụng việc chăm sóc khách hàng Mục đích Bot giúp tiết kiệm sức người, chi phí thuê nhân viên Các Bot theo dõi trang người dùng, sau thu thập thơng tin từ người dùng bao gồm: Hồ sơ cá nhân tên, tuổi, giới tính, nghề nghiệp, nơi làm việc…; sở thích; hành vi; nhu cầu… Trong thời gian thử nghiệm thu thập thông tin 673046 người dùng thơng qua mạng xã hội facebook (hình 6) Đối với Bot cần thiết lập kịch cho Bot, cụ thể chức Schedule, trì sống Bot (hình 7) Ưu điểm phương pháp thu thập 100% liệu trang Tuy nhiên phương pháp có nhiều nhược điểm: - Phụ thuộc vào đường truyền internet: Tốc độ trả liệu trang, khả nhận diện nội dung cấu trúc trang crawl - Cấu trúc site thay đổi: Các trang diễn đàn lớn thường có thay đổi cấu trúc hàng năm nên crawl gặp cấu trúc khác với thiết kế ban đầu dẫn đến việc thu thập bị gián đoạn http://jst.tnu.edu.vn; Email: jst@tnu.edu.vn Phạm Thị Liên Đtg Tạp chí KHOA HỌC & CƠNG NGHỆ ĐHTN 225(06): 367 - 374 Hình Dữ liệu cá nhân khách hàng mà Bot thu thập Hình Thiết lập chức cho Bot - Quản trị viên sites thiết lập chế nhận diện chặn việc thu thập liệu việc thu thập liệu tự động lạm dụng tài nguyên website gây ảnh hưởng đến băng thông Các Crawl thường xuyên phải cập nhật thay đổi tính danh để vượt qua chế chặn - Không thể truy cập để thu thập liệu trang bảo trì xảy vấn đề Vì lý trên, việc thiếu liệu hay gián đoạn trình thu thập liệu điều khơng thể tránh khỏi nên chúng tơi có đội ngũ lập trình viên (data team) làm việc liên tục để cập nhật Crawl, xử lý tình bất thường xảy để đảm bảo đầy đủ liệu, đặc biệt trường hợp doanh nghiệp chạy chiến dịch marketing hay xử lý có khủng hoảng truyền thông Đây lý công cụ thu thập liệu nước ngồi hay cơng cụ miễn phí khơng thể hoạt động hiệu Việt Nam thường xuyên bị thiếu liệu việc thu thập http://jst.tnu.edu.vn; Email: jst@tnu.edu.vn danh sách sites không đủ, gặp vấn đề khơng có nhân để giải kịp thời Cách 2: Thu thập theo phương pháp trang tự động lan tỏa Việc thu thập trang tự động thực chế thông minh: - Thu thập theo trend: Khi có viết, kiện, chủ đề, xu hướng nhắc đến nhiều mạng xã hội, hệ thống tự động phát thu thập trang có chứa thảo luận chủ đề Ví dụ, có kiện báo chí đưa tin nhiều, hệ thống tự động phát từ khóa kiện thu thập thơng tin xung quanh kiện Đối với viết, liệu mà thu nhận thông tin viết, số lượt like, comment, chia sẻ viết (hình 8) - Thu thập theo chế lan tỏa: Từ trang/group thu thập được, hệ thống phát thu thập trang/group/user khác nhắc đến trang 373 Phạm Thị Liên Đtg Tạp chí KHOA HỌC & CƠNG NGHỆ ĐHTN 225(06): 367 - 374 Hình Kết thu thập nội dung/ trang có chứa nhiều thảo luận Thu thập liệu theo trend theo chế lan tỏa trình thực đồng thời, để đảm bảo thu thập nhanh đầy đủ liệu chủ đề quan tâm thảo luận nhiều mạng xã hội Kết luận Đối với doanh nghiệp điều họ quan tâm khách hàng họ nghĩ sản phẩm Khách hàng thời đại công nghệ 4.0 họ thông minh, mẫn cảm với tin nhắn rác trò chuyện, comment ảo post, quảng cáo không tự nhiên Khách hàng tiếp nhận thông tin thực liên quan đến họ, đáp ứng nhu cầu họ thời điểm Bằng việc áp dụng phát triển công nghệ thông tin, công nghệ số công nghệ tiên tiến thời đại công nghiệp 4.0 Chúng tạo nhân viên vơ hình thay người thực số thao tác đơn giản, lặp lặp lại nhiều lần Hơn áp dụng tools để thu thập liệu doanh nghiệp vừa nhỏ Việt Nam tiết kiệm nhiều chi phí thời gian, từ bắt kịp với xu phát triển nhanh chóng cơng nghệ Lời cám ơn Bài báo sản phẩm đề tài có mã số T2019-07-08, tài trợ kinh phí trường Đại học Cơng nghệ Thơng tin Truyền thơng – ĐHTN Nhóm tác giả xin chân thành cảm ơn tài trợ quý Nhà trường 374 TÀI LIỆU THAM KHẢO/ REFERENCES [1] M Johnsen, The future of artificial intelligence in digital marketing United States of America, ISBN:978-1976001062, 2017 [2] Simon Kemp, “Digital in 2018: world’s internet users pass the billion mark”, We Are Social Ltd, 2018 [Online] Available: https://wearesocial.com/blog/2018/01/globaldigital-report-2018 [Accessed Jan 30, 2020] [3] M H Pattankar, Social Media Marketting Lulu publication, ISBN:978-1-387-71111-6, 2018 [4] Buzzmetrics Joint Stock Company, “Insight the target customers: How social listening tools collect data?”, Buzzmetrics Joint Stock Company 2014 [Online] Available: https://buzzmetrics.com/ [Accessed Jan 30, 2020] [5] James Choi, “The 29 Best AI Chatbot Building Platforms For Any Business”, chatbots.org [Online] Available: https://chatbots.org/best-ai-chatbot-tools# [Accessed Jan 30, 2020] [6] S Gregory, Finding Overlapping Communities Using Disjoint Community Detection Algorithms CompleNet, pp 47-61, 2009 [7] C Wang, J Han, and R Discovery, Encyclopedia of Social Network Analysis and Mining Springer, pp 1589-1598, 2014 [8] Q T Ha, and M V Tran, Analysis and mining social network, VNU - University of Engineering and Technology, 2016 http://jst.tnu.edu.vn; Email: jst@tnu.edu.vn ... tốt thu hút thêm khách hàng thơng qua uy tín tạo dựng Phương pháp thu thập liệu mạng xã hội Với tầm quan trọng liệu khách hàng thời đại công nghệ số Nghiên cứu thu thập liệu khách hàng mạng xã. .. pháp thu thập liệu mạng xã hội hoạt động thu thập liệu công cụ lắng nghe theo dõi mạng xã hội Social Listening [4] mơ hình kinh doanh khác ngành nghiên cứu thị trường Các công cụ thu thập liệu cho. .. tích đưa ra, nghiên cứu nhằm xây dựng công cụ thu thập liệu mạng xã hội facebook, hỗ trợ cho doanh nghiệp vừa nhỏ Việt Nam Với liệu thu thập doanh nghiệp biết đánh giá/ phản hồi người dùng sản