Khai thác, trích xuất thông tin người dùng

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Khai thác, trích xuất thơng tin người dùng TRỊNH TRƯỜNG GIANG Giang.TTCB190205@sis.hust.edu.vn Ngành Khoa học máy tính Giảng viên hướng dẫn: TS Trần Việt Trung Trường: —————— Công nghệ Thơng tin Truyền thơng Hà Nội, 04/2022 CỘNG HỒ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc ———————————— BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Trịnh Trường Giang Đề tài luận văn: Khai thác, trích xuất thơng tin người dùng Chun ngành: Khoa học máy tính Mã số SV: CB190205 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 28/04/2022 với nội dung sau: • Sửa tên luận văn bìa cho với định giao đề tài • Sửa số ý luận văn chưa phù hợp, theo ý kiến Hội đồng • Bổ sung số tài liệu tham khảo sử dụng cho đầy đủ • Bỏ phần code có luận văn • Sửa lỗi tả, lỗi định dạng văn Hà Nội, ngày tháng năm Giảng viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG ĐỀ TÀI LUẬN VĂN Thơng tin học viên • Họ tên: Trịnh Trường Giang • Mã học viên: CB190205 • Điện thoại liên lạc: 0944467297 • Email: Giang.TTCB190205@sis.hust.edu.vn • Lớp: Khoa học liệu (KH) • Khố: CH2019B • Luận văn tốt nghiệp thực tại: Trường Đại học Bách khoa Hà Nội • Thời gian làm Luận văn tốt nghiệp: từ ngày 27/03/2020 đến 26/03/2022 Mục đích nội dung Luận văn tốt nghiệp • Tìm hiểu, phân tích tảng liệu khách hàng (Customer Data Platform - CDP) có thị trường • Trên sở đó, thực nghiên cứu, triển khai hệ thống CDP kế thừa ưu điểm hệ thống CDP có, ngồi khắc phục hạn chế, bổ sung tính để hồn thiện hệ thống CDP hoàn chỉnh, cho phép khai thác, trích xuất thơng tin người dùng từ nhiều nguồn Các nhiệm vụ cụ thể Luận văn tốt nghiệp • Tìm hiểu khảo sát hệ thống CDP có thị trường • Tổng kết chức hệ thống CDP, ưu nhược điểm hệ thống CDP • Phân tích chức hệ thống CDP xây dựng triển khai • Đề xuất thiết kế hệ thống cho chức xây dựng triển khai • Đề xuất mơi trường triển khai hệ thống kiến trúc triển khai hệ thống hồn chỉnh • Thử nghiệm đánh giá kết • Kết luận định hướng hướng phát triển tương lai Lời cam đoan học viên Tôi – Trịnh Trường Giang – cam kết Luận văn tốt nghiệp cơng trình nghiên cứu thân hướng dẫn TS Trần Việt Trung Các kết nêu Luận văn tốt nghiệp trung thực, khơng phải chép tồn văn cơng trình khác Xác nhận giáo viên hướng dẫn mức độ hoàn thành Luận văn tốt nghiệp cho phép bảo vệ: Giảng viên hướng dẫn Hà Nội, ngày 08 tháng 04 năm 2022 Tác giả Luận văn tốt nghiệp TS Trần Việt Trung Trịnh Trường Giang Lời cảm ơn Đầu tiên, cho xin gửi lời cảm ơn chân thành đến Thầy, Cô giáo viện Công nghệ thông tin Truyền thơng Trong suốt q trình học tập thực Luận văn tốt nghiệp, Thầy, Cô dạy không kiến thức, kỹ mà cịn truyền cho tơi cảm hứng nhiệt huyết để vững tâm suốt thời gian qua cho chặng đường dài tương lai tới Tơi xin bày tỏ lịng biết ơn sâu sắc tới TS Trần Việt Trung Thầy người định hướng, bảo tận tình, người động viên khích lệ tơi nhiều để tơi hồn thành Luận văn tốt nghiệp Ngồi ra, tơi xin gửi lời cảm ơn đến Phịng Cơng nghệ GTech thuộc Tập đồn CenGroup tạo điều kiện, mơi trường sáng tạo cho tơi hồn thành tốt nhiệm vụ Luận văn giao Đặc biệt dành lời cảm ơn đến anh Nguyễn Hoàng Long, anh Trần Việt Anh đồng nghiệp người anh thân thiết đưa ý tưởng, góp ý q trình tơi hoàn thiện Luận văn Cảm ơn bạn Lương Đức Quyền – đồng nghiệp công ty, người giúp thực phần giao diện người dùng cho hệ thống Cuối cùng, xin gửi lời cảm ơn đến gia đình, anh chị, bạn bè, đồng nghiệp công ty ủng hộ tinh thần suốt trình thực Luận văn Tóm tắt nội dung luận văn Luận văn thực việc thiết kế, xây dựng, triển khai tảng liệu khách hàng (Customer Data Platform - CDP) cho phép khai thác, trích xuất thông tin người dùng từ nhiều nguồn Qua trình nghiên cứu thực thử nghiệm, kết thu Luận văn khả quan tích cực Báo cáo trình bày q trình thực Luận văn tốt nghiệp, vấn đề giải quyết, định hướng tương lai cho sản phẩm Kết quả, luận văn thiết kế, xây dựng, triển khai thành công hệ thống CDP mơi trường Amazon Cloud kế thừa tính ưu điểm hệ thống CDP khác có thị trường, cải tiến bổ sung tính mà sản phẩm khác cịn hạn chế Luận văn mang tính chất nghiên cứu phát triển sản phẩm, nhiên đưa kiến trúc triển khai hệ thống hoàn toàn áp dụng cho mơi trường sản suất (production), đáp ứng lượng người dùng lớn thực tế Nội dung Luận văn tốt nghiệp tập trung vào việc đưa phân tích chức hệ thống CDP cần xây dựng, từ đề xuất thiết kế cho thành phần, chức Cuối thực tổng hợp đề xuất kiến trúc triển khai hoàn chỉnh cho toàn hệ thống Bên cạnh đó, báo cáo đưa đánh giá ưu nhược điểm đề xuất thiết kế triển khai Tác giả Luận văn tốt nghiệp Trịnh Trường Giang Mục lục Danh sách hình ảnh Danh sách bảng Mở đầu Kiến thức tảng 2.1 Hệ thống CRM CDP 2.2 Hệ thống Microsoft Dynamics 365 Customer Insights 2.3 Mục tiêu đề tài 2 12 Phân tích thiết kế hệ thống 3.1 Kiến trúc tổng quan hệ thống 3.2 Thành phần tổ chức, lưu trữ liệu trung tâm 3.2.1 Phân tích chức 3.2.2 Thiết kế lược đồ sở liệu 3.3 Thành phần ghi nhật ký người dùng 3.3.1 Phân tích chức 3.3.2 Thiết kế kiến trúc luồng xử lý 3.3.3 Các công nghệ sử dụng 3.4 Thành phần nhập liệu 3.4.1 Phân tích chức 3.4.2 Thiết kế sở liệu 3.5 Thành phần hợp liệu 3.5.1 Phân tích chức 3.5.2 Thiết kế luồng xử lý lược đồ sở liệu 3.6 Thành phần phân nhóm khách hàng 3.6.1 Phân tích chức 3.6.2 Phân tích chức 14 14 15 15 17 25 25 26 27 34 34 34 37 37 38 41 41 41 Triển khai hệ thống 4.1 Cơ sở hạ tầng 4.2 Xây dựng hệ thống 4.2.1 Hệ thống sở liệu 4.2.2 Hệ thống Backend 4.2.3 Hệ thống thu thập xử lý log 4.2.4 Hệ thống giao diện người dùng 4.2.5 Kiến trúc triển khai 4.3 Triển khai hệ thống 44 44 47 47 50 52 54 60 63 Kết luận 5.1 Đánh giá chung 5.2 Những vấn đề tồn cần cải tiến Tài liệu tham khảo 66 66 67 69 Danh sách hình ảnh 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.11 2.12 2.13 2.14 Data source Microsoft Dynamics 365 Customer Insights Nhập liệu Microsoft Dynamics 365 Customer Insights Entities Microsoft Dynamics 365 Customer Insights Map liệu Microsoft Dynamics 365 Customer Insights Match liệu Microsoft Dynamics 365 Customer Insights Rule Match liệu Microsoft Dynamics 365 Customer Insights Match Preview Microsoft Dynamics 365 Customer Insights Merge liệu Microsoft Dynamics 365 Customer Insights Trang danh sách Customer Microsoft Dynamics 365 Customer Insights Trang chi tiết Customer Microsoft Dynamics 365 Customer Insights Trang Segment Microsoft Dynamics 365 Customer Insights Tạo Rule Segment Microsoft Dynamics 365 Customer Insights Trang chi tiết Segment Microsoft Dynamics 365 Customer Insights Bảng giá Microsoft Dynamics 365 Customer Insights 10 10 11 11 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 Kiến trúc tổng quan hệ thống Lược đồ sở liệu trung tâm Thiết kế Module Logging Kiến trúc cụm Kafka Streams Spark Streaming Spark Streaming Context Ví dụ việc trích xuất từ Input Dstream Caching liệu nodes Checkpoints Spark Streaming Lược đồ sở liệu Module Importer Lược đồ sở liệu Module Hợp liệu Lược đồ sở liệu Module Phân nhóm người 14 21 26 28 30 31 31 31 32 35 39 42 & hạ tầng đám 47 49 51 52 53 54 55 55 56 56 2.10 4.1 dùng Báo cáo Magic Quadrant 2021 dịch vụ tảng mây 4.2 Cơ chế hoạt động Galera Cluster MariaDB 4.3 Kiến trúc hệ thống backend 4.4 Kiến trúc module Logging 4.5 Giao diện quản lý Apache Ambari 4.6 Trang danh sách khách hàng 4.7 Trang chi tiết khách hàng 4.8 Trang nhập liệu 4.9 Trang giao diện cho chức ánh xạ liệu 4.10 Trang giao diện tạo luật để đối sánh liệu 5 6 7 4.11 4.12 4.13 4.14 4.15 4.16 4.17 4.18 4.19 4.20 4.21 Trang giao diện quản lý segment Trang giao diện để định nghĩa segment Trang giao diện danh sách người dùng thoả mãn segment Trang giao diện quản lý trường liệu hệ thống Trang giao diện tạo trường liệu cho hệ thống Trang giao diện liệt kê danh sách loại Activity hệ thống Trang giao diện tạo loại Activity hệ thống Kiến trúc Kubernetes Kiến trúc hệ thống Màn hình quản trị tài nguyên hệ thống Cảnh báo hệ thống có vấn đề 57 57 58 58 59 59 60 62 63 64 65 • Trang giao diện cho việc ánh xạ liệu: nơi để xác định xem trường liệu nhập tương ứng với kiểu liệu hệ thống Hình 4.9: Trang giao diện cho chức ánh xạ liệu • Trang giao diện cho việc đối sánh liệu: nơi định nghĩa luật để xác định liệu thuộc người dùng Hình 4.10: Trang giao diện tạo luật để đối sánh liệu 56 • Trang giao diện quản lý segment: nơi quản lý segment hệ thống Ví dụ: tập hợp khách hàng quan tâm khu vực đống đa segment Hình 4.11: Trang giao diện quản lý segment • Trang giao diện để định nghĩa segment: nơi ta định nghĩa luật để phân nhóm người dùng thành segment Hình 4.12: Trang giao diện để định nghĩa segment 57 • Trang giao diện hiển thị danh sách người dùng segment: Tất người dùng thoả mãn điều kiện định của segment hiển thi Hình 4.13: Trang giao diện danh sách người dùng thoả mãn segment • Trang giao diện quản lý trường (field) hệ thống: Tất field liệt kê Hình 4.14: Trang giao diện quản lý trường liệu hệ thống 58 • Trang giao diện tạo trường liệu hệ thống: Ở ta tự tạo trường liệu sử dụng hệ thống Hình 4.15: Trang giao diện tạo trường liệu cho hệ thống • Trang giao diện danh sách activity hệ thống: Tất activity hệ thống liệt kê Hình 4.16: Trang giao diện liệt kê danh sách loại Activity hệ thống 59 • Trang giao diện tạo loại activity hệ thống: Ở định nghĩa trường liệu cần có cho activity Hình 4.17: Trang giao diện tạo loại Activity hệ thống Có thể thấy, chức tương tự Microsoft Dynamics 365 Customer Insights cung cấp, hệ thống CDP mà luận văn xây dựng bổ sung chức cần thiết khác, người dùng tự định nghĩa kiểu liệu hệ thống Từ sử dụng đa dạng nhiều ngành nghề, lĩnh vực 4.2.5 Kiến trúc triển khai Sau hoàn thành phần backend frontend Điều cuối cần phải thực hiện, chọn cách triển khai hệ thống Đối với hệ thống này, chọn triển khai hệ thống cụm Kubernetes [10] Kubernetes k8s tảng mã nguồn mở giúp tự động hóa việc quản lý, mở rộng triển khai ứng dụng dạng container K8s gọi Container Orchestration Engine (hiểu nôm na công cụ điều phối container) Kubernetes loại bỏ nhiều quy trình thủ cơng liên quan đến việc triển khai mở rộng containerized applications Kubernetes Orchestration cho phép người dùng xây dựng dịch vụ ứng dụng mở rộng nhiều containers, lên lịch containers cụm máy chủ (cluster), mở rộng containers quản lý tình trạng containers theo thời gian Kubernetes ban đầu kỹ sư 60 Google phát triển Và Google tên tiên phong đóng góp cho cơng phát triển công nghệ Linux container Khi thực chạy container production, người tạo đến hàng chục, chí hàng nghìn container theo thời gian Những container cần triển khai (trên nhiều server host), quản lý, kết nối cập nhật thực công việc cách thủ công, cần nhóm để dành riêng cho việc Gần đây, nhiều ứng dụng thực container hoá cách sử dụng docker triển khai môi trường production ngày nhiều Tuy nhiên, môi trường production, việc quản lý hệ thống chạy container sử dụng docker khó khăn Với việc sử dụng docker, tạo nhiều container host Tuy nhiên muốn sử dụng mơi trường production cần phải quan tâm đến vấn đề như: • Quản lý nhiều docker host lúc • Điều phối container • Rolling update • Scaling/Auto Scaling • Giám sát tình trạng container (cịn hoạt động hay khơng) • Self-healing (tự phát sửa lỗi) trường hợp có lỗi xảy • Service discovery • Load balancing • Quản lý data, work load, log • Infrastructure as Code • Liên kết mở rộng với hệ thống khác Cho nên việc sử dụng tảng Container orchestration engine Kubernetes giúp khắc phục tồn Nếu không sử dụng Kubernetes, phải xây dựng chế tự động hóa cho vấn đề từ đầu, nhiệm vụ không khả thi 61 Hình 4.18 thể kiến trúc Kubernetes (Nguồn: learnitguide.net) Hình 4.18: Kiến trúc Kubernetes Trên tảng Amazon Cloud cung cấp dịch vụ Kubernetes hay gọi AWS EKS (Elastic Kubernetes Service) Dịch vụ hỗ trợ người dùng tạo cụm Kubernetes để sử dụng môi trường production mà không cần phải tạo thủ công server AWS giúp quản lý cụm Kubernetes, đảm bảo cụm sẵn sàng Đối với hệ thống CDP này, triển khai toàn phần backend frontend cụm Kubernetes để đảm bảo tính sẵn sàng khả tự mở rộng quy mơ ứng dụng Vì dịch vụ hệ sinh thái AWS, EKS có khả tự động tạo thêm server (EC2-instance) sau tham gia vào cụm Kubernetes trường hợp hệ thống bị tải cần thêm tài nguyên 62 4.3 Triển khai hệ thống Hệ thống triển khai hồn tồn tảng Amazon Cloud [11] Hình 4.19 thể kiến trúc triển khai hệ thống Hình 4.19: Kiến trúc hệ thống Với kiến trúc này, hệ thống mà luận văn triển khai đạt đặc điểm ưu việt sau: • Tính sẵn sàng khả mở rộng: Về sở liệu, triển khai cụm với database node Cụm database cấu hình dạng master-master Tức liệu cân tải để đọc từ node Giúp tăng tính sẵn sàng hệ thống sở liệu Về ứng dụng, frontend backend chạy cụm Kubernetes (trên Availability Zones khác nhau), với cài đặt tự động mở rộng quy mô, số lượng request hệ thống tăng lên, cụm Kubernetes tự động tạo thêm pod (container nơi ứng dụng khởi chạy) để đảm bảo hệ thống đáp ứng Nếu chưa đủ, thành phần Cluster AutoScaler tự động yêu cầu tạo thêm server để tham gia vào cụm Kubernets • Tính bảo mật: Tồn hệ thống triển khai Virtual Private Cloud (VPC) riêng biệt Các thành phần quan trọng hệ thống sở liệu, backend, frontend, node01 đặt private subnet, 63 đảm bảo khơng có đường kết nối từ internet vào khơng có đường kết nối ngồi internet Tất dịch vụ chạy cụm Kubernetes truy cập thơng qua LoadBalancer AWS Node01 đóng vai trị node điều khiển hoạt động hệ thống, dành cho admin, ví dụ quản lý cụm Kubernetes, truy cập vào server khác cụm Kubernetes, quản trị tài ngun tồn hệ thống qua Grafana (Hình 4.20 thể hình quản trị Grafana để giám sát tài nguyên hệ thống) Node01 bảo mật truy cập kết nối VPN Chỉ IP/dải IP định, sau tạo kết nối qua VPN truy cập node01 • Chi phí triển khai: Toàn server chạy cụm Kubernetes thuê dạng spot-instance AWS Có khả giảm chi phí lên đến 90% so với việc thuê server thơng thường AWS Từ việc triển khai hệ thống tơi tối ưu hố tối đa chi phí • Quản trị hệ thống tập trung: Tồn hệ thống quản trị tập trung node01 Tất server hệ thống truy cập từ node01 Ngoài ra, node01 nơi theo dõi hoạt động tồn hệ thống Hình 4.20 hiển thị trang giao diện grafana, giúp giám sát tài nguyên sử dụng toàn hệ thống Ngồi cịn có chức cảnh báo hệ thống có cố Hình 4.21 Hình 4.20: Màn hình quản trị tài nguyên hệ thống 64 Hình 4.21: Cảnh báo hệ thống có vấn đề 65 Chương Kết luận Ở chương này, tơi đưa đánh giá chung cho tồn hệ thống CDP mà luận văn tiến hành xây dựng phát triển Mục 5.1 Sau đó, tơi nêu vấn đề tồn hệ thống cần cải tiến hướng phát triển cho sản phẩm Mục 5.2 5.1 Đánh giá chung Tổng kết lại, đề tài xây dựng, hoàn thiện thiết kế tiến hành triển khai hệ thống CDP (Customer Data Platform) chạy thực tế môi trường mây (Cloud) Hệ thống CDP mà luận văn xây dựng đạt tiêu hệ thống CDP nói chung, đạt tiêu mà đặt từ ban đầu: đám mục mục • Có khả xử lý liệu lớn: khả xử lý liệu lớn giải module Logging với công cụ tiên tiến mạnh mẽ trong hệ sinh thái BigData Hadoop Kafka Spark Streaming • Có khả mở rộng cao: Với thiết kế lược đồ sở liệu theo kiểu key-value sở liệu quan hệ truyền thống Hệ thống có khả định nghĩa kiểu liệu để đáp ứng cho liệu đến từ lĩnh vực, ngành nghề Đây điều mà hệ thống Microsoft Dynamics 365 Customer Insights không hỗ trợ • Có khả hợp liệu khách hàng: module hợp liệu người dùng cho phép định nghĩa luật để xác định liệu người dùng tập hợp nhiều liệu từ nhiều nguồn khác Từ xây dựng nhìn 360 độ khách hàng 66 • Có khả phân tích liệu khách hàng: Module Segment (phân nhóm người dùng) cho phép định nghĩa luật để gom nhóm người dùng có chung số tính chất đó, ví dụ chung sở thích, hành vi, Từ đưa chiến lược tiếp thị riêng nhóm khách hàng Ngồi ra, mặt triển khai hệ thống, luận văn đạt kết tích cực Hệ thống triển khai hồn tồn tảng Amazon Cloud Hình 4.19 thể kiến trúc triển khai hệ thống Với kiến trúc này, hồn tồn triển khai hệ thống mơi trường sản xuất (production) yếu tố sau: • Tính sẵn sàng khả mở rộng: Hệ thống đạt tính sẵn sàng tầng liệu tầng ứng dụng Đảm bảo hệ thống thực tế đáp ứng nhu cầu sử dụng lớn • Tính bảo mật: Tồn hệ thống triển khai mơi trường khơng có internet (khơng cho phép đường truyển internet vào khơng có đường truyền internet) Trừ thành phần LoadBalaner đóng vai trị cầu nối hệ thống nội CloudFlare • Chi phí triển khai: Tồn server chạy cụm Kubernetes thuê dạng spot-instance AWS Có khả giảm chi phí lên đến 90% so với việc th server thơng thường AWS Từ việc triển khai hệ thống tối ưu hoá tối đa chi phí • Có hệ thống quản trị tập trung, cảnh báo hệ thống có vấn đề: Hệ thống giám sát tập trung máy chủ, có giao diện đồ hoạ trực quan dễ dàng theo dõi thời gian thực Ngoài ra, tài nguyên sử dụng thành phần hệ thống vượt ngưỡng định, hệ thống cảnh báo hoạt động để quản trị viên chủ động việc khắc phục 5.2 Những vấn đề tồn cần cải tiến Trong q trình triển khai thực tế, có vấn đề xuất hiện, thực phân việc phân nhóm khách hàng dựa luật người dùng định nghĩa Ví dụ: Segment A (khách hàng nam giới có độ tuổi 25-35 Hà Nội) có luật sau: 67 Giới tính = Nam 25 < Tuổi < 35 Địa = Hà Nội Lúc này, để lấy danh sách khách hàng thoả mãn điều kiện trên, phải làm việc sau: Lọc toàn bảng CustomerField ghi có fieldName = “Giới tính” value = “Nam” tập khách hàng A1 Lọc bảng CustomerField tập khách hàng A1 ghi có fieldName = “Tuổi” value có giá trị khoảng 25 đến 35, tập khách hàng A2 Lọc bảng CustomerField tập khách hàng A2 ghi có fieldName = “Địa chỉ” value = “Hà Nội”, tập khách hàng A3 Có thể nhận thấy rằng, với thiết kế tại, bảng CustomerField bảng chứa nhiều ghi hệ thống Với điều kiện định nghĩa, tơi phải lọc để tìm ghi ứng với kiểu liệu điều kiện giá trị thoả mãn điều kiện Số lượng điều kiện lớn, số lần lặp lại quy trình tìm kiếm nhiều dẫn đến tốc độ chậm Tôi cần phải tìm phương án để tối ưu xử lý vấn đề Trước mắt, để giải vấn đề này, tạo thêm bảng cho Field có hệ thống Ví dụ, bảng Tuổi, bảng Giới tính, bảng Địa chỉ, Khi lọc đến điều kiện nào, tơi cần tìm kiếm bảng tương ứng (nhỏ nhiều so với bảng CustomerField) Từ cải hiệu việc phân nhóm khách hàng Tất nhiên, xây dựng triển khai hệ thống lớn, khó tránh khỏi việc gặp vấn đề cần phải khắc phục giải Do thời gian làm đề tài có hạn, đưa vấn đề hướng để khắc phục tạm thời Trên thực tế, cần thêm nhiều thời gian để thử nghiệm cải tiến hệ thống CDP 68 Tài liệu tham khảo [1] Microsoft dynamics 365 customer insights official documentation https:// docs.microsoft.com/en-us/dynamics365/customer-insights/ [2] Open street map platform database schema https://wiki openstreetmap.org/wiki/Database [3] Jay Kreps, Neha Narkhede, and Jun Rao Kafka: A distributed messaging system for log processing 2011 [4] Matei Zaharia, Mosharaf Chowdhury, Tathagata Das, Ankur Dave, Justin Ma, Murphy McCauley, Michael J Franklin, Scott Shenker, and Ion Stoica Resilient distributed datasets: A fault-tolerant abstraction for in-memory cluster computing NSDI 2012, April 2012 [5] Trịnh Trường Giang Các kiến trúc xử lý liệu lớn cụm máy chủ Đồ án tốt nghiệp đại học, 2019 [6] Matei Zaharia, Tathagata Das, Haoyuan Li, Timothy Hunter, Scott Shenker, and Ion Stoica Discretized streams: Fault-tolerant streaming computation at scale SOSP 2013, November 2013 [7] Raj Bala, Bob Gill, Dennis Smith, David Wright, and Kevin Ji Magic quadrant for cloud infrastructure and platform services Gartner, July 2021 [8] Jhipster https://www.jhipster.tech/ [9] Gleison Brito and Marco Tulio Valente Rest vs graphql: A controlled experiment arXiv, Mar 2020 [10] Leila Abdollahi Vayghan, Mohamed Aymen Saied, Maria Toeroe, and Ferhat Khendek Kubernetes as an availability manager for microservice applications arXiv, Jan 2019 69 [11] Amazon web service official documentation amazon.com/index.html 70 https://docs.aws ... luận văn: Trịnh Trường Giang Đề tài luận văn: Khai thác, trích xuất thơng tin người dùng Chun ngành: Khoa học máy tính Mã số SV: CB190205 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn... cứu, triển khai hệ thống CDP kế thừa ưu điểm hệ thống CDP có, ngồi khắc phục hạn chế, bổ sung tính để hoàn thiện hệ thống CDP hoàn chỉnh, cho phép khai thác, trích xuất thơng tin người dùng từ nhiều... triển công nghệ xã hội Luận văn thực việc nghiên cứu phát triển tảng CDP để khai thác, trích xuất thơng tin người dùng từ nhiều nguồn, từ hỗ trợ việc kinh doanh công ty, tổ chức sử dụng hệ thống