Nghiên cứu phát triển nền tảng tích hợp phân tích dữ liệu dòng

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Lê Dương Phong NGHIÊN CỨU PHÁT TRIỂN NỀN TẢNG TÍCH HỢP PHÂN TÍCH DỮ LIỆU DỊNG LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) TP HỒ CHÍ MINH - 2023 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Lê Dương Phong NGHIÊN CỨU PHÁT TRIỂN NỀN TẢNG TÍCH HỢP PHÂN TÍCH DỮ LIỆU DỊNG CHUN NGÀNH: HỆ THỐNG THƠNG TIN MÃ SỐ: 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS THOẠI NAM TP HỒ CHÍ MINH – 2023 i LỜI CAM ĐOAN Tôi cam đoan luận văn: “Nghiên Cứu Phát Triển Nền Tảng Tích Hợp Phân Tích Dữ Liệu Dịng” cơng trình nghiên cứu tơi Tôi cam đoan số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Khơng có sản phẩm/nghiên cứu người khác sử dụng luận văn mà khơng trích dẫn theo quy định TP Hồ Chí Minh, ngày 28 tháng 02 năm 2023 Học viên thực luận văn Lê Dương Phong ii LỜI CẢM ƠN Trong suốt trình học tập nghiên cứu thực luận văn, ngồi nỗ lực thân, tơi nhận hướng dẫn nhiệt tình quý báu quý Thầy Cô, với động viên ủng hộ gia đình, bạn bè đồng nghiệp Với lịng kính trọng biết ơn sâu sắc, xin gửi lời cảm ơn chân thành tới: Ban Giám Đốc , Phòng Đào tạo Sau đại học quý Thầy Cô tạo điều kiện thuận lợi giúp tơi hồn thành luận văn Tôi xin chân thành cảm ơn Thầy PGS.TS Thoại Nam, người thầy kính u hết lịng giúp đỡ, hướng dẫn, động viên, tạo điều kiện cho suốt q trình thực hồn thành luận văn Tơi xin chân thành cảm ơn gia đình, bạn bè, đồng nghiệp quan động viên, hỗ trợ tơi lúc khó khăn để tơi học tập hoàn thành luận văn Mặc dù có nhiều cố gắng, nỗ lực, thời gian kinh nghiệm nghiên cứu khoa học hạn chế nên khơng thể tránh khỏi thiếu sót Tơi mong nhận góp ý q Thầy Cơ bạn bè đồng nghiệp để kiến thức ngày hoàn thiện Xin chân thành cảm ơn! TP Hồ Chí Minh, ngày 28 tháng 02 năm 2023 Học viên thực luận văn Lê Dương Phong iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH SÁCH HÌNH VẼ v DANH SÁCH BẢNG vii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT viii MỞ ĐẦU CHƯƠNG 1: GIỚI THIỆU 1.1 Tính cấp thiết đề tài 1.2 Mục tiêu nhiệm vụ nghiên cứu 1.3 Phạm vi nghiên cứu 1.4 Kết cấu luận văn CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 Apache Kafka 2.1.1 Giới thiệu Kafka 2.1.2 Một số thành phần quan trọng Kafka 2.2 Apache Spark 10 2.2.1 Giới thiệu Apache Spark 10 2.2.2 Kiến trúc Spark 12 2.3 Tình hình nghiên cứu nước 16 2.4 Cơ sở lý luận 18 2.5 Lý thuyết kiến trúc thuật ngữ 19 2.5.1 Data Warehouse 19 2.5.2 Data Lake 22 2.5.3 Data Lakehouse 26 2.5.4 Table Format 29 CHƯƠNG 3: BÀI TOÁN VÀ GIẢI PHÁP CHO HỆ LƯU TRỮ VÀ TRUY VẤN DỮ LIỆU GIAO THÔNG 30 3.1 Mơ tả tốn 30 3.2 Các vấn đề phân tích để giải toán 31 3.2.1 Phân tích đặc trưng liệu thực tế 31 3.2.2 Phân tích yêu cầu lưu trữ 32 iv 3.2.3 Phân tích yêu cầu truy vấn 33 3.2.4 Dự báo lưu lượng giao thông ngắn hạn 34 3.3 Đề xuất giải pháp cho hệ lưu trữ, truy vấn 35 3.3.1 Giải pháp công nghệ 36 Giải pháp Delta + HDFS 36 Giải pháp Delta + MinIO 38 Giải pháp Iceberg + MinIO + Trino 39 3.3.2 Kỹ thuật tối ưu 41 Mơ hình liệu tam cấp 42 Thiết kế lưu trữ ETL cho liệu đếm xe biển số 43 Kỹ thuật gom file phân vùng liệu 44 3.3.3 Giải thuật Support Vector Regression 45 CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 48 4.1 Mô hình triển khai 48 4.2 Kết thực nghiệm đánh giá 49 4.2.1 Tóm tắt liệu 49 4.2.2 Một số tính phân tích liệu dịng giao thơng 49 4.2.3 Mơ hình dự báo lưu lượng giao thông 53 CHƯƠNG 5: KẾT LUẬN 57 5.1 Kết nghiên cứu đề tài 57 5.2 Hạn chế luận văn 57 5.3 Hướng phát triển đề tài nghiên cứu 58 DANH MỤC TÀI LIỆU THAM KHẢO 59 v DANH SÁCH HÌNH VẼ Hình 2.1 Apache Kafka Hình 2.2 Một chủ đề biểu diễn với nhiều phân vùng Hình 2.3 Nhóm người dùng nghiên cứu chủ đề Hình 2.4 Nhân rộng phân vùng cụm Hình 2.5 Các tính Spark 11 Hình 2.6 Kiến trúc Apache Spark 12 Hình 2.7 Spark chế độ Standalone Cluster Manager 13 Hình 2.8 Spark chế độ hoạt động với YARN 14 Hình 2.9 Kiến trúc Apache Mesos 14 Hình 2.10 Hệ sinh thái Spark 15 Hình 2.11 Kiến trúc tầng hệ thống giao thơng tích hợp 17 Hình 2.12 Hệ thống theo kiến trúc Data Warehouse 21 Hình 2.13 Hệ thống theo kiến trúc Data Lake 24 Hình 2.14 Hệ thống theo kiến trúc Data Lakehous 27 Hình 2.15 Vị trí Table Format 29 Hình 3.1 Hệ thống đo đếm phương tiện giao thơng 30 Hình 3.2 Giải pháp Delta + HDFS 37 Hình 3.3 Giải pháp Delta + MinIO 38 Hình 3.4 Giải pháp Iceberg + MinIO + Trino 41 Hình 3.5 Dữ liệu tam cấp cho hệ thống lưu trữ 43 Hình 3.6 Lưu đồ biến đổi liệu đếm xe 43 Hình 3.7 Lưu đồ biến đổi liệu đếm biển số 44 Hình 3.8 Minh họa hàm lỗi thuật tốn SVR 46 Hình 4.1 Mơ hình kết nối camera 48 Hình 4.2 Sơ đồ kết nối máy chủ 48 Hình 4.3 Hình ảnh số camera nhận diện bảng số xe 49 vi Hình 4.4 Lưu đồ phân tích xe ngồi tỉnh 50 Hình 4.5 Hình ảnh phân tích xe ngồi tỉnh 50 Hình 4.6 Lưu đồ phân tích lưu lượng xe 51 Hình 4.7 Hình ảnh phân tích lưu lượng xe theo thời gian 51 Hình 4.8 Hình ảnh phân tích lưu lượng xe theo loại xe 52 Hình 4.9 Hình ảnh phân tích lưu lượng xe theo khu vực 52 Hình 4.10 Lưu đồ phân tích mật độ xe 52 Hình 4.11 Hình ảnh phân tích mật độ xe 53 Hình 4.12 Dự báo lưu lượng xe máy bước vào tương lai 55 Hình 4.13 Dự báo lưu lượng xe máy bước vào tương lai 55 vii DANH SÁCH BẢNG Bảng 1.1 So sánh Data Warehouse, Data Lake Data Lakehouse 28 Bảng 4.1 Kiểm tra chất lượng dự báo 54 viii DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Viết tắt ITS HDFS Tiếng Anh Intelligence Transportation System Hadoop File System Tiếng Việt Hệ thống giao thông thông minh Hệ thống lưu liệu sử dụng Hadoop Bốn thuộc tính quan trọng ACID Atomicity, Consistency, hệ quản trị sở liệu: tính Isolation, Durability ngun tử, tính qn, tính lập, tính bền vững ETL Extract Transform and Load Trích xuất, chuyển đổi tải ELT Extract Load and Transform Trích xuất, tải chuyển đổi 45 • Tối ưu gom file ghi lại file nhỏ thành file liệu lớn cách tối ưu Một số lượng file nhỏ liệu bảng gom thành file lớn Đặc biệt, Table Format Delta Lake giúp thực q trình mà không làm thay đổi liệu file, điều giúp cho việc gộp file thực đồng thời với ghi liệu vào bảng • Phân vùng liệu chia nhỏ sở liệu lớn thành phân vùng Các phân vùng truy xuất trực tiếp câu truy vấn SQL Khi liệu phân vùng, công việc cần thao tác vùng nhỏ liệu, thay phải scan tồn sở liệu Ngồi ra, việc phân vùng liệu cịn hỗ trợ tốt cho tác vụ gộp file, mà chế gộp file phân biệt phân vùng liệu với tránh việc xung đột lúc ghi vào phân vùng Các key để phân vùng liệu column Để vừa phân biệt tốt phân vùng liệu, vừa không khiến cho liệu lưu bảng bị phân mảnh nhỏ cần chọn cột để phân vùng liệu Hiệu truy vấn khơng phụ thuộc vào cơng cụ mà cịn phụ thuộc việc tổ chức lưu trữ liệu hệ thống lưu trữ Các nội dung phân tích để tìm giải pháp tổ chức lưu trữ hợp lý cho hệ thống lưu trữ liệu đo đếm phương tiện giao thơng Bài tốn kỹ thuật nâng cao hiệu truy vấn xem xét giải phần Ngoài ra, tiện lợi tính sẵn sàng liệu cho liệu đo đếm phương tiện giao thông xét đến 3.3.3 Giải thuật Support Vector Regression Ý tưởng SVR ánh xạ phi tuyến tập liệu {(x1, y1), (x2, y2), …, (xN, yN)}⸦ Rn x R sang không gian đặc trưng nhiều chiều mà sử dụng phương pháp hồi qui tuyến tính Đặc điểm SVR xây dựng hàm hồi qui ta không cần sử dụng hết tất điểm liệu tập huấn luyện Những điểm liệu có đóng góp vào việc xây dựng hàm hồi qui gọi véc tơ hỗ trợ 46 Hàm hồi qui SVR sau: (1) Trong đó: vào , véc tơ trọng số, số, véc tơ đầu véc tơ đặc trưng Để tìm w b, SVR giải tốn tối ưu hóa sau: Cực tiểu hóa hàm: Với ràng buộc: Với i = 1, 2, …, N Trong đó, C số chuẩn hóa đóng vai trò cân độ lỗi huấn luyện độ phức tạp mơ hình Hình 3.7 minh họa SVR với hàm lỗi Đường nét liền ứng với đường dự đoán Giá trị Ꜫ xác định độ rộng ống bao quanh đường dự đoán Nếu giá trị đích yi nằm ống coi độ lỗi Nếu giá trị đích yi nằm ngồi ống độ lỗi (nếu yi nằm ngồi phía ống) yi nằm ngồi phía ống) Hình 3.8: Minh họa hàm lỗi thuật tốn SVR (nếu 47 Từ (2) dùng hàm Lagrange điều kiện Karush-Kuhn-Tucker, ta có tốn tối ưu hóa tương đương: Cực đại hóa: (3) Với ràng buộc: Trong đó, nhân tử Lagrange Véc tơ trọng tối phải thỏa ưu có dạng: Từ đây, ta có hàm hồi qui SVR: Trong đó, K(xi , xj) gọi hàm nhân có giá trị tích vơ hướng hai véc tơ đặc trưng Bất kỳ hàm thỏa điều kiện Mercer dùng làm hàm nhân Hàm nhân sử dụng phổ biến hàm Gaussian: Như vậy, với SVR sử dụng hàm lỗi ba tham số cần tìm: hệ số chuẩn hóa C, tham số hàm nhân Gaussian ta có hàm nhân Gaussian độ rộng ống Ꜫ Cả bat ham số ảnh hưởng đến độ xác dự đốn mơ hình cần phải chọn lựa kỹ Nếu C lớn ưu tiên vào phần độ lỗi huấn luyện, dẫn đến mơ hình phức tạp, dễ bị q khớp Cịn C q nhỏ lại ưu tiên vào phần độ phức tạp mơ hình, dẫn đến mơ hình q đơn giản, giảm độ xác dự đoán Ý nghĩa Ꜫ tương tự C Nếu Ꜫ q lớn có véc tơ hỗ trợ, làm cho mơ hình q đơn giản Ngược lại, Ꜫ q nhỏ có nhiều véc tơ hỗ trợ, dẫn đến mơ hình phức tạp, dễ bị q khớp Tham số phản ánh mối tương quan véc tơ hỗ trợ nên ảnh hưởng đến độ xác dự đốn mơ hình 48 CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 4.1 Mô hình triển khai Hình 4.1: Mơ hình kết nối camera Hình 4.2: Sơ đồ kết nối máy chủ 49 Hình 4.3: Hình ảnh số camera nhận diện bảng số xe 4.2 Kết thực nghiệm đánh giá 4.2.1 Tóm tắt liệu • Số lượng camera nhận diện bảng số: 24 • Số lượng camera đếm lưu lượng xe: 21 • Số lượng bảng số xe trung bình theo ngày: 47.828 • Số lượng xe trung bình theo ngày: o Xe máy: 25.000 o Xe hơi: 6.233 o Xe ô tô: 368 o Xe tải: 4.119 o Xe bus: 366 o Xe container: 559 4.2.2 Một số tính phân tích liệu dịng giao thơng • Phân tích xe ngồi tỉnh: 50 ▪ Lưu đồ: Hình 4.4: Lưu đồ phân tích xe ngồi tỉnh ▪ Hình ảnh phân tích: Hình 4.5: Hình ảnh phân tích xe ngồi tỉnh 51 • Phân tích lưu lượng xe: ▪ Lưu đồ: Hình 4.6: Lưu đồ phân tích lưu lượng xe ▪ Hình ảnh phân tích lưu lượng xe: Hình 4.7: Hình ảnh phân tích lưu lượng xe theo thời gian 52 Hình 4.8: Hình ảnh phân tích lưu lượng xe theo loại xe Hình 4.9: Hình ảnh phân tích lưu lượng xe theo khu vực • Phân tích mật độ xe: ▪ Lưu đồ: Hình 4.10: Lưu đồ phân tích mật độ xe Tỷ lệ chiếm dụng tính theo cơng thức: Rchiếm dụng = Schiếm dụng / Smặt đường 53 ▪ Hình ảnh phân tích mật độ xe: Hình 4.11: Hình ảnh phân tích mật độ xe 4.2.3 Mơ hình dự báo lưu lượng giao thông Thuật giải Support-Vector Networks, Support Vector Machines (SVM) giải thuật học máy dùng để giải tốn phân loại hai nhóm liệu khác Ý tưởng thuật toán sau: giá trị vector đặc trưng đầu vào phi tuyến tính, chúng ánh xạ lên khơng gian đặc trưng có số chiều cao từ định tuyến tính đưa dựa không gian đặc trưng Giải thuật Support Vector Regression Machines (SVR) phần mở rộng Support-Vector Networks thay đưa định cho tốn phân loại SVR sử dụng để học dự báo liệu toán hồi quy SVR tận dụng ưu điểm SVM không phụ thuộc vào số chiều không gian vector liệu đầu vào xử lý chiều không gian đặc trưng cao riêng 54 Do đó, giải thuật SVR chọn để tiến hành thực nghiệm liệu thu thập từ mơ hình đề xuất để dự báo liệu lưu lượng tương lai gần Cụ thể lưu lượng xe máy thiết bị camera quan sát tương lai gần Training Dữ liệu thu thập lưu lượng xe máy camera khoảng thời gian từ 05/05/2022 đến 23/05/2022 Kích thước liệu gồm 26.199 mẫu liệu, mẫu liệu cách phút Các liệu thời điểm bị thiếu nội suy cách gán với giá trị liệu gần kề khứ Việc chuẩn hóa liệu chuẩn hóa chuẩn hóa min-max Bộ liệu phân chia làm phần: 60% dùng để training, 20% dùng để validating 20% dùng để testing Testing Quá trình kiểm tra chất lượng dự báo dựa số R2 (R-squared) để đánh giá kết Chỉ số gần kết dự báo tốt Nếu số gần kết dự báo khơng tốt Bảng 4.1: Kiểm tra chất lượng dự báo Tập liệu Số bước vào tương lai R2 Validation 0.859 Test 0.851 Validation 0.822 Test 0.807 55 Hình biểu đồ dự báo Hình 4.12: Dự báo lưu lượng xe máy bước vào tương lai Hình 4.13: Dự báo lưu lượng xe máy bước vào tương lai Kết dự báo bước đầu tương đối hiệu hệ số tương quan Pearson R2 có giá trị lớn 0.8 Tuy nhiên nhìn biểu đồ dự báo (Hình 4.13) cho thấy sai lệch 56 thực tế kết dự báo cao, đặc biệt đỉnh (peak) biểu đồ Các cải tiến tiếp tục nghiên cứu học viên tập trung vào thu thập thêm liệu mẫu thử nghiệm liệu mẫu với thuật giải học sâu Deep Belief Network, Long-S (DBN), Long-Short Term Memory (LSTM), … 57 CHƯƠNG 5: KẾT LUẬN 5.1 Kết nghiên cứu đề tài Trong giải pháp giám sát giao thơng thị, tốn đo đếm phương tiện giao thơng tốn cần thiết cho việc phân tích đánh giá mật độ giao thơng Lưu trữ liệu đo đếm phương tiện hỗ trợ nhiều báo cáo, phân tích, từ nhà lãnh đạo đưa sách hợp lý để điều tiết phân luồng giao thông huy động lực lượng điều tiết điểm nóng ùn tắc giao thơng Bài tốn liên quan đến liệu phương tiện giao thông nghiên cứu giải luận văn này: • Giải pháp lưu trữ truy vấn liệu đo đếm phương tiện giao thông với kiến trúc đề xuất bao gồm: Delta + HDFS, Delta + MinIO, Iceberg + MinIO + Trino; • Kỹ thuật nâng cao hiệu truy vấn: Gom file Phân vùng liệu • Ứng dụng học máy vào công tác dự báo liệu lưu lượng giao thông Các giải pháp triển khai đánh giá tập liệu đo đếm nhận diện biển số phương tiện giao thông thực với: 717.420 record liệu biển số phương tiện 549.675 record liệu đo đếm số lượng phương tiện Kết nghiên cứu luận văn sở để triển khai hệ lưu trữ, truy vấn liệu giao thơng nhằm phục vụ cho mục đích dự báo lưu lượng phương tiện giao thông, quy hoạch giao thông cho đô thị 5.2 Hạn chế luận văn Số lượng mẫu liệu hạn chế thời gian nghiên cứu luận văn chưa đủ dài để đánh giá tính tối ưu giải pháp 58 5.3 Hướng phát triển đề tài nghiên cứu • Tiếp tục nghiên cứu triển khai đánh giá hiệu hệ thống phân tán nhiều máy chủ • Cải tiến hiệu mơ hình dự báo tiếp tục thu thập thêm liệu mẫu thử nghiệm liệu mẫu với thuật giải học sâu Deep Belief Network, Long-S (DBN), Long-Short Term Memory (LSTM), … 59 DANH MỤC TÀI LIỆU THAM KHẢO [1] M Chowdhury, A Apon, and K Dey, Data analytics for intelligent transportation systems Elsevier, 2017 [2] J Dorsey, “Big data in the driver’s seat of connected car technological advances,” 2013 [3] F Nargesian, E Zhu, R J Miller, K Q Pu, and P C Arocena, “Data lake management: challenges and opportunities,” Proceedings of the VLDB Endowment, vol 12, no 12, pp 1986–1989, 2019 [4] C Paschalidi, “Data governance: A conceptual framework in order to prevent your data lake from becoming a data swamp,” 2015 [5] M Armbrust, A Ghodsi, R Xin, and M Zaharia, “Lakehouse: a new generation of open platforms that unify data warehousing and advanced analytics,” in Proceedings of CIDR, 2021 [6] M Armbrust, T Das, L Sun, B Yavuz, S Zhu, M Murthy, J Torres, H van Hovell, A Ionescu, A Łuszczak, et al., “Delta lake: high-performance acid table storage over cloud object stores,” Proceedings of the VLDB Endowment, vol 13, no 12, pp 3411–3424, 2020 [7] D Tovarňák, M Raček, and P Velan, “Cloud native data platform for network telemetry and analytics,” in 2021 17th International Conference on Network and Service Management (CNSM), pp 394–396, IEEE, 2021 ... văn: ? ?Nghiên Cứu Phát Triển Nền Tảng Tích Hợp Phân Tích Dữ Liệu Dịng” cơng trình nghiên cứu tơi Tơi cam đoan số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Khơng có sản phẩm /nghiên. .. khả lưu trữ, xử lý truy vấn khối lượng lớn liệu Luận văn ? ?Nghiên cứu phát triển tảng tích hợp phân tích liệu dịng” nghiên cứu xây dựng mơ hình trực quan liệu giám sát giao thông tỉnh Tây Ninh để... phó với liệu phức tạp, hệ thống giám sát cần phải xây dựng hạ tầng liệu đại, có khả lưu trữ, xử lý truy vấn khối lượng lớn liệu Vì vậy, việc nghiên cứu phát triển tảng tích hợp phân tích liệu dịng