Mối quan hệ giữa quản lý số liệu của dữ liệu lớn và thành phố thông minh

LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu tơi, có hỗ trợ từ Thầy hướng dẫn người cảm ơn Các nội dung nghiên cứu kết đề tài trung thực chưa cơng bố cơng trình Hà Nội, ngày 21 tháng 11 năm 2022 HỌC VIÊN Nguyễn Thị Minh Phương LỜI CẢM ƠN Qua luận văn Tơi xin chân thành cảm ơn TS.Nguyễn Hồi Giang - Khoa Điện – Điện tử - Trường Đại học Mở Hà Nội tận tình giúp đỡ, động viên, định hướng, hướng dẫn Tơi nghiên cứu hồn thành luận văn Tôi xin cảm ơn thầy cô giáo Trường Đại học Mở Hà Nội, thầy cô giáo Khoa Điện – Điện tử - Trường Đại học Mở Hà Nội, giảng dạy giúp đỡ Tôi hai năm học qua, cảm ơn giúp đỡ nhiệt tình bạn đồng nghiệp Trong trình nghiên cứu mình, hướng dẫn nhiệt tình, đầy trách nhiệm TS Nguyễn Hồi Giang thầy giáo Trường Đại học Mở Hà Nội với nỗ lực cá nhân tránh thiếu sót Tơi chân thành mong nhận ý kiến đóng góp từ q Thầy, Cơ bạn bè đồng nghiệp Xin chân thành cảm ơn! Hà Nội, ngày 21 tháng 11 năm 2022 HỌC VIÊN Nguyễn Thị Minh Phương MỤC LỤC DANH MỤC BẢNG BIỂU DANH MỤC HÌNH ẢNH BẢNG THUẬT NGỮ VIẾT TẮT MỞ ĐẦU 13 CHƯƠNG TỔNG QUAN VỀ DỮ LIỆU LỚN 16 1.1 Sự phát triển Dữ liệu lớn 16 1.1.1 Khái niệm 16 1.1.2 Lịch sử hình thành Dữ liệu lớn 16 1.1.3 Các hội thách thức Dữ liệu lớn 19 1.2 Một số tảng hệ thống Dữ liệu lớn 20 1.2.1 Khái niệm Dữ liệu lớn 20 1.2.2 Hệ thống phân tích liệu lớn 29 1.3 Xu hướng phát triển công nghệ liệu lớn 35 1.4 Kết luận chương 39 CHƯƠNG MINH CÁC GIẢI PHÁP VÀ ỨNG DỤNG THÀNH PHỐ THÔNG 40 2.1 Tổng quan Thành phố thông minh 40 2.1.1 Khái niệm 40 2.1.2 Các thành phần tạo nên Smart City 41 2.1.3 Lợi ích việc xây dựng thành phố thông minh cho quốc gia toàn 43 2.2 Nền tảng công nghệ thành phố thông minh 45 2.2.1 Mơ hình kiến trúc tổng thể thành phố thông minh 45 2.2.2 Công nghệ giải pháp việc xây dựng thành phố thông minh 47 2.3 Cơ sở thực tiễn xây dựng Thành phố Thông minh Thế giới Việt Nam 48 2.3.1 Xu hướng phát triển thành phố thông minh 48 2.3.2 Kinh nghiệm xây dựng thành phố thông minh giới 49 2.3.3 Xu hướng xây dựng thành phố thông minh Việt Nam 54 2.4 Kết luận chương 55 CHƯƠNG NGHIÊN CỨU GIẢI PHÁP QUẢN LÝ DỮ LIỆU LỚN CHO THÀNH PHỐ THÔNG MINH 56 3.1 Một số giải pháp quản lý liệu cho Thành phố thông minh 56 3.1.1 Bãi đỗ xe thông minh hỗ trợ IoT 56 3.1.2 Quản lý chất thải thơng hỗ trợ IoT 61 3.1.3 Hệ thống thu thập số điện thông minh hỗ trợ IoT 65 3.1.4 Máy bán hàng tự động 69 3.1.5 Hệ thống chiếu sáng thông minh hỗ trợ IoT 72 3.1.6 Hệ thống phát rò rỉ nước hỗ trợ IoT 74 3.1.7 Chất lượng kết cấu công trình 76 3.1.8 Giám sát tiếng ồn 76 3.1.9 Giảm ùn tắt giao thông 77 3.1.10 Xây dựng tự động hóa 77 3.1.11 Chất lượng khơng khí 77 3.1.12 Năng lượng thông minh 77 3.2 Nghiên cứu ảnh hưởng liệu lớn đến hạ tầng mạng Thành phố thông minh 78 3.2.1 Các lĩnh vực bị tác động liệu lớn 78 3.2.2 Dữ liệu lớn ảnh hưởng tới cấu trúc mạng viễn thông thành phố thông minh 80 3.3 Nghiên cứu giải pháp giảm tải lưu lượng mạng viễn thông di động 92 3.3.1 Giải pháp giảm tải Wifi Offload cho mạng viễn thông 92 3.3.2 Ứng dụng giải pháp Blockchain xây dựng thành phố thông minh 106 3.4 Kết luận chương 112 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 114 DANH MỤC BẢNG BIỂU Bảng 2.1 Các động lực lợi ích Thành phố thông minh mang lại 45 Bảng 2.2 Mơ hình Kiến trúc tổng thể thành phố thơng minh 46 Bảng 3.1: Việc sử dụng mạng 5G công nghệ khu vực khác 87 Bảng 3.2: Các cơng bảo mật có bối cảnh mạng 5G 89 Bảng 3.3:Các trường hợp sử dụng mạng 5G khác xếp hạng tương đối bảo mật quyền riêng tư L: thấp, M: trung bình, H: cao 91 DANH MỤC HÌNH ẢNH Hình 1.1 Thống kê nguồn liệu 16 Hình 1.2 Lược sử hình thành Dữ liệu lớn 17 Hình 1.3 Một ví dụ lưu trữ dạng Key-value 23 Hình 1.4 Một ví dụ lưu trữ dạng Document 23 Hình 1.5 Một ví dụ lưu trữ dạng Column-family 23 Hình 1.6 Một ví dụ lưu trữ dạng Graph 24 Hình 1.7 Sơ đồ Venn – định lý CAP 25 Hình 1.8 Giá trị độ phức tạp tăng từ phân tích mơ tả đến đề xuất 27 Hình 1.9 Thiết bị lưu trữ nhớ có tốc độ truyền liệu nhanh 80 lần so với thiết bị lưu trữ đĩa 31 Hình 1.10 Một ví dụ mơ tả việc truy xuất liệu từ IMDG 33 Hình 1.11 Một ví dụ mơ tả việc truy xuất liệu từ IMDB 33 Hình 2.1 Mối quan hệ Smart City với tính bền vững, cạnh tranh hạ tầng ICT 41 Hình 2.2 Các thành phần nhân tố Smart City 42 Hình 2.3 Ứng dụng thơng minh thuộc lĩnh vực (Chính quyền thơng minh, Cuộc sống thơng minh Công nghiệp thông minh) đề xuất cho TP Nam Kinh 53 Hình 3.1 Minh họa kiến trúc chung hệ thống đỗ xe thông minh 57 Hình 3.2 Minh họa phân cấp phần tử O-DF 58 Hình 3.3 Kiến trúc MQTT - SN 59 Hình 3.4 Các thành phần liên kết mạng LoRa 60 Hình 3.5 Sơ đồ hệ thống thu gom xử lý rác thải 62 Hình 3.6 Dữ liệu dùng để kiểm soát rác thải 63 Hình 3.7 Demo dung lượng thùng rác qua mức dung lượng khác 63 Hình 3.8 Thùng chứa trạng thái Good 64 Hình 3.9 Thùng chứa trạng thái Not Good 64 Hình 3.10 Trường hợp trạng thái nguy hiểm 65 Hình 3.11 Hiệu trước sau thay đổi 65 Hình 3.12 Từ cảm biến trung tâm xử lý 66 Hình 3.13 Sơ đồ khối Node 67 Hình 3.14 Một Node 67 Hình 3.15 Getway lora 68 Hình 3.16 Sơ đồ khối Node 68 Hình 3.17 Máy bán hàng tự động 70 Hình 3.18 Sơ đồ khối máy bán hàng tự động 71 Hình 3.19 Các mức độ sáng bóng đèn phụ thuộc theo cảm biến 72 Hình 3.20 Nhận diện vẽ heatmap 73 Hình 3.21 Nguồn nước bị nhiễm hạn hán nghiêm trọng 74 Hình 3.22 Sơ đồ khối hệ thống 75 Hình 3.23 Cơng suất trạm bơm cảnh báo rò rỉ 75 Hình 3.24 Ứng dụng thiết bị sử dụng băng rộng 80 Hình 3.25 So sánh cấu trúc UTMS LTE 82 Hình 3.26 Mơ hình đa truy nhập khơng trực giao cho mạng 5G 83 Hình 3.27 Các tiêu chí mạng 5G đáp ứng yêu cầu liệu lớn 84 Hình 3.28 Các tính cơng nghệ hỗ trợ mạng 5G 85 Hình 3.29 Kiến trúc hạ tầng mạng WiFi để giảm tải liệu di động 93 Hình 3.30: Chuyển luồng IP mạng truy cập vô tuyến 3GPP Non-3GPP 94 Hình 3.31 Kiến trúc 3GPP tích hợp truy cập IP Non-3GPP vào EPC, lựa chọn S2c 95 Hình 3.32: Kiến trúc 3GPP tích hợp truy cập IP Non-3GPP vào EPC, lựa chọn S2a 96 Hình 3.33: Kiến trúc LTE 97 Hình 3.34 Kết nối mạng S2c định nghĩa 3GPP 98 Hình 3.35 Kết nối mạng S2a định nghĩa 3GPP 99 Hình 3.36 Chuyển giao luồng thoại định nghĩa 3GPP TS 23.402 101 Hình 3.37 Luồng thoại cho chuyển giao từ mạng truy cập LTE tới mạng truy cập WiFi 103 Hình 3.38 Kiến trúc cho tích hợp mạng 3G vào EPC Sử dụng SGSN có khả S4 104 Hình 3.39 Kiến trúc cho mạng truy cập IP Non-3GPP không tin cậy 105 Hình 3.40 Mơ hình server trung gian 109 Hình 3.41 Mơ hình phân tán liệu sử dụng blockchain 110 Hình 3.42 Các bước truyền liệu mơ hình blockchain 111 BẢNG THUẬT NGỮ VIẾT TẮT Ký hiệu/chữ viết tắt 3GPP Ý nghĩa Third Generation Project Partnership Hiệp hội nghiên cứu di động hệ thứ A AAA ACID ACK ANDSF AP APN ATCA AUC AUROC Authentication, Authorization, and Accounting Atomicity, Consistency, Isolation, Durability Acknowledge Access Network Discovery and Selection Function Access Point Access Point Name Advanced Telecommunications Computing Architecture Area Under the Curve Area Under the Receiver Operating Characteristics Nhận thực, Ủy quyền Thanh toán Nguyên tắc thiết kế ACID Báo nhận Chức lựa chọn phát mạng truy cập Điểm truy nhập Tên điểm truy cập Kiến trúc tính tốn vễn thơng tiên tiến B BASE BLOB BPSK BSS C CA CAP CAPWAP CCK CEM CEP Basically Available, Soft state, Nguyên tắc thiết kế BASE Eventual consistency Binary Large Object Binary Phase Shift Keyin Điều chế mã nhị phân Base Station System Tập dịch vụ Channel Aggregation Consistency, Availability and Partition Tolerance Control and Provisioning of Wireless Access Point Complementary Coded Keying Customer Experience Management Complex Event Processing Tập hợp kênh Nguyên lý CAP Điểm truy cập vô tuyến điều khiển dự phịng Khóa mã bổ sung Quản lý trải nghiệm khách hàng Ký hiệu/chữ viết tắt CG CNN CoA CS CSMA CSMA/CD CTS CW D DBM DBN DCF DIFS DS DSMIPv6 DSSS DT DTLS Ý nghĩa Control Gateway Convolutional Neural Network Care of Address Circuit Switch Cổng điều khiển Địa care-of Chuyển mạch kênh Đa truy cập cảm nhận sóng Carrier Sense Multiple Access mang Carrier Sense Multiple Access Đa truy cập cảm nhận sóng with Collision Detect mang phát xung đột Clear to send Xóa đề gửi Contention Window Của sổ xung đột Deep Boltzmann Machine Deep Belief Networks Distributed Coordination Function Distributed Coordinate Function Distribution System Dual-Stack Mobile IP Protocol Version Direct Sequence Spread Spectrum Daytype Datagram Transport Layer Security Chức kết hợp phân phối Khoảng liên khung DCF Hệ thống phân phối Giao thức IP di động kiến trúc kép phiên Trải phơ chuỗi trực tiếp Bảo mật lớp truyền tải gói liệu E EAP EAP AKA EAP SIM EAP-TLS EDCA EPC Extensible Authentication Protocol EAP method for UMTS Authentication and Key Agreement EAP method for GSM Subscriber Identity Module Giao thức xác thực mở rộng EAP cho xác thực UMTS thỏa thuận khóa EAP cho modul nhận dạng thuê bao GSM EAP cho bảo mật lớp truyền EAP-Transport Layer Security tải Enhanced Distributed Channel Truy cập kênh phân phối tiên Access tiến Evolved Packet Core Lõi gói tiên tiến Ký hiệu/chữ viết tắt ePDG ERP Evolved Packet Data Gateway Extended Rate Phy ESS Electronic Switching System ETL F FA Extract Transform Load FCC FN FP FPR G GBM GBRT GGSN GPRS GRE GSM GSMA GTP GW H H-ANDSF HA Ý nghĩa Cổng liệu gói tiên tiến Tốc độ vật lý mở rộng Hệ thống chuyển mạch điện tử Trích xuất liệu Foreign Agent Đại diện tạm trú Federal Communications Ủy ban truyền thông liên Commission bang False Negative False Positive False Positive Rate/Fall-out Gradient Boosting Machines Gradient Boosting Regression Trees Gateway GPRS Suppoort Node General Packet Radio Service Generic Routing Encapsulation Global System for Mobile Communication GSM Asscociatinon GPRS Tunnelling Protocol Gateway Home-ANDSF Home Agent HCCA HCF Control Channel Access HCF HetNet HLR HoA HSS Hybrid Coordination Function Heterogeneous Network Home Location Registry Home Address Home Subscriber Server Node hỗ trợ cổng GPRS Dịch vụ vơ tun gói chung Bộ định tuyến dùng chung Hệ thống tồn cầu cho thơng tin di động Hiệp hội GSM Giao thức đường hầm GPRS Cổng ANDSF thường trú Đại diện thường trú Truy cập kênh điều khiến HCF Chức kết hợp lại Mạng không đồng Bộ ghi định vị thường trú Địa thường trú Server thuê bao thường trú chuyển giao Bởi hai nhân tố này, mạng khơng đảm bảo thiết bị người sử dụng sử dụng giao diện thích hợp Ngồi ra, thiết bị người sử dụng, ngăn xếp TCP/IP cần xem xét với hai giao diện vật lý mà cuối có địa IP giống Hơn nữa, số thực giá giao thức TCP/IP, socket ứng dụng bị giới hạn tới giao diện vật lý Vì vậy, thiết bị người dùng ứng dụng chuyển giao diện, kết nối ứng dụng phải bị dừng cần thiết lập lại từ giao diện Với tất phụ thuộc này, kiến trúc dựa PMIPv6 không (không hỗ trợ thiết bị người sử dụng) đảm bảo hoạt động chức chuyển giao suốt tất loại thiết bị người sử dụng Tình cải thiện người quản lý kết nối thiết kế phù hợp tương thích ảo cài đặt tất thiết bị người sử dụng Chuyển giao dựa S2c (dựa khách hàng) Đối với giao diện S2c, 3GPP sử dụng giao thức DSMIPv6 định nghĩa IETF thiết bị người sử dụng P-GW điểm lưu giữ Khi mạng Non-3GPP, thiết bị người sử dụng xây dựng DSMIPv6 tới P-GW thích hợp gán địa IP ảo, sau sử dụng cho truyền thông ứng dụng Địa IP giống gán cho thiết bị người sử dụng qua mạng truy cập 3GPP trường hợp chuyển giao Mạng 3GPP xem mạng thường trú, thiết bị người sử dụng khơng cần phải thiết lập đường hầm DSMIPv6 mạng truy cập 3GPP Hình 3.37, từ 3GPP TS 23.402, mơ tả luồng thoại lúc chuyển giao từ mạng truy cập LTE tới mạng truy cập WiFi 102 Hình 3.37 Luồng thoại cho chuyển giao từ mạng truy cập LTE tới mạng truy cập WiFi Chuyển giao dựa khách hàng cung cấp trải nghiệm suốt mà không cần phải thiết lập lại phiên TCP UDP, phần mềm máy khách tạo mặt nạ giao diện vật lý sau tương thích mạng ảo Tất socket thiết lập từ tương thích ảo không cần phải tái lập giao thức TCP/IP Tùy chọn cho chuyển giao 3G tới Wi-Fi Mặc dù khơng chuẩn hóa, ba thiết kế phổ biến sử dụng để cung cấp chuyển giao 3G RAN WiFi Tất dựa vào tồn PGW mạng yêu cầu gián tiếp nâng cấp mạng tới EPC Một tùy chọn tích hợp mạng 3G vào EPC cách sử dụng SGSN có khả S4 Hình 2.21 minh họa kiến trúc 103 Hình 3.38 Kiến trúc cho tích hợp mạng 3G vào EPC Sử dụng SGSN có khả S4 Tùy chọn cho phép P-GW điều khiển kết nối 3G với kiểu chuyển giao S2a Tùy chọn thứ hai dựa S2c hỗ trợ thiết bị người sử dụng Thiết bị mở đường hầm DSMIPv6 tới P-GW qua kiểu mạng truy cập bất kỳ, bao gồm 3G Trong trường hợp này, thân mạng 3G không tích hợp vào EPC Tuy nhiên, phiên người sử dụng lưu giữ P-GW từ tất loại mạng truy cập Phương pháp yêu cầu nâng cấp hệ thống sách tính cước tới tiêu chuẩn LTE Ngồi ra, tham số QoS 3G thị cho P-GW kịch Tùy chọn thứ ba dựa S2a hỗ trợ 3G GGSN truyền thống Các kết nối 3G qua PMIPv6 tới P-GW lưu giữ Giải pháp thường khơng sử dụng phổ biến thiếu chức MAG hầu hết GGSN Các nhà khai thác thực thiết kế khác dựa tiêu chuẩn IETF cho giao thức MIPv6 PMIPv6 Những thiết kế phụ thuộc vào khả phần tử lõi gói triển khai khác từ mạng sang mạng khác Ø Mạng truy cập IP Non-3GPP không tin cậy Các tiêu chuẩn tích hợp 3GPP Wi-Fi xem mạng Wi-Fi truy cập khơng tin cậy Có nhiều lý cho phương pháp Các mạng khơng bảo mật xác thực EAP, không mật mã hóa, thường thuộc nhà cung cấp dịch vụ bên thứ ba Vì vậy, tiêu chuẩn yêu cầu chế bảo mật thực trực 104 tiếp thiết bị người dùng lõi gói Nói chung, kiến trúc để truy cập khơng tin cậy cho phép thuê bao sử dụng loại mạng truy cập mà chúng kết nối Sau thuê bao kết nối, phần mềm máy khách thiết bị người dùng mở đường hầm bảo mật IP (IPsec) đến lõi gói, đường hầm xác thực gán địa IP, tất lưu lượng liệu sau định tuyến qua lõi gói Tất chức liên quan đến PCC tái sử dụng từ lõi có Đặc tả 3GPP TS 23.234 điều khiển việc tích hợp 3G WiFi không tin cậy Đối với LTE, truy cập không tin cậy đặc tả tài liệu (3GPP TS 23.402) truy cập tin cậy Tiêu chuẩn giới thiệu chức lõi gói mới, cổng kết cuối đường hầm (TTG), chịu trách nhiệm kết cuối đường hầm IPsec chuyển lưu lượng từ đường hầm Ipsec tới đường hầm GTP tới GGSN truyền thống Trong kiến trúc LTE, chức phần cổng liệu gói tiên tiến (ePDG) Hình 3.39 mơ tả kiến trúc Hình 3.39 Kiến trúc cho mạng truy cập IP Non-3GPP không tin cậy Các tiêu chuẩn không tin cậy xét thủ tục chuyển giao: + Trong LTE, giao diện S2b xây dựng PMIPv6 cung cấp khả chuyển giao tương tự giao diện S2a ePDG đáp ứng tốt chức MAG trường hợp + Trong LTE, chuyển giao S2c sử dụng mạng truy cập không tin cậy + Trong 3G, tiêu chuẩn cụ thể (3GPP TS 23.327) mơ tả việc chuyển giao 105 Tóm lại, dựa khách hàng, với đường hầm DSMIPv6 thiết bị người dùng GGSN với chức đại diện thường trú tích hợp 3.3.2 Ứng dụng giải pháp Blockchain xây dựng thành phố thông minh a) Phân quyền Blockchain Định nghĩa phân quyền Blockchain Trong chuỗi khối, phân cấp đề cập đến việc chuyển quyền kiểm soát định từ thực thể tập trung (cá nhân, tổ chức nhóm họ) sang mạng phân tán Các mạng phi tập trung cố gắng giảm mức độ tin cậy mà người tham gia phải đặt vào ngăn cản khả họ thực thi quyền lực kiểm soát lẫn theo cách làm suy giảm chức mạng Sự quan trọng phân quyền Phi tập trung hóa khơng phải khái niệm Khi xây dựng giải pháp công nghệ, ba kiến trúc mạng thường xem xét: tập trung, phân tán phi tập trung Mặc dù công nghệ Blockchain thường sử dụng mạng phi tập trung, thân ứng dụng Blockchain phân loại đơn giản có phi tập trung hay khơng Thay vào đó, phân cấp thang trượt nên áp dụng cho tất khía cạnh ứng dụng chuỗi khối Bằng cách phân quyền quản lý truy cập vào tài nguyên ứng dụng, đạt dịch vụ tốt cơng Phân cấp thường có số cân thông lượng giao dịch thấp hơn, lý tưởng đánh đổi xứng đáng với mức độ ổn định dịch vụ cải thiện mà chúng tạo Lợi ích việc phân quyền - Cung cấp môi trường không tin cậy: Trong mạng blockchain phi tập trung, biết tin tưởng khác Mỗi thành viên mạng có liệu dạng sổ phân tán Nếu sổ thành viên bị thay đổi bị hỏng hình thức nào, bị đa số thành viên mạng từ chối - Cải thiện đối chiếu liệu: Các công ty thường xuyên trao đổi liệu với đối tác họ Ngược lại, liệu thường chuyển đổi lưu trữ silo liệu bên, xuất trở lại cần chuyển xuống hạ lưu Mỗi lần liệu chuyển đổi, mở hội cho việc liệu liệu khơng xác xâm nhập vào luồng cơng việc Bằng cách có kho lưu trữ liệu phi tập trung, thực thể có quyền truy cập vào chế độ xem liệu chia sẻ theo thời gian thực - Giảm điểm yếu: Phân cấp làm giảm điểm yếu hệ thống phụ thuộc nhiều vào tác nhân cụ thể Những điểm yếu 106 dẫn đến cố hệ thống, bao gồm việc không cung cấp dịch vụ hứa dịch vụ không hiệu cạn kiệt nguồn lực, ngừng hoạt động định kỳ, tắc nghẽn, thiếu động lực khuyến khích dịch vụ tốt tham nhũng - Tối ưu hóa phân phối tài nguyên: Phân cấp giúp tối ưu hóa việc phân phối tài nguyên để dịch vụ hứa cung cấp với hiệu suất tính quán tốt hơn, giảm khả xảy cố nghiêm trọng So sánh phân cấp Phân cấp nên áp dụng nơi có ý nghĩa Chỉ ứng dụng chuỗi khối khơng có nghĩa cần phân cấp 100% Mục tiêu giải pháp chuỗi khối cung cấp người dùng giải pháp cần điều bao gồm không bao gồm mức phân quyền định Để hiểu rõ mạng phi tập trung, bảng trình bày cách mạng phi tập trung so với mạng tập trung phân tán phổ biến Tập trung Tài nguyên Được trì mạng/phần kiểm sốt cứng thực thể địa điểm tập trung Phân phối Phi tập trung Trải rộng nhiều trung tâm liệu & khu vực địa lý; thuộc sở hữu nhà cung cấp mạng Tài nguyên sở hữu chia sẻ thành viên mạng; khó trì khơng sở hữu Thành phần giải pháp Được trì Được trì kiểm Mỗi thành viên có kiểm sốt thực sốt nhà cung cấp xác thể trung tâm giải pháp sổ phân tán Dữ liệu Được trì Thường sở hữu Chỉ thêm thơng kiểm sốt thực quản lý khách hàng qua đồng thuận thể trung tâm nhóm Điều khiển Được kiểm sốt Thơng thường, trách Không sở hữu thực thể trung nhiệm chia sẻ liệu người sở tâm nhà cung cấp mạng, nhà hữu liệu cung cấp giải pháp khách hàng 107 Điểm thất bại Có Khơng Khơng Khả chịu lỗi Thấp Cao Cực kỳ cao Bảo vệ Được trì Thơng thường, trách Tăng # thành viên kiểm soát thực nhiệm chia sẻ mạng tăng thể trung tâm nhà cung cấp mạng, nhà cung cấp giải pháp khách hàng Hiệu suất Được trì Tăng tài nguyên Giảm số thành kiểm soát thực mạng/phần cứng mở viên mạng tăng thể trung tâm rộng quy mơ Ví dụ Hệ thống ERP Điện tốn đám mây Blockchain b) Mơ hình giải pháp phân tán sử dụng kỹ thuật Blockchain thành phố thơng Trong mơ hình tổng thể thành phố thơng minh, việc triển khai gặp nhiều vấn đề khó khăn lượng liệu lưu thông cần xử lý thường lớn Khả sở hạ tầng hầu hết thành phố giới thường không đáp ứng với nhu cầu thực tế Lấy ví dụ đơn giản hệ thống giám sát sử dụng camera thành phố thơng minh Có 𝑛 camera liên tục gửi liệu trung tâm xử lý liệu với ƒ frames/s Mỗi frame hình ảnh gồm 𝑤 × ℎ điểm ảnh Mỗi điểm ảnh biểu diễn byte giây, lượng liệu gửi trung tâm liệu 4𝑛ƒ𝑤ℎ byte Nếu số lượng camera 𝑛 = 5000, hình ảnh đủ mượt để xem ƒ = 24, độ phân giải tối thiểu ảnh 𝑤 × ℎ = 800 × 680 liệu gửi trung tâm liệu 261.12 GByte giây Chưa nói tới xử lý liệu này, việc truyền liệu trung tâm liệu thách thức cần giải 108 Hình 3.40 Mơ hình server trung gian Để khắc phục tình trạng tải trình truyền tải xử lý liệu, mơ hình server trung gian thường đề xuất để giải vấn đề Hình 3.40 Các liệu khơng trực tiếp chuyển trung tâm xử lý liệu mà thông qua server trung gian Tại server trung gian, liệu xử lý trả kết cho phía người dùng Mơ hình cải thiện phần việc xử lý liệu địi hỏi chi phí đầu tư lớn có độ trễ q trình truyền dẫn liệu Trong mơ hình này, vấn đề bảo mật nêu Dữ liệu q trình xử lý bị thay đổi quản trị viên hay hacker với mục đích phi pháp Vì nghiên cứu mơ hình bảo mật nhu cầu cấp thiết việc xây dựng thành phố thông minh Mơ hình phân tán sử dụng kỹ thuật chuỗi khối (Blockchain) nhằm giải vấn đề truyền tải, lưu trữ xử lý liệu thành phố thông minh Blockchain kỹ thuật sinh mục đích xây dựng tiền ảo với tính bảo mật lớn Blockchain kỹ thuật lưu trữ truyền tải thông tin khối liên kết với mở rộng theo thời gian Mỗi khối chứa đựng thông tin thời gian khởi tạo liên kết với khối trước Cách thức kết nối mã hố phương pháp mã hóa khiến cho liệu có thay đổi khơng thể tương thích với liệu mặt thời gian Vì thế, việc xác thực liệu mơ hình blockchain phù hợp cho mơ hình thành phố thông minh việc lưu trữ liệu cách an toàn Ngoài ra, đặc biệt blockchain cịn có khả truyền tải liệu mà khơng địi hỏi trung gian để xác nhận thơng tin Hệ thống blockchain bao gồm nhiều nút độc lập có khả 109 xác thực lưu trữ thông tin Mỗi nút tham gia người dùng cộng đồng tham gia, hồn tồn áp dụng mơ hình blockchain mơ hình thành phố thơng minh mà người dẫn thành phố nút mạng lưới sử dụng cung cấp dịch vụ xử lý lưu trữ liệu thành phố Hình 3.41 Mơ hình phân tán liệu sử dụng blockchain Hình 3.41 mơ hình đề xuất sử dụng blockchain việc xây dựng hạ tầng thành phố thông minh Người dân thành phố tham gia sử dụng cung cấp dịch vụ thành phố thông minh Để làm vậy, người tham gia cung cấp dịch vụ sử dụng server cá nhân (User Server) tham gia vào hệ thống hạ tầng công nghệ thông tin thành phố thông minh Các liệu cần lưu trữ hay xử lý không trực tiếp gửi trung tâm liệu mà thông qua server cá nhân Các server cá nhân tính tốn trả kết cho phía người dùng đầu cuối (End User) Câu hỏi đặt người cung cấp server cá nhân tham gia vào mơ hình Khi tham gia dịch vụ mơ hình thành phố thông minh, người tham gia dịch vụ phải trả chi phí tham gia Những người cung cấp server cá nhân giảm chi phí dịch vụ hay nhận thù lao cho việc tham gia server cá nhân Sau dịch vụ ví dụ mơ hình thành phố thơng minh 110 Hình 3.42 Các bước truyền liệu mơ hình blockchain Giả sử, thành phố cung cấp dịch vụ truyền hình trực tuyến cho toàn thành phố Các bước thực yêu cầu, truyền tải xác thực liệu Hình 3.42 Các bước gửi yêu cầu nhận liệu mô tả sau: Bước 1: Khi người dùng đầu cuối (End user 1) muốn xem truyền hình trực tuyến, người dùng gửi u (request) cầu tới trung tâm liệu Bước 2: Trung tâm liệu khơng gửi liệu hình ảnh trực tiếp phía người dùng đầu cuối mà gửi cho server cá nhân (User server 1) gần để lưu trữ Q trình xác thực kỹ thuật chuỗi khối (blockchain) Bước 3: Sau đó, từ server cá nhân 1, liệu chuyển người dùng đầu cuối Bước 4: Tại thời điểm này, người dùng đầu cuối khác End user muốn sử dụng dịch vụ truyền hình nội dung người dùng yêu cầu đến trung tâm liệu, trung tâm liệu gửi địa server cá nhân có liệu cần thiết gần mã xác thực cho người dùng Từ đó, người dùng đầu cuối yêu cầu server cá nhân gửi nội dung cách gửi mã xác thực nhận cho server cá nhân Các mã xác thực coi giao dịch mơ hình chuỗi khối lưu trữ mơ hình tiền ảo Đó tiền đề để tính tốn chi phí thành viên tham gia server cá nhân Bước 5: Dữ liệu chuyển tới người dùng đầu cuối không trung tâm đảm đương mà server người dùng phụ trách Vì việc xử lý truyền tải trung tâm liệu thuận lợi nhanh chóng Đánh giá mơ hình này, ta thay nội dung truyền hình trực tuyến có 𝑐 111 Mbyte có 𝑠 server cá nhân trung tâm liệu 𝑐𝑠 Mbyte cho việc truyền tải Trong đó, mơ hình truyền thống, liệu từ trung tâm liệu gửi trực tiếp người dùng đầu cuối liệu truyền tải lớn Giả sử có 𝑛 người dùng đầu cuối ta phải 𝑐𝑛 Mbyte cho việc truyền tải liệu Vì vậy, với 𝑠 nhỏ việc truyền tải liệu giảm nhiều Tuy nhiên server cá nhân, liệu truyền tải ! !" server cá nhân cung cấp dịch vụ trung bình cho " người dùng đầu cuối Vì # 𝑠 nhỏ, liệu truyền tải server cá nhân lớn Vậy để cân hệ thống cn = acs s Suy # s = √$ Với 𝛼 lực server cá nhân so với lực server trung tâm liệu Nếu thành phố có triệu người người dùng đầu cuối server cá nhân có lực phần 100 lực server trung tâm liệu cần 10 nghìn server cá nhân để hệ thống chạy ổn định Tốc độ xử lý lúc tăng 100 lần so với mơ hình truyền thống 3.4 Kết luận chương Xây dựng thành phố thông minh triển khai nhiều quốc gia giới Việt Nam Với việc ứng dụng trí tuệ nhân tạo, điện tốn đám mây Internet vạn vật, việc quản lý điều hành dịch vụ thành phố thông minh trở nên dễ dàng tiết kiệm chi phí Các cơng nghệ Kết nối Internet vạn vật (IoT), Dữ liệu lớn (Big Data) Trí tuệ nhân tạo (AI) thay đổi cách sống, làm việc tạo nhiều hội Một thành phố thông minh chứa hàng trăm nghìn cảm biến tạo lượng lớn liệu, thông qua việc ứng dụng trí tuệ nhân tạo để phân tích cho phép dịch vụ thành phố đáp ứng tốt nhu cầu người dân Bằng cách này, doanh nghiệp tổ chức khác cung cấp cho khách hàng họ nhiều dịch vụ cá nhân hóa hơn, phù hợp với nhu cầu họ Hiện nay, việc xây dựng thành phố thơng minh đa số theo mơ hình xử lý tập trung Có nghĩa tồn liệu thu thập thành phố tập trung trung tâm liệu Mơ hình dễ quản lý chưa thể bao phủ được việc thu thập xử lý nguồn liệu lớn Hầu hết lượng liệu lớn hệ thống bị tê liệt hoạt động Nguyên nhân liệu từ thành phố thơng minh lớn khả xử lý trung tâm liệu băng thông đường truyền mạng viễn thơng hạn chế Vì vậy, việc truyền tải liệu trung tâm liệu xử lý nguồn liệu thời gian thực vấn 112 đề nan giải cần giải Theo đó, chương học viên đề xuất mơ hình xử lý phân tán sử dụng công nghệ blockchain nhằm giải vấn đề lưu trữ xử lý tập trung liệu, nhằm giảm tải lưu lượng truyền tải cho hệ thống mạng viễn thông nâng cao hiệu bảo mật tính minh bạch cho nguồn liệu thành phố thơng minh Bên cạnh đó, học viên nghiên cứu giải pháp tích hợp mạng lõi gói tiên tiến (EPC) nhằm để giảm tải lưu lượng mạng di động nghiên cứu áp dụng nhiều nước giới để đáp ứng tốt nhu cầu lưu lượng ngày tăng mạng di động Việt Nam 113 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong thời đại nay, với bùng nổ liệu, khối lượng liệu doanh nghiệp vơ lớn Việc phân tích, xử lý, khai thác liệu Big data thời gian thực để đưa kết nhanh chóng, xác hỗ trợ nhà quản lý đưa định kinh doanh kịp thời quan trọng, tạo sức mạnh cạnh tranh lớn cho doanh nghiệp Với học viên cơng nghệ Big data công nghệ mới, việc nghiên cứu thời gian ngắn nên chưa khám phá lĩnh hội hết công nghệ Tuy nhiên, đề học viên nghiên cứu khái quát nội dung chính: (1) Nghiên cứu tổng quan Dữ liệu lớn mơ hình ứng dụng thành phố thơng minh, nghiên cứu ảnh hưởng liệu lớn đến thành phố thông minh (2) Nghiên cứu phương pháp giảm tải mạng Wifi Offload cho mạng viễn thông, cụ thể nghiên cứu kiến trúc giải pháp EPC tích hợp mạng truy cập IP Non-3GPP tin cậy khơng tin cậy, tìm hiểu chế chuyển giao mạng truy cập IP Non-3GPP tin cậy Hiện nay, giải pháp giảm tải lưu lượng mạng di động nghiên cứu áp dụng nhiều nước giới để đáp ứng tốt nhu cầu lưu lượng ngày tăng mạng di động WiFi Offload xem giải pháp giảm tải lưu lượng hiệu cho mạng di động (3) Bên cạnh nghiên cứu cần thiết kỹ thuật bảo mật thách thức việc thiết kế kỹ thuật bảo mật cho mạng 5G Do ứng dụng đa dạng, nhiều thiết bị, loại công nghệ truyền thông khác mục tiêu mong muốn truyền thông nhanh, việc thiết kế mạng 5G an toàn đầu cuối nhiệm vụ quan trọng khơng tầm thường Do đó, loạt hướng nghiên cứu phức tạp thú vị bối cảnh mạng 5G mở để khám phá (4) Nghiên cứu đề xuất áp dụng blockchain việc truyền dẫn xử lý liệu thành phố thông minh Chú trọng vào việc xây dựng mô hình ứng dụng cơng nghệ thơng tin thành phố thông minh Chỉ bất cập việc truyền tải, cập nhật xử lý liệu mô hình Nghiên cứu đề xuất sử dụng kỹ thuật khối chuỗi (Blockchain) thành phố thông minh với khả truyền tải liệu lớn Lý thuyết chứng minh cho thấy khả xử lý mơ hình đề xuất tăng gấp 100 lần so với mô hình truyền thống Cho thấy mơ hình đề xuất áp dụng việc triển khai hệ thống thực tế 114 TÀI LIỆU THAM KHẢO O'Reilly Media Team (2012), Big Data Now (2012 Edition), O'Reilly Media https://tuoitre.vn/hoc-big-data-dap-ung-con-khat-nhan-luc2022052710563949.htm H Lee, M.G Hancock, and M Hu, Towards an effective framework for building smart cities: Lessons from Seoul and San Francisco, Technological Forecasting and Social Change, in press, 2014 FIVE DISEASES THAT THRIVE IN POOR SANITATIONhttps://borgenproject.org/five-diseases-that-thrive-in-poor-sanitation/ Giải toán rác thải sinh hoạt Hà Nội- https://www.qdnd.vn/xa-hoi/cac-vande/giai-bai-toan-rac-thai-sinh-hoat-o-ha-noi-685719 N Panwar et al., “A survey on 5G: The next generation of mobile communication,” Physical Communication, vol 18, pp 64–84, 2016 “5G scenarios and security design,” tech rep., Huawei, 2016 Available at: http://www-file.huawei.com/∼/media/CORPORATE/PDF/ white%20paper/5gscenarios- and- security- design.pdf “5G PPP phase1 security landscape,” tech rep., 5GPPP, 2017 Available at: https://5g-ppp.eu/wp-content/uploads/2014/02/5G-PPP White-Paper Phase-1Security-Landscape June-2017.pdf “5G security recommendations package #2: Network slicing,” tech rep., NGMN Alliance, April, 2016 Available at: https://tinyurl.com/y6yrvnd3 10 F Boccardi et al., “Five disruptive technology directions for 5G,” IEEE Communications Magazine, vol 52, no 2, pp 74–80, 2014 11 R Ferru ś et al., “SDN/NFV-enabled satellite communications net- works: Opportunities, scenarios and challenges,” Physical Communication, vol 18, pp 95–112, 2016 12 “How spies stole the keys to the encryption castle,” tech rep Available at: https://theintercept.com/2015/02/19/great-sim-heist/ 13 J.Caoetal.,“AsurveyonsecurityaspectsforLTEandLTE-Anetworks,” IEEE Communications Surveys and Tutorials, vol 16, no 1, pp 283–302, 2014 14 Enticknap, Nicholas (Summer 1998), "Computing's Golden Jubilee", Resurrection, The Computer Conservation Society (20), ISSN 0958- 7403, retrieved 19 April 2008 115 15 Oestreich, Ken, (2010-11-15) "Converged Infrastructure" CTO Forum Thectoforum.com Archived from the original on 2012-01-13 Retrieved 2011-1202 16 Santucci, Gérald "The Internet of Things: Between the Revolution of the Internet and the Metamorphosis of Objects" (PDF) European Commission Community Research and Development Information Service Retrieved 23 October 2016 17 M Babaioff, S Dobzinski, S Oren, and A Zohar On bitcoin and red balloons research.microsoft.com/pubs/156072/bi tcoin.pdf, 2011 18 H Lee, M.G Hancock, and M Hu, Towards an effective framework for building smart cities: Lessons from Seoul and San Francisco, Technological Forecasting and Social Change, in press, 2014 116