Một thành phố thông minh khai thác và hưởng lợi từ việc thu thập và xử lý dữ liệu bằng cách sử dụng các công nghệ khác nhau về truyền thông, mạng và điện toán, từ đó dẫn đến sự đổi mới c
Ứng dụng Deep Learning và IoT để hỗ trợ phát triển thành phố thông minh
Các công việc liên quan và những đóng góp chính của cuộc khảo sát hiện tại
Phân tích dữ liệu IoT đã trở thành tâm điểm chú ý trong nhiều lĩnh vực, thúc đẩy các nhà nghiên cứu tiến hành nhiều cuộc khảo sát Những khảo sát này không chỉ điều tra việc ứng dụng Machine Learning (ML) mà còn tập trung vào Deep Learning (DL) nhằm phục vụ cho các ứng dụng IoT.
Mohammadi và cộng sự đã trình bày các phương pháp học sâu (DL) mới nhất cho các ứng dụng Internet of Things (IoT) Cuộc khảo sát này nêu bật các đặc điểm của dữ liệu lớn phát sinh từ IoT và phân tích cách thức khai thác thông tin từ dữ liệu đó.
Mahdavine và cộng sự, [16] đã trình bày một cuộc khảo sát thảo luận về các kỹ thuật
Các phương pháp học máy (ML) khác nhau được áp dụng để phân tích và xử lý dữ liệu IoT trong các ứng dụng thành phố thông minh Bài viết cũng đề cập đến những thách thức tiềm ẩn mà việc triển khai các thuật toán này trong phân tích dữ liệu IoT có thể gặp phải.
Zhang và các cộng sự đã nghiên cứu việc áp dụng Deep Learning (DL) trong các mạng di động và không dây Các tác giả nhấn mạnh tầm quan trọng của việc điều chỉnh DL trong môi trường mạng di động và cung cấp một cái nhìn tổng quan về các nền tảng đa dạng hỗ trợ cho việc triển khai công nghệ này.
Trong [18] , Zhang và cộng sự, đã xem xét các công trình hiện có áp dụng các kỹ thuật
Deep learning for big data analytics encompasses four key models: stacked auto-encoders, deep belief networks, convolutional neural networks, and recurrent neural networks.
Qolomany và cộng sự đã thực hiện một cuộc khảo sát về việc ứng dụng Machine Learning (ML) trong phân tích dữ liệu lớn để thúc đẩy sự phát triển của các tòa nhà thông minh Họ đã phân loại và báo cáo các ứng dụng và hệ thống tòa nhà thông minh khác nhau, bao gồm chăm sóc người cao tuổi tại nhà, nâng cao hiệu quả năng lượng, giải trí, an ninh và nhiều dự án khác.
Chen và cộng sự đã thực hiện một cuộc khảo sát về việc ứng dụng học sâu (DL) trong dữ liệu thành phố thông minh Họ đã tổng hợp các nghiên cứu mới nhất liên quan đến các ứng dụng và dịch vụ trong nhiều tình huống sử dụng khác nhau của thành phố thông minh, bao gồm lĩnh vực giao thông, chăm sóc sức khỏe, môi trường và an ninh.
Bảng 1 tóm tắt các công việc chi tiết trước đây và chỉ ra những hạn chế của chúng, từ đó làm nổi bật những đóng góp chính của cuộc khảo sát hiện tại.
Những đóng góp chính của nghiên cứu được đề xuất trong các câu hỏi nghiên cứu sau:
Hệ sinh thái thành phố thông minh có nhiều trường hợp sử dụng chính, bao gồm quản lý giao thông, tiết kiệm năng lượng, và cải thiện chất lượng cuộc sống cho cư dân Các thuật toán học sâu (DL) phổ biến trong Internet vạn vật (IoT) có thể được phân loại thành các nhóm như mạng nơ-ron tích chập (CNN), mạng nơ-ron hồi tiếp (RNN), và mạng nơ-ron đối kháng (GAN), giúp tối ưu hóa việc thu thập và phân tích dữ liệu trong các ứng dụng thông minh.
So sánh các giấy tờ khảo sát có liên quan.
Tạp chí Phươn g pháp luận
Lĩnh vực Trường hợp sử dụng Mục đích chính Hạn chế
Moha mmadi và cộng sự.
3 Chăm sóc sức khỏe thông minh
8 Cơ sở hạ tầng IoT
Xem xét các phương pháp tiếp cận DL gần đây cho các ứng dụng và dịch vụ IoT
- Không tập trung chuyên sâu vào các dịch vụ thành phố thông minh IoT và Ứng dụng
- Không giải quyết các thách thức kỹ thuật / kinh doanh khác nhau và các vấn đề mở liên quan đến sự phát triển của thành phố thông minh
Mahda vine và cộng sự.
Xem xét các kỹ thuật ML và ứng dụng của chúng trong các trường hợp sử dụng thành phố thông minh
Bài viết chỉ tập trung vào bốn trường hợp sử dụng chính trong các ứng dụng thành phố thông minh, bao gồm năng lượng thông minh, di chuyển, công dân và quy hoạch đô thị Những lĩnh vực này đóng vai trò quan trọng trong việc cải thiện chất lượng cuộc sống và tối ưu hóa quản lý đô thị.
- Không điều tra việc sử dụng các kỹ thuật DL để phân tích dữ liệu thành phố thông minh IoT
- Không thảo luận về các vấn đề mở liên quan đến sự phát triển của thành phố thông minh Zhang và cộng sự [17]
Mạng di động - Xem xét các kiến trúc DL và việc sử dụng chúng trong các mạng di động
Việc nghiên cứu ứng dụng dữ liệu lớn (DL) trong các lĩnh vực IoT, đặc biệt là trong phát triển các thành phố thông minh, hiện đang bị thiếu sót Zhang và cộng sự [18] đã chỉ ra rằng việc điều tra này cần được chú trọng hơn để tối ưu hóa các giải pháp công nghệ cho đô thị thông minh.
Informatio n Fusion Khảo sát toàn diện
Big Data 1 Số lượng lớn dữ liệu
2 Dữ liệu không đồng nhất
3 Dữ liệu thời gian thực
4 Dữ liệu chất lượng thấp Đánh giá một số công trình áp dụng kỹ thuật
DL cho việc học tính năng dữ liệu lớn
- Chỉ xem xét các nghiên cứu sử dụng mô hình DL để học tính năng dữ liệu lớn
- Không điều tra cụ thể việc sử dụng DL trong các ứng dụng IoT khác nhau
- Không xem xét các ứng dụng IoT sử dụng mô hình DL cho thành phố thông minh
1 Chăm sóc người cao tuổi tại nhà
2 Hiệu quả năng Đánh giá việc sử dụng ML và phân tích dữ
- Không xem xét việc triển khai các mô hình
ML trong điện toán sự [19]
3 Thoải mái và giải trí
4 An toàn và bảo mật
5 Các dự án khác liệu lớn để phát triển các tòa nhà thông minh sương mù/biên
- Không xem xét kỹ thuật DL
- Không tập trung vào các trường hợp sử dụng thành phố thông minh dựa trên IoT
Rà soát việc sử dụng Deep Learning (DL) trong dữ liệu thành phố thông minh, tổng hợp các mô hình DL phổ biến và khảo sát các công trình nghiên cứu mới nhất liên quan đến ứng dụng DL trong phát triển thành phố thông minh.
- Không bao gồm các trường hợp sử dụng nhà thông minh và nông nghiệp
- Không điều tra việc sử dụng đám mây, sương mù và điện toán biên với các ứng dụng dựa trên DL
- Không thảo luận về vấn đề dữ liệu lớn IoT
Tóm lại, cuộc khảo sát này cung cấp những đóng góp chính sau đây làm câu trả lời cho các câu hỏi nghiên cứu được liệt kê trước đó:
Chúng tôi đã chọn thành phố thông minh là lĩnh vực ứng dụng công nghệ IoT, cung cấp các hệ thống IoT cho nhiều miền khác nhau Các dịch vụ này được phân loại thành sáu trường hợp sử dụng chính: nhà thông minh, chăm sóc sức khỏe thông minh, giao thông thông minh, giám sát thông minh, nông nghiệp thông minh và môi trường thông minh.
Trong những năm gần đây, các kỹ thuật học máy (ML) chủ yếu sử dụng các mô hình học sâu (DL), mang lại thành công trong nhiều ứng dụng như xử lý hình ảnh, giọng nói và nhận dạng mẫu Bài khảo sát này đề xuất phân loại các mô hình DL liên quan thành sáu nhóm chính trong lĩnh vực dữ liệu lớn IoT, bao gồm: (1) mạng nơ-ron tích chập, (2) mạng nơ-ron hồi quy, (3) mạng niềm tin sâu, (4) bộ mã hóa tự động xếp chồng, (5) học tăng cường sâu và (6) mạng đối kháng phát sinh.
Để điều tra việc sử dụng Deep Learning (DL) trong các thành phố thông minh, chúng tôi đã xem xét khoảng 60 tài liệu liên quan đến phân tích dữ liệu lớn IoT Qua việc thảo luận về các nghiên cứu này, chúng tôi cung cấp cái nhìn kỹ thuật về các thuật toán DL đang được áp dụng trong các ứng dụng IoT Cuộc thảo luận này sẽ hỗ trợ những người quan tâm hiểu rõ hơn về các thuật toán DL phù hợp nhất để xử lý dữ liệu lớn IoT được thu thập từ các thiết bị thông minh.
Background and basic concepts
IoT, hay Internet vạn vật, là sự kết nối giữa nhiều thiết bị qua internet, tạo ra một môi trường thông minh Các thiết bị giao tiếp dựa trên các tiêu chuẩn truyền thông, cho phép chia sẻ và trao đổi thông tin trên các nền tảng khác nhau IoT được áp dụng rộng rãi trong nhiều lĩnh vực như giao thông vận tải, an ninh, giáo dục, nông nghiệp và y tế.
3.1.1 IoT architeture Được chia ra thành 4 phần: hardware, connectively and communication iddleware, big data storage and analytics, IoT application.
Phần cứng: gồm nhiều thiết bị thông minh khác nhau: cảm biến, bộ truyền động
Cảm biến thu thập data và thông tin từ môi trường, bộ truyền động chịu trách nhiệm biến đổi tín hiệu điện thành các hành động hữu hình.
Cảm biến thu nhận thông tin theo thời gian thực nên cho phép kết nối các thiết bị vật lý và mạng kỹ thuật số.
Phần kết nối và giao tiếp đóng vai trò quan trọng trong việc truyền tải dữ liệu từ cảm biến đến cloud Hầu hết dữ liệu thu được sẽ được lưu trữ trực tuyến, và các công nghệ như Wifi, RFID và Ethernet sẽ hỗ trợ cho quá trình truyền dẫn này.
Lưu trữ và phân tích dữ liệu lớn là quá trình quan trọng, trong đó dữ liệu thu thập từ cảm biến được tổ chức và xử lý để rút ra những giá trị có ý nghĩa Phân tích dữ liệu giúp chuyển đổi thông tin thô thành những hành động cụ thể và hiểu biết sâu sắc, từ đó hỗ trợ việc ra quyết định hiệu quả.
Có 3 kiểu data chính để phân tích dữ liệu: mô tả, dự đoán, kê đơn:
1 Descriptive analytics: phân tích mô tả đo lường và bối cảnh hóa các thành tựu trong quá khứ và theo dõi hiệu suất hiện tại để cải thiện việc đưa ra quyết định Mục tiêu chính là rút ra kết luận, đưa ra dữ liệu ẩn đã thu nhập và tạo ra 1 bản báo cáo có ý nghĩa, cung cấp thông tin có thể không hữu ích cho dự đoán hoặc dự báo.
2 Predictive analytics : dùng để trích xuất thông tin từ data thô Trích xuất các mẫu và tim hiểu được mqh từ dữ liệu lớn data Phần dự đoán sử dụng số liệu thống kê của trước và hiện tại để dự báo và dự đoán các hành vi sự kiện
3 Prescriptive analytics: tiên tiến hơn 2 loại trên Nó có thể biết định lượng tác động của các quyết định trong tương lai và đưa ra các khuyến nghị về kết quả khi đưa ra quyết định Nó dựa trên 1 tập hợp các lựa chọn và đề xuất khả thi.
Ứng dụng IoT : được sử dụng vào các ứng dụng khác nhau ở 1 số lĩnh vực: gtvt, giám sát, y tế, nông nghiệp, nhà thông minh, …
3.1.2.Đặc điểm của IOT Bigdata:
Mohammadiet định nghĩa đặc điểm của big data với 6 tính năng như sau:
Khối lượng dữ liệu đề cập đến quy mô khổng lồ của thông tin được tạo ra và lưu trữ trong hàng tỉ hàng và cột Do đó, việc áp dụng công nghệ mới là cần thiết để xử lý lượng dữ liệu lớn này, nhằm trích xuất thông tin hữu ích.
Tốc độ (velocity) trong lĩnh vực dữ liệu đề cập đến khả năng tạo ra dữ liệu với tốc độ cao Trong cơ sở hạ tầng IoT, nhiều thiết bị và cảm biến tự động nhận, lưu trữ và truyền tải dữ liệu qua nhiều nền tảng khác nhau thông qua internet.
Variety (đa dạng): đề cập đến các format và kiểu khác nhau trong iot, iot data có thể đến từ:
Dữ liệu phi cấu trúc: dữ liệu không tuân theo bất định dạng nào như text, văn bản pdf hình ảnh, video
Dữ liệu gần như có cấu trúc
Dữ liệu bán cấu trúc
Dữ liệu có cấu trúc
Veracity (tính xác thực) đề cập đến độ chính xác và tính hợp lệ của dữ liệu thu thập được Tính năng này đóng vai trò quan trọng vì nó ảnh hưởng trực tiếp đến kết quả phân tích.
Tính khả biến: đề cập đến tốc độ thay đổi cua chuyển đọng dữ liệu.
3.2 Cơ sở hạ tầng tính toán cho phân tích bigdata IOT
Trong những năm gần đây, phân tích dữ liệu lớn IoT đã đạt được những cải tiến đáng kể về hiệu suất và độ chính xác nhờ vào kỹ thuật học sâu (DL) Mặc dù yêu cầu tính toán và bộ nhớ cao, nhưng vấn đề này có thể được giải quyết thông qua các nền tảng tính toán tiên tiến Điện toán đám mây, điện toán biên và điện toán sương mù được thiết kế như những giải pháp mở rộng cho mạng đám mây, cho phép thực hiện phân tích DL gần với nguồn dữ liệu Sự khác biệt giữa hai phương pháp này là điện toán sương mù được triển khai trên các máy chủ trong mạng cục bộ, trong khi điện toán biên hoạt động trực tiếp trên các thiết bị thông minh.
Cho phép truy cập dữ liệu từ bất kỳ đâu và vào bất kỳ thời điểm nào, với nhiều máy chủ và trung tâm dữ liệu có sẵn trên internet phục vụ cho người dùng toàn cầu.
Lưu trữ qua internet, hay còn gọi là điện toán đám mây, là một hệ thống kết nối các máy chủ với các thiết bị phân tán khác nhau thông qua giao thức TCP/IP (Transmission Control Protocol/Internet Protocol).
Dịch vụ trực tuyến hiện nay cung cấp nhiều tùy chọn đa dạng, bao gồm mạng lưới và trí tuệ nhân tạo, nhằm hỗ trợ con người từ nhiều vị trí khác nhau.
Các ứng dụng đám mây là chương trình hoạt động qua internet, cho phép thực hiện các tác vụ mà không cần cài đặt trên máy tính Để áp dụng thuật toán học sâu (DL), dữ liệu từ các thiết bị IoT được chuyển tiếp đến cơ sở hạ tầng đám mây, nơi chúng được lưu trữ và phân tích theo thời gian thực bằng các thuật toán DL khác nhau.
Một số hạn chế được tóm tắt:
Chi phí tính toán trong mô hình học sâu (DL) liên quan đến việc chuyển một lượng lớn dữ liệu dược lên đám mây trong hai giai đoạn: đào tạo và suy luận Quá trình này tiêu thụ băng thông lớn, dẫn đến việc tăng chi phí sử dụng tài nguyên.
Sử dụng học sâu trong các ứng dụng của thành phố thông minh
Các thiết bị thông minh hiện nay có khả năng tự học để đưa ra quyết định và thực hiện hành động hiệu quả hơn Chúng cải thiện khả năng thông qua việc phân tích dữ liệu đã thu thập, thường được lưu trữ trên máy chủ hoặc đám mây, và áp dụng nhiều kỹ thuật học sâu (DL) để tối ưu hóa quá trình này.
Các lĩnh vực khác nhau trên toàn thành phố gần đây sử dụng các công nghệ thông minh Những lĩnh vực này bao gồm:
1 Nhà thông minh: nhà ở chứa các thiết bị tiên tiến như tủ lạnh, đèn chiếu sáng và tivi được kết nối với internet giao tiếp với nhau và chia sẻ dữ liệu với người dùng, giúp tiết kiệm năng lượng
2 Chăm sóc sức khỏe thông minh: Ví dụ đồng hồ thông minh có thể đo được nhịp tim, nhiệt độ hoặc trạng thái đường huyết kết nối với mạng internet và báo cáo dữ liệu trực tuyến cho bác sĩ hoặc người thân khi có dấu hiệu bất thường giúp theo dõi sức khỏe liên tục cập nhật theo thời gian thực.
3 Giao thông thông minh: các thiết bị tiên tiến cùng với dịch vụ tối ưu hóa giúp cung cấp bãi đậu xe thông minh, giảm mật độ đám đông và tăng tính di động trong thành phố, cải thiện lưu lượng, giảm ùn tắc.
4 Giám sát thông minh: triển khai các thiết bị giám sát như camera thông minh ở các khu vực thành phố để tăng cường giám sát và ngăn ngừa sự cố Thu thập, phân tích dữ liệu theo thời gian thực, phát hiện sớm các thảm họa và ngăn chặn nguy hiểm xảy ra.
5 Nông nghiệp thông minh: việc sử dụng các thiết bị IoT trong nông nghiệp để tự động hóa và cải tiến, giúp sản xuất cây trồng sạch và tăng cường quy trình thu hoạch, đóng gói và vận chuyển thông qua các dịch vụ như điều khiển thông minh.
6 Môi trường thông minh: sử dụng các cảm biến thông minh được phân bổ trong các cơ sở khác nhau của thành phố Những cảm biến này giám sát và thậm chí kiểm soát các điều kiện môi trường nhằm mang lại một môi trường trong lành hơn.
Hệ sinh thái thành phố thông minh được minh họa qua việc thu thập dữ liệu từ các cảm biến thông minh tích hợp trong thiết bị và vật dụng khác nhau Dữ liệu này sau đó được chuyển đến fog (sương mù) và cloud (đám mây) để lưu trữ, phân tích và tính toán Cuối cùng, những thông tin này phục vụ cho các ứng dụng IoT đa dạng trên toàn thành phố.
Hình 19 Một đại diện của hệ sinh thái thành phố thông minh.
Việc sử dụng DL tiên tiến nhất cho các ứng dụng IoT trong thành phố thông minh sẽ được phân tích, làm rõ hơn trong các tiểu mục sau:
4.1.Nhà thông minh: Quản lý năng lượng
Các tòa nhà tiêu thụ nhiều năng lượng do thiết bị sử dụng, nhưng thường lãng phí năng lượng do quản lý kém Việc áp dụng công nghệ mới như IoT và Deep Learning giúp giám sát thiết bị và điều chỉnh năng lượng sử dụng theo thời gian thực, từ đó đảm bảo tiết kiệm hiệu quả.
Phương pháp 1: Trong [121], Popa et al đã đề xuất một nền tảng Smart Home
Hệ thống SHE điều khiển cảm biến và actuators, sử dụng thuật toán tự động hóa để giám sát các hệ thống gia đình Các mô hình này giúp phát hiện và tính toán biến động trong mức tiêu thụ năng lượng, từ đó đưa ra lời khuyên cho người dùng, góp phần giảm chi phí điện năng.
Phương pháp 2: Rashid et al trong nghiên cứu [122] đã phát triển một hệ thống giám sát năng lượng thông minh bằng cách sử dụng LSTM, bao gồm ba thành phần chính: phích cắm thông minh dựa trên Raspberry Pi để thu thập dữ liệu, Google Gulab làm máy chủ đào tạo, và bảng điều khiển với thư viện Matplotlib Hệ thống này cho phép dự đoán tiền điện, phát hiện và thông báo mức tiêu thụ bất thường của thiết bị, đạt hiệu suất cao.
Phương pháp 4 nghiên cứu của Kim et al [119] áp dụng kết hợp CNN-LSTM để dự báo mức tiêu thụ năng lượng điện Trong đó, CNN được sử dụng để trích xuất các đặc điểm tiêu thụ năng lượng, trong khi LSTM giúp loại bỏ thông tin tạm thời về các xu hướng bất thường Kết quả cho thấy mô hình này có khả năng dự báo mức tiêu thụ năng lượng phức tạp với độ chính xác cao.
Phương pháp 5 của Yan et al [106] giới thiệu một mô hình học sâu hỗn hợp để dự đoán mức tiêu thụ năng lượng, kết hợp mạng neural LSTM với kỹ thuật Biến đổi bước sóng cố định (SWT) Kết quả cho thấy phương pháp này đạt độ chính xác cao hơn so với các phương pháp trước đây, bao gồm LSTM và CNN kết hợp với LSTM.
Phương pháp 6, do Le và cộng sự đề xuất, giới thiệu khung chuẩn đoán mức tiêu thụ năng lượng điện mang tên EECP-CBL Khung này sử dụng hai mạng nơ-ron tích chập (CNN) để trích xuất các tính năng từ dữ liệu về mức tiêu thụ điện năng của từng gia đình, trong khi mạng nơ-ron hồi tiếp (LSTM) thực hiện dự đoán về lượng năng lượng tiêu thụ dựa trên thông tin đã được trích xuất LSTM hoạt động bằng cách tiếp nhận dữ liệu từ hai hướng: trạng thái tiến và trạng thái lùi, cho phép tích lũy thông tin và đưa ra dự đoán chính xác hơn.
Trường hợp sử dụng Ứng dụng
Dữ liệu đầu vào Mô hình DL Cơ sở hạ tầng điện toán
[121] Các tác giả phát triển tập dữ liệu của riêng họ từ các thiết bị gia đình
AE+LSTM Điện toán đám mây [122]
[124] tập dữ liệu IHEP LSTM
LSTM S2S CNN+LSTM CNN+Bi-LSTM
[106] Bộ dữ liệu DALE của Vương quốc
Bảng 5: Bảng tóm tắt các giải pháp liên quan đến nhà thông minh
Bảng 5 là bảng tóm tắt các phương án trên, cung cấp mô hình DL và loại cơ sở hạ tầng máy tính mà mỗi phương án sử dụng.
4.2.Chăm sóc sức khỏe thông minh
IoT đang làm thay đổi dịch vụ chăm sóc bệnh nhân bằng cách tối ưu hóa việc sử dụng thiết bị, giảm chi phí và tạo ra nguồn thu Công nghệ IoT không chỉ cải thiện chất lượng dịch vụ chăm sóc sức khỏe mà còn hỗ trợ trong việc chăm sóc người già, dự đoán bệnh tật và đánh giá thực đơn thông qua các ứng dụng sử dụng kỹ thuật học sâu (DL).
4.2.1.Chăm sóc người cao tuổi
Sử dụng Deeplearning cho thành phố thông minh: thách thức và các vấn đề nghiên cứu trong tương lai
Phát triển hệ thống thành phố thông minh cần đối mặt với nhiều thách thức, được chia thành hai nhóm chính: thách thức kỹ thuật và thách thức kinh doanh.
Hình 20: Thách thức của việc triển khai Deeplearning cho thành phố thông minh
6.1.1.Thách thức về kỹ thuật
6.1.1.1.Vấn đề bảo mật và quyền riêng tư:
Một trong những thách thức lớn nhất trong ứng dụng IoT ở thành phố thông minh là vấn đề bảo mật, ảnh hưởng đến hiệu suất và độ tin cậy của hệ thống Các mối đe dọa, như việc chèn luồng dữ liệu sai, có thể lợi dụng các thiết bị IoT và cảm biến để gửi thông tin không chính xác, dẫn đến những phân tích và dự đoán sai lệch Bên cạnh đó, quyền riêng tư cũng là một thách thức lớn, đặc biệt là khi dữ liệu cá nhân, như hình ảnh từ camera giám sát nơi công cộng và thông tin bệnh án, có thể bị thu thập và khai thác bởi bên thứ ba mà không có sự cho phép.
Một số công trình đã đề xuất các giải thuật bảo vệ quyền riêng tư để giải quyết các vấn đề liên quan Tuy nhiên, ngay cả những phương pháp này vẫn có thể bị tấn công Tin tặc có khả năng phát triển các thuật toán Deep Learning để học hỏi từ những thuật toán khác, từ đó phát hiện các mối đe dọa và tạo ra các cuộc tấn công tinh vi, khó phát hiện hơn.
6.1.1.2.Vấn đề dữ liệu lớn của IoT:
Sự bùng nổ dữ liệu từ các thiết bị IoT đang tạo ra thách thức lớn trong việc lưu trữ, giao tiếp, xây dựng và phân tích Việc lưu trữ dữ liệu lâu dài trở nên khó khăn, vì các phương pháp truyền thống không thể đáp ứng được Do đó, cần thiết phải xây dựng hạ tầng đặc biệt để xử lý khối lượng lớn dữ liệu có cấu trúc và phi cấu trúc Hơn nữa, việc phân tích dữ liệu lớn từ IoT yêu cầu công nghệ tiên tiến để trích xuất thông tin giá trị, bao gồm vi xử lý hiệu suất cao, dịch vụ điện toán đám mây mở rộng và phần mềm phân tích dữ liệu lớn như Apache Hadoop.
Các mô hình Deeplearning đã được ứng dụng hiệu quả trong các thành phố thông minh, mang lại kết quả khả quan với độ chính xác cao trong phân loại và tỷ lệ lỗi thấp Tuy nhiên, vẫn tồn tại những tình huống mà các mô hình này không thể thay thế giải pháp cổ điển, do đó cần xem xét một số hạn chế của chúng.
Các mô hình học sâu (DL) yêu cầu một lượng lớn dữ liệu để đạt được kết quả tối ưu, đặc biệt là các kỹ thuật học có giám sát, vốn cần một số lượng lớn hình ảnh để huấn luyện hiệu quả.
Tập dữ liệu lớn sẽ làm cho quá trình đào tạo rất phức tạp, tốn kém về mặt tính toán và thời gian.
Trước khi huấn luyện mô hình, việc xử lý dữ liệu đầu vào, đặc biệt là các ảnh có kích thước lớn như hình ảnh từ vệ tinh, là rất cần thiết Tuy nhiên, quá trình này thường tốn nhiều thời gian và chi phí.
Các nhà nghiên cứu thường gặp khó khăn do giới hạn của các bộ dữ liệu hiện có Trong nhiều trường hợp, họ phải tự thu thập dữ liệu, điều này tốn nhiều thời gian và công sức.
Các mô hình Deep Learning đã được áp dụng để giải quyết các vấn đề cụ thể, nhưng chúng gặp khó khăn trong việc khái quát hóa cho các tình huống tương tự nhưng khác biệt Điều này có nghĩa là các mô hình này không thể được sử dụng lại do hạn chế của tập dữ liệu ban đầu Chẳng hạn, trong nghiên cứu Deep Count, mô hình này hoạt động hiệu quả trong việc phát hiện và đếm cà chua đỏ, nhưng lại không có khả năng nhận diện cà chua xanh.
6.1.2.1.Vấn đề lập kế hoạch:
Lập kế hoạch là một thách thức quan trọng trong xây dựng thành phố thông minh, cần được xem xét kỹ lưỡng trước khi triển khai Mỗi kế hoạch phát triển phải dựa trên nhu cầu của công dân, giúp ngăn chặn các vấn đề như dịch vụ dư thừa và mạng lưới truyền tải không đồng bộ.
Hỗ trợ lập kế hoạch cải thiện cơ sở vật chất và dịch vụ thành phố bằng cách xác định các lĩnh vực cần nâng cao, đồng thời tạo điều kiện tích hợp các hệ thống kế thừa vào hệ sinh thái mới.
Một trong những đặc điểm chính của thành phố thông minh là sự liên kết giữa các thành phần cấu thành, tuy nhiên, việc thiết lập kết nối này thường tốn kém cho chính quyền Việc triển khai hệ thống giám sát thông minh đòi hỏi phải sử dụng các thiết bị, cảm biến và phần mềm mới để thu thập và phân tích dữ liệu, điều này gây ra chi phí cao Hơn nữa, bất kỳ lỗi nào trong quá trình cài đặt có thể dẫn đến tổn thất lớn và ảnh hưởng nghiêm trọng đến quản lý thành phố Do đó, chi phí trở thành một thách thức quan trọng đối với sự phát triển của thành phố thông minh.
6.1.2.3:Chất lượng dịch vụ: Để thiết lập một thành phố thông minh, chất lượng dịch vụ ( QoS) của các ứng dụng được cung cấp phải được xác thực Các chỉ số QoS được đưa ra trong các nghiên cứu của M.Driss và cộng sự, 2008, được sử dụng để kiểm tra chất lượng dịch vụ, hệ thống bao gồm: thời gian phản hồi, tính khả dụng, khả năng mở rộng và độ tin cậy Một số công nghệ liên quan và được tích hợp để phát triển dịch vụ thành phố thông minh, bao gồm: điện toán đám mây, mạng lưu trữ và nền tảng xử lý Rất quan trọng để đảm bảo chất lượng dịch vụ tốt, một hệ thống linh hoạt và đáng tin cậy.
6.2.Thực trạng và xu thế tương lai:
6.2.1.Cải thiện sử dụng học chuyển giao:
Học chuyển giao (Transfer learning) là một phương pháp học tập tiên tiến cho phép tận dụng kiến thức đã có để giải quyết các vấn đề mới, giúp tiết kiệm tài nguyên và thời gian so với các mô hình Deep learning truyền thống Nghiên cứu gần đây đã chỉ ra tiềm năng của việc áp dụng Deep learning trong học chuyển giao Trong tương lai, phương pháp này hứa hẹn sẽ có nhiều ứng dụng quan trọng trong phát triển thành phố thông minh.
Một số cải tiến khi sử dụng học chuyển giao:
6.2.2.Sự xuất hiện của microservices trong phân tích dữ liệu:
Công nghệ microservices là một phiên bản của công nghệ dịch vụ Web, cho phép phát triển ứng dụng IoT thông qua các thực thể được tối ưu hóa, liên kết lỏng lẻo và có thể tái sử dụng Việc thay đổi hoặc chỉnh sửa các thực thể này rất dễ dàng, giúp nâng cao khả năng mở rộng và tính tái sử dụng của ứng dụng.
Một số cải tiến được cung cấp bằng cách tích hợp công nghệ microservices với phân tích dựa trên Deeplearning, bao gồm:
Khả năng cải thiện và nâng cao hiệu suất của các ứng ựng Deeplearning đặc biệt là tính khả dụng và thời gian phản hồi.
Tính năng động của các hệ thống Deeplearning đã phát triển được tăng cường và làm cho hệ thống trở nên nhanh hơn, giảm độ trễ.
Tính phân khối của các ứng dụng, trong đó các dịch vụ Deeplearning phức tạp được chia thành các microservices đơn giản, có thể tái sử dụng.
Việc cấu hình lại khá dễ dàng cho các ứng dụng dựa trên tổng hợp microservices, thường là thêm, cập nhật hoặc xóa.
6.2.3.Tích hợp dữ liệu di động, 5G và 6G với phân tích IoT:
Bài toán tái định danh người dựa trên ảnh thu thập từ camera giám sát trong đô thị thông minh .46 1.TỔNG QUAN VỀ BÀI TOÁN ĐỊNH DANH NGƯỜI
Sự cần thiết của bài toán định danh người
Định danh người trong cơ sở dữ liệu hình ảnh lớn là rất quan trọng cho giám sát video và phân tích hoạt động Các khu vực đô thị hiện nay có hàng ngàn camera giám sát, tạo ra lượng dữ liệu video khổng lồ mỗi giây Việc tìm kiếm và định danh nghi phạm hoặc người lạc từ những video này có thể mất nhiều thời gian, do đó, tự động hóa quy trình tìm kiếm là cần thiết để tiết kiệm thời gian và giảm thiểu sự can thiệp của con người Phân tích hành vi có thể được thực hiện liên tục để phát hiện hành động bất thường, theo dõi đối tượng và dự đoán các sự kiện không mong muốn, từ đó cảnh báo kịp thời cho nhân viên an ninh.
Giới thiệu về bài toán định danh người dựa trên hình ảnh
Sơ đồ khối trong bài toán tái định danh mô tả các bước cơ bản, bao gồm việc trích chọn đặc trưng từ ảnh (video) truy vấn và ảnh (video) tìm kiếm Các vector đặc trưng này sau đó được so sánh để xác định sự tương đồng giữa hai cặp ảnh hoặc hai tập ảnh Cuối cùng, các ảnh hoặc tập ảnh trong kết quả tìm kiếm được xếp hạng dựa trên mức độ tương đồng với ảnh hoặc tập ảnh truy vấn.
Hì nh 21: Các bước cơ bản giải quyết bài toán tái dịnh danh
Hình 21: Những thách thức trong bài toán tái định danh a) sự thay đổi cường độ sang b) sự thay đổi góc quan sát c) trang phục giống nhau d) sự che khuất
2.CƠ SỞ LÝ THUYẾT VỀ MÔ HÌNH TÌM KIẾM
NGƯỜI DỰA TRÊN HÌNH ẢNH
Mạng định danh người hoạt động qua ba bước chính: đầu tiên là trích chọn đặc trưng, tiếp theo là tính toán khoảng cách toàn cục và cục bộ, và cuối cùng là tính toán hàm mất mát.
Hình 22 : Sơ đồ các khối của mạng học sâu
Bước 1: Trích chọn đặc trưng từ ảnh đầu vào bằng cách chuẩn hóa kích thước về 256x128 thông qua mạng ResNet50 Đầu ra của khối này sẽ cung cấp các vector thuộc tính cho các ảnh đã được xử lý.
Bước 2 là tính toán khoảng cách toàn cục và cục bộ sau khi đã có các vector đặc trưng của tất cả các ảnh đầu vào Quá trình này được chia thành hai nhánh để tính toán khoảng cách tương đồng, mỗi nhánh áp dụng một phương thức tiếp cận khác nhau, dẫn đến kết quả khác nhau, sẽ được trình bày chi tiết trong phần tiếp theo.
- Bước 3: Tính toán các hàm số mất mát và tối ưu kết quả
3.CÀI ĐẶT VÀ THỬ NGHIỆM MÔ HÌNH ĐỊNH
DANH NGƯỜI DỰA TRÊN HÌNH ẢNH
Tập dữ liệu cho bài toán định danh người dựa trên ảnh
Tập Market1501-Partial được phát triển từ tập dữ liệu Market1501, bao gồm 32,217 ảnh của 1501 nhãn được thu thập từ 6 camera khác nhau Dữ liệu được chia thành hai tập: 750 đối tượng cho tập trainning và 751 đối tượng cho tập testing, trong đó tập testing được phân chia thành hai thư mục nhỏ là query (3,368 ảnh) và gallery (19,732 ảnh) Để tạo ra tập dữ liệu Partial, thuật toán cắt ngẫu nhiên ảnh trong tập query được áp dụng với tỷ lệ từ 10% đến 40%, dẫn đến việc mất khoảng 20% đến 30% thông tin quan trọng trong ảnh.
Cài đặt môi trường và chạy mô hình
3.2.1.Hướng dẫn cài đặt môi trường
Yêu cầu môi trường chạy:
Chuẩn bị các tập dữ liệu cd AlignedReID/ mkdir data/ tạo các thư mục chứa dữ liệu ảnh người:
+ data/Market1501 + data/DukeMTMCReID + data/VIPeR
Tiến hành thuật toán thay đổi lại tập dữ liệu:
To generate the Market1501_Partial dataset, modify the file gen_partial_dataset.py by changing the data_root to “…/data/Market1501/query/” on line 5 and updating the gen_root to “…/data/Market1501-Partial/query/” on line 6.
Chạy lệnh train: python train_alignedreid.py -d [dataset name] -a resnet50 test_distance global_local reranking ( labelsmooth)
+ local: python train_alignedreid.py -d [dataset name] -a resnet50 evaluate resume YOUR_MODEL_PATH save-dir log/resnet50-cuhk03- alignedreid test_distance local ( reranking)
+ global kết hợp local: python train_alignedreid.py -d [dataset name] -a resnet50 evaluate resume YOUR_MODEL_PATH save-dir log/resnet50-cuhk03-alignedreid test_distance global_local ( reranking)
Kết quả
3.3.1.Kết quả huấn luyện mạng
Sau khi tối ưu thuật toán, tôi đạt được các chỉ số 49.59%, 77.65%, 86.93%, và 93.52% cho rank-1, 5, 10 và 20, cao hơn từ 2.44% đến 10.25% so với các phương pháp trước, bao gồm cả LOMO+XQDA Phương pháp FFN vẫn có kết quả tốt hơn với rank-1 đạt 51.06%, cao hơn 1.47% so với phương pháp của tôi, nhờ vào việc kết hợp học sâu và thuộc tính thủ công, mặc dù điều này làm tăng độ phức tạp tính toán và thời gian xử lý.
Hình 24: Thử nghiệm 3 mẫu từ tập Market1501_Partial
According to the United Nations, it is projected that by 2050, 68% of the global population will reside in urban areas This significant shift highlights the increasing trend of urbanization worldwide, emphasizing the need for sustainable city planning and development strategies to accommodate the growing urban populace.
The article discusses the significant role of big data in smart cities, highlighting how it contributes to improved urban management and decision-making processes It emphasizes the integration of various data sources to enhance efficiency and sustainability in urban environments The authors, including I Abaker and T Hashem, provide insights into the implications of big data analytics for city planning and infrastructure development, showcasing its potential to transform urban living The study, published in the International Journal of Information Management, underscores the necessity of leveraging data for the advancement of smart city initiatives.
[3] Statista, Sáng kiến thành phố thông minh: chi tiêu toàn cầu 2023, 2020, https://www.statista.com/ (Truy cập ngày 18 tháng 4 năm 2020)
The Internet of Things (IoT) has become a pivotal area of research, as highlighted in the comprehensive survey by Al-Fuqaha et al (2015), which explores the enabling technologies, protocols, and applications of IoT This study, published in IEEE Communications Surveys & Tutorials, provides valuable insights into the various components that facilitate IoT development and implementation The authors emphasize the significance of understanding these technologies to harness the full potential of IoT in diverse fields For further reading, the full article can be accessed at http://dx.doi.org/10.1109/COMST.2015.2444095.
Smart sensors are advanced devices that enhance data collection and processing through intelligent algorithms They play a crucial role in various applications, including automation, environmental monitoring, and smart homes By integrating technology with traditional sensors, smart sensors improve efficiency and accuracy in data reporting Their ability to communicate wirelessly allows for real-time data analysis and decision-making As the demand for smart technologies grows, understanding smart sensors becomes essential for innovation and development in multiple industries.
(Truy cập ngày 2 tháng 2 năm 2020)
[6] M Chen, S Mao, Y Zhang, V.C.M Leung, Dữ liệu lớn: các công nghệ liên quan, thách thức và triển vọng tương lai, 2014, http://www.springer.com/series/10028 (Truy cập ngày 2 tháng 2 năm 2020)
K Hwang and M Chen's work, "Big Data Analytics for Cloud, IoT, and Cognitive Computing," published in 2017, explores the integration of big data analytics within cloud computing and the Internet of Things (IoT) This resource provides insights into the methodologies and technologies that enhance data processing capabilities, enabling smarter decision-making and improved operational efficiency across various sectors The book emphasizes the critical role of cognitive computing in analyzing large datasets, facilitating innovative solutions and applications in a rapidly evolving digital landscape **SEO Keywords:**- Big Data Analytics- Cloud Computing- Internet of Things (IoT)- Cognitive Computing- Data Processing- Operational Efficiency- Innovative Solutions
+IoT+and+cognitive+computing&ots=b_GbM4vzm3&sig=NvT2WrTURAUuS8SCwHIx8P2Rk1k (Truy cập ngày 1 tháng 2 năm 2020)
[8] M Marjani, F Nasaruddin, A Gani, A Karim, I.A.T Hashem, A Siddiqa, I Yaqoob, Big IoT data analytics: Architecture, opportunities, and open research challenges, IEEE Access 5 (2017) 5247–5261, http://dx.doi.org/10.1109/ACCESS.2017.2689040
Nghiên cứu của Yassine, Singh, Hossain và Muhammad (2019) trình bày việc ứng dụng phân tích dữ liệu lớn trong nhà thông minh, kết hợp công nghệ sương mù và điện toán đám mây Bài viết nhấn mạnh tầm quan trọng của việc tối ưu hóa hiệu suất và khả năng mở rộng trong các hệ thống IoT Thông qua việc sử dụng các phương pháp phân tích tiên tiến, nghiên cứu này cung cấp cái nhìn sâu sắc về cách cải thiện quản lý và điều khiển thiết bị thông minh trong môi trường sống hiện đại.
[10] W Boulila, Một cách tiếp cận từ trên xuống để phân đoạn ngữ nghĩa của các hình ảnh viễn thám lớn, Earth Sci Inf 12 (2019) 295–306 , http://dx.doi.org/10.1007/s12145-018-00376-7
[11] Y Bengio, I Goodfellow, A Courville, Học sâu, 2015
[12] G M Mohammadi, A Al-Fuqaha, Enabling cognitive smart cities using big data and machine learning: Approaches and challenges, IEEE Commun Mag 56
(2018) 94–101, http://www.havenondemand.com (Accessed 2 February 2020)
M.M Rathore, A Paul, A Ahmad, và S Rho đã nghiên cứu về quy hoạch đô thị và xây dựng thành phố thông minh dựa trên Internet vạn vật thông qua phân tích dữ liệu lớn Nghiên cứu này được công bố trong tạp chí Comput Netw vào năm 2016, cung cấp những hiểu biết quan trọng về cách áp dụng công nghệ để cải thiện quản lý đô thị Tài liệu có thể được truy cập qua đường dẫn http://dx.doi.org/10.1016/j.comnet.2015.12.023.
[14] R Khatoun, S Zeadally, Thành phố thông minh: khái niệm, kiến trúc, cơ hội nghiên cứu, Commun ACM 59 (2016) 46–57, http://dx.doi.org/10.1145/2858789
In the context of the Internet of Things (IoT), a significant volume of data is generated by numerous sensing devices across various applications This data can be categorized into big data or fast/real-time data streams, necessitating advanced analytics to extract meaningful insights, predict future trends, and facilitate decision-making This survey provides a comprehensive overview of how Deep Learning (DL) techniques can enhance analytics within the IoT framework, addressing key characteristics of IoT data, including its large-scale, heterogeneous nature, and the challenges posed by noise and correlation in time and space The paper emphasizes the importance of DL in meeting the analytic demands of IoT systems and discusses various architectures and algorithms that have successfully leveraged DL for IoT applications Furthermore, it explores the integration of DL in smart IoT devices and examines implementation strategies in fog and cloud environments, while also highlighting potential research directions and challenges in this evolving field.
Machine learning plays a crucial role in analyzing data generated by the Internet of Things (IoT), which encompasses a vast network of Internet-connected devices By 2020, the number of these devices is projected to reach between 25 and 50 billion, resulting in an exponential increase in data volume This big data, characterized by its velocity and variety, poses significant challenges for intelligent processing and analysis The study presents a comprehensive taxonomy of machine learning algorithms tailored for IoT data, focusing on applications in smart cities A notable use case involves the application of Support Vector Machine (SVM) techniques to traffic data in Aarhus, highlighting the potential and challenges of machine learning in this domain.
[17] C Zhang, P Patras, H Haddadi, Deep learning trong mạng di động và không dây: Một cuộc khảo sát, IEEE Commun Surv Tutor (2018) http://arxiv.org/abs/1803.04311
[18] Q Zhang, L.T Yang, Z Chen, P Li, Một cuộc khảo sát về Học Sâu cho dữ liệu lớn, Inf Fusion 42 (2018) 146–157, http://dx.doi.org/10.1016/j.inffus.2017.10.006
In their comprehensive survey, Qolomany et al (2019) explore the integration of machine learning and big data in smart buildings, highlighting innovative approaches to enhance building management and efficiency The study, published in IEEE Access, emphasizes the potential of advanced technologies to optimize energy consumption, improve occupant comfort, and facilitate data-driven decision-making in smart environments For further details, refer to the original article available at IEEE Xplore.
A survey on the emerging field of deep learning for smart city data was conducted by Q Chen, W Wang, F Wu, S De, R Wang, B Zhang, and X Huang, published in IEEE Transactions on Emerging Topics in Computing and Intelligence The article, which spans pages 392 to 410 in the 2019 volume, explores the integration of deep learning techniques in the context of smart city applications For more details, the document can be accessed at the IEEE Xplore website.
[21] A Whitmore, A Agarwal, L da Xu, Internet of things-Một cuộc khảo sát về các chủ đề và xu hướng, Inf Syst Front 17 (2015) 261–274, http://dx.doi.org/10.1007/s10796-014-9489-2
[22] J Gubbi, R Buyya, S Marusic, M Palaniswami, Internet vạn vật (IoT): Tầm nhìn, các yếu tố kiến trúc và định hướng tương lai, Future Gener Comput Syst 29
(2013) 1645–1660, http://dx.doi.org/10.1016/j.future.2013.01.010
[23] S Mukhopadhyay, Cảm biến đeo được để theo dõi hoạt động của con người: Đánh giá, Cảm biến IEEE J 15 (2015) 1321–1330, http://dx.doi.org/10.1109/JSEN.2015.2475626
[24] E Ahmed, I Yaqoob, I.A.T Hashem, I Khan, A.I.A Ahmed, M Imran, A v Vasilakos, Vai trò của phân tích dữ liệu lớn trong Internet of Things, Comput Netw 129 (2017) http://dx.doi.org/10.1016/j.comnet.2017.06.013
[25] Các loại phân tích: phân tích mô tả, dự đoán, chỉ định, 2020, https://www.dezyre.com/article/types-of-analytics-descriptive-predictive-prescriptive-analytics/209 (Truy cập ngày 1 tháng 2 năm 2020)
Phân tích dữ liệu lớn đóng vai trò quan trọng trong Internet of Things (IoT), giúp tối ưu hóa hiệu suất và nâng cao trải nghiệm người dùng Nghiên cứu của Ahmed và các cộng sự (2017) chỉ ra rằng việc khai thác dữ liệu lớn từ các thiết bị IoT có thể cải thiện khả năng ra quyết định và dự đoán xu hướng Sự kết hợp giữa phân tích dữ liệu và IoT không chỉ nâng cao hiệu quả hoạt động mà còn tạo ra cơ hội mới cho các ứng dụng trong nhiều lĩnh vực khác nhau.
Trong bài viết của Abbasi et al (2014), các tác giả đã thực hiện một phân tích mô tả nhằm kiểm tra hành vi của các tin tặc chuyên gia trên các diễn đàn web Nghiên cứu này được trình bày tại Hội nghị Tin học An ninh và Tình báo Chung IEEE, với mục tiêu làm rõ các hoạt động và phương thức mà những tin tặc này sử dụng Kết quả nghiên cứu có thể được tham khảo qua tài liệu với mã số DOI: 10.1109/JISIC.2014.18.
Khoa học dữ liệu, phân tích dự đoán và dữ liệu lớn đang tạo ra một cuộc cách mạng trong thiết kế và quản lý chuỗi cung ứng Những công nghệ này không chỉ thay đổi cách thức hoạt động của doanh nghiệp mà còn giúp tối ưu hóa quy trình và nâng cao hiệu quả Việc áp dụng các phương pháp phân tích tiên tiến cho phép doanh nghiệp dự đoán xu hướng và cải thiện khả năng ra quyết định, từ đó tạo ra lợi thế cạnh tranh bền vững.
[29] D Bertsimas, N Kallus, Từ phân tích dự đoán đến phân tích theo quy định, Manage Sci (2019) http://dx.doi.org/10.1287/mnsc.2018.3253
[30] W Boulila, I.R Farah, A Hussain, Một hệ thống hỗ trợ quyết định mới để giải thích dữ liệu lớn viễn thám, Earth Sci Inform 11 (2018) 31–45, http://dx.doi.org/10.1007/s12145-017-0313-7
[31] W Boulila, I Chebbi, I.R Farah, Dữ liệu lớn: Khái niệm, thách thức và ứng dụng, trong: Computational Collective Intelligence, Springer, 2015, trang 638–647, http://dx.doi.org/10.1007/978-3-319-24306-1_62