Xây dựng hệ thống thu thập và quản lý thông tin từ camera giám sát dựa trên nền tảng FIWARE

Cung cấp cái nhìn tổng quan về hệ thống camera giám sát và phân tích hiện trạng việc xử lý và sử dụng lượng thông tin ghi nhận được từ các hệ thống này. Từ đó đặt ra nhu cầu phải xây dựng một hệ thống thu thập và quản lý thông tin từ camera giám sát. Đề xuất một kiến trúc để thu nhận, trích rút, quản lý thông tin ngữ nghĩa từ video dựa trên ý tưởng kết hợp điện toán cạnh và điện toán đám mây: Một máy tính cạnh được kết nối với hệ thống camera giám sát để thu nhận hình ảnh từ các luồng videos và trích rút thông tin có nghĩa từ chúng bằng cách sử dụng thư viện FFMPEG và một thuật toán đếm số lượng chỗ đỗ xe trống trong bãi đỗ dựa trên kiến trúc Mask RCNN. Sau đó, dữ liệu này được đẩy lên nền tảng điện toán đám mây lưu trữ, quản lý thông tin ngữ nghĩa, được xây dựng dựa trên các thư viện mã nguồn mở của nền tảng FIWARE là Orion Context Broker, Keyrock, và Wilma PEP Proxy.

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ XUÂN TÙNG XÂY DỰNG HỆ THỐNG THU THẬP VÀ QUẢN LÝ THÔNG TIN TỪ CAMERA GIÁM SÁT DỰA TRÊN NỀN TẢNG FIWARE LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH HÀ NỘI - 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ XUÂN TÙNG XÂY DỰNG HỆ THỐNG THU THẬP VÀ QUẢN LÝ THÔNG TIN TỪ CAMERA GIÁM SÁT DỰA TRÊN NỀN TẢNG FIWARE Ngành: Khoa học máy tính Chuyên ngành: Khoa học máy tính Mã số: 8480101.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Lê Thanh Hà TS Ngô Thị Duyên HÀ NỘI - 2020 i MỤC LỤC MỤC LỤC i LỜI CẢM ƠN ii LỜI CAM ĐOAN .iii TÓM TẮT iv DANH MỤC HÌNH VẼ v DANH MỤC BẢNG BIỂU vi Chương Giới thiệu 1.1 Đặt vấn đề 1.2 Các nghiên cứu liên quan 1.3 Những đóng góp luận văn 1.4 Cấu trúc luận văn Chương Tổng quan tảng FIWARE 2.1 Orion Context Broker 2.1.1 MongoDB Database 2.1.2 NGSI-v2 API cách thức hoạt động 2.2 Keyrock Identity Manager 12 2.3 Wilma PEP Proxy 14 Chương Thiết kế cài đặt hệ thống 16 3.1 Kiến trúc tổng quan hệ thống 16 3.2 Phân hệ thu nhận trích rút thơng tin ngữ nghĩa từ camera 18 3.3 Phân hệ lưu trữ, quản lý thông tin ngữ nghĩa 21 3.4 Phân hệ quản lý định danh quyền người dùng 23 Chương Phát triển ứng dụng tìm bãi đỗ xe đánh giá kết 28 4.1 4.2 4.3 4.4 Xây dựng kịch kiểm thử khả ứng dụng hệ thống 28 Cài đặt thuật toán đếm số chỗ trống bãi đỗ xe 28 Thiết kế cài đặt ứng dụng 32 Thử nghiệm ứng dụng 36 4.5 Đánh giá hệ thống 42 KẾT LUẬN 47 TÀI LIỆU THAM KHẢO 48 ii LỜI CẢM ƠN Trước tiên xin dành lời cảm ơn chân thành sâu sắc đến thầy giáo, PGS TS Lê Thanh Hà cô giáo, TS Ngô Thị Duyên – người hướng dẫn, khuyến khích, bảo tạo cho điều kiện tốt từ bắt đầu hồn thành cơng việc Tơi xin dành lời cảm ơn chân thành tới thầy cô giáo khoa Công nghệ thông tin, trường Đại học Cơng nghệ, ĐHQGHN tận tình đào tạo, cung cấp cho kiến thức vô quý giá tạo điều kiện tốt cho tơi suốt q trình học tập, nghiên cứu trường Đồng thời xin cảm ơn tất người thân u gia đình tơi tồn thể bạn bè, người giúp đỡ, động viên tơi vấp phải khó khăn, bế tắc Cuối cùng, xin chân thành cảm ơn bạn học khóa giúp đỡ, động viên tơi học tập nghiên cứu chương trình thạc sĩ Đại học Công nghệ, ĐHQGHN iii LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sĩ công nghệ thông tin “Xây dựng hệ thống thu thập quản lý thông tin từ camera giám sát dựa tảng FIWARE” cơng trình nghiên cứu riêng tôi, không chép lại người khác Trong toàn nội dung luận văn, điều trình bày cá nhân tơi tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, ngày … tháng … năm … … iv TÓM TẮT Hiện Việt Nam, hệ thống camera thông minh (CCTV) sử dụng phổ biến nhiều đơn vị tổ chức khác nhằm giám sát, tăng cường an ninh khu vực Tất hệ thống camera phụ vụ mục đích lưu trữ, quan sát trực tiếp, xem lại video cần Các chức thông minh tự động khai thác thơng tin hình ảnh khơng có, chưa có tảng kết nối với hệ thống camera khác để tổng hợp thơng tin từ chúng Do đó, cần thiết xây dựng hạ tầng kết nối khai thác nguồn tài nguyên liệu hình ảnh từ hệ thống CCTV nhằm phục vụ nhu cầu thông tin xã hội Nắm bắt nhu cầu trên, luận văn tập trung phát triển hệ thống cho phép thu nhận, trích rút, quản lý thơng tin có ý nghĩa từ hệ thống camera giám sát, để từ đưa cảnh báo, phân tích phát triển ứng dụng thơng minh cho người dùng, dựa việc kết hợp sức mạnh điện tốn cạnh điện tốn đám mây Ngồi ra, tốn tìm bãi đỗ xe ơ-tơ thị toán xã hội cấp thiết, nên luận văn áp dụng thuật toán đếm số lượng chỗ đỗ xe trống bãi đỗ từ liệu hình ảnh dựa kiến trúc Mask R-CNN vào hệ thống trên, xây dựng ứng dụng đồ đường tích hợp tính tìm bãi đỗ xe cịn trống dựa vào thơng tin Ứng dụng khơng giải vấn đề thực tế mà cịn cho thấy tính khả thi, tiềm phát triển ý nghĩa thực tiễn cao hệ thống đề xuất Từ khóa: CCTV, điện tốn cạnh, điện tốn đám mây, Mask R-CNN v DANH MỤC HÌNH VẼ Hình 1.1 Các hệ thống camera vị trí khác _ Hình 2.1 So sánh tốc độ truy vấn Mongo SQL Hình 2.2 Mơ hình hoạt động Orion Context Broker _ Hình 2.3 Hệ sinh thái Google FIWARE 12 Hình 2.4 Kiến trúc Keyrock 13 Hình 2.5 Giao diện đăng nhập Keyrock _ 14 Hình 2.6 Cách thức hoạt động Wilma PEP Proxy 15 Hình 3.1 Thiết kế chi tiết hệ thống _ 17 Hình 3.2 Các cơng việc xử lý máy chủ cạnh 19 Hình 3.3 Thiết kế liệu JSON cho tốn tìm bãi đỗ xe _ 20 Hình 3.4 Thiết kế cách thức hoạt động phân hệ lưu trữ, quản lý thông tin ngữ nghĩa Hình 3.5 Sơ đồ hoạt động phân hệ quản lý định danh quyền người dùng _ Hình 3.6 Sơ đồ kết nối hệ thống _ Hình 3.7 Giao diện quản lý ứng dụng đăng ký Keyrock _ Hình 3.8 Thiết lập quyền cho đối tượng người dùng Keyrock Hình 4.1 Hình ảnh bãi đỗ xe đầu vào thuật toán _ Hình 4.2 Q trình nhận biết vị trí đỗ xe xe ô-tô _ Hình 4.3 Cơng thức tính độ che phủ IoU 22 24 25 26 27 29 30 31 Hình 4.4 Kết thực nghiệm thuật toán đếm số lượng vị trí đỗ xe cịn trống 31 Hình 4.5 Biểu đồ use-case ứng dụng 32 Hình 4.6 Sơ đồ khối q trình trích rút liệu ngữ nghĩa _ 33 Hình 4.7 Luồng xác minh định danh quyền ứng dụng 34 Hình 4.8 Sơ đồ khối trình hiển thị bãi đỗ xe số lượng ô đỗ xe trống 35 Hình 4.9 Sơ đồ khối trình tìm bãi đỗ xe cịn chỗ trống gần _ 36 Hình 4.10 Chọn điểm xuất phát điểm đến _ 37 Hình 4.11 Thơng tin tùy chọn đỗ xe 38 Hình 4.12 Tính bãi đỗ xe không khả dụng đăng nhập khơng thành cơng 39 Hình 4.13 Thơng tin bãi đỗ xe chỗ trống dọc đường 40 Hình 4.14 Chỉ đường đến bãi đỗ gần điểm đến kết thúc hành trình _ 41 Hình 4.15 Kết đếm số chỗ trống bãi đỗ xe có vật cản che khuất phần hình ảnh _ 43 Hình 4.16 Hệ thống cảm biến phía phía vị trí đỗ xe _ 45 vi DANH MỤC BẢNG BIỂU Bảng 2.1 Các giá trị tham số georel 11 Bảng 2.2 Ví dụ truy vấn theo vị trí địa lý _ 11 Bảng 2.3 Các khái niệm quản lý danh tính keyrock _ 13 Bảng 3.1 Các đối tượng quan trọng thực thể liệu 21 Bảng 4.1 Tốc độ xử lý liệu phân hệ thu nhận trích rút thông tin ngữ nghĩa 43 Bảng 4.2 Tốc độ truy vấn thông tin ngữ nghĩa _ 44 Bảng 4.3 So sánh hệ thống đề xuất với giải pháp có _ 46 Chương Giới thiệu 1.1 Đặt vấn đề Hệ thống camera giám sát - CCTV (Closed-Circuit Television) hệ thống sử dụng nhiều camera để ghi lại hình ảnh theo thời gian thực địa điểm cụ thể truyền tải hình ảnh tới số giới hạn hình đầu ghi hình NVR (Network Video Recorder) DVR (Digital Video Recorder) Trong đó, NVR sử dụng mạng internet để nhận liệu từ camera cịn DVR sử dụng cơng nghệ analog thơng qua cáp đồng trục coax Hệ thống camera giám sát sử dụng camera IP đầu thu NVR hệ thống sử dụng nhiều hệ thống an ninh, bảo vệ thành phố lớn, đặc biệt khu vực cơng cộng nhờ tính tiên tiến mà mang lại:  Các camera IP NVR kết nối vào mạng internet để giao tiếp với thông qua dây mạng wifi, đảm bảo kết nối ổn định dễ dàng lắp đặt, mở rộng  Dữ liệu thu tiền xử lý camera, sau truyền đến đầu ghi NVR Chính mà việc lưu trữ liệu tốn tài nguyên  Tích hợp nhiều tính phức tạp đầu ghi analog việc kết nối với trung tâm xử lý (Cloud Computing) để mở rộng việc phân tích, xử lý liệu  Hệ thống xem điều khiển từ xa thông qua internet, tảng khác máy tính, điện thoại thơng minh… Tuy nhiên, hệ thống hạn chế, đáp ứng đầy đủ nhu cầu ngày gia tăng người dùng, đặc biệt là:  Đa phần hệ thống camera cài đặt tích hợp tính quan sát trực tiếp, lưu trữ xem lại video cần Các chức thông minh, tự động khai thác thơng tin hình ảnh khơng có  Các tính thơng minh dù có sơ sài, hầu hết nhà cung cấp hệ thống tích hợp tính phát chuyển động phạm vi quan sát camera  Các tính tích hợp hoàn toàn dựa vào nhà cung cấp hệ thống camera Việc gửi hình ảnh lên trung tâm xử lý có nguy rò rỉ liệu lớn Thực tế cho thấy nhiều video người dùng bị phát tán trang web khơng thống  Trên thực tế, hệ thống camera đặt vị trí khác nhau, chúng cung cấp nhà cung cấp khác nhau, điểm chung chúng kết nối internet (Hình 1.1 Ví dụ hệ thống camera vị trí khác nhau) Vì vậy, để tổng hợp, sử dụng liệu từ hệ thống camera khác nhau, cần phải có tảng trung gian kết nối với hệ thống camera để thu nhận quản lý liệu Hình 1.1 Các hệ thống camera vị trí khác Thực trạng đặt nhu cầu cấp thiết thiết kế hệ thống cho phép sử dụng hiệu liệu từ hệ thống camera giám sát khác Hệ thống phải đảm bảo tiêu chí sau:  Có thể kết nối với hệ thống camera khác nhau, không phụ thuộc vào nhà cung cấp thiết bị  Hệ thống coi trung gian hệ thống camera giám sát ứng dụng Thiết kế hệ thống phải đảm bảo tính dễ dàng kết nối (Plug and Play) phía camera phía ứng dụng thơng minh  Thu nhận, lưu trữ thông tin ngữ nghĩa từ hệ thống camera cách linh động, dễ dàng lưu trữ, tìm kiếm thơng tin, tối ưu hiệu suất đọc/ghi vào sở liệu  Hệ thống phải đảm bảo tính bảo mật thơng tin quyền riêng tư Video thu nhận từ camera phải tuyệt đối bảo mật Ví dụ, việc truyền liệu video lên đám mây tập trung (Cloud) gây nguy rị rỉ thơng tin lớn, gây ảnh hưởng trực tiếp tới người dùng, nên tảng phải có chế xử lý phù hợp để giải vấn đề 41 Khi xe ơ-tơ cịn cách điểm đến 500m, thuật tốn tìm kiếm đường đến bãi đỗ xe chỗ trống gần khởi chạy Khi tìm thấy bãi đỗ xe phù hợp, đồ tạo dẫn đường tới bãi đỗ xe cho tài xế Nếu khơng có bãi đỗ xe phù hợp, dẫn cũ tiếp tục thực Hành trình kết thúc xe đến bãi đỗ đến điểm đến trường hợp khơng tìm bãi đỗ xe phù hợp Hình 4.14 cho thấy bãi đỗ tại khu thị Resco cịn dư chỗ trống, nên ứng dụng chuyển hướng đường đến bãi đỗ Hành trình kết thúc xe ơ-tơ đến bãi đỗ xe thay địa điểm chọn bắt đầu hành trình Hình 4.14 Chỉ đường đến bãi đỗ gần điểm đến kết thúc hành trình 42 4.5 Đánh giá hệ thống Đầu tiên, hệ thống CamNet đảm bảo việc bảo mật thông tin người dùng phía: phía camera cung cấp liệu ngữ nghĩa phía ứng dụng sử dụng liệu ngữ nghĩa Ở phía hệ thống camera máy chủ cạnh, liệu ảnh xử lý để trích rút thơng tin dạng liệu JSON, sau tồn ảnh thu nhận được xóa máy chủ cạnh Hơn nữa, đẩy liệu lên máy chủ quản lý thông tin ngữ nghĩa, máy chủ cạnh cần đăng nhập với tài khoản hợp lệ cấp quyền “producer”, việc đảm bảo người sử dụng máy chủ cạnh lấy liệu hệ thống Ở phía ứng dụng, để tìm kiếm thơng tin ngữ nghĩa cần thiết, phải đăng nhập vào hệ thống với tài khoản cấp quyền “consumer” Việc đảm bảo ứng dụng tin cậy cấp quyền sử dụng liệu từ hệ thống, ứng dụng quyền ghi ngược lại liệu vào hệ thống Ngoài ra, tất giao tiếp với phân hệ quản lý thông tin ngữ nghĩa (Orion Context Broker) qua lớp trung gian Wilma PEP proxy, nên địa thực Orion Context Broker hoàn toàn ẩn tất bên liên quan Thuật toán đếm số chỗ trống bãi đỗ xe đánh giá với liệu từ bãi đỗ xe ngồi trời khu thị Handiresco, Cổ Nhuế 2, Bắc Từ Liêm, Hà Nội (đã đề cập mục 4.2, hình 4.1) Bãi đỗ xe nằm khu vực có lưu lượng giao thơng thấp, gồm có đỗ xe nằm hàng ngang camera giám sát đặt cố định, vng góc với bãi đỗ Camera camera góc rộng 120 độ, ghi nhận video với độ phân giải FullHD (1920x1080) chuẩn H.264 Thuật toán đánh giá liệu 500 hình ảnh thu nhận ngẫu nhiên vào thời điểm khác nhau, gồm có 400 hình ảnh với điều kiện thời tiết tốt (trời nắng mây mù), ảnh đủ sáng, khơng có vật cản che khuất có vật cản che phần nhỏ xe ô-tô 100 hình ảnh với điều kiện phức tạp: trời mưa, trời tối, có xe ơ-tơ lưu thơng đường vật cản che khuất phần lớn vị trí ô đỗ xe Kết đánh giá tập 400 hình ảnh đủ ánh sáng, xe ơ-tơ khơng bị che khuất nhiều, độ xác thuật tốn lên đến 97.7% Hình 4.15 cho thấy có ô-tô đỗ đường, che khuất phần hình ảnh thuật tốn đưa kết xác Tuy nhiên, đánh giá toàn tập liệu 500 hình ảnh nêu trên, độ xác thuật tốn giảm xuống cịn 82.2% Framework Mask-RCNN khơng phát vị trí xe ơ-tơ hầu hết trường hợp trời tối, trời mưa, ảnh không đủ ánh sáng, có vật thể che khuất phần lớn xe ơ-tơ Điều làm cho việc tính tốn số ô trống bãi đỗ có kết sai lệch Việc vật thể khác che khuất xe ô-tô ảnh thường có phương tiện giao thơng sát với vị trí xe ơ-tơ đỗ Việc xảy thời gian 43 ngắn, nên sau ơ-tơ khơng cịn bị che khuất, thuật tốn đưa kết xác Kết thuật toán thấp so với phương pháp đề xuất nghiên cứu Deep Learning for Decentralized Parking Lot Occupancy Detection [16] đạt độ xác 90% liệu có điều kiện thời tiết khác nắng, âm u, trời mưa Hình 4.15 Kết đếm số chỗ trống bãi đỗ xe có vật cản che khuất phần hình ảnh Phân hệ thu nhận trích rút thơng tin ngữ nghĩa từ camera với thuật toán đếm số lượng chỗ đỗ xe trống bãi đỗ cài đặt thử nghiệm máy tính với hệ điều hành Ubuntu 18.04 LTS, CPU Core i7 2.9GHz, 16GB RAM, 512GB SSD Máy tính camera giám sát kết nối vào mạng Wifi băng tần 5GHz Để đánh giá hiệu xử lý phân hệ này, tác giả thực việc thu nhận liên tục 100 hình ảnh từ camera giám sát FFMPEG xử lý hình ảnh thuật tốn đề xuất mục 4.2 Tốc độ xử lý liệu thể bảng 4.1 Tiêu chí Tốt (milli giây) Xấu (milli giây) Trung bình (milli giây) Thu nhận hình ảnh FFMPEG 1816 4202 2077 Đếm số lượng chỗ đỗ xe trống 9197 12922 9916 Bảng 4.1 Tốc độ xử lý liệu phân hệ thu nhận trích rút thơng tin ngữ nghĩa Từ bảng kết nhận thấy, thời gian xử lý trung bình sát với thời gian xử lý tốt nghi nhận được, chứng tỏ hiệu phân hệ ổn định Tổng thời gian xử lý trung bình cho cơng việc thu nhận hình ảnh trích rút thơng tin khoảng 12 giây, hoàn toàn đủ khả đáp ứng yêu cầu tìm kiếm thơng tin thời gian thực cho tốn tìm chỗ đỗ xe 44 Đối với phân hệ quản lý thông tin ngữ nghĩa (Orion Context Broker) phân hệ quản lý định danh quyền người dùng (Keyrock + Wilma), chúng cài đặt thử nghiệm máy chủ Ubuntu 18.04 cung cấp Digital Ocean, với CPU 2.30GHz, 1GB RAM, 25GB HDD Để đánh giá khả hoạt động phân hệ này, tác giả giả định toàn hệ thống kết nối với 100 camera IP, từ đó, Orion Context Broker phải quản lý 100 thực thể Sau đó, ta đánh giá hiệu phân hệ với tiêu chí: thời gian tạo thực thể thời gian cập nhật liệu cho thực thể, cách thực liên tục tiêu chí 100 thực thể Thời gian tìm kiếm thơng tin dựa vào vị trí địa lí xe đánh giá cách thực tìm kiếm 100 lần với số liệu vị trí bán kính tìm kiếm khác Số liệu ghi nhận thể bảng 4.2 Tiêu chí Tốt Xấu Trung bình Tổng thời gian (milli giây) (milli giây) (milli giây) (milli giây) Thêm thực thể 102 409 115 11515 Cập nhật liệu thực thể 102 161 111 11130 Tìm kiếm chỗ đỗ xe 178 285 219 21998 Bảng 4.2 Tốc độ truy vấn thông tin ngữ nghĩa Từ liệu trên, ta thấy tốc độ thêm mới/cập nhật liệu ngữ nghĩa hệ thống nhanh (vài trăm mili giây) Một số trường hợp có tốc độ thêm thực thể chưa tốt, chấp nhận (409 mili giây), thực tế, thực thể cần thêm vào lần, sau đó, ta cập nhật thơng tin thực thể Tốc độ tìm kiếm thơng tin bãi đỗ xe dựa vị trí bán kính tìm kiếm nhanh (trung bình 219 mili giây), hồn tồn đáp ứng u cầu tìm kiếm bãi đỗ xe theo vị trí thực ơ-tơ Trên phương diện khả ứng dụng thực tiễn, hệ thống bãi đỗ xe có thường phức tạp phải đầu tư lớn sở hạ tầng, thiết bị, ví dụ giải pháp Smart Parking[24] cơng ty Hiotron phải dùng hệ thống cảm biến phục vụ cho việc phát chỗ đỗ xe có trống hay không Các cảm biến thiết kế riêng công ty yêu cầu phải lắp đặt theo hệ thống phía vị trí đỗ xe phía gầm xe (Hình 4.16 Hệ thống cảm biến phía phía vị trí đỗ xe) 45 Hình 4.16 Hệ thống cảm biến phía phía vị trí đỗ xe Bảng 4.3 cho thấy so sánh ứng dụng tìm bãi đỗ xe áp dụng hệ thống CamNet giải pháp Smart Parking cơng ty Hiotron Tiêu chí Chi phí lắp đặt Chi phí bảo trì Hệ thống CamNet Hiotron Smart Parking Thấp Cao Sử dụng hệ thống camera có bãi đỗ xe Sử dụng máy tính có làm máy chủ cạnh sử dụng mini-pc chi phí thấp Cần lắp đặt cảm biến riêng biệt vị trí đỗ xe Cần xây dựng tảng điện tốn đám mây đủ mạnh để xử lý thơng tin thu nhận Chỉ cung cấp giải pháp phần Cung cấp phần cứng (cảm mềm (camera máy chủ biến) phần mềm, nên phải cạnh cung cấp bảo trì tồn đối tác khác nhau) phí bảo trì Chi phí quản lý Tương đương Tương đương Tính tìm chỗ đỗ xe Có Có Tính đường Có Có 46 Khả mở rộng phạm vi Rất cao Có thể cài đặt Thấp Hệ thống phục vụ thuật tốn trích rút thơng tin từ cho việc tìm bãi đỗ xe ứng dụng hình ảnh khác vào hệ thống, phát tắc đường, phát hỗn loạn… tích hợp cảnh báo phù hợp vào ứng dụng Bảng 4.3 So sánh hệ thống đề xuất với giải pháp có Ứng dụng tích hợp hệ thống CamNet vào đồ HERE Maps cho thấy vượt bậc chi phí lắp đặt, bảo trì hệ thống dựa vào việc tận dụng hệ thống camera máy tính có bãi đỗ xe, tính cung cấp tương tự Ứng dụng mang tính thực tiễn cao, giải nhu cầu cần thiết xã hội, tận dụng lượng liệu khổng lồ từ hệ thống camera sẵn có Ngồi ra, hệ thống CamNet mở rộng thêm nhiều loại liệu ngữ nghĩa để phát triển ứng dụng lĩnh vực khác 47 KẾT LUẬN Để làm cho hệ thống camera giám sát trở nên “thông minh” tận dụng triệt để thông tin mà chúng ghi nhận được, lượng liệu video từ camera phải thu nhận, sau phân tích để trích xuất thơng tin hữu ích cho mục đích đưa định phản hồi thông minh Trong luận văn này, tác giả đề xuất kiến trúc để thu nhận, trích rút, quản lý thông tin ngữ nghĩa từ video dựa ý tưởng kết hợp điện toán cạnh điện toán đám mây với tên gọi “hệ thống CamNet” Một máy chủ cạnh kết nối với hệ thống camera giám sát để thu nhận luồng video trích rút thơng tin có nghĩa từ chúng cách sử dụng thư viện FFMPEG thuật toán đếm số lượng chỗ đỗ xe trống bãi đỗ dựa kiến trúc Mask RCNN Sau đó, liệu đẩy lên tảng điện toán đám mây lưu trữ, quản lý thông tin ngữ nghĩa, xây dựng dựa thư viện mã nguồn mở tảng FIWARE Orion Context Broker, Keyrock, Wilma PEP Proxy Với phương pháp này, thông tin từ hệ thống camera giám sát cung cấp dịch vụ, ứng dụng thông minh đa tảng sử dụng tài khoản với quyền phù hợp để tìm kiếm thơng tin hệ thống cho mục đích sử dụng khác Tiếp theo, tác giả phát triển ứng dụng thơng minh tích hợp hệ thống CamNet vào đồ HERE Maps cho Android để đường cho tài xế đến bãi đỗ xe trống gần Kết cho thấy ứng dụng đường sử dụng tốt liệu bãi đỗ xe từ hệ thống CamNet, qua giải vấn đề tìm kiếm bãi đỗ xe, vấn đề cấp thiết xã hội Từ chứng minh tính khả thi khả ứng dụng thực tiễn cao hệ thống CamNet Ứng dụng thử nghiệm cho thấy liệu quản lý hệ thống CamNet có tiềm ứng dụng cao, nhiên độ xác thuật tốn phát ô đỗ xe trống chưa ổn định với điều kiện ngoại cảnh khác Vì vậy, tác giả muốn phát triển thêm đánh giá chi tiết độ xác thuật tốn phát ô đỗ xe trống Tiếp theo phát triển thuật tốn trích rút thơng tin khác phát đám đơng, tắc đường, ngập lụt Sau đó, cần thiết phải phát triển giao diện cho phép quản lý trạng thái mạng lưới camera từ xa, từ phát lỗi phát sinh khắc phục lỗi Việc mở rộng phạm vi ứng dụng tương đồng với việc số lượng cảm biến số lượng thuật tốn tăng cao, địi hỏi khả tính tốn lớn Điều thúc đẩy việc nghiên cứu tích hợp phương pháp xử lý phân tán vào hệ thống cần quan tâm phát triển 48 TÀI LIỆU THAM KHẢO [1] [2] Website: https://www.icrealtime.com/, ngày truy cập: 12/8/2020 Website: https://www.mi.com/vn, ngày truy cập: 12/8/2020 [3] [4] Website: http://hikvision.vn/, ngày truy cập: 12/8/2020 Mayank Patel, Minal Bhise, “Raw Data Processing Framework for IoT”, in 2019 11th International Conference on Communication Systems & Networks [5] (COMSNETS) F Cirillo, G Solmaz, E L Berz, M Bauer, B Cheng and E Kovacs, “A Standard-Based Open Source IoT Platform: FIWARE”, in IEEE Internet of Things Magazine, vol 2, no 3, pp 12-18, September 2019, doi: [6] 10.1109/IOTM.0001.1800022 Website: https://wiki.openstack.org/wiki/Horizon, ngày truy cập: 12/8/2020 [7] [8] [9] Website: https://docs.openstack.org/keystone/latest/, ngày truy cập: 12/8/2020 Website: https://docs.djangoproject.com/en/3.0/, ngày truy cập: 12/8/2020 P.Mell and T Grance, “The nist definition of cloud computing”, in National Institute of Standards and Technology, vol 53, no 6, article 50, 2009 [10] P Voigt, A von dem Bussche, "The EU general data protection regulation (GDPR)", in A Practical Guide, Cham, Switzerland:Springer, 2017 [11] Weisong Shi, Jie Cao, Quan Zhang, Youhuizi Li, Lanyu Xu, “Edge Computing: Vision and Challenges”, in IEEE Internet of Things Journal, volume: 3, issue: 5, Oct 2016 [12] Website: https://ffmpeg.org/, ngày truy cập: 12/8/2020 [13] Website: https://docs.docker.com/engine/, ngày truy cập: 12/8/2020 [14] Website: https://docs.docker.com/compose/, ngày truy cập: 12/8/2020 [15] Website: https://developer.here.com/products/here-sdk, ngày truy cập: 12/8/2020 [16] Giuseppe Amato, Fabio Carrara, Fabrizio Falchi, Claudio Gennaro, Carlo Meghini, Claudio Vairo, “Deep Learning for Decentralized Parking Lot Occupancy Detection”, in Expert Systems with Applications, 2016 [17] J.L Hernández Ramos, A Skarmeta, “Security and Privacy in the Internet of Things: Challenges and Solutions”, pp 9-15, March 2020 [18] José Manuel Cantera Fonseca (FIWARE Foundation), Fermín Galán Márquez (Telefónica España), Tobias Jacobs (NEC), “FIWARE-NGSI v2 Specification”, 2018 [19] Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross Girshick, “Mask R-CNN”, in arXiv:1703.06870v3, 2018 49 [20] Zhaohui Zheng, Ping Wang, Wei Liu, Jinze Li, Rongguang Ye, Dongwei Ren, “Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression”, in arXiv:1911.08287v1, 2019 [21] Waleed Abdulla, “Mask R-CNN for object detection and instance segmentation on Keras and TensorFlow”, 2018 [22] IoT based Smart Parking Systems for Smart Cities, in website: https://www.hiotron.com/smart-parking/, ngày truy cập: 12/8/2020 [23] P Widya, Y Yustiawan, and J Kwon, “A oneM2M-Based Query Engine for Internet of Things (IoT) Data Streams”, in Sensors, vol 18, no 10, p 3253, Sep 2018 [24] Huiju Wang, Xiongpai Qin, Xuan Zhou, Furong Li, “Efficient query processing framework for big data warehouse: an almost join-free approach”, in Frontiers of Computer Science, April 2015 [25] Mbazaia O., Kamoun K., “CaRT: Framework for Semantic Query Correction and Relaxation”, in Digital Economy Emerging Technologies and Business Innovation, ICDEc 2019 [26] Calavia, L., Baladrón, C., Aguiar, J M., Carro, B and Sánchez-Esguevillas, A, “A semantic autonomous video surveillance system for dense camera networks in smart cities”, in Sensors 12(8), pp 10407–10429 2012 [27] Xiong, Y.-H., Wan, S.-Y., He, Y and Su, D., “Design and implementation of a prototype cloud video surveillance system”, in Journal of Advanced Computational Intelligence and Intelligent Informatics, pp 40–47, 2014 [28] Igor Ivan, Alex Singleton, Jiří Horák, Tomáš Inspektor, “The Rise of Big Spatial Data”, in Lecture Notes in Geoinformation and Cartography, pp 41-48, 2017 [29] Tsung-Yi Lin, Michael Maire, Serge Belongie, Lubomir Bourdev, Ross Girshick, James Hays, Pietro Perona, Deva Ramanan, C Lawrence Zitnick, Piotr Dollár, “Microsoft COCO: Common Objects in Context”, in arXiv:1405.0312v3, 2015 [30] Luis Valentın, Sergio A Serrano, Reinier Oves García, Anibal Andrade, Miguel A Palacios-Alonso, L Enrique Sucar, “A Cloud-Based Architecture For Smart Video Surveillance”, in The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, volume XLII-4/W3, 2017 [31] Website: https://www.confluent.io/, ngày truy cập: 18/9/2020 [32] Website: https://cloud.google.com/iot-core, ngày truy cập: 18/9/2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc Hà Nội, ngày… tháng… năm 2020 BẢN XÁC NHẬN ĐÃ SỬA CHỮA CÁC THIẾU SÓT CỦA LUẬN VĂN Trường Đại học Cơng nghệ có Quyết định số 569/QĐ-ĐT ngày 28 tháng năm 2020 việc thành lập Hội đồng chấm luận văn Thạc sĩ cho học viên Lê Xuân Tùng, sinh ngày 31/08/1994, Vĩnh Phúc, chuyên ngành Khoa học máy tính, ngành Khoa học máy tính Ngày 05 tháng 09 năm 2020, Trường Đại học Công nghệ (ĐHCN) tổ chức cho học viên bảo vệ luận văn Thạc sĩ trước Hội đồng chấm (có biên kèm theo) Theo Quyết định Hội đồng chấm luận văn Thạc sĩ, học viên phải bổ sung sửa chữa điểm sau trước nộp luận văn cuối cho Nhà trường để hoàn thiện hồ sơ sau bảo vệ: Bổ sung so sánh tảng sử dụng (FIWARE) với tảng khác, lý chọn FIWARE (thêm vào mục 3.1) Bổ sung đánh giá kết thực nghiệm so sánh với phương pháp khác (thêm vào mục 4.5) Làm rõ nội dung có sẵn nội dung tác giả tự thực hệ thống CamNet (thêm vào mục 3.1) Sửa số lỗi trình bày, tả Ngày……tháng……năm……, học viên nộp luận văn có chỉnh sửa Chúng tơi nhận thấy nội dung, hình thức luận văn tóm tắt luận văn sửa chữa, bổ sung theo điểm Quyết nghị Đề nghị Trường Đại học Công nghệ, ĐHQG HN cho phép học viên làm thủ tục khác để công nhận cấp Thạc sĩ Xin trân trọng cảm ơn! XÁC NHẬN CỦA THÀNH VIÊN HỘI ĐỒNG/HỘI ĐỒNG ĐỀ NGHỊ HỌC VIÊN SỬA CHỮA LUẬN VĂN HỌC VIÊN CÁN BỘ HƯỚNG DẪN XÁC NHẬN CỦA CƠ SỞ ĐÀO TẠO ...ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LÊ XUÂN TÙNG XÂY DỰNG HỆ THỐNG THU THẬP VÀ QUẢN LÝ THÔNG TIN TỪ CAMERA GIÁM SÁT DỰA TRÊN NỀN TẢNG FIWARE Ngành: Khoa học máy tính Chuyên ngành:... sĩ Đại học Cơng nghệ, ĐHQGHN iii LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sĩ công nghệ thông tin ? ?Xây dựng hệ thống thu thập quản lý thông tin từ camera giám sát dựa tảng FIWARE? ?? cơng trình... tên gọi ? ?hệ thống CamNet” để hệ thống đề xuất) Hệ thống CamNet xây dựng dựa thư viện tảng mã nguồn mở FIWARE[ 5], nhờ đó, thơng tin từ hệ thống camera giám sát cung cấp dịch vụ, ứng dụng thông minh