Luận văn thạc sĩ Công nghệ thông tin: Tự động chọn camera quan sát trong hệ thống giám sát có nhiều camera

Phát biếu bài toán Với nhu cầu và tính cần thiết cho việc giám sát camera điện rộng hiệu quả theothời gian thực với phương án triển khai tích hợp khả thi, đã có nhiều giải pháp như sửdụn

Trang 1

ĐẠI HỌC QUOC GIA THÀNH PHO HO CHÍ MINH

DAI HOC CONG NGHE THONG TIN

LUAN VAN TOT NGHIEP THAC SĨ CÔNG NGHỆ THONG TIN

TU DONG CHON CAMERA QUAN SAT

TRONG HE THONG GIAM SAT

TAT KHAI VINH

Khóa hoc: Khóa 13 Ngành: Công nghệ thông tin

TP Hô Chí Minh — Tháng 12, 2022

Trang 2

CAM ĐOAN

Học viên xin cam đoan đây là công trình thực hiện của riêng tôi Các số liệu, kếtquả thống kê được liệt kê trong Luận văn này là trung thực và chưa từng được công bố

trong bất kỳ công trình hay nơi nào khác

Học viên xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện Luận văn này đượccảm ơn và các thông tin trích dẫn, ghi nguồn trong Luận văn đã được chỉ rõ nguồn gốc

chính xác.

Tp Hồ Chí Minh, tháng 12 năm 2022

Học viên thực hiện

Tắt Khải Vinh

Trang 3

LỜI CÁM ƠN

Sau thời gian học tập và thực hiện Luận văn tại Trường Đại học Công nghệ Thông

tin, bằng sự biết ơn và kính trọng, tôi xin gửi lời cảm ơn chân thành đến Ban Giám hiệu ,các phòng ban, khoa thuộc Trường và các Thay cô đã nhiệt tình hướng dẫn, giảng dạy

va tạo mọi điều kiện thuận lợi giúp đỡ tôi trong suốt quá trình học tập và thực hiện Luận

văn này.

Trước tiên, tôi xin gửi lời cảm ơn chân thành và sâu sắc đến PGS.TS Lê Đình

Duy, người trực tiếp hướng dẫn luận văn cho tôi Thầy đã dành cho tôi nhiều thời gian,

tâm sức, đưa ra nhiều ý kiến, nhận xét quý báu, chỉnh sửa cho tôi những chỉ tiết nhỏtrong luận văn và bài trình bày, giúp luận văn được hoàn thiện hơn về mặt nội dung vàhình thức Thầy cũng đã luôn quan tâm, nhắc nhở kịp thời để có thé hoàn thành luận văn

đúng tiến độ

Tôi cũng xin gửi lời cảm ơn chân thành đến gia đình, bạn bè, các anh/chi cùng lớpcao học, các đồng nghiệp vì đã luôn động viên, quan tâm giúp đỡ trong quá trình học

tập và thực hiện luận văn.

Do tính phức tạp của đề tài nghiên cứu, cũng như khả năng và kiến thức của tôicòn nhiều hạn chế nên luận văn không tránh khỏi những sai sót nhất định Tôi rất mongnhận được những đóng góp ý kiến của các thầy cô và những nhà nghiên cứu khác đề nội

dung nghiên cứu luận văn được hoàn thiện hơn.

Tôi xin chân thành cảm ơn!

Tp Hồ Chí Minh, tháng 12 năm 2022

Học viên thực hiện

Tắt Khải Vinh

Trang 4

LUẬN VĂN THẠC SĨ “TỰ ĐỘNG CHON CAMERA QUAN SÁT TRONG HE THONG GIAM SAT CÓ NHIÊU CAMERA”

1.5 Đóng góp của luận văn

1.6 Cau trúc của luận văn

CHƯƠNG 2: CÁC KIEN THUC NEN TANG VÀ CÁC NGHIÊN CỨU LIEN QUAN

13

2.1 Cac kiến thức nén tang

2.1.1 Các loại Camera giám sat và chuân giao tiép 13

2.1.1 Hệ thống giám sát camera - VMS 16

2.1.2 Big data pipeline 18

2.1.3 Các công nghệ xử lý nhận dạng hình ảnh áp dụng máy học, hoc sau 20 2.2 Các nghiên cứu liên quan

CHƯƠNG 3: CÀI ĐẶT VÀ THỰC NGHIỆM 253.1 Mô hình triển khai, công cụ và môi trường phát triển 2253.1.1 Mô hình triển khai 25

3.1.2 Hạ tầng triển khai 25

3.1.1 Các công cụ sử dụng 26

3:12; Docker 27

Trang 5

3.1.2.2 Lựa chọn công nghệ 27

3.1.2.3 Mô hình triển khai 28

30 3.2 Big data framework - Streaming Data Pipeline.

3.2.1 M6 hinh trién khai 303.2.2 Cơ sở dữ liệu hệ thống 31

3.2.2.1 Mô tả 31 3.2.2.2 Lua chon công nghệ 32

3.2.2.3 Mô hình triển khai 333.2.3 Dịch vụ trích xuất luồng stream video 33

3.2.6.3 Mô hình triển khai 43

Trang 6

LUẬN VĂN THẠC SĨ “TỰ ĐỘNG CHỌN CAMERA QUAN SÁT TRONG HE THONG GIAM SAT CÓ NHIÊU CAMERA”

3.3.1 Mô tả: 45

3.3.2 Lua chọn công nghệ: 45

3.3.3 Triển khai: 463.4 Hệ thống giám sát video 46

3.4.1 Mô tả: 46

3.4.2 Lua chọn công nghệ: 46 3.4.3 Trién khai: 47

42 Đánh giá kết quả đạt được

CHƯƠNG 5: TONG KET VA HƯỚNG PHAT TRIÊN 565.I Tổng kết 56

5.2 Hướng phát triên 56

TAI LIEU THAM KHAO 58

Trang 7

BANG DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIET TAT

Ký hiệu và chữ viết tắt Mô ta

CCTV Closed-circuit television

ISO International Organization for Standardization

RTSP Real Time Streaming Protocol

AMQP Advanced Message Queuing Protocol

LAN Local area network

MDP Markov Decision Process

VSUM Summarizing from videos

MVP Minimum viable product

PTZ Pan-tilt-zoom

VMS Video management system

BANG DANH MỤC HÌNH ANH

Hình 1.1: Bản đồ mô tả tình hình triển khai camera ở thành phó Hồ Chí Minh 5

Hình 1.2: Trung tâm quản lý điều hành giao thông đô thị thành phồ Hồ Chí Minh

Hình 1.3: Mô hình mô tả tong quan giải pháp

Hình 1.4: Anh chụp màn hình của hệ thống giám sát có lựa chọn camera để trình chiếu

Hình 2.9: Mô hình streaming data pipeline của bài nghiên cứu [20] - 23

Hình 3.2: Mô hình kiến trúc của Docker

Hình 3.5: Mô hình triển khai MVP

Hình 3.6: Ludng biên dich dịch vụ trích xuất luồng stream video - 34Hình 3.7: Mô hình của dịch vụ trích xuất dữ liệu

Hình 3.8:

Hình 3.9:

Trang 8

LUẬN VĂN THẠC SĨ “TỰ ĐỘNG CHỌN CAMERA QUAN SÁT TRONG HE THONG GIÁM SAT CÓ NHIÊU CAMERA"

Hình 3.13: Giao diện của Shinobi VMS

Hình 3.14: Video giám sát giao thông tại Thành phó Hồ Chí Minh - 49

Hình 3.15: Các video của kịch bản thử nghiệm 01

Hình 4.1: Hình chụp phần mềm đang biểu diễn các camera được lựa chọn chiếu ưu tiên

Trang 9

BANG DANH MỤC BANG BIEU

Bảng 2.1: Bảng danh sách các loại camera giám sát phé biến

Bảng 2.2: Bang dung lượng video theo format, độ phân giải, khung hình, birate 19

Bảng 3.1: Bảng mô tả cấu hình hạ tang máy chủ triển khai

Bảng 3.2: Các công cụ sử dụng trong việc xây dựng, phát triển thực nghiệm

Bang 3.3: Các thông tin thiết lập sẽ được lưu trữ trong cơ sở dữ liệu hệ thống 3Bảng 3.4: Bảng mô tả dữ liệu chuẩn sau khi trích xuất

Bảng 3.5: Bảng so sánh RabbitMQ và Kafka

Bảng 3.6: Bảng mô tả độ ưu tiên của camera

Bang 3.7: Bang mô tả độ ưu tiên của sự kiệt

Bảng 3.8: Bảng mô tả độ ưu tiên của thời gian

Bảng 3.9: Bảng mô tả các vị trí camera giao thông ở Hồ Chí Minh đã được thu thập50

Trang 10

1.1 Đặt vấn đề

Hiện nay, sự phát triển mạnh mẽ về công nghệ cũng như hạ tầng, các loại camera

đa chủng loại tùy theo từng nhu cầu sử dụng đã được nghiên cứu, sản xuất, lắp đặt và

triển khai ở khắp mọi nơi từ khu vực công cộng đến khu vực riêng tư Từ khi CCTV

giám sát đầu tiên được phát minh đến nay, nhu cầu lắp đặt giám sát tăng liên tục hằng

năm ở nhiều lĩnh vực, từ quy mô cá nhân đến cấp quốc gia Theo như khảo sát thị trường

về camera giám sát toàn cầu thì tới năm 2021 đã có hơn 214.30 triệu camera đã được

tiêu thụ và dự kiến số lượng camera được sử dụng sẽ tăng hơn 524.75 triệu vào năm

2027 [1] Qua số liệu ta thấy việc sử dụng camera giám sát với quy mô lắp đặt số lượnglớn cho nhiều mục đích sử dụng khác nhau rất phổ biến

Nhu cầu thực tế trong sử dụng camera giám sát có rất nhiều mục đích đa đạng, và

có tầm quan trọng trong đời sống thực tiễn Với khả năng mở rộng tầm giám sát theo

thời gian thực, camera và hệ thống giám sát đã chứng tỏ nhiều tác dụng mang lại hiệu

quả trong nhiều ứng dụng thực tiễn khác nhau Những ứng dụng trong đảm bảo an ninh,

quản lý diện rộng có thể được kể ra như kiểm soát giao thông, dự đoán tai nạn, phòng.chống tội phạm, và đảm bảo trật tự xã hội Ngoài ra có thé kể đến các ứng dụng trong

quy mô nhỏ hơn việc giám sát như giám sát ngoài trời như sân bay, ga xe lửa, bãi đậu

xe, đường cao tốc, và giám sát trong tòa nhà, văn phòng, căn hộ, cửa hàng, trung tâm

mua sắm Các ứng dụng có thể liệt kê trong các nhóm lĩnh vực sau [2]:

- Đảm bảo an toàn gia đình.

- Khu vực công cộng như sân bay, cảng biển, bến xe buýt, bến xe lửa

- Giám sát giao thông.

- Giám sát nhà máy, công ty, tòa nhà, cơ sở vật chat

- Giám sát biên giới, quốc phòng, chính quyền

- Giam sát đảm bảo an ninh trong cơ sở quân sự.

- Quan lý thành phố thông minh và 6 tô tự lái

Với nhu cầu giám sát đô thị dé đảm bảo trật tự an ninh an toàn xã hội thành phố

Hồ Chí Minh cũng đã và đang triển khai rất nhiều camera giám sát khắp địa bàn thành

Trang 11

LUẬN VĂN THẠC SĨ “TỰ ĐỘNG CHỌN CAMERA QUAN SAT TRONG HE THONG GIÁM SÁT CÓ NHIÊU CAMERA”

phố và được quản lý vận hành bởi nhiều đơn vị khác nhau, có thể xem qua phân bổ

camera được triển khai qua Hình 1.1 Cụ thé đến tháng 6/2019, hệ thống camera giám.sát giao thông được kết nối tại Trung tâm quản lý đường ham sông Sài Gòn trực thuộc

Sở Giao thông vận tải hơn 750 camera; Công an Thành phó Hồ Chí Minh với hệ thông

camera quan sát phục vụ công tác giám sát an ninh trật tự, an ninh chính trị tại các vị trí

trọng điểm, với số lượng dự kiến hơn 1.500 camera; Đến tháng 8/2018, toàn thành phốhiện có hơn 37.000 camera giám sát thuộc sự quản lý của Ủy ban nhân dân và Công an

cấp huyện, cấp xã, bao gồm cả các hệ thống được đầu tư bằng ngân sách và nguồn vốn

xã hội hóa [3] Qua các thông tin trên, thì ta thay được nhu cầu và số lượng camera giám.sát sử dụng rất lớn và không ngừng tăng lên, tuy nhiên các đơn vị quản lý giám sát vậnhành thì có giới hạn, một đơn vị phải quản lý số lượng camera nhiều hơn rất nhiều lần

số lượng người quản lý

Hình 1.1: Bản đồ mô tả tình hình triển khai camera ở thành phó Hồ Chí MinhMột trong những đơn vị đã triển khai và vận hành hiệu quả việc dùng camera giám

sát trong điều hành giao thông là Trung tâm quản lý điều hành giao thông đô thị thành

phé Hồ Chi Minh theo dõi camera liên tục tại các điểm nóng giao thông Với hệ thống

quản lý điều hành giao thông hiện đại, tích hợp giám sát điều khiển hơn 750 camera, cóthể chia sẻ với nhiều đơn vị, với nhiệm vụ chính là điều khiển hệ thống đèn tín hiệu,

Trang 12

LUẬN VĂN THẠC SĨ “TỰ ĐỘNG CHON CAMERA QUAN SÁT TRONG HE THONG GIÁM SÁT CÓ NHIÊU CAMERA”

hợp, điều phối lực lượng, hỗ trợ xử lý vi phạm Tuy nhiên, đơn vị phải tô chức số lượng

nhân sự khoảng 30 nhân viên theo nhiều ca làm việc, liên tục theo dõi, vận hành 24/7

tất cả camera, trên số lượng màn hình giám sát được lắp đặt có giới hạn là 54 màn hình

[4] Hiện trang chung của các đơn vị quản lý giám sát camera là với giới hạn về nhânlực và thiết bị vận hành, các đơn vị vẫn phải luôn cố gắng đảm bảo hiệu quả tốt nhấttrong việc giám sát với số lượng camera ngày càng mở rộng

Hình 1.2: Trung tâm quản lý điều hành giao thông đô thị thành phồ Hồ Chí Minh

Việc giám sát liên tục phụ thuộc hoàn toàn vào nguồn lực con người, theo cácnghiên cứu về khả năng quan sát của một cá nhân với nhiều hình ảnh camera được trìnhchiếu trên hệ thống giám sát đồng thời, luôn luôn có giới hạn do khả năng sinh học củacon người Theo ngữ cảnh giám sát trong điều kiện thông thường thì mỗi cá nhân có thểđồng thời theo dõi từ 12 đến 16 khung hình, nhưng khi có sự kiện phát sinh được pháthiện từ camera cần xử lý thì khả năng theo dõi giảm đi Ngoài ra rất nhiều yếu tố quantrọng cũng ảnh hưởng đến số lượng khung hình có thé theo dõi đồng thời đối với một

cá nhân vận hành như: chất lượng và số lượng camera, tính chất của công việc giám sát,

vị trí lắp đặt camera, thời gian quan sát, cũng như khoảng cách quan sát, sức khỏe của

Trang 13

người quan sát [Š] Với giới hạn của con người, thì việc có thể giám sát hết tất cả

camera là rat khó khăn, cần đến nguồn lực lớn và tô chức quản lý chặt chẽ dé có thé thực

hiện được việc giám sát 24/7.

Khả năng giám sát và xử lý thông tin từ hình ảnh của người thực hiện theo dõi bị

ảnh hưởng bởi nhiều yếu tố khác nhau như số lượng camera quan sát đồng thời, mục

tiêu của việc giám sát (biết trước mục tiêu như tìm kiếm đối tượng hay không biết trướcnhư giám sát giao thông, ), cần có nhiều giải pháp, công cụ hỗ trợ Theo các nghiên

cứu thì càng nhiều số lượng camera cần quan sát thì tỉ lệ xử lý thông tin và phát hiện sự

kiện bị giảm đi Và khả năng xác định sai thông tin trong video theo dõi cũng tăng lên

[6] Ngoài ra, với số lượng camera luôn nhiều hơn rất nhiều với số lượng mà con người

có thể quan sát đồng thời, nên việc giám sát và xác định thông tin ở các camera không.được phát trên màn hình quan sát là rất nhiều Dé có thé vận hành hiệu quả với nguồnlực hạn chế, cần nhiều phương pháp hỗ trợ việc tổ chức quan lý việc phân bố camerahay thời gian phát của các nhóm camera cùng lúc của các phần mềm giám sát camera,cùng với sự hỗ trợ của các camera thông minh, giải pháp công nghệ cao trong nhận dang,

phát hiện hình ảnh.

Với mô hình triển khai camera giám sát diện rộng (large-scale), việc giám sát tổng

quát tình hình cũng như phát hiện các sự kiện quan trọng theo thời gian thực là một

thách thức chưa có giải pháp tối ưu triệt dé Nhiều giải pháp thương mại cung cấp các

chức năng hỗ trợ tốt hơn trong việc giám sát số lượng camera nhiều đồng thời như tựđộng lên lịch trình thay đôi các thứ tự camera theo thiết lập người dùng, tuy nhiên khôngthể phát hiện các sự kiện trên các camera không được quan sát, tham khảo ở Bảng 1.1.Các công nghệ tiên tiền hỗ trợ việc nhận dạng, phát hiện đối tượng, sự kiện, bat thường

cũng được nghiên cứu, phát triển và triển khai, nhưng yêu cầu phải sử dụng những

camera thông minh hiện đại với giá thành cao hoặc yêu cầu về hệ thống ha tang, máychủ mạnh mẽ, chỉ phí cao để có thé sử dụng [7]

Trang 14

Bang 1.1: Một số phần mềm thương mại cung cấp chức năng thay đồi sắp xếp camera

Tên giải pháp Tên chức năng Mô tả

thương mại

iVMS — Auto Switch - Hỗ trợ tu động chuyên camera theo thời gian định

HIKVISION [8] sin do người dùng thiết lập.

- Tu động chuyên theo khung nhìn (toàn màn hình,

khung nhìn camera theo định nghĩa của người dùng).

Cisco Meraki Auto-Rotation - Lan lượt xoay vòng hién thi các camera.

MV [9] - Theo thời gian cổ định (tối thiểu 20 giây), các

video từ các camera được thiết lập sẵn theo người

dùng tự định nghĩa sẽ được hiên thị xoay vòng lan lượt.

Synology Triggered Event - Cho phép thiết lập các sự kiện được phát hiện và

Surveillance Layout hiển thi các camera một cách tự động

Station [10] - H6 trợ chức năng xoay vòng camera (Sequential

Rotation layout) dé hiển thị theo thứ tự mong

muốn.

Milestone Smart Wall - Chu động đưa danh sách các camera lên màn hình XProtect [11] trinh chiéu.

- Duva theo luật dé tự động thay đổi camera hiển thi

dựa vào các sự kiện cụ thê hoặc theo lịch.

1.2 Phát biếu bài toán

Với nhu cầu và tính cần thiết cho việc giám sát camera điện rộng hiệu quả theothời gian thực với phương án triển khai tích hợp khả thi, đã có nhiều giải pháp như sửdụng các camera thông minh, sử dụng các hệ thống giám sát video thông minh, sử dụngcác phương pháp tối ưu vận hành trong các hệ thống giám sát video thương mại Đểđóng góp vào nghiên cứu giải pháp giúp tối ưu yêu cầu trên, luận văn đưa ra hướng

nghiên cứu và thử nghiệm một giải pháp hỗ trợ TỰ ĐỘNG CHỌN CAMERA QUAN

SÁT TRONG HE THONG GIÁM SAT CÓ NHIEU CAMERA Dùng công nghệ xử

lý big data cho dữ liệu video thời gian thực, tích hợp với công nghệ nhận dạng sử dung

máy học, từ đó lựa chọn và đề xuất ra các camera có độ ưu tiên để quan sát trong một

hệ thống giám sát camera

Giải pháp được mô tả như sau:

- Đầu vào: Các video từ camera giám sát

- Đầu ra: Danh sách các camera được chọn theo topK (K là số lượng camera

được chọn) theo tiêu chí phù hợp với yêu cầu giám sát và được sắp xếp hiền thị

Trang 15

DAU VÀO ĐẦU RA

Hình 1.3: Mô hình mô tả tổng quan giải pháp

Bằng cách ứng dụng giải pháp, các hệ thống giám sát video hỗ trợ việc tích hợp có

thể trình chiếu các camera có độ quan tâm theo thời gian thực, giúp tối ưu và tăng hiệu

quả trong việc giám sát cho các nhân viên vận hành trong mạng lưới camera có số lượng

lớn và rộng khắp Không dừng ở đó, kiến trúc của giải pháp phù hợp với việc triển khai

cho hạ tầng linh động, và các thiết lập cho các công nghệ nhận dạng, đánh giá video sẽđược thiết lập theo đúng nhu cầu sử dụng của từng hệ thống, mục đích

Hình 1.4: Ảnh chụp màn hình của hệ thống giám sát có lựa chọn camera để trình chiếu

Trang 16

1.3 Các thách thức

Các thách thức gây khó khăn cho giải pháp giải quyết vấn đề trong việc giám sát

camera hiệu quả được mô tả như sau:

- Yéu cầu về trình chiếu video từ camera theo thời gian thực:

o Với đặc trưng của dữ liệu video giám sát có các đặc trưng như tốc độ

(Velociy), khối lượng di liệu (Volume), da dang (Variety), giá trị (Value)

nên được xem là dữ liệu lớn Dé có thé xử lý được dữ liệu lớn là một thách

thức cần phải ưu tiên

o Kha năng tích hợp với các hệ thống giám sát video hiện có mà không ảnhhưởng, can thiệp đến khả năng khai thác sử dụng Không thẻ thay đổi hoặccan thiệp sâu vào trong các hệ thống giám sát video, cũng như chức năngkhai thác, giám sát không thẻ thay đổi hoặc ảnh hưởng do tính chất của hệthống

- Yêu cầu phải tích hợp xử lý với các thành phan trong hệ thống:

o Dé xử lý big data, cần framework phù hợp đề xử lý dit liệu streaming video,

và các thành phần module trong framework cần phải hoạt động, kết nối chặtchẽ với nhau, đảm bảo về tốc độ xử lý cũng như kết quả xử lý

o Dé tăng khả năng xử lý các trường hợp có độ khó và tăng độ chính xác, tậndụng các kết quả nghiên cứu liên quan Việc ứng dụng các công nghệ máyhọc trong xử lý, nhận dang video theo nhu cầu là rất cần thiết Việc tích hợpcác công nghệ trên vào trong framework cần có kỹ thuật phù hợp dé tối ưutài nguyên hệ thống và thời gian xử lý hợp lý

o Thuật toán lựa chọn camera đề đề xuất trình chiếu cho người vận hành mộtcách hiệu quả, hợp lý và đúng với nhu cầu, mục đích giám sát

o Tối ưu tài nguyên xử lý: Xử lý phân tan, microservice, ảo hóa

o Kha năng mở rộng: Việc tăng trưởng số lượng camera là yêu cầu cơ bản, déđáp ứng khả năng xử lý số lượng camera tăng lên theo thời gian, hệ thôngcần có khả năng mở rộng các thành phần theo nhu cầu

Trang 17

1.4 Mục tiêu và phạm vi

144.1 Mục tiêu

Luận văn tập trung vào một số nội dung chính sau đây:

- Nghiên cứu về hệ thống giám sát camera dé trình chiếu các video từ camera và tíchhợp việc lựa chọn camera để trình chiếu

- Nghiên cứu hệ thống xử ly dit liệu video dùng big data framework, có thé tích hợp

các dich vụ xử lý dữ liệu video.

- Nghiên cứu về các thuật toán chọn camera áp dụng công nghệ máy học

- Cài đặt một phiên bản MVP tông hợp các mục tiêu nghiên cứu trên để minh họakết quả

1.4.2 Phạm Vi

Để giảm bớt độ phức tạp cho bài toán, học viên sẽ giới hạn trong phạm vi cụ thể như

sau:

Hệ thống stream data pipeline và các dịch vụ của big data framework được triên

khai trên một máy chủ.

- Số lượng camera kết nói với hệ thống giám sát camera giới han là 16 dé đảm bảo

khả năng xử lý cũng như đáp ứng giới hạn băng thông.

- Thử nghiệm và triển khai trên một hệ thông giám sát video open source dé chứng

minh tính khả thi của giải pháp.

- Công nghệ xử lý video để đánh giá độ ưu tiên camera chỉ sử dụng một dịch vụ

- Nội dung giả lập video giám sát có nội dung là video giao thông, giả lập ứng dụng giám sát giao thông.

1.5 Đóng góp của luận văn

Qua quá trình nghiên cứu và triển khai, học viên đã thực hiện được các nội dung sau:

- Thu thập, tong hợp và xử lý các dữ liệu video camera giám sát giao thông củaThành phó Hồ Chí Minh dé làm dữ liệu thực nghiệm

- Xây dựng một big data framework dé xử lý dữ liệu luồng video từ camera theo mô

hình microservice, có khả năng mở rộng, tích hợp các dịch vụ xử lý và nhận dang hình ảnh.

Trang 18

- Sử dụng công nghệ máy học tóm tắt video dé tính toán độ ưu tiên của video giám

- Phát triển dịch vụ lựa chọn camera theo độ ưu tiên, được sử dụng tích hợp trong

hệ thống giám sát camera

- Trién khai và cài đặt hệ thống giám sát camera, kết nối các luồng camera, tích hopchức năng tự động lựa chọn các camera để trình chiếu

1.6 Cấu trúc của luận văn

Dựa vào nội dung nghiên cứu của dé tài, cầu trúc luận văn được tác giả tổ chức như sau:s# CHƯƠNG 1: TONG QUAN

“ CHUONG 2: CAC KIÊN THUC NEN TANG VÀ CAC NGHIÊN CUU LIÊN

QUAN

* CHUONG 3: CÀI ĐẶT VA THỰC NGHIỆM

# CHƯƠNG 4: KET QUA VÀ ĐÁNH GIÁ

#CHƯƠNG 5: TONG KET VÀ HƯỚNG PHÁT TRIEN

Trang 19

CHƯƠNG2: CÁC KIEN THỨC NEN TANG VÀ CÁC

NGHIÊN CỨU LIÊN QUAN

2.1 Các kiến thức nền tảng

2.1.1 Cac loại Camera giám sát và chuẩn giao tiếp

Đã có rất nhiều loại camera khác nhau được phát triển để phục vụ cho nhu cầu

giám sát, với rất nhiều chủng loại, công nghệ và phục vụ cho các nhu cầu chuyên biệt

Các nhu cầu sử dụng và lắp đặt đa dạng khác nhau đã định hình ra các dòng camera khácnhau dé phù hợp với nhu cầu sử dung [12], có thể liệt kê các yếu tố như:

- Môi trường vận hành: Ngoài trời hay trong nhà, hỗ trợ chống nước, chống lửa,

nhiệt độ

- VỊ trí lắp đặt camera: Các nơi ra vào như cửa, cổng, khu vực ngoài trời, khu vực

trong tòa nhà, hành lang, đường, giao lộ, bãi đậu xe,

- Anh sáng của nơi lắp đặt: Ban ngày và ban đêm, nơi thiếu sáng, nơi ánh sáng trực

tiếp

- Loại len của camera dé theo dõi: Bình thường, góc rộng, zoom, telephoto,

- Nguồn điện cung cấp cho camera: 12V, 24V, 48V (PoE), 120V,

- Loại camera: Có định hoặc PTZ

- Cách thức lắp đặt: lắp lên tường, lên cột, lên hàng rào, trong gốc, trên giá long

môn,

- Công nghệ kết nối: Có day, không day, hỗ trợ IP

- Các công nghệ lưu trữ tích hợp: DAS, SAN, NAS

- Các công nghệ ghi hình: DVRs, NVRs,

- Các công nghệ tích hợp: Nhận dạng, đo nhiệt độ, phát hiện chuyên động,

Từ các yếu tố nêu trên, có các loại camera đa dạng khác nhau phù hợp với từng

nhu cầu chuyên biệt cụ thé Luận văn sẽ tổng hợp những loại camera thường được sử

dụng ở Bảng 2.1 [13].

Trong truyền dẫn dữ liệu video và audio trực tuyến, có nhiều tiêu chuẩn được sử

dụng phù hợp cho từng nhu cầu sử dụng khác nhau, các tiêu chuẩn được quyết định sử

dụng dựa vào các yếu tố như độ trễ khi truyền phat (streaming latency) và khả năng kết

Trang 20

nối tương tác, điều khiển, Hình 2.1 cho ta thấy được sự khác nhau cho các chuân

streaming phô biến hiện nay trong sử dụng, và trong phạm vi của luận văn sẽ giám sátcác camera trong hệ thống giám sát video nên chuẩn RTSP được lựa chọn dé ứng dung

vì các yếu tô như: độ trễ thấp, phỏ biến trong việc kết nối điều khiển camera giám sát,khả năng sử dụng dễ dàng Danh sách các chuẩn về giao tiếp truyền dẫn dữ liệustreaming phô biến có thé liệt kê theo danh sách bên dưới:

Real-Time Messaging Protocol (RTMP)

- Real-Time Streaming Protocol (RTSP)

- HTTP Live Streaming (HLS)

- Low-Latency HLS

- Dynamic Adaptive Streaming over HTTP (MPEG-DASH)

- Low-Latency CMAF for DASH

- Microsoft Smooth Streaming

- Adobe HDS (HTTP Dynamic Streaming)

- SRT (Secure Reliable Transport)

- WebRTC (Web Real-Time Communications)

RTSP (Real Time Streaming Protocol - Giao thức truyền tin thời gian thực) là mộttrong những tiêu chuẩn truyền thống và phô biến được hỗ trợ cho hầu hết các loại camera

giám sát Các camera sẽ được kết nói về một hệ thống giám sát video tập trung đê được

quản lý và sử dụng, camera có rất nhiều chủng loại và nhà sản xuất khác nhau, nên cầnmột tiêu chuẩn được xác định trước dé đảm bảo tat cả các kết nối là đồng nhất RTSP —

Giao thức truyền tin thời gian thực là một giao thức điều khiển truyền thông mạng ở

tầng ứng dụng thiết kế cho việc thiết lập, kết nối và điều khiển các thiết bị trong cùng

một mạng RTSP được phát triển bởi RealNetworks, Netscape và Đại học Columbia, đã

được tiêu chuẩn hóa bởi Multiparty Multimedia Session Control (MMUSIC WG) củaIETF và công bồ vào năm 1998 Phiên bản mới nhát là RTSP 2.0 được công bồ vào năm

2016 [14].

Trang 21

Bang 2.1: Bảng danh sách các loại camera giám sát phổ biến

LOẠI

CAMERA HINH ANH MOTA

Bullet camera là loại camera da chức năng, phủ hợp sử dung cho cả trong nha và ngoài

Bullet & đường, thường có thiết kế dạng ống như

viên đạn, rất hiệu quả trong việc giám sát ở

khoảng cách xa.

Được thiết kế theo hình vòng, phù hợp cho

việc lắp đặt trong và ngoài nhà, có khả năng

Dome \f | xoay 360° (tự động hoặc bằng tay) Có ưu

® điêm là khó phát hiện được góc quay của

camera.

¬ Với khả năng có thể thay đổi được ống kính

lap đặt tùy theo nhu câu sử dụng, giám sát

C-Mount “a được nhiều khoảng cách khác nhau tùy theo

ông kính sử dụng.

PTZ (Pan Tilt & Zoom) camera là một loại

mở rộng của Dome camera, với khả năng điều khién từ xa (tự động hoặc bằng tay) dé

thay đổi được góc quay của camera đa

hướng và cả phóng to thu nhỏ Phù hợp để

giám sát một khu vực rộng.

PTZ

Với mục tiêu giám sat trong môi trường

thiếu ánh sáng, budi tối Với công nghệ tam

nhiệt được tích hợp bên trong camera, hỗ trợ ghỉ hình được ảnh trong điều kiện thiếu

sáng rat tốt Có khả năng hoạt động cả ban

ngày.

Infrared/Night

@ Camera có khả năng được quản lý, giám sát

X⁄ bằng cách kết nói thông qua môi trường,

mạng (nội bộ hoặc internet) Rất dễ dànglắp đặt và quản lý thiết lập từ xa

Network/IP

(@oồ Camera có khả năng kết nối qua mạng

Wireless Do các giới hạn về băng thông vàWireless lo) tốc độ đường truyền nên thường được tối ưu

về độ phân giải, chất lượng để phù hợp ghi nhận hình ảnh liên tục không bị gián đoạn.

Trang 22

ĐỘ TRE SN: GẦN THỜI GIAN

Trong ứng dụng giám sát camera diện rộng với nhiều camera, ngoài thành phần là

các camera được lắp đặt để thu nhận hình ảnh, còn cần đến một hệ thống trung tâm để

có thể tiếp nhận, quản lý và khai thác tập trung, hệ thống đó chính là Hệ thống giám sátcamera — VMS (Video management system) VMS có các chức năng chính là kết nóivới các thiết bị thu nhận hình ảnh, âm thanh như camera, các dữ liệu hình ảnh âm thanh

sẽ được lưu trữ và quản lý thông qua các thành phần lưu trữ video, và cung cấp giaodiện để có thể xem các hình ảnh, âm thanh trực tiếp từ camera hoặc từ dữ liệu lịch sử đãđược lưu trữ lại, ngoài ra còn có nhiều chức năng mở rộng khác như nhận dạng, phântích, cảnh bao, Giao điện cơ bản sẽ như Hình 2.3 Với lịch sử phát triển lâu dài, VMS

đã có rất nhiều nang cấp, cải tiến, có thé nhóm các giai đoạn phát triển của hệ thôngthành 03 thế hệ:

-_ Thế hệ thứ 1: CCTV analog với khả năng lưu trữ dạng sé

- Thế hệ thứ 2: Kết nói lượng lớn IP camera, chức năng xử lý ảnh cơ bản (phát hiệnxâm nhập hoặc nhận dạng đồ để quên)

- Thế hệ thứ 3: Hệ thống thông minh có khả năng trích xuất thông tin (áp dung AI,

đeep learning, ), cũng như khả năng lưu trữ dữ liệu, video lớn.

Kiến trúc hệ thống của VMS rat linh động, từ mô hình quan lý quy mô nhỏ với số

lượng camera ít đến quy mô rất lớn như cả thành phó, tùy theo mô hình mà kiến trúc sẽ

Trang 23

được mở rộng theo từng ứng dụng cụ thể, có thể tham khảo Hình 2.2 về việc trién khai

một hệ thống VMS cơ bản [15]

NVR NVR

Monitoring points Montonng points

Hình 2.2: Kiến trúc hệ thống giám sát camera qua mạng

Do nhu cầu sử dụng và các yêu cầu chức năng đa dạng của hệ thống VMS, rất

nhiều sản phẩm thương mại và các sản phâm mã nguồn mở đã được công bé và sử dụng

Trong phạm vi của đề bài, để biểu diễn được kết quả của nghiên cứu, một hệ thống giám

sát camera phù hợp với các tiêu chí như có đầy đủ các tính năng cơ bản cùa một hệ thống

VMS, cho phép việc phát triển tích hợp, mở rộng chức năng vào hệ thống, và dễ đàng

triển khai

Trang 24

2.1.2 Big data pipeline

Với sự phổ biến của điện toán đám mây, dữ liệu lớn và mô hình microservice,software as a service, có rất nhiều mô hình xử lý dữ liệu mới được nghiên cứu, phát triên

và ứng dụng thực tế, trong đó có mô hình xử lý dữ liệu là Data pipeline (hay Đường ống

dữ liệu) có rất nhiều ưu điểm nỗi bật Data pipeline có thể hiểu như một khung hệ thống

xử lý bao gồm một chuỗi các tiến trình xử lý được tổ chức, triển khai theo nhiều mụcđích xử lý dữ liệu khác nhau, từ khi di liệu được đưa vào (SOURCE) cho đến khi đưa

ra kết quả (DESTINATION) thì dir liệu đã được xử lý qua các tiến trình xử lý(PROCESSING) theo một luồng được thiết lập theo nhiều mục đích và mô hình khácnhau, xem mô hình kiến trúc cơ bản của data pipeline ở Hình 2.4 Data pipeline cungcấp khả năng tự động hóa các quy trình liên quan tới trích xuất, chuyền đổi, kết hợp vànạp dữ liệu Ngoài ra data pipeline tối ưu tốc độ xử lý bằng cách loại bỏ lỗi, độ trễ, các

nghẽn giữa các tiến trình và khả năng trién khai xử lý phân tán Trong dé tài này, việc

xử lý dữ liệu video theo thời gian thực có độ trễ phù hợp là một mục tiêu quan trọng, nên học viên triển khai một data pipeline xử lý dữ liệu video big data.

DATA > a Operation 1 | Operation 2 |] Operation 3 => DATA

Pipeline

Hình 2.4: Mô hình kiến trúc cơ ban của một data pipeline

Việc xử lý dữ liệu video trong đề bài được xác định là dùng một big data pipeline

có áp dụng kiến trúc xử lý data streaming Trong luận văn, dữ liệu đầu vào là các video

được phát trực tiếp từ camera, đữ liệu này có các đặc điểm của big data như khối lượng

di liệu lớn (Volume), độ phân giải của video ngày càng được nâng cao, theo từng độ

phân giải (resolution) và tốc độ khung hình (frame rate) mà độ lớn của video cũng tăngtheo nhiều lần, xem chỉ tiết thêm ở Bảng 2.2 Về tốc đi Velocity), các video được phát

về liên tục theo thời gian thực với độ trễ rất thấp, mỗi giây mỗi camera có thể truyền về

hệ thống giám sát đến 60 khung hình Video là một dữ liệu phi cấu trúc (Variety), cáckhung hình hoặc video cần có những phương pháp, công nghệ chuyên biệt dé có thé xử

lý hiệu quả Trong các mô hình xử lý dữ liệu của pipeline, có 2 mô hình cơ bản là Batch

Trang 25

processing và Stream processing Batch processing là mô hình xử lý dữ liệu theo từng lô/nhóm dữ liệu trong một khoảng thời gian (tham khảo Hình 2.5), Stream processing

là mô hình xử lý dữ liệu theo thời gian thực ngay khi dữ liệu được tiếp nhận và xác địnhtheo một điều kiện thiết lập trước trong một khoảng thời gian rất ngắn (tham khảo Hình2.6) Trong phạm vi của đề tài, học viên sẽ dựa trên kiến xử lý dữ liệu cơ bản của mộtstream big data data pipeline như mô tả của Hình 2.7 đẻ triển khai thực nghiệm

Bảng 2.2: Bảng dung lượng video theo format, độ phân giải, khung hình, birate Codec Resolution FPS Bitrate Size Video Audio Format

(KBPS) (MIB) Format None 2250 60 127000 855 AVC MPEG Audio

MP4 2160p 30 3950 774 — AVCIAAC MPEG Audio/AC-3

MP4 1080p 30 1872 26,6 AVC/AAC MPEG Audio / AC-3

MP4 720p 30 1992 134 — AVC/AAC MPEG Audio/AC-3

MP4 480p 30 965 6,41 AVC/AAC MPEG Audio / AC-3

MP4 360p 30 T14 5,16 AVC/AAC MPEG Audio / AC-3

Ogg 2160p 30 13200 88,6 — Theora Vorbis

Tham chiếu theo bảng tổng hợp ở bài báo [16]

Processing Processing Processing — Procesng

ee HH

Day1 >: | Pay3 Day4 | - Day N

Day 1 Day2 = 3 Day4 | - DayN

a Gee

N-Hình 2.5: Mô hình xử ly dữ liệu Batch processing

Trang 26

Processing Processing «Processing Processing

Input Data Input Data input Data Input Data

Hình 2.6: Mô hình xử lý dữ liệu Stream processing

STREAM PROCESSING

APP 2

STREAM

PROCESSING APP3

Ệ

STREAMING PLATFORM

Hình 2.7: Kiến trúc xử lý dữ liệu stream big data pipeline tiêu chuẩn

2.1.3 Các công nghệ xử lý nhận dạng hình ảnh áp dụng máy học, học sâu

Một trong những chức năng cải tiến quan trọng trong việc giám sát camera là giám

sát và cảnh báo tự động để tối ưu nguồn lực con người, để thực hiện được việc đó, khảnăng phân tích, xử lý và nhận dạng video là một yếu tố quan trọng Do nguồn dữ liệu

đầu vào cung cấp từ các camera cho mục đích giám sát, nên các nhu cầu về nhận dạng,

phân tích và xử lý cũng sẽ thuộc trong một số bài toán cụ thể, được liệt kê theo danh

Trang 27

LUẬN VĂN THẠC SĨ “TỰ ĐỘNG CHON CAMERA QUAN SÁT TRONG HE THONG GIÁM SÁT CÓ NHIÊU CAMERA”

Phát hiện hành vi bắt thường

Phát hiện tai nạn.

Tóm tắt video

Phát hiện xâm nhập.

Phát hiện cháy, khói.

Tuy theo mô hình triển khai, vị trí lắp đặt camera, nguồn dé liệu thu thập và nhu

cầu giám sát mà các phương pháp phân tích, nhận dạng sẽ được xác định phù hợp Vớicác nhu cầu giám sát an ninh trong một khu vực thì phương pháp phát hiện xâm nhập,

nhận dạng đối tượng, mặt người sẽ phù hợp Với các nhu cầu về giám sát ở nơi công

cộng thì các phương pháp như đếm đám đông, phát hiện hành vi bat thường nên được

áp dụng Với các nhu cầu giám sát giao thông thì các phương pháp dé phát hiện giaothông, tóm tắt video, phát hiện tai nạn, vi phạm giao thông sẽ đáp ứng nhu cầu quản lý,giám sát Trong phạm vi của đề tài, các tập dữ liệu là các video giám sát giao thông nênphương pháp tóm tắt video (VSUM) đề đánh giá độ quan trọng của video giám sát được

học viên lựa chọn dé trién khai Các bước cơ bản đề xử lý phân tích dé ra kết quả có thé

tham khảo qua Hình 2.8 Có rất nhiều nghiên cứu và phương pháp về tóm tắt video,trong các phương pháp đó thì việc sử dụng các công nghệ như máy học và học sâu đềtăng độ chính xác cũng như tối ưu về tốc độ xử lý là một yếu tô quan trọng, nên việc lựachọn các phương pháp tóm tắt video có áp dụng công nghệ máy học và học sâu đượclựa chọn dé triển khai

boundary

02 07 4

$

05 0.8

Shots ScoreShot Shots selection Visualization

Hình 2.8: Mô hình giải thích phương pháp tóm tắt video

Trang 28

2.2 Cac nghiên cứu liên quan

Đã có rất nhiều nghiên cứu, các tiêu chuẩn quốc tế được công bố cho việc vận hànhhiệu quả một hệ thống giám sát camera với khả năng giám sát hạn chế của con người,

có thé xem qua danh sách các tiêu chuẩn ISO được liệt kê ở Bảng 2.3 Đối với các triểnkhai của hệ thống giám sát camera, thông thường sẽ có các màn hình lớn, hoặc lắp đặtnhiều màn hình nhỏ liền kề nhau với mục đích là phát các video của camera càng nhiềucàng tốt Theo như mô tả của tiêu chuẩn ISO-11064 thì các màn hình theo dõi sẽ đượcdùng chung cho các nhân viên giám sát, nhưng di màn hình giám sát được lắp đặt với

số lượng lớn bao nhiêu thì theo nhiều nghiên cứu được thực hiện thì tối đa khả nănggiám sát đồng thời ở mức độ đơn giản cho một cá nhân con người là từ 12 đến 16 màn

hình [5].

Bảng 2.3: Bảng tiêu chuẩn ISO về vận hành hệ thống giám sát CCTV cho con người

STT Tiêu chuẩn Tén của tiêu chuan Nội dung tham chiêu

1 ISO 11064 The Ergonomic Design of Phan 3: Phong diéu khién

Control Centres Phan 4: Bố cục và kích thước

3 ISO 9355-2 Ergonomic requirements Phan 2: Hiên thị

for the design of displays and control actuators

4 ISO ENS0132-7 Alarm systems — CCTV Phần 7: Hướng dẫn sử dụng

surveillance systems for use ứng dụng

in security applications.

Chi thích: Nguồn được trích dẫn từ [5]

Trước đó trong bài nghiên cứu thử nghiệm hệ thống tự động hiển thị các video từcamera quan sát được lựa chọn hién thị do một phương pháp quyết định dựa trên điểm

số được xếp hạng theo tính nguy cấp của sự kiện bất thường [17] (như đậu xe trái phép,người xâm nhập trái phép, leo trèo vào khu vực cấm, không gian nhìn bị che, mờ, vật

thể bị dịch chuyên) và các đặc điểm nhận đạng đối tượng (nhận dạng mặt người, đếm

chỗ đậu xe trống) Các điểm số được xác định bằng cách biểu diễn qua một vectơ cótrọng số cho từng camera, được tính bằng cách kết hợp các giá trị tuyến tính của 2 tiêu

Trang 29

chí là sự kiện bat thường và đặc điểm nhận dang đối tượng trong video, thông qua so

sánh trọng sô các vector mà các camera sẽ được lựa chọn đê hiên thị.

Ngoài ra cũng đã có báo báo dé xuất phương pháp phát hiện sự kiện và cảnh báodựa trên các camera nhận dạng thông minh gồm các chức năng: báo động trước cho các

sự kiện bất thường được phát hiện trực tiếp từ các camera thông minh, lưu trữ video

giám sát và truy xuất nhanh các video bằng chứng, liên kết các yếu tố về thời gian-không.gian liên quan đến các sự kiện bất thường ở các vị trí giám sát khác nhau [18] Bài nghiên

cứu này không đưa ra giải pháp lựa chọn camera hiên thị, mà sử dụng giải pháp cảnh

báo các sự kiện bat thường được thu thập bởi các camera thông minh (xâm nhập vùng

cấm, tụ tập, lãng vãng, mặt người đáng nghị, lấy hoặc bỏ quên hành lý/balo, di chuyển

nhanh, đậu xe trái phép, hành động bạo lực) Để cảnh báo các sự kiện bất thường, một

mô hình đánh giá độ ưu tiên được sử dụng dựa vào cơ sở dữ liệu các sự kiện bất thườngđược cập nhật thường xuyên Trọng số của độ ưu tiên được tính toán dựa tính toán trênbảng tra trọng số của các loại sự kiện bất thường trong cơ sở dit liệu, kết hợp với các giá

trị của không gian và thời gian.

Việc lựa chọn camera trong việc giám sát đa mục tiêu được thử nghiệm với bộ

dataset CityFlow (giống với bộ video giao thông đang thu thập trong luận văn) và sử

dụng quy trình ra quyết định Markov Decision Process (MDP) để lựa chọn camera [19]

Với việc xây dựng mô hình lựa chọn camera phù hợp với quy trình MDP là một trong

phương pháp hiệu quả đề lựa chọn được camera phù hợp đề trình chiếu

Việc tiếp cận xử lý dữ liệu streaming data từ video của camera cần các kỹ thuật

đặc biệt, sử dụng mô hình ống dữ liệu đề trích xuất, xử lý, và khai thác là một trong

những giải pháp hiệu quả được áp dụng trong nhiều ứng dụng và nghiên cứu [20] Với

khả năng mô-đun hóa các thành phần hỗ trợ khả năng thay thế, nâng cấp cũng như mởrộng theo từng nhu cầu cụ thể

Queue |—|—>| Workeri,

l

Queue | —|—>| Werker

Trang 30

Khi đã tiếp nhận các luồng video từ camera, tùy theo nhu cầu cụ thể, hệ thống có

thể thiết lập các dịch vụ xử lý hình ảnh khác nhau đề nhận dạng Có rất nhiều công nghệ

xử lý nhận dạng hình ảnh khác nhau như phát hiện sự kiện bất thường, nhận dạng đốitượng, tóm tắt video, Trong luận văn này sẽ tập trung vào các công nghệ Videosummarize [21] [22], các công nghệ nhận dang sử dụng máy học để nhận dạng đám

đông, xe cộ, sự kiện bat thường, tai nan [23] Với các video giám sát, việc phân tích xử

lý có rất nhiều thách thức

Trang 31

CHUONG 3: CÀI ĐẶT VÀ THỰC NGHIỆM

3.1 M6 hình triển khai, công cụ và môi trường phát triển

3.1.1 Mô hình triển khai

Để tiến hành thực nghiệm phủ hợp với phạm vi đã đưa ra, học viên đưa ra mô hìnhtriển khai ở mức cơ bản nhưng vẫn có day đủ tất cả các thành phan và khả năng vận

hành thực tế (Hình 3.1) Các thành phần cơ bản trong hệ thống được mô tả như sau:

- Các camera/video phát video theo chuẩn RTSP: Các camera phát video liên tục

theo thời gian thực.

- Hệ thống big data stream pipeline dé xử lý luồng stream data: Được kết nối vớicác camera, có khả năng trích xuất dé chuyển cho các dịch vụ nhận dạng, phân tích

va cung cấp dịch vụ để VMS truy suất các camera đã được lựa chọn

- Hệ thống VMS đề trình chiếu các camera được kết nối và lựa chọn: Kết nối cáccamera để trình chiếu video, sau đó sẽ lấy thông tin các camera được lựa chọn từ

hệ thống big data pipeline và trình chiếu các camera được lựa chọn theo thứ tự

AACS (Auto active camera selection)

BIG DATA STREAM PIPELINE

Hình 3.1: Mô hình triển khai thực nghiệm

3.1.2 Hạ tầng triển khai

Theo như mô hình triển khai đã được trình bày, danh sách ha tang phần cứng đề

xuất để triển khai cần tối thiếu 02 máy chủ Một may chủ dé cai đặt hệ thống big data

Trang 32

pipeline, một máy chủ để cài đặt hệ thống giám sát video VMS Shinobi Danh sách và

cấu hình các máy chủ được liệt kê chỉ tiết ở Bảng 3.1

Bảng 3.1 Câu hình

ing mô tả cấu hình ha tang máy chủ triển khai

M

Máy chủ 1 - Big data

stream pipeline @ 2.30GHz

Cores: 16 Virtualization: Enabled RAM: 64GB

OS: Windows Server 2016 Standard

GPU: Không có

CPU: Intel(R) Xeon(R) Gold 6140 Máy chủ được cài đặt toàn bộ

các hệ thông big data pipeline,

streaming, xử lý phân tích

hình ảnh và API cung cấp

danh sách camera được lựa

chọn Các thành phần được cài

đặt trên môi trường docker.

May chủ 2 ~ VMS CPU: Intel(R) Core(TM) i5-9400F Máy chủ được cai

@ 2.90GHz

Cores: 6 Virtualization: Enabled

thong Shinobi trên hệ hành

Ubuntu Các thành phần của

Shinobi sẽ được cài đặt hoàn

RAM: 16GB toàn trên máy chủ này (như co OS: Ubuntu Server 20.04 sở dit liệu, web, )

GPU: NVIDIA GeForce GT 1030,

3.11 Các công cụ sử dung

Trong quá trình triển khai và xây dựng hệ thống, các công cụ phục vụ cho lập trình,

phát triên, quản lý được mô tả theo Bảng 3.2:

Bảng 3.2: Các công cụ sử dụng trong việc xây dựng, phát triển thực nghiệm

Tên công cụ Phiên bản Mục đích sử dụng

'Visual Studio Code 1.73 Lập trình, kết nôi, quan ly toàn bộ các mã

nguồn

Robo 3T 1.4.4 Công cụ giúp quản lý dữ liệu trên Cơ sở

dit liệu MongoDB

DBeaver 22.1.2 Phan mêm két nỗi và quan lý các cơ sở dit

liệu

Git & Git Fork 1.78 Công cụ hỗ trợ quản ly lich sử phiên bảnSupperPutty 1.4 Công cụ hỗ trợ kết nói đến các máy có hệ

điều hành LinuxVLC Media Player 3.0 Phan mềm hỗ trợ xem các tập tin video và

kết nồi streaming videoPortainer 2.16.1 Hệ thông quản lý Docker

Docker Desktop Version Phân mêm cài đạt docker trên nên tảng

Community 2.0.0.3 Windows

Trang 33

3.12 Docker

3.1.2.1 Môtả

Docker là nền tảng phần mềm cho phép khởi tạo và triển khai ứng dụng bằng cách

đóng gói phần mềm vào các đơn vị tiêu chuẩn hóa được gọi là container, trong container

sẽ có đủ các yêu cầu về môi trường mà phần mềm cần đẻ hoạt động, các yêu cầu nhưthư viện, công cụ hệ thống, mã nguồn và runtime Bằng cách sử dụng Docker, có thể

nhanh chóng triển khai và thay đổi quy mô ứng dụng vào bat kỳ môi trường nào và vẫn

đảm bảo hệ thống phần mềm sẽ luôn hoạt động đúng

- Tinh dễ ứng dụng: Việc dé dang sử dụng và triển khai cho người dùng là rất quan

trọng Tiết kiệm được thời gian và độ phức tạp của việc phát triển và triển khai làmột tiêu chí quan trọng Với docker, rất dễ cho mọi người sử dụng từ lập trìnhviên, sys admin tận dụng lợi thế của container để build, test nhanh chóng Cóthé đóng gói ứng dụng trên môi trường phát triển và triển khai ngay trên môi trường

public cloud, private cloud.

Trang 34

- Tốc độ: Việc xử lý các luồng stream big data cần đáp ứng vẻ tốc độ xử lý cũng

như hoạt động Docker container rất nhẹ và nhanh, việc tạo và chạy docker

container chỉ trong vài giây.

- Môi trường vận hành và khả năng mở rộng: Với yêu cầu dé dàng mở rộng theonhu cau, cập nhật hàng loạt cho các microservice và kha năng kết nối giữa cácmicroservice là rat quan trọng trong môi trường van hành thực tế Với Docker, việcliên kết các container với nhau để tạo thành một ứng dụng được hỗ trợ đầy đủ, cácthành microservice có thể triển khai độc lập, hàng loạt nhưng vẫn đảm bảo kết nối

với nhau.

Với xu hướng dịch chuyển sang microservices của các hệ thống lớn, Docker đang

làm một thành phần cực kỳ quan trọng Và đề bài lựa chọn docker là môi trường triểnkhai cho hệ thống big data pipeline

3.1.2.3 Mô hình triển khai

Trên máy chủ xử lý sẽ được cài đặt môi trường docker và các công cụ quản lý như

Portainer Thông qua docker các dịch vụ, hệ thống, cơ sở đữ liệu, website, sẽ đượccài đặt và giao tiếp hoạt động cùng nhau Đề chứng minh cho khả năng vận hành đa nềntảng, hệ thống docker với các container runtime là Linux sẽ được triển khai trên máy

chủ cài đặt hệ điều hành Windows, được vận hành thông qua Docker Desktop, được mô

tả qua kiến trúc như Hình 3.3 Các container image sẽ được quản lý thông qua dịch vụ

của Gitlab (https://registry gitlab com/https://registry.gitlab.com — Một dịch vụ

miễn phí cho quản lý các images container).

Trang 35

Client IDOCKER_HOST)

docker build }

docker pull

-docker run —†

Hình 3.3: Mô hình triển khai docker cho các hệ thống bên trong

'Với mục đích đơn giản hóa hoạt động vận hành cho hệ thống có sử dụng docker,

cũng như khả năng quản lý, điều khiển từ xa các hệ thống trong docker dễ dàng và bảo

mật hơn, giải pháp quản lý Portainer (https://

www portainer io /https://www.portainer.io/) được lựa chọn dé sử dụng Với giao diện

dễ dùng (Hình 3.4), khả năng quản lý các container của docker tốt và cung cấp các API

cũng như bảo mật khi truy cập hệ thống quản lý là những lý do dé sử dụng Portainer

Hình 3.4: Giải pháp quản lý docker Portainer

Trang 36

3.2 Big data framework - Streaming Data Pipeline

3.2.1 Mô hình triển khai

'Với mục tiêu xây dựng một big data pipeline cơ bản có đầy đủ khả năng xử lý được

dit liệu video được phát theo thời gian thực, thực hiện đầy đủ các giai đoạn trong xử lý

dữ liệu và hỗ trợ biểu diễn được kết quả trên một hệ thống giám sát video VMS, luậnvăn đưa ra mô hình triển khai một hệ thống MVP như Hình 3.5 Trong mô hình có các

thành phần sau:

- (1) Cơ sở dữ liệu hệ thống: Lưu trữ tắt cả thông tin thiết lập cho các thànhphần trong pipeline Đề xuất sử dụng cơ sở đữ liệu NosQL MongoDB, triển

khai trên môi trường docker.

- (2) Dịch vụ trích xuất luồng stream video: Các dịch vụ kết nối tới các luồng

stream camera thông qua chuẩn giao tiếp RTSP, dựa theo thiết lập được lưu trữ

hệ thống, dịch vụ sẽ tiến hành trích xuất, chuyền đổi luồng

để lấy các dữ liệu đã trích xuất ra tiền hành tính toán, xử lý Đề xuất sử dụng

RabbitMQ có thể triển khai trên nền tảng docker

- (4) Các dịch vụ xứ lý và phân tích: Các dich vụ được phát triển với các Input

và Output được quy định cùng một mô hình dữ liệu, các dịch vụ có khả năng

kết nói với Hàng đợi dữ liệu và lấy ra các dữ liệu trích xuất dành riêng cho từngloại dịch vụ, sau đó tiến hành tính toán xử lý, kết quả sẽ được lưu trữ lại vào

Cơ sở dữ liệu kết quả Các dịch vụ yêu cầu có thể triển khai trên nền tảng dockervới cùng hệ tham số môi trường tương ứng

- (5) Cơ sở dữ liệu kết qua: Cơ sở dữ liệu lưu trữ các thông tin về kết qua tínhtoán được thực hiện bởi các dịch vụ xử lý và phân tích, các kết quả lưu trữ làtime-series data được liên tục ghi vào trong cơ sở dữ liệu Được triển khai bàng

cơ sở dữ liệu Clickhouse trên nền tảng docker

Trang 37

- (6) Dịch vụ lựa chọn camera: Dịch vụ cung cấp các API theo tiêu chuẩn

REST, cung cấp kết quả là danh sách các camera được lựa chọn dựa vao tínhtoán trên các kết quả lưu trữ trong Cơ sở dit liệu kết quả Dịch vụ được phát

Hình 3.5: Mô hình trién khai MVP 3.2.2 Cơ sở dữ liệu hệ thống

3.2.2.1 Môtả

Các thông tin thiết lập hệ thống và các thông tin điều khiển cần được lưu trữ lại đểcho các dịch vụ và các hệ thống có thé cùng truy cập Các thông tin cần thiết dé quan lý

được liệt kê ở Bảng 3.3.

Bảng 3.3: Các thông tin thiết lập sẽ được lưu trữ trong cơ sở dữ liệu hệ thống

Thông tin Mô tả Ghi chú

thiết lập

Các thôngtin Thông tin cameracần Các thông tin cần lưu trữ:

thiết lập của thiếtđể cóthểkếtnối, - Tên camera

camera truy cập - Mã camera

- Loại camera

- Độ ưu tiên của camera

- VỊ trí của camera

- _ Đường dẫn truy cập camera

- Tài khoản truy cập

-_ Mật khẩu tru cap

Các thông tin Thông tin dé dịch vụ Các thông tin cân lưu trữ:

thiết lập về trích xuất dữ liệu sẽ -_ Tên thiết lập

trích xuất dựa vào đề xử lý các - Mã thiết lập

video từ luồng stream camera - Mã camera dùng dé trích xuất

Trang 38

các dịch vụ phân tích

nhận dạng

Loại dịch vụ phân tích, nhận dạng sẽ được áp dụng

Tần suất trích xuấtLoại trích xuất (frame, shot)Thong tin chi tiết của trích xuất

(frame/giây, giây/shot)

Thông tin về hàng đợi đề gửi dữ liệu

đã trích xuất

Các thông tin Thông tin định nghĩa Các thông tin cân lưu trữ:

thiết lập về các dịch vụ phân tích, -_ Tên dịch vụ

dịch vụ phân xử lý hình ảnh - Mã dịch vụ

tích, xử lý - Loại dịch vụ

- Độ ưu tiên của dịch vụ

- _ Thông tin hang đợi dé lay dữ liệu

-_ Thời gian giới hạn cho việc xử lý dữ

liệ

Nhật ký hệ Lưu trữ các log nhật ký Cac thông tin cần lưu trữ:

thống hệ thống của tất cả các _ - _ Thời gian ghi nhận nhật ky

dịch vụ trong cùng hệ

thong dang van hanh

-Tén cua dich vu phat sinh ra nhat ky Nội dung nhật ky

Loại nhật ký (INFO, WARNING,

ERROR) 3.2.2.2 Lựa chọn công nghệ

Có rất nhiều hệ cơ sở dữ liệu khác nhau có thể được lựa chọn Luận văn dựa theocác tiêu chí sau đề xác định được hệ cơ sở dữ liệu phù hợp:

- Hiệu suất cao

- Tính sẵn sảng cao — khả năng nhân rộng và mở rộng.

- Hỗ trợ lược đồ cơ sở dit liệu linh động

- Linh hoạt trong việc thêm, xóa, sửa các trường dữ liệu nhưng không ảnh hưởng

đến vận hành hệ thống

- Kha năng biểu diễn dữ liệu dang JSON

- Phù hợp với kiến trúc micro service và ảo hóa trên nền tảng docker

- Có khả năng triển khai trên điện toán đám mây

- Có ngôn ngữ truy vấn và gọi hàm

Hệ cơ sở dữ u NoSQL Mongo có day đủ các đặc điểm đáp ứng các tiêu chí trênkhi so sánh với các hệ cơ sở đữ liệu quan hệ truyền thống, nên được học viên lựa chọnlàm cơ sở đữ liệu quản lý của hệ thống

Trang 39

3.2.2.3 Mô hình triên khai

Cơ sở dữ liệu MongoDB được triển khai trên môi trường Docker với containter

Linux phiên bản 4.4, được đánh giá là ổn định cho triển khai môi trường production

Các bước thực hiện cài đặt gọi qua các lệnh điều khiển của docker, image của container

sử dụng chính thức qua Docker hub (https://hub.docker.com/ / mongohttps://hub.docker.com/_/mongo) Các câu lệnh cài đặt như sau:

docker pull mongo:4.4

docker run name mongodb -v mongodata:/data/db -d -p

Một trong những giai đoạn trong streaming data pipeline là việc thu nhận và chuẩn

bị dữ liệu Các camera khi hoạt động sẽ phát ra các luồng stream thông qua chuẩn kếtnối RTSP dé cung cấp hình ảnh va âm thanh Đề kết nói với camera và truy xuất đượcluồng stream video, dịch vụ sẽ cần các thư viện hỗ trợ đề kết nối được thông qua chuẩnRTSP Sau khi kết nối và thu nhận dữ liệu streaming video, dựa vào thiết lập của hệthống mà luồng streaming sẽ được xử lý thông qua các thư viện xử lý hình ảnh dé tríchxuất và biến đổi thành các dữ liệu có thé tiến hành phân tích xử lý được Các dữ liệu sau

khi xử lý sẽ được gửi lên hàng đợi dit liệu.

Tiêu đề	Tự động chọn camera quan sát trong hệ thống giám sát có nhiều camera
Tác giả	Tất Khải Vinh
Người hướng dẫn	PGS.TS Lê Đình Duy
Trường học	Đại học Quốc gia Thành phố Hồ Chí Minh Đại học Công nghệ Thông tin
Chuyên ngành	Công nghệ thông tin
Thể loại	Luận văn thạc sĩ
Năm xuất bản	2022
Thành phố	Tp. Hồ Chí Minh

Định dạng
Số trang	78
Dung lượng	42,9 MB