Khóa luận tốt nghiệp Truyền thông và mạng máy tính: Xây dựng hệ thống camera AI thông minh giám sát biên giới

Mục tiêu Trong khóa luận này, chúng tôi đặt ra những mục tiêu như sau: - Xây dựng mô hình theo hướng Artificial Intelligence of Things AIoT, tìm hiểu các thiết bị và công nghệ sẽ được sử

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH

TRUONG DAI HỌC CONG NGHỆ THONG TIN KHOA MANG MAY TINH VA TRUYEN THONG

LUONG HUU DANG KHOA

NGO TAN AN

KHOA LUAN TOT NGHIEP

XAY DUNG HE THONG CAMERA AI THONG MINH

GIAM SAT BIEN GIOI

BUILDING A SMART AI-BASED CAMERA SYSTEM FOR

BORDER SECURITY

KỸ SƯ NGANH TRUYEN THONG VA MẠNG MAY TÍNH

TP HO CHi MINH, 2022

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH

TRUONG DAI HOC CONG NGHE THONG TIN KHOA MANG MAY TINH VA TRUYEN THONG

LUONG HỮU DANG KHOA - 18520919

NGO TAN AN - 18520429

KHOA LUAN TOT NGHIEP

XAY DUNG HE THONG CAMERA AI THONG MINH

GIAM SAT BIEN GIOI

BUILDING A SMART AI-BASED CAMERA SYSTEM FOR

BORDER SECURITY

KỸ SU NGANH TRUYEN THONG VA MẠNG MAY TÍNH

GIANG VIEN HUONG DAN

TS LE KIM HUNG

ThS THAI HUY TAN

TP HO CHi MINH, 2022

THONG TIN HOI DONG CHAM KHÓA LUẬN TOT NGHIỆP

Hội đồng chấm khóa luận tốt nghiệp, thành lập theo Quyết định số T8ày của Hiệu trưởng Trường Đại học Công nghệ Thông tin.

¬ EESSESES — Chủ tịch.

P PETESE TEES ESE SESTTEE SSS ETTOSTSOTSTOOOT — Thu ký.

Boece cece eee eee e eee tees een eee ee nee tn ee —Uy viên.

I cece ——— — Ủy viên.

ĐHQG TP HO CHÍ MINH CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do — Hanh Phúc

CÔNG NGHỆ THÔNG TIN

TP HCM, ngay tháng năm 2022

NHAN XÉT KHÓA LUẬN TOT NGHIỆP

(CUA CÁN BO HƯỚNG DAN) Tên khóa luận:

XÂY DUNG HE THONG CAMERA AI THONG MINH GIÁM SAT BIEN GIỚI

Nhom SV thuc hién: Cán bộ hướng dẫn:

Lương Hữu Đăng Khoa - 18520919 TS Lê Kim Hùng

Ngô TAn An - 18520429 ThS Thái Huy Tân

Đánh giá Khóa luậ

1 Về cuốn báo cáo:

Số trang Số chương

Số bảng số liệu Số hình vẽ

Số tài liệu tham khảo Sản phẩm

2 Về nội dung nghiên cứu:

4 Về thái độ làm việc của sinh viên:

Người nhận xét (Ký tên và ghi rõ họ tên)

ĐHQG TP HO CHÍ MINH CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC Độc Lập - Tự Do — Hanh Phúc

CÔNG NGHỆ THÔNG TIN

TP HCM, ngay tháng năm 2022

NHAN XÉT KHÓA LUẬN TOT NGHIỆP

(CỦA CÁN BỘ PHẢN BIỆN) Tên khóa luận:

XÂY DUNG HE THONG CAMERA AI THONG MINH GIÁM SAT BIEN GIỚI

Nhom SV thuc hién: Can bộ phản biện:

Lương Hữu Đăng Khoa - 18520919

Ngô TAn An - 18520429

Đánh giá Khóa luậ

1 Về cuốn báo cáo:

Số trang Số chương

Số bảng số liệu Số hình vẽ

Số tài liệu tham khảo Sản phẩm

2 Về nội dung nghiên cứu:

4 Về thái độ làm việc của sinh viên:

Người nhận xét (Ký tên và ghi rõ họ tên)

ĐHQG TP HÒ CHÍ MINH CONG HOA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC Độc Lập — Tự Do - Hạnh Phúc

CÔNG NGHỆ THÔNG TIN

TP.HCM,ngày tháng năm 2022

ĐÈ CƯƠNG ĐÈ TÀI LUẬN VĂN KỸ SƯ

1 Tên đề tài hoặc hướng NC

Tên tiếng Việt: Xây dựng hệ thống camera AI thông minh giám sát biên giới

Tên tiếng Anh: Building a smart AI-Based camera system for border security

2 Ngành và mã ngành đào tạo

Ngành: Truyền thông và Mạng máy tính

Mã ngành: 52480102

3 Họ tên học viên thực hiện đề tài, khóa - đợt học

Ho tên sinh viên 1: Lương Hữu Dang Khoa MSSV: 18520919

Ho tên sinh viên 2: Ngô Tan An MSSV: 18520429

Người hướng dẫn 1: TS Lê Kim Hùng

Dia chi email: hunglkuit.edu.vn Điện thoại: 0948790268

Người hướng dẫn 2: ThS Thái Huy Tân

Dia chi email: tanth@uit.edu.vn Dién thoai: 0383410784

4 Tổng quan tình hình NC

Bảo vệ biên giới luôn là một trong những nhiệm vụ quan trọng hàng đầu trong công cuộc bảo vệ nền hòa bình của đất nước Dé đảm bảo an toàn của người dân cũng

như chiến sĩ vùng biên giới, các giải pháp trong lĩnh vực quốc phòng và an ninh trật phải

luôn được thực hiện một cách hiệu quả trong mọi tình huống có thể xay ra.

Các vấn đề liên quan đến việc giám sát luôn là chủ đề được bộ an ninh quốc

phòng đặc biệt chú trọng và luôn cần các giải pháp về công nghệ thông tin đề giải quyết triệt để Một vi dụ điển hình cho việc xung đột biên giới giữa hai nước Trung Quốc — An

Độ với số người chết lên đến 20 người, đây có thể coi là bài học cho các nước cũng vừa

là động lực thúc day chúng tôi hoàn thành triển khai hệ thống Bên cạnh đảm bảo lưu

lượng di chuyên của con người luôn trong tầm kiểm soát thì các vấn đề về an ninh, dân sinh, kinh tế ở vùng biên giới cũng sẽ có tiến triển tích cực hơn Và quan trọng nhất là

trong việc giữ chân người dân và thu hút các nhà đầu tư phat triển cơ sở ha tang.

kỹ sư xây dựng hệ thống thông minh có độ chính xác cao tùy biến theo các ngữ cảnh khác nhau Đi đôi với đó, là sự cải tiến của các thiết bị nhúng Internet of Things (IoT) đã

có bộ vi xử lý tốt hơn trước và tích hợp mạng không dây với các giao thức nhỏ gọn (HTTP, LoRaWan, NB-IoT, Modbus) giúp hiện thực hóa các ý tưởng thành các sản phâm ứng dụng Hệ thống sau khi được hoàn thiện sẽ giúp giải quyết được các tình huéng nguy

cơ cao, đe doa đến tính mạng con người như các cuộc tấn công cực đoan hoặc ngăn chặn

thành công một số các hành vi phạm pháp khác như buôn người, vượt biên và vận chuyển ma túy.

6 Mục tiêu, đối tượng và phạm vi nghiên cứu

6.1.1 Mục tiêu

Trong khóa luận này, chúng tôi đặt ra những mục tiêu như sau:

- Xây dựng mô hình theo hướng Artificial Intelligence of Things (AIoT), tìm hiểu

các thiết bị và công nghệ sẽ được sử dụng trong đề tài.

- Tìm hiểu về ưu điểm và nhược điểm của các thuật toán Object Detection phổ biến

hiện nay, cài đặt các môi trường mà các mô hình máy học yêu cầu trên Raspberry

Pi 4 Xây dựng hệ thống với khả năng nhận diện đối tượng lam trọng tâm theo ý

tưởng ban đầu đề ra.

- Sau khi thành công các bước đã dé ra ở trên, Website Admin sẽ được xây dựng

như một nơi lưu trữ thông tin và trực quan dữ liệu cho người dùng đề thuận lợi cho việc quản lý và giám sát.

6.1.2 Đối tượng nghiên cứu

Với các mục tiêu phía trên thì đề tài sẽ nghiên cứu chủ yếu về các đối tượng như

Nghiên cứu về những module máy học có khả năng phát hiện và nhận diện đối

tượng.

Nghiên cứu về Raspberry Pi và Camera Pi dé triển khai hệ thống sao cho hợp lý

và hiệu quả Tìm hiểu và triển khai Coral USB Accelerator kết hợp với Raspberry

Pi dé tăng khả năng xử lý hình ảnh.

Tìm hiểu về NodeJS, Python, HTML, CSS, Javascript và các hệ quản trị cơ sở dữ liệu như MongoDB đề xây dựng Website phục vụ cho việc quản lý và trực quan hóa dữ liệu.

6.1.3 Phạm vi nghiên cứu

Khóa luận thực hiện nghiên cứu trên không gian của trường học và tại Công ty Trung Tâm Dữ Liệu thuộc Đại Học Quốc Gia TP Hồ Chí Minh hoặc những nơi có người

thường xuyên qua lại Đề tài sau khi hoàn thành có thê cải tiến thêm về mặt thiết bị để

triển khai trên những khu vực biên giới.

7 Nội dung, phương pháp

Giai đoạn 1: Tìm hiểu, xây dựng và triển khai mô hình máy học lên thiết bị.

Phương pháp: Tham khảo các nghiên cứu đã được công bố về đề tài giám sát biên

giới tự động Xác định các công nghệ sẽ hướng đến trong đề tài từ đó xây dựng

mô hình hoạt động cho toàn bộ hệ thống Tìm hiểu về ưu điểm và nhược điểm của các thuật toán Object Detection phổ biến hiện nay, cài đặt các môi trường mà các

mô hình máy học yêu cầu trên Raspberry Pi 4 Xây dựng hệ thống với khả năng

nhận diện đối tượng làm trọng tâm theo ý tưởng ban đầu đề ra.

Kết quả mong đợi: Xác định được tác vụ của các thành phan và thực hiện truyền

thông tin qua các lớp của hệ thống (Edge và Cloud network) Chọn được mô hình

có khả năng hoạt động tối ưu nhất nhằm tránh tình trạng quá tải và hiệu suất thấp

trên Raspberry Pi 4.

Giai đoạn 2: Xây dựng hoàn chỉnh Website dé theo dõi và trực quan hóa dit liệu.

Phương pháp: Website sẽ được thực hiện qua các bước như sau:

© Gửi thông tin đã được phân tích từ Raspberry Pi 4 đến máy chủ Things

thông qua giao thức HTTP.

e Lấy dữ liệu dưới dang API từ máy chủ Things.

e Cài đặt va sử dụng các Framework, ngôn ngữ như Python, NodeJS,

Javascript, Handlebars dé xây dựng UI cho hệ thống.

- Kết quả mong đợi: Thiết lập kết nối bền vững giữa các node trong mô hình, biểu

diễn chính xác và trực quan nhất về mặt dữ liệu trên Website.

Giai đoạn 3: Hoàn thiện đề tài.

- Phương pháp: Đánh giá, so sánh mục tiêu ban đầu với kết quả đạt được, sau đó

xác định ưu nhược điểm và đề ra các hướng phát triển trong tương lai dựa trên các

kết quả nghiên cứu.

- Kết quả mong đợi: Hoàn thành báo cáo, trình bay dé tai trước giảng viên hướng

Nội dung thực hiện Thời gian 5

Lương Hữu Đăng Khoa Ngô Tân An

01/03/2022 — 14/03/2022 | Tìm hiểu về đề tài và các mô hình máy học có khả năng

nhận phát hiện và nhận diện vật thê.

15/03/2022 — 04/04/2022 | Tìm hiểu về cách triển khai | Tìm hiểu về các thiết bị hỗ

các mô hình máy học trên | trợ trong việc xây dựng hệ thiết bị thông.

05/04/2022 — 05/05/2022 | Tiến hành cài đặt và tích hợp các mô hình máy học trên

Raspberry Pi 4 Sửa những lôi phát sinh từ việc cài đặt.

06/05/2022 — 13/05/2022 | Triển khai trên thiết bi.

14/05/2022 — 21/05/2022 | Tìm hiểu những ngôn ngữ va Framework cần thiết dé xây

(Họ tên và chữ ký) (Họ tên và chữ ký) (Họ tên và chữ ký)

LỜI CẢM ƠN

Lời đầu tiên, chúng tôi xin gửi đến ban giám hiệu, quý thầy cô và các nhân

viên của trường Đại học Công Nghệ Thông Tin đã tạo cơ hội và diu dat chúng tôi

được học tập và phát triển trong một môi trường học tập đầy năng động và hiệu quả Đặc biệt, chúng tôi xin chân thành cảm ơn các thầy cô trong khoa Mạng máy tính và

Truyền thông đã tận tình giúp đỡ và giảng dạy dé truyền đạt cho chúng tôi những

kiến thức hữu ích trong suốt những năm tháng học tập và nghiên cứu tại trường.

Chúng tôi xin chân thành gửi lời cam ơn đến TS Lê Kim Hùng và ThS Thái

Huy Tân vì đã luôn tận tình giúp đỡ, hướng dẫn và đưa ra những lời khuyên hữu ích

để tạo điều kiện cho chúng tôi xây dựng và hoàn thành khóa luận Sự tận tình và lời

dạy của hai thầy là kim chỉ nam để chúng tôi có thể hoàn thành khóa luận này với khả năng tốt nhất của mình.

Sau cùng, chúng tôi xin gửi lời cảm ơn đến bố mẹ và gia đình đã tạo mọi điều kiện tốt nhất cho chúng tôi về cả vật chất và tỉnh thần, luôn động viên, khích lệ

và ủng hộ chúng tôi Những sự giúp đỡ ấy đã tạo ra nguồn động lực to lớn cho chúng tôi trong suốt thời gian nghiên cứu vừa qua.

Kết quả của khóa luận này là thành quả của sự tâm huyết và nỗ lực không

ngừng nghỉ của chúng tôi trong thời gian qua, những khuyết điểm trong việc truyền tải kiến thức là không thể nào tránh khỏi, chúng tôi kính mong quý thầy cô xem xét

và đưa ra những lời khuyên đề giúp chúng tôi hoàn thiện những khuyết điểm ấy.

Chúng tôi một lần nữa xin chân thành cảm ơn!

TP.HCM,ngày tháng năm 2022

Sinh viên 1 Sinh viên 2

(Ký tên và ghi rõ họ tên) (Ký tên và ghi rõ họ tên)

1.5 Phương pháp nghiên cứu

1.7 Cấu trúc khóa luận

Chương 2: CÁC CÔNG TRÌNH LIÊN QUAN

2.1 Các công trình giám sát biên giới

2.2 Các công trình sử dụng mô hình YOLO

2.3 Các công trình sử dụng mô hình SSD MobileNet

Chương 3: CƠ SỞ LÝ THUYET

3.1 Object Detection

3.1.1 Giới thiệu Object Detection

3.1.2 Ưu điểm của Object Detection 3.1.3 Sử dung Object Detection trong dé tai

3.2 Mô hình YOLO

3.2.1 Giới thiệu YOLO

3.2.2 Ưu điểm của YOLO

3.2.3 Sử dụng YOLO trong đề tài

3.3 Mô hình SSD MobileNet

3.3.1 Giới thiệu mô hình SSD MobileNet

3.3.2 Ưu điểm của mô hình SSD-MobileNet 3.3.3 Sử dụng mô hình SSD-MobileNet trong dé tài.

3.4.2 Ưu điểm của Fluentd 3.4.3 Sử dụng Fluentd trong dé tài

3.5 Edge Cloud Computing

3.5.1 Giới thiệu Edge Cloud Computing

3.5.2 Ưu điểm của Edge Cloud Computing 3.5.3 Sử dụng Edge Cloud Computing trong đề tài

3.6 Python

3.6.1 Giới thiệu Python

3.6.2 Ưu điểm của Python

3.6.3 Sử dụng Python trong để tài

3.7 Flask

3.7.1 Giới thiệu Flask

3.7.2 Ưu điểm của Flask

3.7.3 Sử dụng Flask trong đề tài

3.8 NodeJS

3.8.1 Giới thiệu NodeJS

3.8.2 Ưu điểm của NodeJS 3.8.3 Sử dung NodeJS trong đề tài Chương 4: PHAN TÍCH VA THIẾT KE HE THONG

4.1 Kién tric hé thống

4.2 Cơ chế hoạt động của hệ thống SACS

Chương 5: THU NGHIEM VÀ ĐÁNH GIA HỆ THONG

5.1 Tap dữ liệu kiểm thử

5.2 Các mô hình máy học áp dụng cho hệ thông SACS

5.3 Đánh giá các mô hình máy học nhận diện đối tượng

5.4 Áp dụng thuật toán Centroid Tracking

5.4 Hiện thực hệ thống

oO OOH NY NNN DD DUN NA nA CĐ CĐ

we BR BW NY b2 Ye NY NY NY t2) WYNF ON DH FN NY KF C

5.4.1 Xây dựng thiết bị phần cứng cho Edge Network và Gateway 5.4.2 Khả năng nhận diện và phân tích đối tượng

5.4.3 Khả năng truyền và nhận dữ liệu

5.4.4 Hiện thực Website quản lý với máy chu Things

5.4.4.1 Giao diện đăng ký 5.4.4.2 Giao diện đăng nhập 5.4.4.3 Giao diện Dashboard

Chương 6: KET QUA

DANH MỤC HÌNH

Hình 2.1: Mô hình đồ họa của hệ thống bảo vệ biên giới trong [1] 7 Hình 2.2: Cấu trúc liên kết lưới của kịch bản FleGSens trong [2] §

Hình 2.3: Mô hình hệ thống giám sát biên giới được đề xuất trong [3] 9

Hình 2.4: Framework của model FL-YOLO trong [4] 0

Hình 2.5: Hệ thống phát hiện các đối tượng hàng ngày trong [5] 10

Hình 2.6: Hiệu quả phát hiện các khuyết điểm bề mặt niêm phong trong [6] 11

Hình 3.1: Minh họa Object Detection [8] 2

Hình 3.2: Mô hình kiến trúc của thuật toán YOLO [9] 4 Hình 3.3: Mô hình kiến trúc của thuật toán SSD [11] 5

Hinh 3.4: Ung dung Fluentd [12] 7

Hinh 3.5: Logo cua Python [14] 9

Hinh 3.6: Logo cua Flask [17] 21 Hình 3.7: Logo của NodeJS [16] 23

Hình 4.1: Tác vụ nhận diện đối tượng của camera AI 27 Hình 4.2: Tác vụ theo dõi đối tượng của camera AI 27

Hình 5.1: Tập dữ liệu COCO [19] 29

Hình 5.2: FPS của mô hình BorderEdge triển khai trên hệ thống 34

Hình 5.3: Tính trọng tâm của từng bounding box [20] 34

Hình 5.4: Các thiết bị thuộc Edge Network và Gateway 37

Hình 5.5: Khả năng nhận điện và phân tích đối tượng của hệ thống 40 Hình 5.6: JSON đata được lưu trong hệ thống 41

Hình 5.7: Log của terminal chạy tiến trình hệ thống 4I

Hình 5.8: Fluentd tiếp nhận các gói tin và gửi đến Gateway 41 Hình 5.9: Fluentd nhận gói tin từ Edge Network và gửi đến máy chủ Things42 Hình 5.10: Dashboard máy chủ Things biểu diễn dữ liệu 42

Hình 5.11: Giao diện đăng ký của trang Web

Hình 5.12: Giao diện đăng nhập của trang Web

Hình 5.13: Giao diện Dashboard của trang Web

43

44

45

DANH MỤC SƠ ĐÒ

Sơ đồ 4.1: Kiến trúc hệ thông

Sơ đồ 4.2: Luéng của gói từ camera AI

Sơ đồ 5.1: Các thông số được ghi nhận dựa trên từng framework

Sơ đồ 5.2: Các lớp của mô hình BorderEdge

Sơ dé 5.3: Hoạt động của thuật toán Centroid Tracking

Sơ đồ 5.4: Thiết bị phần cứng Edge Network

DANH MỤC BANG

Bang 5.1: Các tiền trình được hỗ trợ bởi edgetpu-custom-op

Bảng 5.2: Thời gian suy luận của các mô hình máy học

Bảng 5.3: Bảng benchmark của các mô hình máy học

32

33

33

DANH MỤC TỪ VIẾT TÁT

STT Từ Từ việt tắt của

1 loT Internet of Things

2 DNN Deep neural network

3 USB Universal serial bus

4 AI Artificial intelligence

5 API Application programming interface

7 WSN Wireless sensor networks

8 AloT Artificial intelligence of things

9 CNN Convolutional neural network

0 YOLO You only look once

1 SSD Single shot detector

2 HOG Histogram of oriented gradients

3 R-CNN Region-based convolutional neural network

4 R-FCN Region-based fully convolutional network

5 COCO The common object in context

6 JSON JavaScript object notation

7 ID Identity

8 HTTP Hypertext transfer protocol

9 SACS Smart AI-based camera system

20 FPS Frames per second

21 Web Website

TÓM TÁT KHÓA LUẬN

Bảo vệ biên giới là một phần quan trọng trong việc bảo đảm hòa bình và an

ninh của một quốc gia Để đảm bảo an toàn cho người dân và chiến sĩ ở khu vực

biên giới, các giải pháp quốc phòng - an ninh luôn phải được thực hiện một cách hiệu quả trong mọi tình huống có thể xảy ra Đối với các khu vực gần biên giới như

Trung Quốc - Campuchia, nơi thường xuyên xảy ra các hoạt động phạm pháp như

vận chuyền người và ma túy thì việc giám sát 24/7 là điều cần thiết dé tránh những hậu quả vượt ngoài tầm kiểm soát của chúng ta.

Trong khóa luận này, chúng tôi sẽ nghiên cứu và triển khai hệ thong camera

AI thông mỉnh đề phát hiện chuyển động của con người trên Raspberry Pi 4 dựa

trên các mô hình học máy phổ biến cùng với các thuật toán được hỗ trợ trong ngôn ngữ lập trình Python Sau đó, chúng tôi sẽ đánh giá từng mô hình và từ đó chọn ra

mô hình có khả năng hoạt động tốt nhất để triển khai thực tế trên Raspberry Pi 4.

Khi hệ thống phát hiện sự xâm nhập, dữ liệu sẽ được gửi tới máy chủ Things cũng như hiển thị trên giao diện trang Web dé việc giám sát va quan lý biên giới trở nên

hiệu quả và đễ dàng hơn.

Sau khi hoàn thành, khóa luận sẽ đề xuất một hệ thống giám sát biên giới

hiệu quả thông qua việc thử nghiệm và đánh giá hiệu năng chỉ tiết của từng mô hình Hệ thống giám sát này dự kiến sẽ là một giải pháp tiềm năng để giải quyết vấn

đề về an ninh ở khu vực biên giới với mức chỉ phí hợp lý và có tính triển khai cao.

Phần lớn các quốc gia đều có chung những vùng đất ngăn cách nhau gọi là

biên giới, những khu vực này thường có nhiều trường hợp nhập cư bất hợp pháp, buôn bán ma túy và khủng bồ xảy ra Ngày nay, việc đảm bảo an nỉnh trật tự tại khu

vực biên giới là một trong những ưu tiên hàng đầu, nó có vai trò quan trọng trong việc giữ vững an toàn và độc lập của một quốc gia Để ngăn chặn những hoạt động

bất hợp pháp tại biên giới, Bộ Quốc phòng và An ninh đã có nhiều giải pháp khác

nhau Trước đây, những phương pháp thủ công thường được sử dụng cùng với các phương tiện dé tuần tra và bảo vệ biên giới Tuy nhiên, những phương pháp nay đòi

hỏi nguồn nhân lực và chi phí cao nhưng lại đi kèm với nhiều sai sót và bat can mà

con người khó có thể tránh khỏi Để cải thiện nhược điểm này, các hệ thống giám sát tự động đã được nghiên cứu và đề xuất.

Độ trễ trong công nghệ điện toán đám mây được coi là một trong những vấn

đề lớn cản trở quá trình truyền dé liệu trong các hệ thống giám sát biên giới hiện

nay Với mục đích phục vụ nhu cầu lưu trữ khổng lồ trong thời đại kỹ thuật số hiện nay, các tập đoàn lớn trên toàn cầu như Google, Amazon, Microsoft đã và dang

cung cấp dịch vụ điện toán đám mây với nhiều tiện ích khác nhau hỗ trợ cho người dùng Công nghệ điện toán đám mây đã trở nên phô biến vì tính đơn giản và hiệu

quả của nó Tuy nhiên, sự đánh đổi về tốc độ truyền dt liệu khiến việc ứng dụng các

nền tảng Internet of Things (IoT) không thể phát huy tối đa sự hiệu quả của chúng.

Chỉ tiết hơn, truyền dữ liệu chậm sẽ làm cho gói tin chờ trong hàng đợi lâu khiến

cho việc khả năng cao gói tin đó sẽ bị mat Ngoai ra, viéc chuyén đữ liệu lên đám

mây cũng gặp phải nhiều vấn dé bao mật khác nhau, bao gồm tính toàn vẹn của dữ liệu và việc xác thực danh tính Đề giải quyết các vấn đề nói trên, phương pháp điện

toán biên (Edge Computing) được sử dụng như một nút phân tích dữ liệu tại mạng biên (Edge) để xử ly dữ liệu trước khi chúng được gửi đến máy chủ đám mây dé

duy trì tính toàn vẹn và bảo mật của dữ liệu trong việc truyền thông tin.

Dựa trên những vấn đề gặp phải ở trên, chúng tôi đề xuất một hệ thống giám sát biên giới sử dụng camera thông minh Hệ thống này được xây dựng dựa trên

thiết bị Raspberry Pi 4 Model B và mô hình Deep Neural Network (DNN) cu thể là SSD-MobileNet-v2 dé phát hiện những chuyên động bat thường và gửi dữ liệu đã

phân tích đến máy chủ Things Hệ thống này sẽ được đặt tại nhiều vị trí khác nhau như cửa khâu và các rào chắn ở những khu vực có cây cối ram rạp, những nơi nay

có khả năng bị xâm phạm do leo trèo hoặc phá rào.

1.2 Mục tiêu đề tài Nhận diện đối tượng (Object Detection) là kỹ thuật mà chúng tôi đã xác định

là chức năng chính cho hệ thống Áp dụng Edge Computing, Raspberry Pi 4 sẽ sử

dụng các mô hình máy học, cài đặt thư viện OpenCV kết hợp với USB camera để tạo thành edge device có khả năng xử lý dữ liệu ngay tại mạng biên Với tiêu chí xây dựng hệ thống camera AI thông minh, Raspberry Pi 4 sẽ thực bước truyền dữ

liệu đến máy chủ Things sau khi đã hoàn tat việc phân tích đối tượng (con người)

trong khu vực cắm Dữ liệu của người vi phạm sau khi được lưu trữ tại máy chủ Things sẽ được chuyên thành API để xây dựng Website nhằm thể hiện một cách

trực quan nhất có thể đến người quản lý Khi hệ thống đã hoàn thành các tác vụ,

việc giám sát và đánh giá mức độ an toàn của các khu vực khác nhau sẽ trở nên đễ dàng và hiệu quả hơn Ngoài ra, sự phụ thuộc vào con người và chỉ phí triển khai cũng sẽ được giải quyết một phần khi các bên liên quan giờ đây có thé tập trung

nguồn nhân lực cho các công việc có mức độ ưu tiên cao hơn Không chỉ riêng khu

vực cắm của biên giới, hệ thống vẫn có thê được xem xét để sử dụng trong các khu

vực hậu phương cần sự bảo vệ nghiêm ngặt như phòng giám sát, phòng họp, kholưu trữ nhu yêu phẩm

1.3 Đối tượng nghiên cứu

Đôi tượng nghiên cứu của đê tai sé tập trung vào các đôi tượng như sau:

- _ Nghiên cứu và tìm hiểu về thuật toán và các mô hình máy học có khả năng

phát hiện và theo dõi hành động dé áp dung và triển khai trên Raspberry Pi 4

kết hợp cùng với Coral USB Accelerator dé tăng khả năng xử lý hình ảnh

- _ Nghiên cứu về Raspberry Pi 4 và Camera Pi dé triển khai các mô hình máy

học sao cho phù hợp với hệ thống và thiết bị Đồng thời nghiên cứu về các

thiết bị khác như Coral USB Accelerator dé tăng hiệu năng xử lý hình anh

của hệ thống

- Nghiên cứu về ngôn ngữ Javascript, NodeJS và các Framework như

Handlebars để xây dựng Website nhăm mục đích quan ly và trực quan dữliệu cho hệ thống

1.4 Phạm vi nghiên cứu

Khóa luận thực hiện nghiên cứu trên không gian của trường học và tại Công

ty Trung Tâm Dữ Liệu thuộc Đại Học Quốc Gia TP Hồ Chí Minh hoặc những nơi

có người thường xuyên qua lại Đề tài sau khi hoàn thành có thể cải tiến thêm về

mặt thiết bị dé triển khai trên những khu vực biên giới

1.5 Phương pháp nghiên cứu

Chúng tôi sẽ tham khảo các nghiên cứu đã được công bồ về dé tài giám sát

biên giới tự động Xác định các công nghệ sẽ hướng đến trong đề tài từ đó xây dựng

mô hình hoạt động cho toàn bộ hệ thống

Về việc xây dựng khả năng nhận diện đối tượng trên Raspberry Pi 4, chúngtôi sẽ nghiên cứu và triển khai hệ thống camera AI thông minh phát hiện chuyểnđộng của người trên thiết bị này dựa trên những mô hình máy học phổ biến kết hợpvới các thuật toán đã được hỗ trợ bởi ngôn ngữ lập trình Python Sau đó chúng tôi

sẽ đánh giá từng mô hình, từ đó chọn ra mô hình có khả năng hoạt động tốt nhất

trên Raspberry Pi 4.

Sau khi hoàn thành các bước đã ké trên, Website Admin sẽ được xây dựngnhư một nơi lưu trữ thông tin (trực quan cho người dùng) để việc giám sát trở nên

dễ dàng và hiệu quả hơn.

1.7 Câu trúc khóa luận

Trong báo cáo, những cơ sở lý thuyết và kiến thức nền tảng đã được vận

dụng và nghiên cứu trong quá trình thực hiện khóa luận Báo cáo sẽ đưa ra các phân

tích và nhận xét về các công nghệ được sử dụng đề hoàn thiện hệ thống Những nội

dung nay sẽ được bao cáo với câu trúc như sau:

- Chương 1: Mở đầu - Cung cấp thông tin khái quát về ly do chọn đề tai, van

dé cần giải quyết trong nghiên cứu, mục tiêu cần đạt được của đề tài, phạm

vi nghiên cứu, mục tiêu nghiên cứu và phương pháp nghiên cứu.

- _ Chương 2: Các công trình liên quan - Giới thiệu các công trình đã được thực

hiện với mục đích tương tự và áp dụng phương thức giám sát có điểm tươngđồng với dé tài của chúng tôi Chỉ ra các diém còn hạn chế và khả năng khắc

phục khuyết điểm băng phương thức nhận dạng

- Chương 3: Cơ sở lý thuyết - Trong chương này sẽ trình bày cơ sở lý thuyết

của các công nghệ được sử dụng, công cụ, ngôn ngữ va thư viện hỗ trợ khác

nhau sẽ được khám phá và nghiên cứu sử dụng trong quá trình thực hiện

khóa luận.

- Chương 4: Phân tích và thiết kế hệ thống - Giới thiệu mô hình hoàn chỉnh

của toàn bộ hệ thống hoàn chỉnh mà chúng tôi đã xây dựng Làm rõ các chức

năng của các lớp qua mô hình phân rã chức năng.

- Chương 5: Thử nghiệm, thực nghiệm và đánh giá hệ thống - Tổng hợp lại

toàn bộ các thông số đã nghiệm thu trong quá trình thực nghiệm, tiến hành sosánh và chọn ra các yếu tô tốt nhất dé tạo thành hệ thống Trình bày các kếtquả đã đạt được với các mô hình theo từng tiêu chí đã đề ra

Chương 6: Kết quả - Nêu lên ý nghĩa tông kết của đồ án và tat cả các kết qua

sẽ được trình bày trước hội đồng để có cái nhìn trực quan nhất về các ưuđiểm đã đạt được cũng như các hạn chế mả hệ thống chưa thể khắc phục Từ

các nhận xét và ý kiến phản biện, đề ra các hướng giải quyết và định hướngphát triển tương lai cho toàn bộ hệ thống

Chương 2: CÁC CÔNG TRÌNH LIÊN QUAN

2.1 Các công trình giám sát biên giới

Biên giới luôn là những điểm nóng xảy ra các hoạt động phi pháp gây ảnhhưởng nặng nề như buôn lậu, vận chuyên ma túy, vượt biên đến tình trạng an ninh

và kinh tế của khu vực Dé khắc phục những hoạt động bat hợp pháp này, Bộ Quốcphòng và An ninh của bất kỳ quốc gia nào cũng cần các phương pháp giám sát biên

giới Trước đây, phương pháp giám sát thủ công thường được sử dụng với các

phương tiện tuần tra và bảo vệ Những phương pháp thủ công này đòi hỏi nguồn lựcquân sự và tài chính chuyên sâu Hơn thế nữa là những sai sót về con người là điềukhông thé tránh khỏi Dé giảm bớt những nhược điểm này, các phương pháp giámsát tự động đã được giới thiệu để bảo vệ biên giới quốc gia khỏi các hoạt động bấthợp pháp.

Ban đầu, các nhà nghiên cứu có xu hướng xây dựng hệ thống giám sát biêngiới dựa trên các nút cảm biến không dây (WSN) Các tác giả trong [1] đã giới thiệu

hệ thống giám sát biên giới dựa trên IoT dựa trên các cảm biến, cửa khẩu và quânđội biên phòng Hệ thống này có thê phát hiện sự xâm nhập thông qua các nút cảmbiến Sau đó, dit liệu được gửi cho bộ đội biên phòng qua các cửa khẩu dé thực hiện

hành động kip thời.

—— Communication

Hình 2.1: Mô hình đô hoa của hệ thong bảo vệ biên giới trong [1]

Trong một nỗ lực tương tự, Rothenpieler et al đã đề xuất một hệ thông giámsát biên giới dựa trên các cảm biến PIR để nhận ra những kẻ xâm nhập [2] Tuy

nhiên, những công trình này không có khả năng phân loại giữa động vật và con

người, dẫn đến khả năng hệ thống báo sai rất cao Bằng cách áp dụng những tiến bộcủa IoT va Trí tuệ nhân tạo (AI) đã được xem xét như một cách củng cố cho cáccảm biến không dây Hơn thế, AloT dang dan trở thành xu hướng của nhiều nhómnghiên cứu trong những năm gần đây

Hình 2.2: Cau trúc liên kết lưới của kịch bản FleGSens trong [2]

2.2 Các công trình sử dụng mô hình YOLO

Với kiến trúc CNN, YOLO có thê xác định chính xác nhiều đối tượng với độ

tin cậy cao trong các môi trường phức tạp Dựa trên độ chính xác cao của các mô

hình YOLO và điển hình là YOLO-v5, nhiều nhà nghiên cứu trong những năm gần

đây đã sử dụng mô hình YOLO-v5 làm cơ chế xử lý hình ảnh chính Rajeev Singh

và Sukhwinder Singh đã giới thiệu một hệ thống giám sát biên giới thông minh dựatrên các nút cảm biến không dây có thé phát hiện sự xâm nhập và gửi tin nhắn báođộng nếu có kẻ xâm nhập [3] Hệ thống của họ được xây dựng với bảng Raspberry

Pi và hồng ngoại thụ động, cảm biến siêu âm và camera có hỗ trợ AI dựa trên cơ

chế YOLO Hệ thống của họ có khả năng phát hiện con người với tỷ lệ phát hiện

99,9% và động vật với tỷ lệ phát hiện 99,8%.

First Layer of wireless sensor nodes

®| x = a es a r

| \\ i | Border

Second Layer of Á ) eB

wireless sensor nodes

-e«°© RPi4 eee

Hình 2.3: Mô hình hệ thong giám sát biên giới được dé xuất trong [3]

Zhi Zu, Jingzhao Li va Mei Zhang đã đề xuất một hệ thống phân tích videogiám sát thời gian thực [4] Hệ thống của họ đã sử dụng khuôn khổ hợp tácEdge-Cloud và FL-YOLO Điện toán đám mây được sử dụng để đào tạo và tối ưuhóa các mô hình cạnh trong khuôn khổ này, cũng như dé cung cấp các dịch vụ hệthống giám sát video bổ sung Với thuật toán FL-YOLO, tính toán biên được sửdụng dé phân tích video giám sát theo thời gian thực Cuối cùng, hệ thống có théphát hiện đối tượng với tốc độ và độ chính xác cao, cho phép thiết bị mỏ than và hệthống cảnh báo phản ứng nhanh chóng dựa trên kết quả phân tích thông minh

Input Backbone

Down-sampling || Down-sampling || Down-sampling |} Down-sampling

—> || and Inverted and Inverted and Inverted and Inverted = ||»

Hinh 2.4: Framework cua model FL-YOLO trong [4]

2.3 Cac công trình sử dung mô hình SSD MobileNet

Mặc dù mô hình SSD-MobileNet không chính xác như YOLO do có ít lớp

hơn, nhưng thời gian suy luận là một lợi thé đáng kề cần được quan tâm khi so sánh

với YOLO và các mô hình khác Mô hình MobileNet cũng thường được sử dụng

trong các bài toán Object Detection và Image Classification vì hiệu quả cao của

chúng trong quá trình thực nghiệm Rasika Phadni và các đồng nghiệp đã sử dụngSSD-MobileNet dé giải quyết van dé Phát hiện đối tượng và "Theo dõi mẫu" [5]

bottle: 79%

10

Yiting Li và các đồng nghiệp đã trình bày một phương pháp phát hiện lỗi bềmặt dựa trên SSD-MobileNet [6] Phương pháp này có thé đáp ứng các tiêu chí vềthời gian thực và độ chính xác trong sản xuất thực tế bằng cách tôi ưu hóa cau trúc

và thông số mạng Kết quả thí nghiệm cho thấy giải pháp của họ có thể tự động pháthiện và phân loại các lỗi trên bề mặt sản phẩm.

Hình 2.6: Hiệu qua phát hiện các khuyết điểm bê mặt niêm phong trong [6]

11

Chương 3: CƠ SỞ LÝ THUYET

3.1 Object Detection

3.1.1 Giới thiệu Object Detection

Ngày nay, Object Detection là một trong những chủ đề công nghệ đượcnhiều nhà phát triển và nghiên cứu viên chú ý đến nhờ sự phát triển mạnh mẽ của

lĩnh vực trí tuệ nhân tạo, đặc biệt là sự vươn lên của công nghệ Deep Learning trong

thời gian 10 năm trở lại đây.

Object Detection là một công nghệ liên quan đến thị giác máy tính và xử

lý hình ảnh nhằm phát hiện các trường hợp đối tượng ngữ nghĩa của một lớp nhất

(vi dụ như con người, tòa nhà hoặc 6 tô) trong hình anh và video [7] Object

Detection có nhiều ứng dụng trong lĩnh vực thị giác máy tinh có thé kế đến nhưgiám sát, chế tạo robot thông minh, vận chuyển hàng hóa hay truy xuất dữ liệu.Object Detection còn đóng vai trò quan trọng trong các ứng dụng thông minh phổbiến hiện nay như lái xe tự động, các thiết bị mở khóa thông qua nhận dạng khuônmặt hay camera phát hiện và theo dõi chuyên động

Hình 3.1: Minh hoa Object Detection [8]

12

3.1.2 Ưu điểm của Object DetectionHiện nay, ứng dụng của Object Detection có mặt trong rất nhiều lĩnh vựcđời sông xã hội các lĩnh vực khác nhau như chế tạo robot, sản xuất thiết bị ngườitiêu dung, bảo vệ an ninh, sản xuất xe không người lái, tương tác giữa con người vàmáy tính, truy xuất thông tin dựa trên hình ảnh và chế tao camera thông minh.

Từ những vi dụ trên ta có thé thấy Object Detection đóng một vai tròthen chốt trong việc nghiên cứu và giải quyết nhiều vấn đề trong các lĩnh vực khácnhau Trong đề tài này, để xây dựng một hệ thống có khả năng phát hiện và theo dõithì Object Detection là một phần quan trọng không thẻ thiếu trong việc xây dựng hệthống

3.1.3 Sử dung Object Detection trong đề tài

Object Detection hiện nay là một công nghệ mới đang trên đà nghiên

cứu và phát triển Từ đó có rất nhiều kỹ thuật Object Detection được ra đời Một số

kỹ thuật Object Detection phổ biến có thé kế đến như R-CNN, Histogram of

Oriented Gradients (HOG), Single Shot Detector (SSD), You Only Look Once

(YOLO) Trong khóa luận này, chúng tôi sẽ triển khai hai kỹ thuật Object Detection

là SSD và YOLO, sau đó chúng tôi sẽ so sánh chúng dựa trên những kết quả thực

nghiệm thu được.

3.2 Mô hình YOLO

3.2.1 Giới thiệu YOLO

YOLO là một thuật toán Object Detection có khả năng nhận dang va

phát hiện những đối tượng khác nhau trong một bức ảnh hoặc video trong thời gianthực Việc phát hiện đối tượng trong YOLO được thực hiện như một bài toán hồi

quy và cung cấp xác suất lớp của các hình ảnh được phát hiện

Thuật toán YOLO sử dụng cấu trúc CNN (Convolutional NeuralNetworks) dé phát hiện đối tượng trong thời gian thực Phương pháp này chỉ yêucầu một lần chuyên tiếp duy nhất qua mạng nơ-ron dé cho ra kết quả Như vậy tathấy việc xử lý dé cho ra dự đoán kết quả trong toàn bộ bức ảnh được thực hiện

13

trong một lần chạy thuật toán duy nhất Hiện nay, YOLO đang được hoàn thiện và

có nhiều phiên bản khác nhau, phố biến có thé kê đến như YOLO-v4 và YOLO-v5

202-52 2W3-5‹2

Hình 3.2: Mô hình kiến trúc của thuật toán YOLO [9]

3.2.2 Ưu điểm của YOLO

YOLO có nhiều ưu điểm có thé ké đến như sau:

- Thuật toán của YOLO được cải thiện tốc độ trong việc phát hiện đối

tượng vì nó có thê đưa ra kết qua dự đoán trong thời gian thực

- _ Kết quả dự đoán của YOLO có độ chính xác cao, nó cung cấp kết qua dự

đoán chính xác với sai số tối thiểu

- YOLO có khả năng học tập tuyệt vời cho phép nó học các biểu diễn của

dữ liệu một cách hiệu quả và áp dụng chúng trong việc phát hiện đối

tượng.

3.2.3 Sử dung YOLO trong đề tàiHiện nay YOLO đang được phát triển và có nhiều phiên bản khác nhau

Trong luận án này, chúng tôi sử dụng các phiên bản như YOLO-v3, YOLO-v4 và

YOLO-v5 dé phục vụ cho việc nhận dạng và phát hiện đối tượng Dựa trên những

kết quả thực nghiệm thu được, chúng tôi sẽ đưa ra so sánh và nhận xét giữa các

phiên bản YOLO.

14

3.3 Mô hình SSD MobileNet

3.3.1 Giới thiệu mô hình SSD MobileNet

SSD-MobileNet là một mô hình máy hoc được sử dụng cho việc phat

hiện đối tượng dựa trên thuật toán SSD (Single Shot Detector) Tương tự như

YOLO, SSD cũng sử dụng phương pháp chuyên tiếp hình ảnh qua mạng nơ-ron một

lần duy nhất dé cho ra kết quả dự đoán

Mô hình SSD có hai thành phần chính: Multi-scale Feature Maps phục

vụ cho việc phát hiện đối tượng và Convolutional Predictor Multi-scale Feature

Extractor là một mô hình được huấn luyện trước (pre-trained) dé phân loại hình ảnh.Convolutional Predictor là một tập hợp các lớp được sử dụng dé thu thập các đầu

vào từ Multiscale Feature Maps [10] Mô hình SSD đã loại bỏ lớp Region Proposal

Network từ thuật toán CNN để tăng tốc độ xử lý cho tiến trình Region Proposal

Network được sử dụng dé phan loai đối tượng, nó được coi là một lớp xử lý hiệu

quả dé cải thiện độ chính xác của mô hình Dé cải thiện độ chính xác sau khi loại bỏlớp Region Proposal Network, SSD đã áp dụng một số cải tiến bao gồm thêm vào

những lớp Multi-Scale Features and Default Boxes Multi-Scale Features là những

lớp độc lập nhau có nhiệm vụ nhận diện đối tượng Độ phân giải của những lớp này

giảm dan qua từng lớp và kết quả là nó đã cải thiện độ chính xác một cách đáng kẻ

Extra Feature Layers

VGG-16 r A 1

Classifier : Conv: 3x3x(4x(Classes+4))

b Classifier : Conv: 3x3x(6x(Classes+4))

Conv: 3x3x1024 Conv: 1x1x1024 Conv: 1x1x256 Conv: 1x1x128 Conv: 1x1x128 Conv: 1x1x128

Conv: 3x3x512-s2 Conv: 3x3x256-s2 Conv: 3x3x256-s1 Conv: 3x3x256-s1

Hình 3.3: Mô hình kiến trúc của thuật toán SSD [11]

15