Nghiên cứu mạng nơ ron tích chập và ứng dụng xây dựng mô hình camera chống trộm thông minh

Lý do chọn đề tài: Mạng nơ-ron tích chập CNNs – Convolutional Neural Network là một trongnhững mô hình Deep Learning hiện đại, cho phép xây dựng các ứng dụng thôngminh như hệ thống xử l

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: TS PHẠM VĂN TRUNG

ĐÀ NẴNG, 2024

LỜI CẢM ƠN

Trước tiên, tôi xin được bày tỏ lòng cảm ơn chân thành đến thầy giáo hướng dẫn TS Phạm Văn Trung, người đã tận tình dẫn dắt, truyền đạt kinh nghiệm, trí thức và tạo mọi điều kiện tốt nhất để tôi có thể nghiên cứu và hoàn thành luận văn này.

Tôi xin chân thành cảm ơn Quý Thầy, Cô trường Đại học Duy Tân đã giảng dạy cho tôi trong suốt khóa học, những người đã truyền đạt cho tôi những tri thức mới, phương pháp và kinh nghiệm trong cách tiếp cận tri thức mới, phương pháp nghiên cứu khoa học và ứng dụng các kết quả nghiên cứu vào đời sống xã hội.

Xin được cảm ơn ban giám hiệu Trường TH Sơn Hạ số 1- tỉnh Quảng Ngãi, tất cả quí thầy/cô trong trường đã tạo mọi điều kiện để tôi được đi học

và hoàn thành tốt khoá học.

Xin chân thành cảm ơn các anh chị lớp cao học Khoa học máy tính khoá K24MCS.2 tại Quảng Ngãi và các bạn đồng nghiệp đã luôn bên cạnh, động viên, khuyến khích tôi trong suốt thời gian học tập và thực hiện đề tài.

Cuối cùng tôi muốn dành lời cảm ơn sâu sắc nhất đến gia đình tôi, những người luôn dành cho tôi những lời động viên, những hỗ trợ kịp thời nhất giúp tôi hoàn thành tốt luận văn này.

Xin chân thành cảm ơn.

Học viên

Đỗ Quang Ngọc

LỜI CAM DOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi, dưới sự hướng dẫn của thầy TS Phạm Văn Trung Các số liệu và kết quả nghiên cứu nêu trong luận văn là trung thực và chưa từng được công bố trong bất kỳ một công trình nào khác.

Học viên

Đỗ Quang Ngọc

MỤC LỤC

LỜI CẢM ƠN i

LỜI CAM DOAN ii

MỤC LỤC iii

DANH MỤC CÁC TỪ VIẾT TẮT vi

DANH MỤC HÌNH ẢNH vii

DANH MỤC BẢNG vii

MỞ ĐẦU 1

1 Lý do chọn đề tài: 1

2 Mục đích nghiên cứu: 1

3 Nhiệm vụ nghiên cứu: 1

4 Đối tượng và phạm vi nghiên cứu: 2

5 Phương pháp nghiên cứu: 2

6 Bố cục của luận văn: 2

Chương 1 TỔNG QUAN VỀ DEEP-LEARNING 4

1.1 Giới thiệu tổng quan về Deep-Learning 4

1.2 Mô hình hoạt động của Deep-Learning 6

1.3 Một số mô hình Deep-Learning trong nhận dạng đối tượng 10

1.3.1 YOLO (You Only Look Once) 10

1.3.2 Faster R-CNN (Region-based Convolutional Neural Network): .11 1.3.3 SSD (Single Shot MultiBox Detector) 11

1.3.4 Mask R-CNN 12

1.3.5 RetinaNet 12

1.3.6 EfficientDet 13

1.4 Một số ứng dụng kỹ thuât Deep-Learning 13

1.4.1 Ứng dụng xe tự động 13

1.4.2 Trợ lý ảo 14

1.4.3 Mô phỏng và nhận diện hình ảnh 14

1.4.4 Tính năng dịch tự động 14

1.5 Tổng kết chương 15

Chương 2 MẠNG NƠ-RON TÍCH CHẬP VÀ ỨNG DỤNG 16

2.1 Mạng Nơ-ron nhân tạo 16

2.1.1 Giới thiệu tổng quan về mạng nơ-ron nhân tạo 16

2.1.2 Cấu trúc mạng nơ-ron nhân tạo 16

2.1.3 Một số hàm kích hoạt phổ biến 17

2.1.4 Kiến trúc mạng nơ-ron nhân tạo 20

2.1.5 Huấn luyện mạng 22

2.2 Mạng nơ-ron tích chập 23

2.2.1 Tổng quan về mạng nơ-ron tích chập 23

2.2.2 Lý thuyết mạng tích chập 24

2.2.3 Kiến trúc mạng nơ-ron tích chập 25

2.3 Một số tham số ảnh hưởng trong mạng nơ-ron tích chập 28

2.3.1 Các chiều của một bộ lọc 28

2.3.2 Độ trượt S (Stride) 29

2.3.3 Zero-padding 29

2.3.4 Một số hàm kích hoạt sử dụng trong mạng nơ-ron tích chập 30

2.4 Ứng dụng mạng nơ-ron tích chập 30

2.5 Tổng kết chương 33

Chương 3: MÔ HÌNH CAMERA CHỐNG TRỘM THÔNG MINH DỰA TRÊN MẠNG NƠ-RON TÍCH CHẬP 34

3.1 Giới thiệu tổng quan 34

3.2 Giới thiệu về thiết bị Rasberry Pi, modun tạo Camera chống trộm 34

3.2.1 Tổng quan về Rasberri Pi 34

3.2.2 Nhận dạng đối tượng dựa trên Rasberry Pi 35

3.3 Mô hình cảnh báo trộm dựa trên mạng nơ-ron tích chập 37

3.3.1.Mô hình cảnh báo trộm khi hệ thống phát hiện có người trong vùng quan sát 37

3.3.2 Mô hình theo dõi đối tượng trong vùng quan sát 41

3.4 Mô hình huấn luyện và tập dữ liệu 44

3.4.1 Mô hình huấn luyện 44

3.4.2 Bộ dữ liệu coco được sử dụng để dò tìm và phát hiện đối tượng .47 3.5 Cài đặt thực nghiệm 47

3.6 Tổng kết chương 50

KẾT LUẬN 51 TÀI LIỆU THAM KHẢO

QUYẾT ĐỊNH GIAO ĐỀ TÀI (Bản sao)

DANH MỤC CÁC TỪ VIẾT TẮT

CNNs Convolutional Neural Network: Mạng nơ-ron tích chập

R-CNN Region-based Convolutional Neural Network

DANH MỤC BẢNG

Bảng 2.1: Bảng so sánh 2 phương pháp gộp max pooling và average pooling 27 Bảng 2.2: Một số phương pháp Zero-padding 29 Bảng 2.3: Các nhóm thuật toán CNNs 31 Bảng 2.4: Phương pháp định vị và phát hiện đặc trưng phức tạp của đối tượng 32

DANH MỤC HÌNH ẢNH

Hình 1.1: Kiến trúc mô hình nhận dạng đối tượng Machine-Learning và

Deep-Learning 8

Hình 1.2: Mô hình nhận dạng đối tượng với YOLO 10

Hình 1.3: Mô hình nhận dạng đối tượng với Faster R-CNN 11

Hình 1.4: Mô hình nhận dạng đối tượng với SSD 11

Hình 1.5: Mô hình nhận dạng với Mask R-CNN 12

Hình 1.6: Mô hình nhận dạng với RetinaNet 12

Hình 1.7: Mô hình nhận dạng đối tượng với EfficientDet 13

Hình 2.1: Mô hình nơ-ron nhân tạo k [5] 17

Hình 2.2: Đồ thị hàm ngưỡng 17

Hình 2.3: Đồ thị hàm ReLU 18

Hình 2.4: Đồ thị hàm Logistic sigmoid 18

Hình 2.5: Đồ thị hàm Hyperbolic Tangent 19

Hình 2.6: Ví dụ minh họa giá trị đầu vào và giá trị đầu ra hàm Softmax 20

Hình 2.7: Mô hình mạng MLP 20

Hình 2.8: Mô hình mạng MLP truyền thẳng 21

Hình 2.9: Mô hình mạng truyền ngược 22

Hình 2.10: Quá trình trượt theo chiều rộng W1 24

Hình 2.11: Cấu trúc mạng nơ-ron tích chập (Nguồn Mathworks.com) 26

Hình 2.12: Mô hình làm phẳng dữ liệu và kết nối đến mạng nơ-ron kết nối đầy đủ 28

Hình 2.13: Mô hình áp dụng bộ lọc K có kích thước K x K lên dữ liệu vào 28

Hình 2.14: Mô hình xác định hộp đối tượng trong mạng R-CNNs 32

Hình 3.1: Mô hình cảnh báo trộm khi phát hiện người trong vùng quan sát 37

Hình 3.2: Mô hình phát hiện đối tượng sử dụng mạng YOLO 41

Hình 3.3: Mô hình theo dõi đối tượng trong vùng quan sát 41

Hình 3.4: Mô hình huấn luyện và dự đoán nhãn, khung bao đối tượng 45

Hình 3.5: Camera chống trộm dựa trên Raspberry Pi và Camera Pi v2 47

Hình 3.6: Hệ thống lưu và theo dõi đối tượng “Cell phone” 48

Hình 3.7: Hệ thống phát cảnh báo khi đối tượng giám sát ra khỏi vùng giám sát.49 Hình 3.8: Vùng quan sát của hệ thống camera giám sát thông minh không có đối tượng người 49

Hình 3.9: Vùng quan sát của hệ thống camera giám sát thông minh có đối tượng người và hệ thống phát cảnh báo 50

MỞ ĐẦU

1 Lý do chọn đề tài:

Mạng nơ-ron tích chập (CNNs – Convolutional Neural Network) là một trongnhững mô hình Deep Learning hiện đại, cho phép xây dựng các ứng dụng thôngminh như hệ thống xử lý ảnh lớn của Facebook, Google hay Amazon; đã đưa vàosản phẩm của họ những chức năng thông minh như nhận diện khuôn mặt ngườidùng, phát triển xe hơi tự lái CNNs được sử dụng nhiều trong các bài toán nhậndạng các đối tượng trong ảnh CNNs được áp dụng vào giải nhiều bài toán thị giácmáy tính như bài toán nhận diện biển số xe, bài toán nhận diện khuôn mặt, bài toánphân lớp đối tượng, …với độ chính xác cao

Deep-learning được nhiều nhà nghiên cứu quan tâm và ứng dụng vào nhiềubài toán thực tế như hệ thống kiểm soát an ninh vào ra, hệ thống cảnh báo và pháthiện tội phạm, hệ thống lái tự động, …

Hiện nay, trên thị trường bán nhiều chủng loại thiết bị cảnh báo trộm như cảmbiến chống trộm, camera chống trộm, …Tuy nhiên, các thiết bị này hoạt động dựatrên hoạt động của cảm biết hồng ngoại hoặc cảm biết nhiệt Do đó, khi có vậtkhông phải là người đi vào vùng cảm biến, các thiết bị đều phát cảnh báo Với lý dotrên, tôi chọn đề tài “Nghiên cứu mạng nơ-ron tích chập và ứng dụng xây dựng môhình camera chống trộm thông minh” Mô hình camera chống trộm của đề tài dựatrên dữ liệu thực nhận từ camera gắn trên Rasberry Pi 4, sử dụng mạng mạng nơ-rontích chập để huấn luyện, nhận dạng người trong vùng quan sát và đưa ra cảnh báo

3 Nhiệm vụ nghiên cứu:

- Nghiên cứu mạng nơ-ron tích chập.

- Nghiên cứu nhận dạng đối tượng dựa trên mạng nơ-ron tích chập

- Nghiên cứu huấn luyện tập dữ liệu nhận dạng đối tượng cho mạng nơ-rontích chập.

- Ứng dựng mạng nơ-ron tích chập vào nhận dạng các đối tượng qua camera.

4 Đối tượng và phạm vi nghiên cứu:

- Đối tượng nghiên cứu: Mạng nơ-ron tích chập và ứng dụng trong nhận

dạng, phát hiện đối tượng, mạng YOLOv3

- Phạm vi nghiên cứu: Mạng nơ-ron tích chập, mạng YOLOv3 và ứng dụng.

5 Phương pháp nghiên cứu:

- Nghiên cứu tài liệu: thu thập tìm kiếm các tài liệu có liên quan đến lĩnh vực và đốitượng cần nghiên cứu; các giải pháp liên quan đã được nghiên cứu và đề xuất trướcđó

- Phương pháp nghiên cứu thực nghiệm: Nghiên cứu mạng nơ-ron tích chập,mạng YOLOv3, Rasberry PI 4, từ đây đề xuất mô hình ứng dụng mạng nơ-ron tích chập để xây dựng mô hình cảm báo trộm thông minh

6 Bố cục của luận văn:

TÊN ĐỀ TÀI: “NGHIÊN CỨU MẠNG NƠ-RON TÍCH CHẬP VÀ ỨNG DỤNG XÂY DỰNG MÔ HÌNH CAMERA CHỐNG TRỘM THÔNG MINH” PHẦN MỞ ĐẦU

PHẦN NỘI DUNG

CHƯƠNG I: TỔNG QUAN VỀ DEEP-LEARNING

1.1 Giới thiệu tổng quan về Deep-Learning

1.2 Mô hình hoạt động của Deep-Learning

1.3 Một số ứng dụng kỹ thuât Deep-Learning

1.4 Tổng kết chương

CHƯƠNG II: MẠNG NƠ-RON TÍCH CHẬP VÀ ỨNG DỤNG

2.1 Giới thiệu tổng quan về mạng nơ-ron tích chập

2.2 Lý thuyết mạng nơ-ron tích chập

2.3 Kiến trúc mạng nơ-ron tích chập

2.4 Một số tham số ảnh hưởng đến mạng nơ-ron tích chập

2.5 Ứng dụng mạng nơ-ron tích chập

2.6 Tổng kết chương

CHƯƠNG III: ứng dụng xây dựng mô hình kiểm sát an ninh qua camera3.1 Giới thiệu tổng quan

3.2 Mô hình giám sát an ninh dựa trên mạng nơ-ron tích chập

3.3 Mô hình huấn luyện và tập dữ liệu

3.4 Cài đặt thực nghiệm

3.5 Tổng kết chương

KẾT LUẬN

Chương 1 TỔNG QUAN VỀ DEEP-LEARNING1.1 Giới thiệu tổng quan về Deep-Learning

Deep Learning (Học sâu) là một nhánh của Machine Learning (Học máy) sửdụng các mạng nơ-ron nhân tạo (neural network) để học từ dữ liệu Các mạng nơ-ron này được mô phỏng theo cấu trúc và chức năng của não bộ con người, bao gồmnhiều lớp nơ-ron kết nối với nhau Deep Learning đã tạo ra một cuộc cách mạngtrong lĩnh vực trí tuệ nhân tạo và được ứng dụng rộng rãi trong nhiều lĩnh vực, baogồm xử lý ngôn ngữ tự nhiên, thị giác máy tính, xử lý âm thanh, dự đoán chuỗi thờigian, và nhiều ứng dụng khác

Dưới đây là một số đặc điểm quan trọng của Deep Learning:

Kiến trúc mạng neuron sâu: Deep Learning sử dụng các mạng neuron nhân tạovới nhiều lớp (hay còn gọi là mạng neuron sâu) Mỗi lớp có thể chứa nhiều neuron,

và các lớp này kết nối với nhau thông qua trọng số Các mô hình deep learningthường có hàng trăm, thậm chí hàng nghìn lớp và hàng triệu trọng số

Học sâu qua dữ liệu: Deep Learning học từ dữ liệu Mô hình deep learningđược huấn luyện bằng cách sử dụng một tập dữ liệu lớn để tối ưu hóa trọng số củamạng neuron Quá trình này bao gồm lan truyền ngược (backpropagation) để điềuchỉnh trọng số dựa trên sai số giữa đầu ra dự đoán và giá trị thực tế

Ứng dụng đa dạng: Deep Learning có thể được áp dụng trong nhiều lĩnh vực,bao gồm:

Xử lý hình ảnh: Nhận dạng khuôn mặt, phân loại đối tượng, tự động lái xe,v.v

Xử lý ngôn ngữ tự nhiên: Dịch máy, phân tích cảm xúc, sinh ra văn bản tựđộng, v.v

Xử lý âm thanh: Nhận dạng giọng nói, chuyển văn bản thành giọng nói, v.v

Dự đoán chuỗi thời gian: Dự đoán giá cổ phiếu, dự báo thời tiết, v.v

Khả năng học biểu diễn tự động: Một trong những điểm mạnh của DeepLearning là khả năng học biểu diễn dữ liệu một cách tự động Điều này có nghĩa là

chúng ta không cần phải tạo các đặc trưng (features) thủ công cho mô hình, mà môhình có thể học và trích xuất thông tin quan trọng từ dữ liệu.

Phức tạp tính toán: Mô hình Deep Learning thường yêu cầu tính toán lớn vàcần sử dụng phần cứng mạnh để huấn luyện và triển khai Điều này có thể bao gồmviệc sử dụng GPU hoặc TPU để gia tăng tốc độ tính toán

Deep Learning đã đạt được nhiều thành tựu đáng kể và đã tạo ra những ứngdụng thực tế quan trọng Tuy nhiên, việc huấn luyện và triển khai các mô hình deeplearning vẫn đòi hỏi sự hiểu biết sâu rộng và kỹ năng chuyên môn trong lĩnh vựcnày

Lịch sử của Deep Learning

Khái niệm về mạng nơ-ron nhân tạo đã được đề xuất từ những năm 1940,nhưng mãi đến những năm 1980, Deep Learning mới bắt đầu được nghiên cứu mộtcách nghiêm túc Tuy nhiên, do các hạn chế về sức mạnh tính toán và dữ liệu, DeepLearning lúc đó vẫn chưa thể đạt được những thành tựu đáng kể

Từ năm 2006 trở đi, với sự phát triển của các công nghệ như GPU và Internet,Deep Learning đã có những bước tiến vượt bậc và trở thành một trong những lĩnhvực nghiên cứu quan trọng nhất trong trí tuệ nhân tạo (AI)

Deep Learning có thể được áp dụng cho nhiều loại nhiệm vụ khác nhau, baogồm:

Phân loại: Xác định phân loại của một đối tượng hoặc hiện tượng, chẳng hạnnhư phân loại hình ảnh, phân loại văn bản, phân loại âm thanh, v.v

Hồi quy: Dự đoán giá trị của một biến dựa trên các biến khác, chẳng hạn như

dự đoán giá cổ phiếu, dự đoán doanh thu, v.v

Xử lý ngôn ngữ tự nhiên: Hiểu và xử lý ngôn ngữ tự nhiên, chẳng hạn nhưdịch ngôn ngữ, nhận dạng giọng nói, v.v

Thị giác máy tính: Nhận dạng và xử lý hình ảnh, chẳng hạn như nhận dạngkhuôn mặt, nhận dạng vật thể, v.v

Một số thuật toán Deep Learning phổ biến bao gồm:

- Mạng nơ-ron truyền trực tiếp (Feedforward neural network): Đây là loạimạng nơ-ron đơn giản nhất, trong đó dữ liệu đi từ đầu vào đến đầu ra theo mộthướng duy nhất.

- Mạng nơ-ron hồi quy (Recurrent neural network): Đây là loại mạng nơ-ron

có khả năng lưu trữ thông tin từ các bước trước đó, giúp xử lý các vấn đề liên quanđến thời gian, chẳng hạn như nhận dạng giọng nói, dịch ngôn ngữ, v.v

- Mạng nơ-ron tích chập (Convolutional neural network): Đây là loại mạngnơ-ron được sử dụng phổ biến trong xử lý hình ảnh, video, v.v

- Mạng nơ-ron Boltzmann (Boltzmann machine): Đây là loại mạng nơ-ronđược sử dụng để học các mô hình phân phối xác suất

Deep Learning đang ngày càng trở nên phổ biến và có tiềm năng ứng dụngrộng rãi trong nhiều lĩnh vực khác nhau Với sự phát triển của công nghệ, DeepLearning được kỳ vọng sẽ tiếp tục đạt được những thành tựu mới, mang lại nhữngthay đổi đáng kể trong cuộc sống của con người

1.2 Mô hình hoạt động của Deep-Learning

Deep-learning hoạt động bằng cách khám phá các cấu trúc phức tạp trong dữliệu mà chúng trải nghiệm Cụ thể là xây dựng các mô hình tính toán bao gồm nhiềulớp xử lý, mạng huấn luyện có thể tạo ra nhiều mức trừu tượng để biểu diễn dữ liệu

Mô hình hoạt động của Deep Learning dựa trên kiến trúc mạng neuron nhântạo (Artificial Neural Network) với nhiều lớp (được gọi là mạng neuron sâu) để học

và thực hiện các nhiệm vụ máy học phức tạp Dưới đây là một số thành phần cơ bản

để mô hình Deep Learning hoạt động:

- Đầu vào (Input): Mô hình Deep Learning bắt đầu với một tập dữ liệu đầuvào Đối với ứng dụng thị giác máy tính, dữ liệu đầu vào có thể là hình ảnh; đối với

xử lý ngôn ngữ tự nhiên, dữ liệu đầu vào là văn bản

- Biểu diễn dữ liệu (Data Representation): Dữ liệu đầu vào được biểu diễndưới dạng các đặc trưng (features) hoặc biểu diễn số hóa để mô hình có thể hiểu Ví

dụ, hình ảnh có thể được biểu diễn dưới dạng ma trận điểm ảnh, văn bản có thểđược biểu diễn dưới dạng các vector từ

- Lớp ẩn (Hidden Layers): Mô hình Deep Learning chứa một hoặc nhiều lớp

ẩn giữa lớp đầu vào và lớp đầu ra Mỗi lớp ẩn chứa nhiều neuron và thực hiện cácphép tính tuyến tính và phi tuyến tính để học biểu diễn dữ liệu Mỗi neuron tronglớp ẩn tính toán một tổng trọng số của đầu vào, sau đó áp dụng một hàm kích hoạtphi tuyến tính (ví dụ: hàm ReLU) để tạo ra đầu ra

- Trọng số (Weights): Trọng số là các tham số quan trọng của mô hình Chúngđại diện cho mức độ quan trọng của mỗi đầu vào cho mỗi neuron trong mạng.Trọng số được tối ưu hóa trong quá trình huấn luyện để mô hình có khả năng dựđoán chính xác hơn

- Lan truyền ngược (Backpropagation): Để huấn luyện mô hình, chúng ta sửdụng thuật toán lan truyền ngược Quá trình này bắt đầu từ đầu ra dự đoán của môhình và tính toán gradient của hàm mất mát (loss function) theo trọng số của môhình Sau đó, gradient này được truyền ngược qua mạng để điều chỉnh trọng số củamỗi neuron trong mạng nhằm giảm thiểu sai số giữa dự đoán và giá trị thực tế

- Hàm mất mát (Loss Function): Hàm mất mát là một thước đo cho sự sai khácgiữa dự đoán của mô hình và giá trị thực tế Mục tiêu trong quá trình huấn luyện làtối thiểu hóa giá trị hàm mất mát để mô hình có khả năng dự đoán chính xác hơn

- Đầu ra (Output): Sau khi mô hình được huấn luyện, nó có khả năng thực hiệncác dự đoán dựa trên dữ liệu đầu vào Đầu ra của mô hình có thể là lớp phân loạicho bài toán phân loại hoặc một giá trị liên tục cho bài toán dự đoán

- Điều chỉnh và Đánh giá (Fine-tuning and Evaluation): Sau quá trình huấnluyện ban đầu, mô hình có thể cần được điều chỉnh các giá trị tham số huấn luyện

và đánh giá trên tập kiểm tra để đảm bảo hiệu suất tốt trên dữ liệu mới

Mô hình Deep Learning hoạt động bằng cách lặp đi lặp lại quá trình lan truyềnngược và điều chỉnh trọng số để học biểu diễn dữ liệu và thực hiện các nhiệm vụmáy học Việc huấn luyện mô hình deep learning có thể yêu cầu nhiều dữ liệu vàtính toán mạnh mẽ, nhưng nó đã cho thấy khả năng xử lý dữ liệu ấn tượng và cho ragiá trị đầu ra để giải quyết một số vấn đề trong nhiều ứng dụng thực tế Một môhình học sâu được gọi là mạng nơ-ron phức hợp, nó có thể được huấn luyện bằngcách sử dụng số lượng lớn (hàng triệu) hình ảnh để nhận dạng các đối tượng chứa

trong ảnh Loại mạng nơ-ron này thường học hỏi từ các pixel có trong hình ảnh mà

nó thu được Nó có thể phân loại các nhóm pixel đại diện cho các đặc điểm nào đócủa đối tượng, ví dụ nhận dạng mèo trong ảnh, các nhóm đặc điểm đặc trưng nhưmóng vuốt, tai và mắt Từ các đặc điểm đặc trưng này, mô hình mạng nơ-ron chobiết sự hiện diện của mèo trong hình ảnh hay không

Đối với nhiều tác vụ khác, chẳng hạn như thị giác máy tính, nhận dạng giọngnói còn được gọi là xử lý ngôn ngữ tự nhiên, dịch máy và robot, hiệu suất của các

hệ thống deep learning vượt xa so với các hệ thống machine learning

Việc xây dựng các hệ thống học sâu là tương đối khó so với các hệ thống họcmáy thông thường Nó đòi hỏi dữ liệu lớn với hàng nghìn nút nơ-ron, qua mỗi lầnhuấn luyện cần được điều chỉnh lại các tham số huấn luyện để mô hình học sâudeep learning đạt hiệu quả bài toán đặt ra

Hình 1.1: Kiến trúc mô hình nhận dạng đối tượng Machine-Learning và

Deep-Learning

Ưu điểm lớn nhất của deep learning là khả năng hoạt động tốt với dữ liệu phicấu trúc Điều này đặc biệt phù hợp khi phần lớn dữ liệu kinh doanh hiện nay đềukhông có cấu trúc Hình ảnh, văn bản và giọng nói được cho là những định dạng dữliệu phổ biến nhất được các doanh nghiệp sử dụng Khác với deep learning, cácthuật toán machine learning cổ điển bị hạn chế về khả năng phân tích dữ liệu phicấu trúc, có nghĩa là lượng thông tin này không được khai thác thường xuyên Tuynhiên, deep learning sẽ đem đến những tác động lớn nhất đối với dữ liệu phi cấu

trúc Huấn luyện mạng deep learning với dữ liệu phi cấu trúc và ghi nhãn phù hợp

sẽ giúp các doanh nghiệp có thể tối ưu hóa mọi chức năng từ bán hàng, tiếp thị chođến tài chính và các hoạt động điều hành khác của doanh nghiệp

Các lớp nơ-ron trong deep learning cho phép các mô hình trở nên hiệu quảhơn, cụ thể là thực hiện được các tính năng phức tạp, các tác vụ tính toán chuyênsâu, và có thể thực hiện đồng thời nhiều hoạt động phức tạp

Deep learning thể hiện sự vượt trội hơn, điều này thể hiện rõ trong các nhiệm

vụ nhận thức máy, còn được gọi là khả năng hiểu được các đầu vào như: hình ảnh,

âm thanh và video giống như con người, liên quan đến các bộ dữ liệu phi cấu trúc.Điều này là do khả năng của các thuật toán học sâu để quá trình học, giúp máy họchỏi được từ các lỗi của chính nó Deep learning còn hỗ trợ việc xác minh tính chínhxác, cụ thể là các dự đoán/kết quả đầu ra và thực hiện điều chỉnh trong trường hợpcần thiết Trong một số trường hợp deep learning yêu cầu sự hỗ trợ của con ngườinhằm xác định dữ liệu đầu ra được chính xác nhất

Một mạng nơ-ron điển hình hoặc mô hình học sâu cần thực hiện nhiều lần đểtìm hiểu các tham số xác định mô hình Các thuật toán song song và phân tán giúpgiải quyết các vấn đề khó khăn bằng cách huấn luyện các mô hình học sâu thực hiệnnhanh hơn, cho kết quả tốt hơn so với các thuật toán thông tường Deep learninghuấn luyện tập dữ liệu thông qua phương pháp huấn luyện cục bộ qua GPU, hoặcphân tán, hoặc kết hợp cả hai phương thức này với nhau Tuy nhiên, một khối lượnglớn các bộ dữ liệu huấn luyện có liên quan đến nhau không thể lưu trữ cùng mộtmáy, điều này đã tạo nên dữ liệu song song Việc dữ liệu hoặc deep learning đượcphân bổ trên nhiều máy giúp quá trình đào tạo được hiệu quả hơn

Mặc dù đào tạo mô hình học sâu có thể tốn kém nhiều chi phí, tuy nhiên nếuđược đào tạo bài bản, deep learning sẽ giúp doanh nghiệp tối ưu những chi tiêukhông cần thiết Trong các ngành công nghiệp như sản xuất, tư vấn hoặc thậm chíbán lẻ, chi phí cho một dự đoán không chính xác hoặc lỗi sản phẩm là rất lớn Nóthường lớn hơn chi phí đào tạo mô hình học sâu Các thuật toán học sâu có thể tạo

ra sự thay đổi giữa các tính năng học tập để giảm tỷ lệ sai sót đáng kể giữa các

ngành Điều này đặc biệt đúng khi chúng ta so sánh các hạn chế của mô hình họcmáy cổ điển với các thuật toán học sâu.

Học sâu khi được áp dụng vào khoa học dữ liệu, có thể đưa ra các mô hình xử

lý tốt hơn và hiệu quả hơn Việc deep learning có thể giám sát giúp thúc đẩy sự cảithiện liên tục, nhờ đó đem đến độ chính xác và đạt được kết quả cao Nó cũng cungcấp cho các nhà khoa học dữ liệu các kết quả phân tích ngắn gọn và đáng tin cậyhơn Công nghệ này hỗ trợ hầu hết các phần mềm dự đoán ngày nay với các ứngdụng từ tiếp thị đến bán hàng, nhân sự, tài chính, v.v Giống với bộ tự động hóa bánhàng và tiếp thị thông minh cũng sử dụng các thuật toán deep learning để đưa ranhững dự đoán dựa trên dữ liệu lịch sử

Học sâu có khả năng mở rộng cao do khả năng xử lý một lượng lớn dữ liệu vàthực hiện nhiều phép tính đem lại kết quả tốt nhất, giúp tối ưu về chi phí và thờigian Điều này ảnh hưởng trực tiếp đến năng suất, tính mô-đun và tính di động

1.3 Một số mô hình Deep-Learning trong nhận dạng đối tượng

Có nhiều mô hình deep learning phổ biến được sử dụng trong nhận dạng đốitượng, trong đó có các mô hình chuyên dụng cho mục tiêu này Dưới đây là một số

mô hình deep learning phổ biến trong lĩnh vực nhận dạng đối tượng:

1.3.1 YOLO (You Only Look Once)

YOLO [7] là một mô hình nhận dạng đối tượng hiệu quả về tài nguyên vớikhả năng nhận dạng nhanh chóng và chính xác YOLO chia hình ảnh thành lưới ô

và dự đoán đối tượng trong mỗi ô, điều này giúp mô hình thực hiện nhận dạng đốitượng trong thời gian thực Phiên bản YOLOv3 và YOLOv4 là một số phiên bảnnổi tiếng của YOLO

Hình 1.2: Mô hình nhận dạng đối tượng với YOLO 1.3.2 Faster R-CNN (Region-based Convolutional Neural Network):

Faster R-CNN [9] là một mô hình sử dụng kỹ thuật R-CNN để xác định vùngđối tượng quan trọng trong ảnh, sau đó sử dụng CNN để nhận dạng đối tượng Môhình này cung cấp độ chính xác cao nhưng có thể chậm hơn so với YOLO cho cácứng dụng thời gian thực

Hình 1.3: Mô hình nhận dạng đối tượng với Faster R-CNN 1.3.3 SSD (Single Shot MultiBox Detector)

SSD [10] là một mô hình nhận dạng đối tượng hiệu quả về tài nguyên với khảnăng nhận dạng nhanh chóng và chính xác, giống như YOLO SSD thực hiện việcnhận dạng đối tượng trên nhiều lớp vùng quan tâm có kích thước và tỷ lệ khác nhautrong hình ảnh

Hình 1.4: Mô hình nhận dạng đối tượng với SSD 1.3.4 Mask R-CNN

Mask R-CNN [11] là một biến thể của Faster R-CNN, nhưng ngoài việc nhậndạng đối tượng, nó còn cho phép vẽ đường viền và tạo mặt nạ đối tượng Mô hìnhnày phù hợp cho các ứng dụng yêu cầu nhận dạng đối tượng cùng với việc xác địnhcác vùng đối tượng chi tiết

Hình 1.5: Mô hình nhận dạng với Mask R-CNN 1.3.5 RetinaNet

RetinaNet [12] là một mô hình nhận dạng đối tượng kết hợp giữa khả năngphát hiện đối tượng và phân loại chính xác đối tượng Nó sử dụng trình bộ lọc kép

để đảm bảo việc phát hiện đối tượng cùng với xác định chính xác vị trí đối tượng

Hình 1.6: Mô hình nhận dạng với RetinaNet 1.3.6 EfficientDet

EfficientDet [12] là một dòng mô hình nhận dạng đối tượng dựa trên kiến trúcEfficientNet, được thiết kế để cân bằng giữa hiệu suất và tài nguyên Nó cung cấpkhả năng nhận dạng đối tượng chất lượng cao với việc tối ưu hóa tài nguyên

Hình 1.7: Mô hình nhận dạng đối tượng với EfficientDet

Các mô hình trên đã đạt được hiệu suất ấn tượng trong việc nhận dạng đốitượng và được sử dụng trong nhiều ứng dụng thực tế như nhận dạng khuôn mặt,theo dõi đối tượng, và phát hiện đối tượng trong thời gian thực Tùy thuộc vào yêucầu của dự án và tài nguyên có sẵn, chúng ta có thể lựa chọn mô hình phù hợp để ápdụng cho bài toán cụ thể

1.4 Một số ứng dụng kỹ thuât Deep-Learning

1.4.1 Ứng dụng xe tự động

Phòng thí nghiệm nghiên cứu về trí tuệ nhân tạo UBER tại Pittsburg đã tíchhợp thêm các tính năng cho chiếc xe thông thường bằng việc tuỳ chọn giao thức chophép người điền khiển xe trải nghiệm chức năng xe tự động lái Các nhà phát triểndựa vào các tình huấn thực tế của cuộc sống trong vận hành xe hơi để đưa các các

xử lý phù hợp đối với lái xe tự động Bên cạnh đó, các nhà phát triển cũng thực hiệnkiểm tra định kỳ và thường xuyên thay đổi giải pháp triển khai các thuật toán họcsâu để đảm bảo sự an toàn khi xảy ra với nhiều tình huống và hàng ngàn kịch bảnkhác nhau trong đời sống Đó chính là thông qua các dữ liệu từ máy ảnh, từ bản đồđịa lý, các yếu tố môi trường bên ngoài từ đó tích hợp các cảm biến giúp cho thiết bị

có thể xác định được các phương hướng, các biển báo, các tuyến đường phù hợp.Ngoài ra, còn phát triển các tính năng cảm biến xác định tuyến đường nào thuậntiện nhất để di chuyển trong ngày giúp tránh được tình trạng tắc nghẽn khi tham giagiao trên đường

1.4.2 Trợ lý ảo

Ứng dụng phổ biến nhất của Deep Learning ngày nay là trợ lý ảo từ Alexa đếnSiri, Google Assistant Mỗi tương tác với các trợ lý này cung cấp cho họ cơ hội tìmhiểu thêm về giọng nói và ngữ điệu của chúng ta, từ đó cung cấp cho chúng ta trảinghiệm tương tác như phiên bản thứ 2 của con người Trợ lý ảo sử dụng kỹ thuậthọc sâu để thu thập thông tin về các chủ đề, sở thích ăn uống, đến các địa điểmchúng ta thường xuyên đến nhiều nhất, hoặc các bài hát mà chúng ta yêu thích Trợ

lý ảo học cách hiểu các mệnh lệnh của chúng ta bằng cách đánh giá ngôn ngữ tựnhiên của con người để thực hiện chúng

Ngoài ra các ứng dụng này có khả năng đặc biệt khác như dịch bài phát biểucủa chúng ta thành văn bản, ghi chú và đặt lịch hẹn cho chúng ta Có thể nói đâychính là một trợ lý ảo thực sự của chúng ta, từ việc nhắc nhở cho đến tự động trả lờicác cuộc gọi cụ thể của chúng ta để phối hợp các nhiệm vụ giữa chúng ta và các

thành viên trong nhóm Với các ứng dụng học sâu như tạo văn bản và tóm tắt tàiliệu, trợ lý ảo có thể hỗ trợ chúng ta trong việc tạo hoặc gửi bản sao email phù hợp.

1.4.4 Tính năng dịch tự động

Ứng dụng Google Translate giờ đây có thể tự động dịch hình ảnh với văn bảntheo thời gian thực sang ngôn ngữ chúng ta chọn Chỉ cần giữ máy ảnh để lấy dữliệu đầu vào của đối tượng và điện thoại của chúng ta chạy một mạng học sâu đểđọc hình ảnh, OCR nó (tức là chuyển đổi nó thành văn bản) và sau đó dịch nó.Ngôn ngữ sẽ dần dần trở thành không có rào cản và chúng ta sẽ có thể giao tiếp vớinhững người khác trên toàn cầu

1.5 Tổng kết chương

Deep-Learning là một kỹ thuật học sâu dựa vào dữ liệu đầu vào, thực hiện họcthông qua huấn luyện, phân tích, và cho ra kết quả đầu ra mà đối tượng cần phântích, nhận dạng Ngày nay, kỹ thuật này đã được đưa vào giải quyết các bài toánphúc tạp mà trước đây chưa có lời giải, hoặc lời giải chưa tối ưu

Trong chương này chúng tôi đã trình bày tổng quan về Deep-Learning và môhình hoạt động của Deep-Learning, một số mô hình Deep-Learning trong nhận dạngđối tượng, và một số ứng dụng kỹ thuật Deep-Learning Trong chương tiếp theochúng tôi sẽ trình bày mạng nơ-ron tích chập và ứng dụng của nó

Chương 2 MẠNG NƠ-RON TÍCH CHẬP VÀ ỨNG DỤNG

2.1 Mạng Nơ-ron nhân tạo

2.1.1 Giới thiệu tổng quan về mạng nơ-ron nhân tạo

Mạng nơron nhân tạo (Artificial Neural Network -ANN) [5] là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của hệ nơron sinh học Nó được tạo nên từ một số lượng lớn các phần tử (nơron) kết nối với nhau thông qua các liên kết (trọng số liên kết) để giải quyết một vấn đề cụ thể nào đó Một mạng nơron nhân tạo được đưa vào ứng dụng cho một ứng dụng thông qua một quá trình học từ tập các mẫu huấn luyện Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơron.

2.1.2 Cấu trúc mạng nơ-ron nhân tạo

Một nơ-ron đơn được xem như là một đơn vị xử lý thông tin cơ bản của mạngnơ-ron Sự kết nối các nơ-ron đơn theo một mô hình nào đó tạo thành mạng nơ-ron

để xử lý một công việc nào đó Một mạng nơ-ron được cấu thành bởi các nơ-ronđơn lẻ được gọi là các perceptron Một nơ-ron nhân tạo gồm các thành phần sau:

- Tập các khớp thần kinh (Synaptic) hay còn gọi là các liên kết dùng để kết nốicác nơ-ron lại với nhau Liên kết này được dùng để chuyển tín hiệu từ nơ-ron gánnhãn j đến nơ-ron gán nhãn k với trọng số là wkj Trọng số này có thể có giá trị âmhoặc dương

- Một bộ cộng dùng để tổng hợp các tín hiệu đầu vào tại mỗi nơ-ron và gởi kếtquả tổng hợp đến nơ-ron tiếp theo

- Hàm kích hoạt (Activation function) dùng để đưa tín hiệu đầu ra của nơ-ronvào một miền giá trị nhất định hoặc tập hợp các giá trị nhất định

Chúng ta có thể mô hình hóa hoạt động nơ-ron k bằng phương pháp toán họcnhư sau:

y k =φ(v k)(2.3)

Trong đó, x1 , x 2 , x 3 , …, x m là các tín hiệu đầu vào; wk1 , w k2 , w k3 , …, w km là trọng

số các liên kết (khớp thần tinh) đến nơ-ron k; vk bộ tổng hợp tuyến tính đầu ra; bk độ lệch; φ(.) hàm kích hoạt; yk tín hiệu đầu ra nơ-ron nhãn k.

Hình 2.1: Mô hình nơ-ron nhân tạo k [5]

2.1.3 Một số hàm kích hoạt phổ biến

Hàm ngưỡng (threshold function):

Hàm ngưỡng là hàm không liên tục và miền giá trị của nó là 0 hoặc 1 Hàmđược mô tả như sau:

Hàm ReLU là hàm được giới thiệu Hahnloser vào năm 2000 và được địnhnghĩa như sau:

vì tính khả vi và có đạo hàm được tính toán dễ dàng

Hàm Hyperbolic Tangent

Hàm Hyperbolic Tangent là hàm liên tục có miền xác định là (−∞,+∞) vàmiền giá trị là (-1, 1).

Hàm Softmax

Hàm Softmax là hàm thực hiện chuyển đổi một vector K chiều chứa các phần

tử có giá trị bất kỳ thành một vector K chiều chứa các phần tử nằm trong miền (0,

1) Hàm được sử dụng trong các bài toán phân lớp với K lớp đã biết Các phần tử

trong vector K sau khi xử lý qua hàm thể hiện xác suất phân bổ của dữ liệu đầu vào

Hình 2.6: Ví dụ minh họa giá trị đầu vào và giá trị đầu ra hàm Softmax 2.1.4 Kiến trúc mạng nơ-ron nhân tạo

Mạng ron được tạo thành từ sự kết nối các ron đơn Trong mạng ron, các nơ-ron được tổ chức thành từng lớp (layer) Thông thường, một mạng nơ-ron gồm 3 lớp: lớp vào (input layer), lớp ấn (hidden layer), lớp ra (output layer).Lớp ẩn có thể có 1 lớp hoặc nhiều lớp Mạng nơ-ron có số lớp lớn hơn 2 (khôngtính lớp vào) được gọi là mạng perceptron đa lớp MLP (Multi layer perceptron)

nơ-Hình 2.7: Mô hình mạng MLP

Kiến trúc mạng nơ-ron MLP tổng quát có thể được mô tả như:

 Đầu vào là các vector (x1 , x 2, …, x n ) trong không gian n chiều Đầu ra là các

vector (y1 , y 2 , …, y m ) trong không gian m chiều Trong các bài toán phân loại, n là

kích thước mẫu đầu vào, m là số lớp cần phân lớp.

 Mỗi nơ-ron thuộc lớp sau liên kết với tất cả các nơ-ron thuộc lớp liền trướcnó

 Đầu ra của nơ-ron lớp trước là đầu vào của nơ-ron lớp sau liền kề với nó.Hoạt động của mạng MLP được mô tả như sau: tại lớp vào, các nơ-ron nhậntín hiệu và xử lý theo công thức 2.2, và cho kết quả theo công thức 2.3 Các kết quảnày được truyền đến lớp nơ-ron ẩn thứ nhất Tại đây, các nơ-ron tiếp tục nhận tínhiệu và xử lý theo công thức 2.2 và 1.3, và truyền kết quả đến các nơ-ron lớp ẩn tiếptheo Quá trình này được thực hiện đến lớp nơ-ron đầu ra và cho kết quả cuối cùng.Dựa trên cách thức liên kết các đơn vị nơ-ron, người ta chia mạng nơ-ronthành 2 loại sau:

Mạng truyền thẳng

Các nút mạng được kết nối với nhau theo chiều duy nhất từ lớp vào đến lớp ra,nghĩa là mỗi nút ở lớp nào đó chỉ nhận đầu vào là tất cả các nút trước nó mà khôngsuy luận ngược lại

Hình 2.8: Mô hình mạng MLP truyền thẳng

Mạng truyền ngược

Là mạng MLP có chứa các liên kết ngược, nghĩa là giá trị đầu ra của nơ-ron sẽtham gia vào quá trình điều chỉnh trọng số đầu vào Đây là mô hình mạng nơ-ronđược sử dụng phổ biến trong mạng MLP.

Hình 2.9: Mô hình mạng truyền ngược 2.1.5 Huấn luyện mạng

Huấn luyện mạng nơ-ron là quá trình tính toán và cập nhật lại các trọng số đầuvào và hệ số lệch bias để mạng dần hội tụ đến giá trị gần với giá trị mong muốn

Nghĩa là, với một tập vector đầu vào X, mạng tạo ra tập vector ra Y mong muốn Trong trường hợp này, tập X được gọi là tập huấn luyện (training set), các phần tử x thuộc X được gọi là các mẫu huấn luyện.

Có ba phương pháp học phổ biến là học có giám sát (supervised learning), học không có giám sát (unsupervised learning), và học tăng cường (reinforcement

learning).

Học có giám sát là quá trình học có sự tham gia giám sát của thầy giáo, nghĩa

là với tập dữ liệu vào X tương ưng ta có tập đầu ra Y Trong quá trình học, mạng nơ-ron điều chỉnh lại trọng số để tập đầu ra Y’ gần với tập đầu ra thực tế. 

Học không có giám sát là việc huấn luyện mạng không cần bất kỳ sự giám

sát nào Trong học không giám sát, tập dữ liệu huấn luyện là các vector đặc trưngcủa mẫu huấn luyện Thuật toán phân chia tập dữ liệu thành các nhóm con có vectorđặc trưng tương tự nhau

Học tăng cường hay còn gọi là học thưởng phạt là sự kết hợp giữa hai

phương thức học trên Với vector đầu vào, mạng tính vector đầu ra, nếu kết quảđược xem là tốt (giá trị lỗi thấp hơn) thì được thưởng theo nghĩa tăng trọng số cácliên kết lên; ngược lại, mạng bị phạt, nghĩa là giảm trọng số các liên kết

2.2 Mạng nơ-ron tích chập

2.2.1 Tổng quan về mạng nơ-ron tích chập

Đối với các bài toán xử lý hình ảnh để nhận dạng đối tượng, tùy vào ảnh trắngđen hay ảnh màu mà tại mỗi điểm ảnh, ta cần xử lý một hay nhiều giá trị số họcđược chuyển từ không gian ảnh thành các vector Sau đó, ta truyền các giá trị nàyqua mạng MLP (kết nối đầy đủ) [6] Vì mạng này không thay đổi vị trí các đặctrưng nên ta nhận được cùng một kết quả bất kể ta giữ lại cấu trúc không gian điểmảnh hay hoán vị các cột ma trận đặc trưng, cũng như xem xét các điểm ảnh cận kề

có liên quan Do đó, chúng ta cần kết hợp với kỹ thuật học sâu để tiền xử lý dữ liệutrước khi cho vào mạng MLP để nhận dạng, phát hiện đối tượng

Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) [1][4], một họcác mạng nơ-ron ưu việt được thiết kế để khắc phục nhược điểm của mạng MLPnhư đã nói trên Chúng là một trong những mô hình Deep-learning tiên tiến giúpchúng ta xây dựng được những hệ thống thông minh với độ chính xác cao

Mạng Nơ-ron tích chập lấy cảm hứng từ não người Mô hình mạng đượcnghiên cứu trong những thập niên 1950 và 1960 của D.H Hubel và T.N Wiesel trênnão của động vật, và đã đề xuất một mô hình mới về cách mà động vật nhìn nhậnthế giới Trong báo cáo, hai ông đã diễn tả 2 loại tế bào nơ-ron trong não và cáchhoạt động khác nhau gồm tế bào đơn giản (simple cell – S cell) và tế bào phức tạp(complex cell – C cell) Các tế bào đơn giản được kích hoạt khi nhận diện các hìnhdáng đơn giản như đường nằm trong một khu vực cố định và một góc cạnh của nó.Các tế bào phức tạp có vùng tiếp nhận lớn hơn và đầu ra của nó không nhạy cảmvới những vị trí cố định trong vùng