Ứng dụng học sâu và mạng resnet trong nhận diện sâu bệnh hại trên cây lúa

TỎNG QUAN Giới thiệu đề tài Năm 2023 là một năm chứng kiến nhiều thay đôi của lĩnh vực trí tuệ nhân tạo, đặc biệt là mô hình học sâu đã phát triên mạnh mẽ và được áp dụng trong nhiều lĩ

_ BO GIAO DUC VA DAO TAO

TRUONG DAI HQC NGUYEN TAT THANH

BAO CAO TONG KET DE TAI

CHUONG TRINH SINH VIEN NCKH NAM 2021

TEN DE TAI: Ung dung Hoc Sâu và Mang ResNet trong Nhận Diện Sâu Bệnh Hai Trén Cay Lua

Mã số đề tài:

Chủ nhiệm đề tài: Đoàn Lê Duy Anh

Giảng viên hướng dẫn: Hà Minh Tân

Khoa: Công Nghệ Thông Tin

Các thành viên tham gia:

2.1 Học SâU nọ HT King HE Ki Hư vêt 9 2.1.1 Mạng Neurall SH SH TH HH kh kh ket 9 2.1.2 Quá trình họC .- L HH ng nen nhe: 10 2.1.2.1 Hàm kích hoạt† kn n1 ng nnn nêu 10 2.1.2.2 Thuật toán bước giảm Gradient (Gradient Descent) 11 2.2 Mang Neural Tích Chập (CNN8) HH He 13 2.2.1 Định nghĩa . - - Q2 1k kh kkh 13 2.2.2 Lớp tích chập (convolutional) nh He 14

2.3 Mạng dư (Residual NetWOTk) nh HH hhhhrky 16 2.3.1 Van dé Triệt Tiêu Gradient (Gradient Vanishing) 16 2.3.2 Định Nghĩa Mạng Residual Network (ResNet) 16 2.3.2.1 Khoi Xác Nhận (Identity Block} -¿- cccccc+sccxse2 17 2.3.2.2 Khôi Chiếu (Projection Block) :-¿- ¿c2 ccsccxsxssce2 18 2.3.3 So Sánh hiệu năng của mạng ResNet với các mạng khác 19 CHƯƠNG 3 HỌC CHUYÊN TIẾP (TRANSFER LEARNING) 20 3.1 Cơ sở đữ liệu Imageet ch nh 20 3.2 Lợi ích của học chuyên tiẾp c2 2n 2xx rcrrrkt 20 3.3 Mô hình mạng ResNet5OV2 của Kera$ che 20

CHƯƠNG 4 QUÁ TRÌNH XÂY DỰNG VÀ HUẦN LUYỆN MÔ HÌNH 21 4.1 Ngôn ngữ lập trình Python ch HH HH 21 4.2 Thư viện TensorflOW-IX©FAS c c cu TH HH nn HT ng nen Hà ke 21 4.3 Lựa chọn cầu trúc mô hình . -c k1 vn ng Tr ng HH ri 22

0:1019) 19.0.5050) 1 4 24 TÀI LIỆU THAM KHẢO 2 S312 SE3E3E39E 3 1153111111111 25

DANH MUC CAC KY HIEU, CAC CHU VIET TAT

S

ensor -nearest

Transformer

DANH MUC CAC BANG BIEU, SO BO, HINH ANH

Ảnh 2.1: Hình anh của một mạng neural nhân tạo cơ bản cà nnhHe 11 Ảnh 2.2: Mô tả một lớp tích chập c2 2S 32121182 1811110211111 re 14 Ảnh 2.3: Mô tả phép tích chập trên ma trận 4x4 với ma trận 2x2 -:-:- ‹- 14 Ảnh 2.4: Các ma trận filter khác nhau sẽ cho kết quả khác nhau - -:-:- ‹- 15 Ảnh 2.5: Mô tá quá trình Max POOlinQ c1 t3 v2 rtxtxttrertrtrerererrrre 16

Ảnh 2.6: Một Khói Residual - - - n1 n1 1T TH TT TH HT HT TH TH HT Hay 17 Ảnh 2.7: Khôi ldenifiy - ¿n1 2n vn TT TH HT HT HT TH Tàn HH HH ưu 18

Ảnh 4.1: Hình ảnh mô tả kiến trúc của mô hình .-¿- cc c sex ceszererrrrsrrre 22 Biêu đồ 4.1: Sự thay đổi của độ chính xác và giá trị sai số trên 40 epochs 23 Biểu đồ 4.2: Biêu đồ mô tả ma trận nhằm lẫn (confusion matriX) -:- ‹ 23

1.1

1.2

CHƯƠNG 1 TỎNG QUAN

Giới thiệu đề tài

Năm 2023 là một năm chứng kiến nhiều thay đôi của lĩnh vực trí tuệ nhân tạo, đặc biệt là mô hình học sâu đã phát triên mạnh mẽ và được áp dụng trong nhiều lĩnh vực khác nhau như xử lý hình ánh, xử lý âm thanh, xử lý ngôn ngữ tự nhiên, Những ứng dụng gần gũi với con người sử dụng học sâu như: nhận diện vật thẻ, nhận diện khuôn mặt, bài toán phân loại hay thập chí gần đây nhất là mô hình GPT đã gây ra làn sóng truyền thông mạnh mẽ, thay đổi nhận thức lẫn cách làm việc của con người ngày nay

Hiện nay, ngành nông nghiệp vẫn là một ngành quan trọng của Việt Nam Việc ứng dụng các công nghệ tiên tiến vào quy trình sản xuất, chế biến các sản phẩm của nông nghiệp cũng được ứng dụng rộng rãi nhằm đem lại lợi ích kinh tế lớn nhất Trong đó quá trình sản xuất các sản phâm nông nghiệp được chú trọng

hơn cả Bằng chứng là có nhiều biện pháp công nghệ sinh học lẫn hoá học, máy

móc được phô biến đến người dân, giúp nâng cao chát lượng đầu ra của các sản

phẩm nông nghiệp Tuy nhiên, một trong những giai đoạn quan trọng là phòng

ngừa sâu bệnh vẫn sử dụng sức người tự kiêm tra, người dân phải liên tục “thăm đồng" dẫn đến việc hiệu quá không cao Vì thé đề tài này được ra đời với mong muôn tự động hoá quy trình phòng ngừa sâu bệnh đề nâng cao chất lượng của việc phòng ngừa sâu bệnh hại, giúp tối ưu hoá chất lượng lẫn sản lượng đầu ra của sản phẩm nông nghiệp, cụ thê hơn ở đề tài này là cây lúa

Tổng quan về lĩnh vực nghiên cứu

Theo tìm hiểu trên mạng internet về cách xây dựng một hệ thống nhận diện tương tự đã có ở một số nghiên cứu của các tác giả nước ngoài (Ahmed et al., 2019) đã sử dụng giái thuật máy học trong dự đoán Sau khi đữ liệu được tiền xử

lý sẽ huần luyện mô hình bằng 4 thuật toán máy học KNN, J48, Naive Bayes và Logistic Regression Chen et al(2020) đã sử dụng mô hình DenseNet — Inception

đề nhận diện một số bệnh trên cây lúa Matin(2020) đã sử dụng mô hình AlexNet

đề phát hiện ra ba loại bệnh phổ biến ở cây lúa Những nghiên cứu trên cho thấy

1.3

1.4

1.5

1.6

rằng vấn đề này đã được nhiều sự quan tâm do tính cấp thiết và quan trọng của

nó trong ngành kinh tế nông nghiệp

Mục tiêu đề tài

Thông qua đề tài này, nhóm mong muôn có thê đưa ra được một giải pháp tối ưu cho việc phòng ngừa sâu bệnh hại trên cây nông nghiệp, cụ thê ở đây là cây lúa nhằm mục đích nâng cao chất lượng sản phẩm đầu ra Đồng thời cũng thông

qua đề tài để áp dụng được những tiền bộ khoa học vào trong ngành kinh tế nông nghiệp, giúp thúc đầy phát triển một trong những ngành quan trọng của Việt Nam Phạm vi nghiên cứu

Phạm vi nghiên cứu của đè tài tập trung nghiên cứu thuật toán học sâu và kiến trúc mạng ƠNN nổi tiếng và xử lý hình ảnh như ResNet đồng thời là kỹ thuật học chuyền tiếp (transfer learning) đề tối ưu chỉ phí thời gian và sức mạnh phản cứng

Tập trung giái quyết bài toán phân loại hình ảnh và xây dựng được một kiến trúc mạng tối ưu trong nhận diện và phân loại vật thẻ

Phương pháp nghiên cứu

Nghiên cứu xử lí dữ liệu đầu vào nhằm giám chỉ phí tính toán, đồng thời

chuân hoá dữ liệu phù hợp với kiến trúc mạng Sử dụng phương pháp Data Augmentation dé giai quyét van đề học quá khớp (overfitting)

Xây dựng và đánh giá mạng nhằm lựa chọn kiến trúc mạng cho lại hiệu năng tối ưu Mạng được sử dụng phải là mạng có giá trị mát mát (loss value) trén tập dữ liệu kiểm định (validation test) tháp nhát và có độ chính xác kiểm định (validation accuracy) cao nhat

Bồ cục bài báo cáo

Trong bài báo cáo có tất cá 5 chương, có phan mở đâu, phản kết luận, và

mục lục Nội dung phần báo cáo được trình bày như sau:

Chương I: Tổng quan

Phan nay sé giới thiệu về đề tài và mục tiêu của đề tài Đồng thời nêu lên

được hiện trạng của lĩnh vực mà nhóm đang nghiên cứu

Chương 2: Cơ sở lý thuyết

Phản này sẽ giới thiệu về cơ sở lý thuyết được áp dụng vào trong giải pháp

mà đề tài nêu lên Trong đó giới thiệu kỹ về kỹ thuật học sâu, kiến trúc của một mang ÔNN và trình bày cách hoạt động của mạng ResNet

Chương 3: Học chuyền tiếp (Transfer Learning)

Trong phản này sẽ giới thiệu về kỹ thuật học chuyền tiếp, một kỹ thuật giúp cho việc tính toán được giảm xuống nhờ các mạng đã được huán luyện sẵn

trên bộ dữ liệu lớn

Chương 4: Quá trình xây dựng và huần luyện mô hình

Phản này sẽ tập trung vẻ quá trình xây dựng và thử nghiệm các mô hình học sâu Đông thời nêu lên được các thư viện, ngôn ngữ lập trình được sử dụng trong quá trình xây dựng mô hình

Chương 5: Kết luận

Chương này sẽ đưa ra kết quả sau khi huấn luyện thành công mô hình, kết quả khi sử dụng mô hình để dự đoán Đưa ra kết luận và ké hoạch phát triên tiếp

theo.

CHUONG 2 NOI DUNG VA PHUONG PHAP NGHIEN

CUU

2.1 Hoc sau

2.1.1 Mang Neural

* Neuron nhan tao

Não người là một bộ phận phức tạp, nó được ví như một chiếc máy tính mạnh mẽ với khá năng xử lí, tính toán song song vô cùng nhanh Lấy ví dụ trong việc xử lý âm thanh hay hình ánh, não bộ của con người có thê ngay lập tức phân biệt được tiếng nói của một người trong một đám đông ôn ào hay phân biệt được một con vật là chó hoặc mèo một cách vô cùng nhanh chóng Điều đó nếu thực hiện trên các máy tính hiện đại cũng phái tiêu tốn khoáng thời gian tương đối nhưng lại tôn rất nhiều tài nguyên phản

cứng Đề thực hiện được những tác vụ trên não bộ của con người đều dựa vào sức mạnh

của các ghép nói thản kinh và các neuron thân kinh Các neuron và ghép nói của chúng

tạo nên một mạng lưới giúp xử lý thông tin một cách hiệu quả Vì thế việc con người,

bằng các công cụ toán học, bằng cách nào đó có thẻ mô phỏng lại cách hoạt động của não bộ con người sẽ giúp mở ra con đường mới trong lĩnh vực Xử lý thông tin

Năm 1943, Warren McCulloch và Walter PItts đã đưa ra khái niệm toán hoc

Preceptron, một cách đẻ mô tá cách hoạt động của một neuron của con người, từ đó đặt nèn móng cho Neuron Nhân Tạo và xa hơn nữa là mạng Neưral

Một Preceptron là một hàm phân loại nhị phân chứa một trọng só, một mức

ngưỡng và nhiều đầu vào Đầu ra của hàm só sẽ bằng tổng của tích từng đầu vào với trọng số, nếu lớn hơn hoặc bằng giá trị ngưỡng sẽ cho ra giá trị 1 hoặc néu nhỏ hơn giá trị ngưỡng sẽ cho ra giá tr ¡ 0

Dé dé hinh dung hãy gọi x là vector chứa các giá trị đầu vào x¡, w là vector chứa giá tri trong sé wi, b là một giá trị ngưỡng nào đó và y là một giá trị đầu ra tương ứng với X Từ đó ta sẽ có công thức của một Preceptron như sau:

1 néu ( >b

=ol|G[x]|]= mn

y («(>)) vane 0)

Với một số lượng lớn các Preceptron được kết nói với nhau ta sẽ có một mạng

Preceptron tương tự như mang neural của não người Tuy nhiên, với các thuật toán để cho mang neural nhan tao hoc thì ta buộc phải tính đạo hàm của hàm ngưỡng (2) và dao hàm của hàm ngưỡng lại cho ra hàm xung Dirac với giá trị dương vô cực khi x = 0 khiến cho quá trình học không diễn ra được

ơlxÌ= ðÍx -[tenáax=g

Vì thế trong thực tế người ta Sử dụng thốt did trúc neuron nhân tạo khác gọi là

sigmoid neuron Thực chất sigmoid neuron đơn giản chỉ là một Preceptron nhưng thay

thế hàm ngưỡng (2) bằng hàm sigmoid Vì đạo hàm của hàm sigmoid là liên tục và có mién giá trị từ 0 đến 1 nên khi áp dụng các thuật toán học được trình bày bên dưới Sẽ không gây ra cản trở

n

(x) =x*we »x xW;

;=4dÌ}x£=ø ()

* Mạng Neural Nhân Tạo

Một Mạng Neural Nhân Tạo được định nghĩa là các neuron nhân tạo trên một lớp kết nói với nhau Các nhánh (hay các kết nói) mô phỏng chức năng của synaps trong não bộ của con người Một neuron nhân tạo nhận tín hiệu từ các neuron két nói với nó Tín hiệu mà các neuron nhận sẽ là một số thực Một lớp trong mạng mà được két nói với các lớp phía trước của nó sẽ được gọi là một lớp Dense hay Hidden Layer (lớp ân), trong khi các lớp đầu và cuối mạng sẽ lần lượt

là lớp đầu vào, với nhiệm vụ nhận tín hiệu đầu vào, và lớp đầu ra, chịu trách nhiệm đưa ra két quả đầu ra

10

Anh 2.1: Hinh anh cra mot meng neural nhân tạo cơ bản (Nguồn: Wikipedia)

2.1.2 Qua trinh hec

2.1.2.1 Ham kich hoat

Ở trên ta đã đi qua hai hàm để lọc đầu ra của một neron nhân tạo Cac ham nay được gọi là các hàm kích hoạt Sigmoid (3) hay hàm ngưỡng (2) đều là những ví dụ của các hàm kích hoạt trong một đơn vị neuron Ngoài ra còn có một só hàm kích hoạt khác như

Là một hàm được sử dụng phô biến gần đây do nhiều ưu điểm so với Sigmoid

và Tanh như tốc độ tính toán nhanh hơn, giải quyết được vấn đè Gradient Vanishing

ơ| x |= ReLU| x|= frneux 20

0 nếu x < 0 2.1.2.2 Thudt todn buwoc giam Gradient (Gradient Descent)

11

Trong thuật toán hoc co huéng dan (supervised learning) ngwoi ta st dụng một

hàm sai số đề đánh giá các giá trị đầu ra của mô hình với đầu ra chuân được cho trước Khi hàm sai số cho ra giá trị càng nhỏ thì tức là mạng đã học được bộ dữ liệu Gọi Y là tập các giá trị đầu ra được mạng neural nhân tạo tính toán và D là đầu

ra chuẩn được cho trước Ta có thẻ tính giá tri sai số như sau:

Đề đạt được giá trị tôi ưu trên hay nói cách khác là ta phải đi tìm giá trị nhỏ nhất loss| x |’ = 0 la rat khó và tốn nhiều thời gian Vì thê người ta đã sử dụng một thuật toán thường được áp dụng trong các bài toán tối ưu, đó là thuật toán bược giảm Gradient (Gradient Descent)

cua j sai số tức là tìm giá trị tại đạo hàm bằng 0 Tuy nhiên, việc giải phương trình

Thuật toán GradIent Descent được mô tả như sau:

- Gọi f(x) là một hàm só bát kỳ Xuất phát từ một điểm xo sao cho f(xo) > f(x)

- Tiếp tục xem xí là xo ta lại tìm giá trị tiếp theo x¡.: Sao Cho f(xi) > f(xi+1)

- Kết thúc quá trình ta sẽ được một chuỗi giá trị x sao cho tồn tại một giá trị Xmin

mà f(Xmn) nhỏ hơn mọi giá trị f(x) khác trong chuỗi

Thuật toán trên được mô tả qua công thức như sau:

Neer = Xp 7H 4 |x = xy Khi áp dụng công thức trên vào công thức của hàm sai số ta sẽ có được một công thức tối ưu là:

12

£=S(r-a)e(Sers)s

=1 (=1

2.2 Mang Neural Tich Chap (CNNs)

2.2.1 Dinh nghia

CNN là viết tat cua Convolutional Neural Network, hay con duoc goi la mang nơ-ron tích chập Đây là một mô hình học sâu được Sử dụng rộng rãi trong các ứng dụng xử lý dữ liệu hình anh va video

CNN hoạt động dựa trên nguyên tắc tích chập, là một phép toán toán học được

sử dụng đề tính tông các giá trị trong một vùng dữ liệu Trong CNN, phép tích chập được Sử dụng đề trích xuất các đặc trưng từ dữ liệu hình ảnh

Câu trúc của một mạng CNN thường bao gòm các lớp sau:

Vv Lép dau vao (input layer): Lép nay nhan dir liéu dau vào là hình ảnh hoặc video

Lớp tích chập (convolutional layer): Lớp này sử dụng phép tích chập đề trích xuất các đặc trưng từ dữ liệu đầu vào

Lớp pooling (pooling layer): Lớp này giảm kích thước của dữ liệu đầu ra từ lớp tích chập để giảm sô lượng tham số của mô hình

Lớp fully connected (fully connected layer): Lop nay kết nối tất cả các nơ- ron trong một lớp với tât cả các nơ-ron trong lớp tiếp theo

Lớp oufput (output layer): Lớp này tạo ra đầu ra của mô hình

18