ứng dụng học sâu cho bài toán phân loại chất lượng thịt

Danh sách hình vẽ Hình 1.1 Ảnh mẫu về chất lượng thịt hàng ngày Hình 1.2 Ảnh mẫu về ảnh hưởng của nghe nhạc đối với heo Hình 1.3 Hình ảnh ví dụ về phương pháp phân loại truyền thống Hình

Sinh viên: TRỊNH TUẤN ANH

Mã số sinh viên: 19010002 Khóa: K13

Ngành: Khoa học dữ liệu Hệ: Đại học Chính Quy

Giảng viên hướng dẫn: TS PHẠM TIẾN LÂM

Hà Nội – Năm 2023

Copies for internal use only in Phenikaa University

TRƯỜNG ĐẠI HỌC PHENIKAA

ĐỒ ÁN TỐT NGHIỆP

ỨNG DỤNG HỌC SÂU CHO BÀI TOÁN PHÂN LOẠI CHẤT

LƯỢNG THỊT

Sinh viên: TRỊNH TUẤN ANH

Mã số sinh viên: 19010002 Khóa: K13

Ngành: Khoa học dữ liệu Hệ: Đại học Chính Quy

Giảng viên hướng dẫn: TS PHẠM TIẾN LÂM

Hà Nội – Năm 2023

Copies for internal use only in Phenikaa University

Độc lập - Tự do - Hạnh phúc

NHẬN XÉT ĐỒ ÁN/KHÓA LUẬN TỐT NGHIỆP

CỦA GIẢNG VIÊN PHẢN BIỆN

Giảng viên phản biện: Bộ môn:

Tên đề tài:

Sinh viên thực hiện: Lớp:

Giảng viên hướng dẫn:

NỘI DUNG NHẬN XÉT

I Nhận xét ĐAKLTN:

- Bố cục, hình thức trình bày:

- Đảm bảo tính cấp thiết, hiện đại, không trùng lặp:

- Nội dung:

Copies for internal use only in Phenikaa University

- Mức độ thực hiện:

II Kết quả đạt được:

III Ưu nhược điểm:

IV Kết luận: Đồng ý cho bảo vệ: Không đồng ý cho bảo vệ: Hà Nội, ngày tháng năm 20

GIẢNG VIÊN PHẢN BIỆN

Copies for internal use only in Phenikaa University

LỜI CẢM ƠN

Lời đầu tiên, em không biết nói gì hơn ngoài bày tỏ sự biết ơn sâu sắc đến các thầy cô Trong suốt chặng đường học tập và làm đồ án tốt nghiệp em đã luôn nhận được sự hướng dẫn, giúp đỡ tận tình của thầy cô

Đặc biệt, em xin bày tỏ sự kính trọng và lòng biết ơn sâu sắc nhất đến thầy giáo hướng dẫn TS Phạm Tiến Lâm, thầy là người đã trực tiếp hướng dẫn, giúp đỡ và cung cấp cho em nguồn tài nguyên và dữ liệu quý báu, đồng thời đã giúp em xác định hướng

đi chính xác để em có thể hoàn thành đồ án này Trong quá trình học tập và nghiên cứu, nếu em có những sai sót gì, kính mong thầy bỏ qua

Ngoài ra, em cũng muốn gửi lời cảm ơn đến gia đình và bạn bè, đã luôn đồng hành cùng tôi trong suốt hành trình này

Xin chân thành cảm ơn!

Trân trọng, Trịnh Tuấn Anh

Copies for internal use only in Phenikaa University

LỜI CAM ĐOAN

Tên tôi là: TRỊNH TUẤN ANH

Mã sinh viên: 19010002 Lớp: K13-CNTT-KHDL

Ngành: Công nghệ thông tin

Tôi đã thực hiện đồ án/khóa luận tốt nghiệp với đề tài:

Tôi xin cam đoan đây là đề tài nghiên cứu của riêng tôi và được sự hướng dẫn của: TS Phạm Tiến Lâm

Các nội dung nghiên cứu, kết quả trong đề tài này là trung thực và chưa được các tác giả khác công bố dưới bất kỳ hình thức nào Nếu phát hiện có bất kỳ hình thức gian lận nào tôi xin hoàn toàn chịu trách nhiệm trước pháp luật

GIẢNG VIÊN HƯỚNG DẪN

Mục lục

LỜI CẢM ƠN i

Danh sách hình vẽ v

Danh sách tên viết tắt vii

MỞ ĐẦU 1

CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI 2

1.1 Giới thiệu đề tài 2

1.1.1 Tên đề tài 2

1.1.2 Đặt vấn đề 2

1.1.3 Mục tiêu nghiên cứu 2

1.1.4 Phương pháp nghiên cứu 3

1.2 Khái niệm về Phân Loại Chất Lượng Thịt 3

1.2.1 Định nghĩa chất lượng thịt 3

1.2.2 Ý nghĩa của việc phân loại chất lượng thịt 5

1.3 Các Phương Pháp Truyền Thống trong Phân Loại Chất Lượng Thịt 6

1.3.1 Phương pháp đánh giá thịt bằng mắt thường 6

1.3.2 Các hệ thống phân loại thịt truyền thống 7

1.4 Phương thức thực hiện giải quyết bài toán 9

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 10

2.1 Thị giác máy tính (Computer vision) 10

2.1.1 Khái niệm về thị giác máy tính: 10

2.1.2 Các bài toán lớn trong thị giác máy tính: 10

2.1.3 Thư viện OpenCV 11

2.2 Học máy 16

2.2.1 Khái niệm học máy: 16

2.1.2 Các bài toán lớn trong học máy 16

2.1.3 Ứng dụng của học máy 17

2.3 Mạng nơ-ron và Học sâu 18

2.3.1 Khái niệm về học sâu 18

2.3.2 Các ứng dụng của Học sâu 18

Copies for internal use only in Phenikaa University

2.4 Mạng CNN (Convolutional Neural Network) 19

2.4.1 Khái niệm về Mạng CNN 19

2.4.2 Tích chập hai chiều (Conv2D) 20

2.4.3 Các lớp filter trong CNN 21

2.5 YOLO (You Only Look One) 23

2.5.1 Ưu điểm của YOLO so với các phương pháp truyền thống: 24

CHƯƠNG 3: GIẢI PHÁP VÀ TRIỂN KHAI THỰC NGHIỆM 26

3.1 Lựa chọn giải pháp 26

3.2 Triển khai thực nghiệm 28

3.2.1 Chuẩn bị dữ liệu 28

3.2.2 Gán nhãn dữ liệu: 29

3.2.3 Ứng dụng mô hình YOLOv5 cho việc phát hiện vị trí đối tượng “Đuôi” 31

3.2.4 Ứng dụng các kỹ thuật xử lý ảnh cho việc phát hiện vùng của đối tượng “Đuôi” 32

KẾT LUẬN 40

TÀI LIỆU THAM KHẢO 42

Copies for internal use only in Phenikaa University

Danh sách hình vẽ

Hình 1.1 Ảnh mẫu về chất lượng thịt hàng ngày

Hình 1.2 Ảnh mẫu về ảnh hưởng của nghe nhạc đối với heo

Hình 1.3 Hình ảnh ví dụ về phương pháp phân loại truyền thống

Hình 1.4 Hình ảnh ví dụ về phân loại chất lượng thịt của USDA

Hình 1.5 Hình ảnh ví dụ về phân loại chất lượng thịt của EUROP

Hình 2.1 Hình minh họa về Grayscaling

Hình 2.2 Hình minh họa cho Sự biến đổi giữa các hình ảnh liền kề

Hình 2.3 Hình ảnh minh họa về việc Làm nổi bật đối tượng dựa vào sự biến đổi

giữa các hình ảnh liền kề Hình 2.4 Hình minh họa về quá trình lọc nhiễu

Hình 2.5 Hình minh họa về tìm cạnh của vật thể

Hình 2.6 Hình ảnh các loại ngưỡng và hình ảnh kết quả của quá trình

Hình 2.7 Hình minh họa về việc tìm đường bao

Hình 2.8 Hình ảnh minh họa về cấu trúc Mạng CNN

Hình 2.9 Hình minh họa cách hoạt động của mạng tích chập

Hình 2.10 Hình ảnh minh họa về cấu trúc của Convolutional Layers

Hình 2.11 Hình ảnh minh họa về Pooling Layers

Hình 2.12 Hình ảnh minh họa về hàm các Hàm kích hoạt phổ biến

Hình 2.13 Hình ảnh minh họa về Dropout

Hình 2.14 Hình ảnh minh họa về hàm tối ưu hóa hàm mất mát

Hình 2.15 Hình minh họa các ứng dụng của mô hình YOLO

Hình 3.1 Hình minh họa việc xác định vị trí vật thể

Hình 3.2 Hình minh họa kết quả việc tìm ra vùng “ Đuôi ”

Hình 3.3 Hình minh hoa việc vẽ đường bao và tính độ dài của đuôi

Hình 3.4 Hình ảnh minh họa dữ liệu thu thập được

Hình 3.5 Hình ảnh minh họa dữ liệu sinh thêm

Hình 3.6 Hình minh họa quá trình gán nhãn dữ liệu

Copies for internal use only in Phenikaa University

Hình 3.7 Hình mô tả kiến trúc của mô hình YOLOv5

Hình 3.8 Mình ảnh minh họa kết quả biến đổi sau bước 1

Hình 3.9 Hình ảnh minh họa sự biến đổi sau khi thực hiện bước 2

Hình 3.10 Hình ảnh biến đổi sau khi thực hiện bước 3

Hình 3.11 Hình ảnh kết quả sau khi qua các bước lặp

Hình 3.12 Hình ảnh minh họa quá trình biến đổi qua bước 4

Hình 3.13 Hình ảnh kết quả biến đổi qua bước 5

Hình 3.14 Hình ảnh các loại ngưỡng và kết quả của quá trình tách ngưỡng Hình 3.15 Hình minh họa về việc tìm đường bao

Hình 3.16 Hình ảnh kết quả việc tính độ dài của phần đuôi dựa vào đường bao

Copies for internal use only in Phenikaa University

Danh sách tên viết tắt

USDA United States Department of Agriculture

EUROP European UnionROP

OpenCV Open Source Computer Vision Library

NLP Natural Language Processing

ReLU Rectified Linear Unit

MSE, Mean Square Error

MAE Mean Absolute Error

SGD Stochastic Gradient Descent

Copies for internal use only in Phenikaa University

MỞ ĐẦU

Mỗi ngày, ngành công nghiệp thực phẩm đang phát triển với tốc độ nhanh chóng, đáp ứng nhu cầu ngày càng cao của xã hội Trong tất cả các yếu tố quyết định chất lượng sản phẩm, chất lượng thịt đóng vai trò cực kỳ quan trọng Việc kiểm soát

và đánh giá chất lượng thịt một cách chính xác và hiệu quả không chỉ mang lại lợi ích kinh tế mà còn đảm bảo sức khỏe cộng đồng

Tại đây, tôi xin trình bày đồ án nghiên cứu với mục tiêu áp dụng kỹ thuật học sâu vào bài toán phân loại chất lượng thịt Học sâu, như một lĩnh vực nghiên cứu đang phát triển mạnh mẽ, hứa hẹn sẽ mang lại những cách tiếp cận mới mẻ và hiệu quả trong việc giải quyết bài toán phức tạp này

Mục tiêu của đồ án này là áp dụng kỹ thuật học sâu để xây dựng một hệ thống phân loại chất lượng thịt đáng tin cậy và chính xác Tôi hy vọng rằng kết quả của đề

án này sẽ đóng góp tích cực vào sự phát triển bền vững của ngành công nghiệp thực phẩm và đáng tin cậy của các sản phẩm thịt trên thị trường

Trong đồ án này, tôi đã tiến hành nghiên cứu và ứng dụng mô hình học sâu và kết hợp các phương pháp xử lý ảnh Cụ thể hơn, tôi đã xây dựng được bộ dữ liệu về

vị trí của đuôi lợn trong các khung hình trích suất từ camera, huấn luyện được mô hình YOLO (you only look once) để phát hiện vị trí đuôi lợn cho độ chính xác cao,

và xây dựng được thuật toán xử lý ảnh cho việc phân lập vùng đuôi lợn phục vụ cho việc đánh giá chiều dài của đuôi nhằm giải quyết bài toán phân loại chất lượng thịt

Tôi tin rằng, với phương pháp nghiên cứu sử dụng trong đồ án này sẽ giúp mọi người có cái nhìn tổng quan về các phương pháp và kỹ thuật học sâu được áp dụng trong bài toán phân loại chất lượng thịt đồng thời đóng góp được một phần trong bài toàn phân loại chất lượng thịt này

Copies for internal use only in Phenikaa University

CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI

1.1 Giới thiệu đề tài

Tuy nhiên, việc ứng dụng học sâu trong bài toán phân loại chất lượng thịt [1] đang đặt ra nhiều thách thức Cần xem xét kỹ lưỡng về cách tiếp cận đối tượng, phạm vi nghiên cứu về nội dung, không gian và thời gian để đảm bảo kết quả nghiên cứu mang tính ứng dụng cao

Trước đây đã có rất nhiều phương pháp đánh giá chất lượng thịt như nhìn bằng mắt, sử dụng mô hình đánh giá bằng màu sắc thịt,… Tuy nhiên, có một giải pháp mới từ phía doanh nghiệp đó là sử dụng độ dài phần đuôi để làm thước đo phân loại chất lượng thịt Cụ thể là với “ lợn đuôi dài ” sẽ là giống lợn nuôi tự nhiên, “ lợn đuôi ngắn ” sẽ là giống lợn nuôi công nghiệp Để giải quyết bài toán này chúng tôi đề xuất một phương pháp mới giúp nhằm giúp giải quyết bài toán phân loại chất lượng thịt là một phần quan trọng của đề tài này

1.1.3 Mục tiêu nghiên cứu

Mục tiêu nghiên cứu của đề tài " Ứng dụng học sâu cho bài toán phân loại chất lượng thịt " được xác định như sau:

Copies for internal use only in Phenikaa University

- Xây dựng tập dữ liệu phục vụ cho quá trình giải quyết bài toán

- Xây dựng các mô hình Học sâu (Deep Learning) để hỗ trợ và giải quyết bài toán phân loại chất lượng thịt dựa trên các đặc điểm quan trọng

- Triển khai các thí nghiệm khác nhau với mô hình học sâu để thu được kết quả tốt nhất

- Tích hợp các phương pháp xử lý ảnh kết hợp với mô hình học sâu đánh giá chất lượng thịt trên video

Mục tiêu của nghiên cứu là xây dựng và đề xuất một giải pháp kết hợp giữa sử dụng mô hình học sâu và kỹ thuật xử lý ảnh nhằm hỗ trợ phân loại chất lượng thịt mang lại kết quả chính xác và tin cậy Từ đó đóng góp vào việc nâng cao quản lý chất lượng sản phẩm thịt trong ngành công nghiệp thực phẩm

1.1.4 Phương pháp nghiên cứu

- Tìm hiểu về các phương pháp trước đây

- Ứng dụng mô hình học máy YOLO hỗ trợ giải quyết vấn đề

- Tối ưu hóa các tham số trong mô hình học máy

Sự đánh giá chính xác của chất lượng thịt đóng vai trò quan trọng trong việc đáp ứng nhu cầu tiêu thụ và đảm bảo sức khỏe của người dùng cuối cùng

Copies for internal use only in Phenikaa University

Hình 1.1:Ảnh mẫu về chất lượng thịt hàng ngày Mặc khác, chất lượng thịt không chỉ phụ thuộc vào các yếu tố về mặt vật lý và hóa học, mà còn liên quan đến quá trình chăm sóc và nuôi dưỡng động vật Điều này bao gồm cả dinh dưỡng, môi trường sống, quản lý stress và điều kiện vệ sinh trong quá trình chăn nuôi

Ngoài ra, chất lượng thịt cũng liên quan đến các tiêu chuẩn an toàn thực phẩm

và quy định về vệ sinh an toàn thực phẩm Đảm bảo rằng quy trình sản xuất và xử

lý thịt tuân thủ các quy tắc và tiêu chuẩn này là rất quan trọng để đảm bảo sự an toàn và chất lượng của sản phẩm thịt cuối cùng

Hình 1.2: Ảnh mẫu về ảnh hưởng của nghe nhạc đối với heo

Copies for internal use only in Phenikaa University

Tóm lại, chất lượng thịt không chỉ đơn thuần là về các đặc tính vật lý và hóa học của sản phẩm, mà còn bao gồm cả quy trình nuôi dưỡng động vật, quản lý chăm sóc và tuân thủ các quy chuẩn về an toàn thực phẩm Điều này đảm bảo rằng thịt được cung cấp cho người tiêu dùng là an toàn, dinh dưỡng và đáng tin cậy

1.2.2 Ý nghĩa của việc phân loại chất lượng thịt

Việc phân loại chất lượng thịt đóng vai trò rất quan trọng trong nhiều mặt khác nhau:

- Đảm bảo an toàn thực phẩm: Phân loại chất lượng thịt giúp xác định và

loại bỏ các loại thịt có nguy cơ gây hại cho sức khỏe con người do nhiễm khuẩn, dị vật hoặc các yếu tố khác

- Tối ưu hóa giá trị thịt: Phân loại chất lượng thịt giúp người chăn nuôi và

người tiêu thụ có cái nhìn rõ ràng về giá trị của sản phẩm thịt, từ đó tối ưu hóa giá bán và giá mua

- Nâng cao sự tin cậy của thị trường: Việc có hệ thống phân loại chất lượng

thịt mang lại sự minh bạch và tin cậy đối với người tiêu thụ, giúp xây dựng lòng tin và đánh giá cao hơn đối với sản phẩm thịt

- Hướng dẫn trong quá trình chọn lựa: Người tiêu dùng sẽ dễ dàng hơn trong

việc chọn lựa sản phẩm thịt phù hợp với nhu cầu và mong muốn của mình khi có thông tin rõ ràng về chất lượng

- Thúc đẩy quá trình cải thiện chất lượng: Phân loại chất lượng thịt cung cấp

thông tin phản hồi quan trọng cho người chăn nuôi và nhà sản xuất thực phẩm, từ đó khuyến khích nâng cao các tiêu chuẩn chất lượng và quy trình chăm sóc động vật

- Quản Lý Hiệu Quả Cung Cấp: Các đơn vị chế biến thịt và nhà bán lẻ có thể

quản lý nguồn cung cấp của mình một cách hiệu quả hơn Việc phân loại giúp xác định nguồn gốc của thịt và đảm bảo rằng nó đáp ứng các tiêu chuẩn chất lượng

Copies for internal use only in Phenikaa University

- Nâng Cao Năng Suất Nông Nghiệp: Nông dân và các nhà chăn nuôi có thể

nhận ra các vấn đề về chất lượng thịt sớm hơn và áp dụng biện pháp cần thiết để nâng cao chất lượng của đàn nuôi của họ

- Phát Triển Khoa Học Kỹ Thuật: Quá trình phân loại chất lượng thịt khuyến

khích sự áp dụng của các công nghệ mới và tiến bộ trong lĩnh vực nông nghiệp và công nghiệp thực phẩm

1.3 Các Phương Pháp Truyền Thống trong Phân Loại Chất Lượng Thịt

1.3.1 Phương pháp đánh giá thịt bằng mắt thường

Phương pháp đánh giá thịt bằng mắt thường là một trong những cách tiếp cận truyền thống để xác định chất lượng thịt Quá trình này dựa trên sự quan sát trực tiếp bằng mắt và các giác quan khác như màu sắc, mùi vị, kết cấu và độ ẩm của thịt Dưới đây là một số tiêu chí thường được sử dụng trong phương pháp này:

- Màu sắc: Màu của thịt có thể tiết lộ nhiều thông tin về tuổi tác và tình trạng của động vật Thịt tươi mới thường có màu đỏ hồng sáng, trong khi thịt đã lão hóa có thể có màu xám hoặc nâu

- Mùi vị: Mùi của thịt cũng là một chỉ số quan trọng Thịt tươi sẽ có mùi tự nhiên, dịu nhẹ, trong khi thịt kém chất lượng có thể có mùi khó chịu hoặc không dễ chịu

- Độ ẩm: Sự mất nước của thịt có thể ảnh hưởng đáng kể đến chất lượng Thịt quá khô có thể là dấu hiệu của quá trình bảo quản không đúng cách

Phương pháp đánh giá bằng mắt thường đòi hỏi sự kinh nghiệm và chuyên môn của người thực hiện Tuy nhiên, nó vẫn là một công cụ hữu ích trong việc nhanh chóng kiểm tra và đánh giá sơ bộ chất lượng thịt trước khi áp dụng các phương pháp đánh giá khác

Copies for internal use only in Phenikaa University

Hình 1.3: Hình ảnh ví dụ về phương pháp phân loại truyền thống

1.3.2 Các hệ thống phân loại thịt truyền thống

Hiện nay, có nhiều hệ thống phân loại thịt truyền thống được sử dụng trên thế giới Dưới đây là một số ví dụ tiêu biểu:

- USDA (United States Department of Agriculture): Hệ thống phân loại thịt của USDA sử dụng các tiêu chí như màu sắc, mùi vị, kết cấu và độ đàn hồi để đánh giá chất lượng thịt

Hình 1.4: Hình ảnh ví dụ về phân loại chất lượng thịt của USDA

Copies for internal use only in Phenikaa University

- EUROP (European UnionROP): Hệ thống phân loại EUROP được sử dụng chủ yếu tại các quốc gia thành viên của Liên minh Châu Âu Hệ thống này phân loại thịt lợn dựa trên cơ cấu cơ bắp và lớp mỡ, chia thành các loại từ E (đạt chuẩn cao nhất) đến P (đạt chuẩn thấp nhất)

Hình 1.5: Hình ảnh ví dụ về phân loại chất lượng thịt của EUROP

Tóm lại, các hệ thống phân loại thịt lợn truyền thống được tạo ra để đáp ứng các yêu cầu cao về chất lượng, an toàn thực phẩm và hiệu suất trong ngành công nghiệp thịt lợn Điều này giúp cung cấp các sản phẩm thịt lợn chất lượng và an toàn cho thị trường tiêu thụ

Copies for internal use only in Phenikaa University

1.4 Phương thức thực hiện giải quyết bài toán

Quy trình thực hiện giải pháp gồm các bước chính sau:

- Đặt vấn đề và định nghĩa bài toán: Ngày nay nhu cầu tối ưu hóa trong dây

chuyền sản xuất càng ngày càng trở nên quan trọng Việc sử dụng các mô hình học sâu để giảm bớt sức người trong quá trình sản xuất trở nên quan trọng hơn

và trong đề tài này tôi sẽ sử dụng một phương pháp kết hợp xây dựng mô hình Học sâu và Xử lý hình ảnh để giải quyết bài toán này

- Thu thập Dữ liệu: Bước đầu tiên là thu thập dữ liệu về các hình ảnh trong dây

chuyền sản xuất Dữ liệu này sẽ được sử dụng để huấn luyện mô hình học sâu

- Tiền Xử lý Dữ liệu và gán nhãn dữ liệu: Loại bỏ những hình ảnh không có

chứa vật thể trong khung hình Sử dụng các công cụ có sẵn để gán nhãn dữ liệu Cụ thể sử dụng Roboflow là một framework để xác định vị trí vật thể

- Tăng cường dữ liệu: Sử dụng các phương pháp tăng cường dữ liệu nhằm tăng

cường thêm thông tin để huấn luyện mô hình học máy

- Xây dựng và huấn luyện Mô hình Học Sâu để phát hiện đối tượng – “Đuôi”

Sau khi chuẩn bị dữ liệu, ta sẽ áp dụng mô hình phát hiện đối tượng (Object Detection) để phát hiện đuối tượng đuôi con lợn Mô hình sử dụng ở đây là YOLOv5

- Áp dụng các kỹ thuật Xử lý hình ảnh để đo độ dài của phần “Đuôi” và phân

loại: Các kỹ thuật làm nổi bật đối tượng (“Đuôi”) và tính toán độ dài của đối

tượng

Copies for internal use only in Phenikaa University

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

2.1 Thị giác máy tính (Computer vision)

2.1.1 Khái niệm về thị giác máy tính:

Thị giác máy tính (Computer Vision) [3,4] là một lĩnh vực trong khoa học máy tính và công nghệ thông tin, tập trung vào việc phát triển các thuật toán và hệ thống

để giúp máy tính có khả năng nhận diện, hiểu và xử lý thông tin từ hình ảnh và video, tương tự như cách con người nhìn và tư duy về thế giới xung quanh Mục tiêu của thị giác máy tính là giúp máy tính "nhìn" và "hiểu" thế giới thông qua dữ liệu hình ảnh và video, từ đó có thể thực hiện các nhiệm vụ như nhận diện đối tượng, phân loại, phát hiện biên, theo dõi vị trí, và nhiều tác vụ khác Điều này

có ứng dụng rộng rãi trong nhiều lĩnh vực như nhận diện khuôn mặt, xe tự hành, kiểm tra chất lượng sản phẩm, y tế hình ảnh, và nhiều lĩnh vực khác

2.1.2 Các bài toán lớn trong thị giác máy tính:

- Nhận diện đối tượng (Object Detection)[5,6]: Xác định vị trí và phân loại các đối tượng trong một hình ảnh hoặc video

- Phân loại hình ảnh (Image Classification)[7,8,9]: Gán một nhãn hoặc lớp cho một hình ảnh từ một tập các lớp cho trước

- Phân tích vùng (Image Segmentation)[10]: Phân chia hình ảnh thành các vùng hoặc đối tượng riêng biệt

- Nhận diện khuôn mặt (Face Detection)[11]: Xác định và xác minh vị trí của khuôn mặt trong một hình ảnh hoặc video

- Theo dõi đối tượng (Object Tracking)[12]: Theo dõi sự di chuyển của đối tượng qua các khung hình trong video

- Nhận diện hành động (Action Recognition)[13]: Nhận diện và phân loại các hành động hoặc sự tương tác trong video

- Điều khiển động cơ (Visual Motor Control): Điều khiển các thiết bị dựa trên thông tin từ hình ảnh

Copies for internal use only in Phenikaa University

- Nhận diện vị trí và định vị (Localization and Pose Estimation): Xác định vị trí

và hướng của đối tượng trong không gian 3D

2.1.3 Thư viện OpenCV

OpenCV (Open Source Computer Vision Library) là một thư viện mã nguồn

mở cung cấp nhiều công cụ và thuật toán cho thị giác máy tính và xử lý hình ảnh Được phát triển bởi Intel, thư viện này hỗ trợ nhiều ngôn ngữ lập trình như C++, Python, và Java,…

Các kỹ thuật xử lý ảnh sử dụng trong đồ án:

- Chuyển ảnh về định dạng ảnh Xám (Grayscaling):

Grayscaling là quá trình chuyển đổi hình ảnh từ các không gian màu khác,

ví dụ: RGB, CMYK, v.v sang màu xám Trong đó các trọng số biến đổi từng thành phần màu sang màu xám

Hình 2.1: Hình minh họa về Grayscaling

Grayscaling có công thức chuyển đổi như sau:

RGB[A] to Gray: Y 0.299 * R + 0.587 * G + 0.114*B

Copies for internal use only in Phenikaa University

- Sự biến đổi giữa các hình ảnh liền kề (Hàm cv2.absdiff() )

Hàm absdiff() trong OpenCV được sử dụng để tính toán giá trị tuyệt đối

của sự khác biệt (độ lớn của sự khác biệt) giữa hai hình ảnh Cụ thể, nó lấy một cặp hình ảnh đầu vào và tạo ra một hình ảnh kết quả, trong đó mỗi điểm ảnh của hình ảnh kết quả đại diện cho giá trị tuyệt đối của sự khác biệt tương ứng tại cùng một vị trí trên cả hai hình ảnh đầu vào

Hình 2.2: Hình minh họa cho Sự biến đổi giữa các hình ảnh liền kề

Hàm absdiff() có công thức tổng quát như sau:

𝑑𝑠𝑡(𝐼) = 𝑠𝑎𝑡𝑢𝑟𝑒(|𝑠𝑟𝑐1(𝐼) − 𝑠𝑟𝑐2(𝐼)|)

Copies for internal use only in Phenikaa University

- Làm nổi bật đối tượng dựa vào sự biến đổi giữa các hình ảnh liền kề (Hàm cv2.addWeighted() )

Hình 2.3: Hình ảnh minh họa về việc Làm nổi bật đối tượng dựa vào sự biến

đổi giữa các hình ảnh liền kề Hàm cv2.addWeighted() trong OpenCV được sử dụng để kết hợp hai hình ảnh với các trọng số khác nhau Điều này thường được sử dụng để tạo ra hiệu ứng hình ảnh ghép nối hoặc tạo ra các hiệu ứng sáng tối

Hàm addWeighted có công thức tổng quát như sau:

𝑑𝑠𝑡(𝐼) = 𝑠𝑎𝑡𝑢𝑟𝑎𝑡𝑒(𝑠𝑟𝑐1(𝐼) ∗ 𝑎𝑙𝑝ℎ𝑎 + 𝑠𝑟𝑐2(𝐼) ∗ 𝑏𝑒𝑡𝑎 + 𝑔𝑎𝑚𝑚𝑎) Trong đó:

src1 : Phần tử đầu tiên

alpha : Trọng số của phần tử đầu tiên

src2 : Phần tử thứ hai có cùng kích thước với phần từ đầu tiên

beta : Trọng số của phần tử thứ hai

Copies for internal use only in Phenikaa University

dst: Mảng đầu ra có kích thước và số kênh giống với các mảng đầu vào gamma: Một giá trị số được cộng vào mỗi tổng sau khi kết hợp các phần tử

từ hai hình ảnh

- Lọc nhiễu (cv2.morphologyEx() )

Hàm cv2.morphologyEx là một hàm trong thư viện OpenCV được sử dụng cho các phép biến đổi hình thái học trên hình ảnh Cụ thể, hàm này thực hiện các phép biến đổi như dilation (mở rộng), erosion (co hẹp), opening (mở), và closing (đóng) trên hình ảnh

Trong đó tôi sử dụng Closing trong đồ án này để đóng các lỗ nhỏ hoặc khe

hở trong các đối tượng và kết hợp các vùng cách xa lại với nhau

Hình 2.4: Hình minh họa về quá trình lọc nhiễu

- Tìm cạnh vật thể (cv2.Canny() )

Hàm cv2.Canny là một hàm trong thư viện OpenCV được sử dụng để phát hiện cạnh trong hình ảnh Phát hiện cạnh là một bước quan trọng trong

xử lý hình ảnh và thị giác máy tính

Hình 2.5: Hình minh họa về tìm cạnh của vật thể

Copies for internal use only in Phenikaa University

- Tách ngưỡng (cv2.threshold() )

Hàm cv2.threshold là một hàm trong thư viện OpenCV được sử dụng

để thực hiện việc ngưỡng hóa (thresholding) trên hình ảnh Ngưỡng hóa là một kỹ thuật quan trọng trong xử lý hình ảnh để tách các phần vật thể hoặc đặc điểm quan trọng khỏi nền

Trong đề tài này tôi sử dụng Binary_inv để trả kết quả vật thể màu trắng còn nền sẽ là màu đen

Hình 2.6: Hình ảnh các loại ngưỡng và hình ảnh kết quả của quá trình

- Tìm đường bao (Contour ) của vật thể trong khung (Box) xác định

Trong thư viện OpenCV, "contour" là một chuỗi các điểm liên tiếp trên cùng một đường viền của vật thể trong hình ảnh Cụ thể, các đường viền này được cấu thành từ một chuỗi các điểm (x, y) trong không gian hình ảnh

Hình 2.7 Hình minh họa về việc tìm đường bao

Copies for internal use only in Phenikaa University

2.2 Học máy

2.2.1 Khái niệm học máy:

Học máy (Machine Learning) [3,4] là một lĩnh vực trong trí tuệ nhân tạo (AI) tập trung vào việc phát triển các thuật toán và mô hình có khả năng học hỏi từ dữ liệu và cải thiện hiệu suất của mình qua thời gian Thay vì phải được lập trình một cách tường minh để thực hiện một tác vụ cụ thể, các hệ thống học máy có khả năng

tự điều chỉnh và tối ưu hóa dự đoán hoặc quyết định dựa trên dữ liệu huấn luyện Quá trình học máy bao gồm việc sử dụng các thuật toán và mô hình để "học"

từ dữ liệu, và sau đó sử dụng kiến thức này để đưa ra dự đoán hoặc quyết định về các dữ liệu mới Các mô hình học máy có thể áp dụng trong nhiều lĩnh vực, từ nhận diện hình ảnh đến dự báo thị trường tài chính

Học máy đóng vai trò quan trọng trong việc giải quyết các vấn đề phức tạp và việc đưa ra các quyết định dựa trên dữ liệu lớn và phức tạp Điều này làm cho nó trở thành một công cụ quan trọng trong nhiều ngành công nghiệp và lĩnh vực khác nhau

2.1.2 Các bài toán lớn trong học máy

Các bài toán lớn trong học máy bao gồm:

- Học không giám sát (Unsupervised Learning): Trong loại này, dữ liệu đào

tạo không có nhãn Mục tiêu là tìm ra cấu trúc hoặc mẫu trong dữ liệu

- Học có giảm sát (Supervised Learning): là một phương pháp học tập trong

đó mô hình được huấn luyện trên một tập dữ liệu có nhãn (labelled dataset) Nhãn định danh đúng cho dữ liệu huấn luyện giúp mô hình học được mối

quan hệ giữa đầu vào và đầu ra mong muốn

- Học bán giám sát (Semi-supervised Learning): Kết hợp cả hai loại học giám

sát và không giám sát, dữ liệu đào tạo chứa một phần nhỏ dữ liệu có nhãn

và một phần lớn không có nhãn

Copies for internal use only in Phenikaa University