bài tập lớn xây dựng chương trình giao tiếp với hệ cơ điện tử ứng dụng xử lý ảnh

Trong đó phải kể đếnmột vài ứng dụng của xử lý ảnh, như các ứng dụng của nó trong y tế trong việc phát hiện các mầm mống bệnh từ những chiếc máy xử lý hình ảnh hiện đại để phát hiện bệnh

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

BÀI TẬP LỚN Xây dựng chương trình giao tiếp với hệ cơ điện tử ứng dụng xử lý

ảnh

Giảng viên hướng dẫn: TS Nguyễn Thành Hùng

Sinh viên: Hứa Ký Ngân

Nguyễn Văn BNguyễn Văn B

MSSV: 20184563MSSV: 123456MSSV: 123456

HÀ NỘI, 12/2021

Đánh giá của giảng viên hướng dẫn

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

………

Kết quả đánh giá Hà Nội, ngày tháng năm 2021

Họ và tên Điểm

Nguyễn Văn A

Nguyễn Văn B

Nguyễn Văn B

Giảng viên hướng dẫn

MỤC LỤC

CHƯƠNG 3 MÔ HÌNH THỰC NGHIỆM VÀ PHÂN TÍCH 3

1 TỔNG QUAN VỀ ĐỀ TÀI 1.1 Giới thiệu chung

Hiện nay, nền Công nghiệp đang hướng tới Công nghiệp 4.0, là sự kết hợp cácCông nghệ lại với nhau, làm mờ ranh giới giữa vật lý, kỹ thuật số và sinh học

Từ đó, các thiết bị điện tử thông minh đang ngày càng xuất hiện phổ biến Trong đó phải kể đến

một vài ứng dụng của xử lý ảnh, như các ứng dụng của nó trong y tế trong việc phát hiện các mầm mống bệnh từ những chiếc máy xử lý hình ảnh hiện đại để phát hiện bệnh một cách rõ ràng Ngoài ra, được áp dụng hiệu quả trongsản xuất như phân loại hay kiểm tra sản phẩm

Có lẽ trong vài năm trở lại đây, object detection là một trong những đề tài rất hot của deep learning bởi khả năng ứng dụng cao, dữ liệu dễ chuẩn bị và kết quả ứng dụng thì cực kì nhiều Các thuật toán mới của object detection như YOLO, SSD có tốc độ khá nhanh và độ chính xác cao nên giúp cho Object Detection có thể thực hiện được các tác vụ dường như là real time, thậm chí lànhanh hơn so với con người mà độ chính xác không giảm Các mô hình cũng trở nên nhẹ hơn nên có thể hoạt động trên các thiết bị IoT để tạo nên các thiết

bị thông minh

Đề tài “ Sử dụng thuật toán yolo để phân loại sản phẩm trên Raspberry-pi” sẽ ứng dụng sự phát triển deep learning để áp dụng trong công việc phân loại sản phẩm

1.2 Nguyên lý hoạt động của hệ thống

● Hệ thống phân loại sản phẩm theo ứng dụng thuật Yolo và Raspberry-pi hoạtđộng theo sơ đồ dưới đây:

Hình 1: nguyên lý hoạt động của hệ thống phân loại sản phẩm

Yolo có thể đạt được được tốc độ gàn như realtime mà độ

chính xác không quá giảm so với các model khác

2 THIẾT KẾ PHẦN MỀM ĐIỀU KHIỂN

2.1 Thuật toán xử lý ảnh

2.1.1 Giới thiệu Xử lý ảnh trong Yolov4

Cấu trúc của v4 được tác giả chia làm bốn phần:

Backbone( xương sống)

Neck (cổ)

Head

Backbone( Xương sống) – Trích xuất đặc trưng.

Mạng xương sống cho nhận dạng vật thể thường được đào tạo trước ( train)thông qua bài toán phân loại ImageNet Pre-train có nghĩa là trọng số của mạng đã được điều chỉnh để xác định các đặc điểm liên quan trong một hình ảnh, mặc dù chúng sẽ được tinh chỉnh trong nhiệm vụ mới là phát hiện đối tượng Tác giả xem xét sử dụng các xương sống:

ResNet; và mặc dù ResNet có độ chính xác trong task classification cao hơn, hạn chế này có thể được cải thiện nhờ hàm activation Mish và một vài kỹ thuật sẽ được

đề cập phía dưới

Neck ( phần cổ) – Tổng hợp đặc trưng.

Neck có nhiệm vụ trộn và kết hợp các bản đồ đặc trưng(features map) đã họcđược thông qua quá trình trích xuất đặc trưng( backbone) và quá trình nhận dạng( YOLOv4 gọi là Dense prediction)

Với mỗi lần thực hiện detect với các kích thước ảnh rescale khác nhau tác giả

đã thêm các luồng đi từ dưới lên và các luồng đi từ trên xuống vào cùng nhautheo từng hoặc được nối với nhau trước khi đưa vào head( phần đầu), từ đó lớp nhận dạng sẽ chứa thông tin phong phú hơn

Head ( phần đầu) – Bước nhận dạng

YOLOv4 sử dụng phần head giống như YOLOv3 với các hộp neo (anchor box) và nhận dạng với ảnh có kích thước khác nhau

- giúp xác định bounding box Trong đó là toạ độ tâm

là kích thước dài và rộng của bouning box

Đầu ra của xử lý hình ảnh là các toạ độ của sự vật, hình ảnh có gắn nhãn nên việc phân loại sẽ diễn ra 1 cách linh hoạt và nhanh chóng

2.1.2 Lập trình xử lý ảnh bằng Yolov4

Các thư viện được sử dụng:

● tạo project Sử dụng command line để clone git project

● xây dựng môi trường để chạy file darknet.py

● Tải dữ liệu đã train từ trước

đây là bộ thư viện đã được train từ trước gồm 80 loại dữ liệu gần màu sắc, hình dạng, các loài động vật

● Mô hình Darknet

Kiểm tra thuật toán

Chạy Yolov4 trên webcam và test thuật toán

● khởi tạo camera

● phát hiện và đưa đối tượng nhận diện ra khung ảnh khác

2.2 Thiết kế giao diện

3 MÔ HÌNH THỰC NGHIỆM VÀ PHÂN TÍCH

3.1 Kết quả thực nghiệm

Ta có các kết quả thực nghiệm về xử lý ảnh nhận dạng

3.2 Thảo luận kết quả thực nghiệm

Ta có thể thấy tốc độ xử lý và nhận dạng vật nhanh Độ chính xác cao dù vật có thayđổi vị trí hay hướng nghiêng khác nhau

Tuy nhiên độ chính xác và tốc độ xử lý sẽ phụ thuộc vào các yêu tố, Độ chính xác

sẽ phụ thuộc và đầu vào thư viện , những dữ liệu đã được train từ trước Để có 1 thưviện chuẩn, đa dạng sẽ yêu cầu có thời gian để train và yêu cầu thiết bị đúng yêu cầu,

Đầu ra của Xử lý ảnh bằng yolo ta có

Ảnh nhận dạng

Sau khi nhận dạng ta nhận được một bảng thông tin trong đó có các thông số:

“45” “50” “49” là các nhãn được được gắn cho từng vật ví dụ 50 là chỉ người

Kế bên đó là thông số toạ độ của vật

Các data này sẽ được Raspberry sẽ tiếp nhận và xử lý để điều khiển bộ chấp hành

4 KẾT LUẬN 4.1 Kết luận

Nội dung phần kết luận này tùy thuộc vào từng đề tài Lưu ý trong phần kết luận không nên có bất cứ phương trình, biểu đồ hay bảng biểu nào Cần trình bày rõnội dung đề tài đã đáp ứng đầy đủ các yêu cầu của đề bài hay chưa Trình bày về ý nghĩa của các kết quả thu được, các đánh giá nhận xét về tính khả thi, tính chính xáccủa kết quả, tính thực tế của đề tài …Cần lưu ý hạn chế sử dụng các tính từ, trạng từmạnh trong khi miêu tả kết quả đạt được, cần đảm bảo tính trung thực của các kết luận

Trình bày các kiến thức mà sinh viên đã đạt được sau khi thực hiện đề tài Đồng thời trình bày về các kỹ năng đã học được (kỹ năng tự tìm kiếm tài liệu, tổng hợp thông tin, kỹ năng chế bản, kỹ năng trình bày, viết báo….)

4.2 Hướng phát triển của đề tài trong tương lai

Nêu tóm tắt hướng mở rộng của đề tài trong tương lai nếu có Đây là mục tùy chọn

vì phụ thuộc vào loại đề tài

TÀI LIỆU THAM KHẢO

PHỤ LỤC