YOLO có kiến trúc bao gồm phần trích xuất đặc trưng (Feature Extractor) và phát hiện đối tượng (Extra Layers). Phần trích xuất đặc trưng là các lớp convolution sẽ cho đầu ra là các bản đồ đặc trưng (Feature map). Phần phát hiện vật thể bao gồm các lớp kết nối đầy đủ (Fully connected layers) dùng để phát hiện, dự đoán nhãn và tọa độ Bounding Box của đối tượng trên các bản đồ đặc trưng (Feature map) của phần Feature Extractor. Hình ảnh cần nhận dạng sẽ được đi qua khâu trích xuất đặc trưng để có đầu ra là bản đồ đặc trưng (Feature map) với các kích thước khác nhau. Các bản đồ đặc trưng sau đó được đưa qua khâu phát hiện đối tượng (Extra Layers) để dự đoán ra các thông tin về đối tượng, vị trí và kích thước của Bounding Box bao quanh đối tượng.
LỜI CẢM ƠN Lời đầu tiên, em xin chân thành cảm ơn quý Thầy/Cô trường Đại học Giao thơng Vận tải nói chung Thầy/Cơ Khoa Điện - Điện tử nói riêng truyền đạt kiến thức quý báu môn đại cương môn chuyên ngành buổi học thực hành Sự nhiệt tình Thầy/Cơ giúp em có kiến thức vững vàng để có tiền đề hoàn thành đề tài tốt nghiệp nghiệp sau Lời tiếp theo, em xin phép gửi đến Cơ lịng biết ơn lời cảm ơn chân thành sâu sắc nhất, người tận tình hướng dẫn, giúp đỡ, tạo điều kiện tốt suốt thời gian hoàn thành Đồ án Tốt nghiệp em Cuối cùng, em xin cảm ơn đến gia đình bạn bè, người hỗ trợ, quan tâm, giúp đỡ động viên suốt trình học tập hoàn thành Đồ án Tốt nghiệp Mặc dù cố gắng hoàn thành mục tiêu đề tài đặt kiến thức hạn chế nên chắn khơng tránh khỏi thiếu sót, mong quý Thầy/Cô thông cảm Em mong nhận ý kiến góp ý q Thầy/Cơ, em tiếp thu học hỏi khắc phục để có kết tốt Em xin chân thành cảm ơn! TP.HCM, ngày tháng năm Sinh viên thực Nguyễn Đức Nhân MỤC LỤC LỜI CẢM ƠN .i MỤC LỤC ii MỤC LỤC HÌNH ẢNH vi MỤC LỤC BẢNG BIỂU ix DANH MỤC TỪ VIẾT TẮT x CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI 1.1 Tổng quan tình hình nghiên cứu 1.1.1 Tình hình nghiên cứu giới 1.1.2 Tình hình nghiên cứu Việt Nam 1.2 Lý chọn đề tài .8 1.3 Mục tiêu nghiên cứu 10 1.4 Đối tượng phạm vi nghiên cứu 11 1.5 Các phương pháp nội dung nghiên cứu 11 1.6 Những yêu cầu kỹ thuật đặt để giải toán .12 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT .14 2.1 So sánh, đánh giá ưu nhược điểm thuật tốn nhận dạng mơ hình mạng thị giác máy tính .14 2.1.1 So sánh, đánh giá ưu nhược điểm 14 2.1.2 Lựa chọn thuật tốn, mơ hình mạng có tính hợp lý hợp 15 2.2 Tổng quan xử lý ảnh 18 2.2.1 Khái quát xử lý ảnh 18 a Thu nhận ảnh 19 b Tiền xử lý 20 c Phân đoạn hay phân vùng ảnh 20 d Biểu diễn ảnh 20 e Nhận dạng nội suy ảnh .20 f Cơ sở tri thức 21 g Mô tả .21 2.2.2 Những vấn đề xử lý ảnh .21 a Điểm ảnh 21 b Phân loại ảnh 21 c Lọc nhiễu 22 d Phương pháp phát biên 23 2.3 Nhận diện đối tượng 24 2.4 Tổng quan YOLO .25 2.4.1 Kiến trúc mạng YOLO (quan trọng) 26 2.4.2 Nguyên lý mạng YOLO 28 2.5 Giới thiệu ngôn ngữ Python .28 2.6 Giới thiệu thư viện Snap7 .30 2.7 Thư viện mã nguồn mở OpenCV 32 2.7.1 Các tính module phổ biến OpenCV 32 2.7.2 Ứng dụng OpenCV 32 2.7.3 Ưu điểm OpenCV .32 2.7.4 Không gian màu 33 a Không gian màu RGB .33 b Không gian màu HSV .33 CHƯƠNG 3: PHÂN TÍCH LỰA CHỌN THIẾT BỊ CHO HỆ THỐNG 35 3.1 Sơ đồ khối hệ thống 35 3.2 Camera 36 3.3 Lựa chọn cảm biến cho mơ hình 37 3.4 Lựa chọn động cho băng tải 38 3.4.1 Tổng quan động .38 3.4.2 Lựa chọn động thực tế .39 3.5 Van điều khiển khí nén 41 3.5.1 Tổng quan 41 a Cấu tạo .41 b Nguyên lý: .41 c Ứng dụng 42 3.5.2 Lựa chọn van điều khiển cho mơ hình 42 3.6 PLC S7 1200 CPU 1212C DC/DC/DC 43 3.6.1 Tổng quan PLC S7-1200 CPU 1212C DC/DC/DC 43 3.6.2 Cấu tạo .43 3.6.3 Lý chọn PLC 1212C DC/DC/DC 45 3.7 CB 45 3.8 Relay trung gian 45 3.9 Bộ nguồn 46 3.9.1 Tổng quan 46 3.9.2 Tính tốn 47 3.10 Tính tốn lựa chọn băng tải 48 3.10.1 Tổng quan 48 3.10.2 Lựa chọn băng tải cho mơ hình 49 3.11 Khối xi lanh 49 3.11.1 Tổng quan 49 a Chức 49 b Cấu tạo 50 c Nguyên lý 50 d Ứng dụng 50 3.11.2 Tính tốn chọn xi lanh hợp lý 51 3.12 Khối nút nhấn 52 3.12.1 Tổng quan 52 a Chức .52 b Cấu tạo 52 c Nguyên lý 52 3.12.2 Lựa chọn nút nhấn 52 3.13 Khối đèn báo 54 3.13.1 Tổng quan 54 a Chức .54 b Cấu tạo 54 3.12.2 Lựa chọn đèn cho mơ hình 54 3.14 Bài toán kết nối PLC với Python 54 CHƯƠNG : THIẾT KẾ VÀ THI CÔNG PHẦN CỨNG 58 4.1 Xây dựng học mạng mạng neural nhận diện đối tượng .58 4.1.1 Tạo liệu đầu vào cho trình học 60 4.1.2 Gán nhãn liệu .61 4.1.3 Thực trình training cho mơ hình Google Colab 62 4.1.4 Kết trả 65 4.2 Thiết kế khí .66 4.2.1 Thiết kế băng tải 66 4.2.2 Thiết kế khí 67 4.2.3 Thiết kế bảng điều khiển – tủ điện 67 4.2.4 Thiết kế sơ đồ đấu nối – hệ thống khí nén 70 a Thiết kế sơ đồ đấu nối .70 b Thiết kế hệ thống khí nén 72 4.3 Thiết kế lưu đồ thuật toán 72 4.4 Nguyên lý hệ thống 74 4.5 Thiết kế giao diện Scada .74 CHƯƠNG : KẾT THÚC THỰC NGHIỆM 76 5.1 Các bước tiến hành thực nghiệm 76 5.2 Tiến hành thực nghiệm 76 CHƯƠNG 6: KẾT LUẬN .79 6.1 Kết đạt 79 6.2 Ưu điểm 79 6.3 Nhược điểm 79 6.4 Định hướng phát triển 79 TÀI LIỆU THAM KHẢO 81 PHỤ LỤC 82 MỤC LỤC HÌNH ẢNH CHƯƠNG Hình 1.1 Hệ thống kiểm tra thuốc Hình 1.2 Phát lỗi vỉ thuốc sử dụng Yolo V5 sản xuất thuốc Panadol Extra công ty dược phẩm GlaxoSmithKline Hình 1.3 Viên thuốc bị lỗi hoàn chỉnh Hình 1.4 Hình ảnh với viên thuốc phân loại .5 Hình 1.5 Sơ đồ tảng thử nghiệm Hình 1.6 Ngân hàng thuốc khơng đạt chuẩn Hình 1.7 Ngân hàng thuốc đạt chuẩn Hình 1.8 Hình ảnh thuốc bị thiếu .10 Hình 1.9 Hình ảnh thuốc bị nhầm lẫn viên thuốc khác 11 CHƯƠNG Hình 2.1 Các phiên mạng Yolo 16 Hình 2.2 So sánh tham số phiên Yolo 17 Hình 2.3 Các bước xử lý ảnh .19 Hình 2.4 Hình tách biên Canny 23 Hình 2.5 Sơ đồ tổng hợp tác vụ computer vision 25 Hình 2.6 Kiến trúc mạng YOLO 27 Hình 2.7 Minh họa nhận diện đối tượng yolo 27 Hình 2.8 Khơng gian màu RGB .33 Hình 2.9 Không gian màu HSV .34 CHƯƠNG Hình 3.1 Sơ đồ khối hệ thống 35 Hình 3.2 Bộ phận hệ thống xử lý ảnh công nghiệp 36 Hình 3.3 Các thơng số Lens Camera 36 Hình 3.4 Camera .37 Hình 3.5 Cảm biến phát vật cản OMDHON E3F-DS30C4 37 Hình 3.6 Động giảm tốc GB37-3530 41 Hình 3.7 Van điện từ 5/2 điều khiển khiển khí nén 42 Hình 3.8 Cấu tạo PLC S7 1200 CPU 1212C DC/DC/DC 43 Hình 3.9 Relay trung gian 46 Hình 3.10 Hình ảnh nguồn tổ ong 47 Hình 3.11 Băng tải PVC cơng nghiệp .48 Hình 3.12 Cấu tạo băng tải cao su 49 Hình 3.13 Cấu tạo xi lanh 50 Hình 3.14 Xilanh kép hành trình 7.5 cm 51 Hình 3.15 Nút nhấn nhả màu xanh – đỏ 53 Hình 3.16 Nút khẩn cấp 53 Hình 3.17 Đèn tín hiệu .54 Hình 3.18 Mơ hình truyền thơng Snap7 55 Hình 3.19 Danh sách tương thích với giao thức S7 56 CHƯƠNG Hình 4.1 Sơ đồ khối trình tạo liệu 59 Hình 4.2 Tạo data cho toán 60 Hình 3.Gán nhãn cho vỉ thuốc .61 Hình 4.4 Thư mục lưu file *.txt .61 Hình 4.5 Tọa độ file định dạng txt 62 Hình 4.6 Tạo tệp images tệp label .63 Hình Download ultralytics từ Python Package Index (PyPI) .63 Hình 4.8 Download Yolov8 .64 Hình 4.9 Tạo tệp mydataset 64 Hình 4.10 Sau huấn luyện mạng 65 Hình 4.11 Huấn luyện liệu tiếp từ last.pt 65 Hình 4.12 Kết phân loại vỉ thuốc .66 Hình 4.13 Cấu tạo băng tải .66 Hình 4.14 Hình ảnh mơ hình khí 67 Hình 4.15 Bảng vẽ mặt tủ điện 69 Hình 4.16 Sơ đồ báo trí thiết bị 69 Hình 4.17 Sơ đồ đấu nối thiết bị vào hệ thống 71 Hình 4.18 Sơ đồ đấu nối động lực 71 Hình 4.19 Hệ thống khí nén .72 Hình 4.20 Lưu đồ thuật toán 72 Hình 4.21 Lưu đồ thuật toán chế độ Manual 73 Hình 4.22 Lưu đồ thuật tốn chế độ Auto 73 Hình 4.23 Giao diện Scada hệ thống 75 CHƯƠNG 5Y Hình 5.1 Nhận diện thuốc 77 Hình 5.2 Nhận diện thuốc thiếu 77 Hình 5.3 Nhận diện thuốc nhầm .78 MỤC LỤC BẢNG BIỂU CHƯƠNG Bảng 2.1 So sánh số AP thuật toán YOLO SSD 15 Bảng 2.2 So sánh thời gian phát đối tượng thuật toán 16 Bảng 2.3 Bảng đề xuất mơ hình Yolov8 17 CHƯƠNG 3Y Bảng 3.1 Thông số kỹ thuật cảm biến OMDHON E3F-DS30C4 38 Bảng 3.2 Thông số kỹ thuật động GB37-3530 41 Bảng 3.3 Thông số kỹ thuật van điều điện từ 5/2 LAIZE 42 Bảng 3.4 Thông số tóm tắt PLC S7 1200 CPU 1212C DC/DC/DC 44 Bảng 3.5 Thông số kỹ thuật MCB NXB-63 1P C32 45 Bảng 3.6 Thông số kỹ thuật chuyển đổi nguồn AC-DC .47 Bảng 3.7.Thông số xilanh đôi 51 Bảng 3.8 Thông số kỹ thuật nút nhấn .53 CHƯƠNG Bảng 4.1 Cấu tạo băng tải 66 Bảng 4.2 Các thiết bị tủ 68 Bảng 4.3 Bảng tín hiệu ngõ vào hệ thống 68 Bảng 4.4 Bảng thông tin thiết bị vào/ra 70 DANH MỤC TỪ VIẾT TẮT PLC Programmable Logic Controller ML Machine Learning DL Deep Learning CNN Convolutional Neural Network RNN Recurrent Neural Networks LSTM Long Short-Term Memory YOLO You Only Look Once CNNs Convolutional Neural Networks R – CNN Fast R-CNN Faster R-CNN SCADA SQL CB Region-Based Convolutional Neural Networks Fast Region-Based Convolutional Neural Networks Faster Region-Based Convolutional Neural Networks Supervisory Control And Data Acquisition Structured Query Language Circuit Breaker