Phát triển phương pháp đo dao động của kim từ ứng dụng công nghệ học sâu

ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Phát triển phương pháp đo dao động kim từ ứng dụng công nghệ học sâu NGUYỄN MINH CHIẾN Chien.NM211290M@sis.hust.edu.vn MSHV: 20211290M Chuyên ngành Kỹ thuật điện tử Giảng viên hướng dẫn: TS Nguyễn Trọng Doanh Trường: Khoa: Cơ khí Cơ điện tử HÀ NỘI, 04/2023 Chữ ký GVHD CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : …….Nguyễn Minh Chiến…………….…………… Đề tài luận văn: Phát triển phương pháp đo dao động kim từ ứng dụng công nghệ học sâu……………………… ……………………… Chuyên ngành:………………………Kỹ thuật điện tử…….… … Mã số SV:………………………………20211290M………… … Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày… 26/04/2023 .………… với nội dung sau: Làm rõ nội dung chương 3, 4, cụ thể bổ sung lý chọn phương pháp YoloV4 thực hiện, bổ sung thông số huấn luyện, mô tả huấn luyện đến dừng lại, thêm lưu đồ kiểm tra đánh giá, tham số lọc Gaussian Đánh số trích dẫn phần tham khảo để cuối câu Thay số hình ảnh bị mờ Thêm tên trục đồ thị Sửa lỗi tả số trang 1, 3, 33, 36 Bổ sung danh mục chữ viết tắt Bổ sung rõ mục tiêu luận văn Ngày Giáo viên hướng dẫn tháng năm Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG ĐỀ TÀI LUẬN VĂN Phát triển phương pháp đo dao động kim từ ứng dụng công nghệ học sâu Giáo viên hướng dẫn Ký ghi rõ họ tên Lời cảm ơn Để hồn thành luận văn thạc sĩ này, tơi xin bày tỏ cảm kích đặc biệt tới giáo viên hướng dẫn tôi, TS Nguyễn Trọng Doanh TS Nguyễn Thành Hùng người định hướng, trực tiếp dẫn dắt, cố vấn cho suốt thời gian thực đề tài nghiên cứu khoa học Xin chân thành cảm ơn giảng tài liệu thầy giúp mở mang thêm nhiều kiến thức hữu ích xử lí ảnh cơng nghệ học máy, học sâu Đồng thời, thầy người cho lời khuyên vô quý giá kiến thức chuyên môn định hướng phát triển nghiệp Sau cùng, tơi xin tỏ lịng biết ơn đến cha mẹ, người thân bạn bè bên cạnh ủng hộ, động viên sống thời gian hoàn thành luận văn thạc sĩ Xin chân thành cảm ơn tất người! Tóm tắt nội dung luận văn Đề tài: Phát triển phương pháp đo dao động kim từ ứng dụng công nghệ học sâu Tác giả luận văn: Nguyễn Minh Chiến Khóa: 2021A Người hướng dẫn: TS Nguyễn Trọng Doanh Từ khóa (Keyword): Đo dao động, đếm dao động, kim từ, kim la bàn, theo dõi đối tượng, phát đối tượng Nội dung tóm tắt: a) Lí chọn đề tài Ngày có nhiều cơng ty quan tâm đến kiểm tra chất lượng sản phẩm xử lí ảnh, học máy, học sâu vào việc kiểm tra Đề tài “Phát triển phương pháp đo dao động kim từ ứng dụng công nghệ học sâu” đề tài có tính thực tiễn cao Việc nghiên cứu thành công đề tài đem lại giá trị ứng dụng nhiều mặt nghiên cứu khoa học sản xuất, đời sống b) Mục đích nghiên cứu luận văn, đối tượng, phạm vi nghiên cứu - Mục đích nghiên cứu luận văn: Luận văn thực nghiên cứu đo dao động kim từ dựa công nghệ học sâu Đề tài tập trung nghiên cứu phương pháp để đếm dao động kim từ, cụ thể kim la bàn Mục tiêu luận văn đề đếm số dao động kim la bàn khoảng thời gian định đưa đánh giá “PASS” hay “FAIL” Để thực đề tài này, phương pháp đếm dao động kim từ phương pháp học sâu xây dựng, áp dụng mơ hình YOLO để phát kim la bàn, sau theo dõi kim chuyển động thuật tốn Kalman, trả lại ID cho đối tượng phương pháp Hungary hiệu chỉnh tham số cho đối tượng thuật tốn Kalman Từ vẽ đồ thị dao động kim la bàn theo thời gian, sau dùng phương pháp Gaussian lọc nhiễu để làm mịn đồ thị - Đối tượng nghiên cứu: Đo dao động kim từ la bàn - Phạm vi nghiên cứu: Nghiên cứu lý thuyết liên quan đến thuật toán phát hiện, theo dõi đối tượng, thuật toán liên quan đến làm mịn đồ thị, đếm số dao động Từ áp dụng vào thực tế video ghi lại c) Tóm tắt đọng nội dung đóng góp tác giả - Đo dao động kim la bàn công nghệ học sâu, lựa chọn phương pháp phù hợp với yêu cầu toán chuyển động kim la bàn nhanh, nhỏ Từ đếm số dao động kim đồ thị chuyển động - Để thực đề tài này, phương pháp đếm dao động kim từ phương pháp học sâu xây dựng, áp dụng mơ hình YOLO để phát kim la bàn, sau theo dõi kim chuyển động thuật toán Kalman, trả lại ID cho đối tượng phương pháp Hungary hiệu chỉnh tham số cho đối tượng thuật tốn Kalman Từ vẽ đồ thị dao động kim la bàn theo thời gian, sau dùng phương pháp Gaussian lọc nhiễu để làm mịn đồ thị - Đánh giá kết video quay thực tế Chương trình kiểm tra sử dụng ngơn ngữ C++, giao diện MFC d) Phương pháp nghiên cứu - Tìm hiểu thuật tốn phát hiện, theo dõi đối tượng xử lý ảnh, học máy, học sâu Template Matching theo thời gian, Yolo, Kalman, Hungary, … - Tìm hiểu phương pháp lọc lọc Median, Gaussian, … - Phát triển thuật toán đếm số dao động kim la bàn dựa vào đồ thị dao động kim - Dựa lí thuyết đưa ra, ứng dụng vào thực tế để đánh giá kết e) Kết luận Kết thu sau thực luận văn xây dựng thành công phương pháp đo số dao động kim la bàn, kiểm tra độ xác phương pháp tập liệu thu thập Từ thấy luận văn có ý nghĩa thực tiễn việc áp dụng vào trình kiểm tra số dao động kim từ nhà máy, có khả áp dụng để tự động hóa sản xuất Tuy nhiên để áp dụng vào q trình sản xuất cần thu thập thêm mẫu lỗi, đào tạo thêm ảnh cho mơ hình YOLO để tăng tính tổng qt, tính xác cho mơ hình Đồng thời nghiên cứu phương pháp giúp tăng tốc độ xử lí, giảm khối lượng tính tốn việc phát hiện, theo dõi đối tượng để đáp ứng yêu cầu xử lí thời gian thực tăng tốc độ GPU, áp dụng kỹ thuật đa luồng vào xử lí Luận văn sở cho việc đo dao động đếm dao động ứng dụng khác HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC CHƯƠNG TỔNG QUAN VỀ CÁC PHƯƠNG PHÁP ĐO DAO ĐỘNG 1.1 Mục đích đo dao động sản xuất 1.2 Tổng quan cơng nghệ học máy, học sâu xử lí ảnh ứng dụng hệ thống đo dao động đối tượng 1.2.1 Xử lí ảnh 1.2.2 Học máy 1.2.3 Học sâu 10 1.3 Một số nghiên cứu đo dao động đối tượng 18 1.4 Phương pháp theo dõi đối tượng học sâu 19 1.5 Một số ứng dụng sử dụng phương pháp theo dõi đối tượng 21 1.6 Các thành phần hệ thống đo dao động học sâu 22 CHƯƠNG CƠ SỞ KHOA HỌC ĐO DAO ĐỘNG CỦA KIM LA BÀN BẰNG CÔNG NGHỆ HỌC SÂU 24 2.1 Nguyên lí hoạt động kim la bàn 24 2.2 Nội dung nghiên cứu 24 2.3 Một số phương pháp phát đối tượng 24 2.4 2.5 2.3.1 Faster R-CNN 24 2.3.2 SSD 25 2.3.3 Restinanet 26 2.3.4 Yolo 27 2.3.5 Yolo V4 30 2.3.6 Median Flow 33 2.3.7 MIL 34 2.3.8 CSRT 34 Các phương pháp xử lí số liệu thời gian thực 35 2.4.1 Lọc kỹ thuật số 35 2.4.2 Phát cực trị phép đo 36 2.4.3 Xác định cực trị dựa vào hai điểm lân cận 38 Phương pháp theo dõi đối tượng 39 2.5.1 Giải thuật Hungary 39 2.5.2 Bộ lọc Kalman 40 CHƯƠNG ĐO DAO ĐỘNG KIM LA BÀN BẰNG CÔNG NGHỆ HỌC SÂU 42 3.1 Phát kim la bàn 42 3.2 Đo dao động kim la bàn 43 CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 45 4.1 Hệ thống chụp ảnh 45 4.2 Lựa chọn mơ hình 45 4.3 Huấn luyện 46 4.4 Kiểm tra 48 4.5 Kết đạt 51 CHƯƠNG KẾT LUẬN 57 5.1 Kết luận 57 5.2 Hướng phát triển đồ án tương lai 57 TÀI LIỆU THAM KHẢO 58 DANH MỤC HÌNH VẼ Hình 1.1 Kiểm tra ngoại quan mắt Hình 1.2 Ví dụ toán học máy [1] Hình 1.3 Mơ hình ANN [2] Hình 1.4 Một ví dụ mơ hình định [3] Hình 1.5 Một ví dụ SVM [4] Hình 1.6 Ví dụ hồi quy tuyến tính [5] Hình 1.7 Một mạng Bayes đơn giản [6] Hình 1.8 Ví dụ overfitting [7] 10 Hình 1.9 Ví dụ deep learning [8] 11 Hình 1.10 Ví dụ DNN [9] 12 Hình 1.11 Một số mạng RNN [9] 12 Hình 1.12 Một kiến trúc CNN cho tốn xử lí ảnh [10] 12 Hình 1.13 Kiến trúc LSTM [11] 13 Hình 1.14 Ví dụ nhận dạng hình ảnh [12] 14 Hình 1.15 Ví dụ xử lí nghệ thuật [13] 15 Hình 1.16 Các tốn xử lí ngơn ngữ tự nhiên 16 Hình 1.17 Ví dụ phân tích hình ảnh y tế [14] 17 Hình 1.18 Phục hồi hình ảnh [15] 18 Hình 1.19 Phát đối tượng khung hình [21] 19 Hình 1.20 Tracking đối tượng tham gia giao thông [25] 21 Hình 1.21 Tracking đếm sản lượng cơng nghiệp [26] 21 Hình 1.22 UAV theo dõi đối tượng [27] 22 Hình 1.23 Đèn cho camera công nghiệp hãng Keyence 22 Hình 1.24 Camera cơng nghiệp Basler HIK 23 Hình 2.1 Tác động làm quay kim la bàn 24 Hình 2.2 Sơ đồ khung mạng SSD [24] 25 Hình 2.3 Sơ đồ khung mạng Restinanet [23] 27 Hình 2.4 Yolo phát đối tượng [22] 27 Hình 2.5 Ví dụ mơ hình Yolo đơn giản [22] 27 Hình 2.6 Chia lưới Yolo [22] 28 Hình 2.7 Ví dụ hình bao Yolo [29] 29 Hình 2.8 Cấu trúc Dense Block [30] 31 Hình 2.9 Mơ tả phương pháp WRC [31] 31 Hình 2.10 Mô tả phương pháp CSP [32] 31 Hình 2.11 Đồ thị hàm Mish 32 Hình 2.12 Phương pháp tăng cường liệu Mosaic [34] 32 Hình 2.13 Mơ hình mạng Yolo V4 [34] 33 Hình 2.14 Phát cực trị dựa đường sở 36 Hình 2.15 Tìm cực trị trung bình dựa vào điểm xung quanh 37 Hình 2.16 Mơ tả liên kết phát đối tượng theo dõi đối tượng 39 Hình 3.1 Vị trí cần tracking chuyển động kim la bàn 42 Hình 3.2 Quy ước vector kim 43 Hình 3.3 Dạng đồ thị chuyển động kim la bàn 43 Hình 4.1 Vị trí đặt thiết bị hệ thống 45 Hình 4.2 Gán nhãn ảnh LabelImg 46 Hình 4.3 Data tạo sau gán nhãn 47 Hình 4.4 Thơng số thu sau training google colab 48 Hình 4.5 Lưu đồ mơ tả thực q trình kiểm tra phát hiện, theo dõi đối tượng 49 Hình 4.6 Hình ảnh mấp mô đồ thị (đỏ) lọc mấp mô phương pháp Gaussian (xanh) 51 Hình 4.7 Thiết lập vị trí ban đầu cho dao động 52 Hình 4.8 Kết phát đầu kim tâm kim 52 Hình 4.9 Kết phát đối tượng đếm số dao động góc nhìn thứ nhất, đồ thị chưa lọc (đỏ), dùng lọc Gaussian (xanh) 52 Hình 4.10 Kết phát đối tượng đếm số giao động góc nhìn thứ hai, đồ thị chưa lọc (đỏ), dùng lọc Gaussian (xanh) 53 Hình 4.11 Kết phát đối tượng đếm số dao động góc nhìn thứ ba, đồ thị chưa lọc (đỏ), dùng lọc Gaussian (xanh) 53 Hình 4.12 Đo dao động kim từ sử dụng phương pháp CSRT 53 Hình 4.13 Đo dao động kim từ sử dụng phương pháp KCF 54 Hình 4.14 Đo dao động kim từ sử dụng phương pháp MIL 54 Hình 4.15 Đo dao động kim từ sử dụng phương pháp MEDIANFLOW 54 x.tanh ln  e x PT 2.8 31 Hình 2.11 Đồ thị hàm Mish Tăng cường liệu nhờ Mosaic [34] Hình 2.12 Phương pháp tăng cường liệu Mosaic [34] Hàm loss CIoU: dựa tính tốn liên quan đến diện tích phần chồng chéo hình bao gốc hình bao dự đốn, khoảng cách tâm hai hộp yếu tố tỉ lệ hình bao RCIoU U2 b, b gt c2  Dv PT 2.9 Trong đó: b, bgt tâm hình bao ground-truth ߩ khoảng cách Euclidean c độ dài đường chéo hình bao nhỏ box ߙ tham số cân positive v đo tính đồng tỉ lệ Với: v 4§ wgt w· arctan  arctan ă gt S â h h¹ PT 2.10 32 D v  IoU  vc PT 2.11 Ta có hàm loss: LCIoU  IoU  RCIoU PT 2.12 Kết hợp số tính để đạt kết AP50: 65,7% Trên liệu MS COCO tốc độ 65FPS Hình 2.13 Mơ hình mạng Yolo V4 [34] - Đầu vào ảnh Bộ khung CSPDarknet53 Neck: PAN, SPP Head: Yolo V3 Mơ hình Yolo V4 cho thấy tốc độ phát đối tượng độ xác cao so với mơ hình nói trên, thể phù hợp với yêu cầu kiểm tra tốc độ cao, độ xác cao [34] 2.3.6 Median Flow Bài báo đề xuất phương pháp để theo dõi phát lỗi Việc phát dựa lỗi Forward Backward, tức theo dõi thực forward backword theo thời gian khác biệt hai quỹ đạo đo lường Lỗi đưa cho phép phát đáng tin cậy theo dõi lỗi lựa chọn quỹ đạo đáng tin cậy chuỗi video Trình theo dõi chấp nhận cặp hình ảnh It, It + hộp giới hạn βt xuất hộp giới hạn βt + Một tập hợp điểm khởi tạo lưới hình chữ nhật hộp giới hạn βt Những điểm sau theo dõi trình theo dõi Lucas-Kanade, tạo luồng chuyển động rời rạc It It + Chất lượng dự đốn điểm sau ước tính điểm gán lỗi (ví dụ: FB, NCC, SSD) 50% dự đoán tồi tệ lọc Các dự đốn cịn lại sử dụng để ước tính độ dịch chuyển tồn hộp giới hạn Ước tính độ dịch chuyển hộp giới hạn từ điểm lại thực cách sử dụng trung vị kích thước khơng gian Thay đổi tỷ lệ tính sau: cặp điểm, tỷ lệ khoảng cách điểm khoảng cách điểm trước tính tốn; thay đổi tỷ lệ hộp giới hạn xác định trung vị tỷ lệ Ưu điểm phương pháp khơng dùng hình ảnh huấn luyện trước mà dự đoán chuyển động đối tượng 33 Nhược điểm phương pháp đối tượng chuyển động bị thay đổi ánh sáng hay bị vật khác che khó dự đốn đối tượng khung hình đối tượng dự đốn phụ thuộc vào hình lân cận [35] 2.3.7 MIL Trong báo này, tác giả giải vấn đề học tập mơ hình ngoại hình thích ứng để theo dõi đối tượng Đặc biệt, lớp kỹ thuật theo dõi gọi “tracking by detection” chứng minh mang lại kết đầy hứa hẹn tốc độ thời gian thực Các phương pháp đào tạo phân loại riêng biệt theo cách trực tuyến để tách đối tượng khỏi Bộ phân loại tự khởi động cách sử dụng trạng thái trình theo dõi để trích xuất mẫu positive negative từ khung Hơi thiếu xác trình theo dõi dẫn đến mẫu đào tạo gắn nhãn khơng xác, điều làm suy giảm phân loại gây trơi dạt Trong báo này, tác giả việc sử dụng Multiple Instance Learning (MIL) thay học có giám sát truyền thống tránh vấn đề dẫn đến trình theo dõi với điều chỉnh tham số Tác giả giới thiệu thuật toán MIL trực tuyến để theo dõi đối tượng đạt kết vượt trội với hiệu suất thời gian thực Mục tiêu thúc đẩy kết hợp nhiều phân loại yếu h(x) thành phân loại mạnh H Tác giả trình bày thuật tốn thúc đẩy trực tuyến cho MIL Thuật tốn cố gắng tối ưu hóa hàm mát cụ thể Theo quan điểm này, phân loại yếu chọn để tối ưu hóa tiêu chí tạo phân loại mạnh Để cập nhật phân loại, trước tiên cập nhật song song tất phân loại yếu Nhược điểm phương pháp nhiễu ánh sáng phần ảnh có đặc điểm tương đồng dẫn tới nhận sai đối tượng [36] 2.3.8 CSRT Tác giả giới thiệu khái niệm độ tin cậy kênh không gian để theo dõi DCF, cung cấp thuật tốn học tập để tích hợp hiệu liền mạch cập nhật lọc quy trình theo dõi Bản đồ độ tin cậy không gian điều chỉnh hỗ trợ lọc cho phần đối tượng phù hợp để theo dõi Điều vừa cho phép phóng to vùng tìm kiếm vừa cải thiện việc theo dõi đối tượng hình chữ nhật Điểm độ tin cậy phản ánh chất lượng kênh thông minh lọc học sử dụng làm hệ số trọng số tính Theo thử nghiệm, với hai tính tiêu chuẩn đơn giản, HoG Tên màu Bước tìm kiếm khu vực: Các tính trích xuất từ tìm kiếm khu vực tập trung vào vị trí ước tính mục tiêu bước thời gian trước tương quan với lọc học ht − Đối tượng địa hóa cách tính tổng phản hồi tương quan có trọng số điểm số độ tin cậy kênh ước tính wt-1 Quy mơ ước tính lọc tương quan tỷ lệ không gian đơn lẻ Bước cập nhật: Khu vực đào tạo tập trung vị trí mục tiêu ước tính bước tìm khu vực ma trận đặc trưng tiền cảnh hậu cảnh trích xuất cập nhật đường trung bình động hàm mũ với tốc độ học Ma trận tiền cảnh 34 trích xuất hạt nhân Epanechnikov hộp giới hạn đối tượng ước tính trích xuất từ vùng lân cận có kích thước gấp đôi đối tượng Bản đồ độ tin cậy không gian xây dựng lọc tối ưu tính tốn cách tối ưu hóa Trọng số độ tin cậy học tập kênh ước tính từ phản hồi tương quan Khung hình trọng số độ tin cậy tính tốn từ độ tin cậy phát học tập Các lọc trọng số độ tin cậy kênh cập nhật đường trung bình động hàm mũ với tốc độ học Nhược điểm phương pháp tốc độ chạy xấp xỉ thời gian thực nên đối tượng chuyển động nhanh khơng theo dõi kịp [37] 2.4 Các phương pháp xử lí số liệu thời gian thực 2.4.1 Lọc kỹ thuật số 2.4.1.1 Bộ lọc Gaussian Bộ lọc Gaussian biến đổi tín hiệu đầu vào với hạt nhân cửa sổ Gaussian Bộ lọc thường sử dụng lọc làm mịn giảm nhiễu Hạt nhân Gaussian định nghĩa bởi: Gk e § Dk ·  ăă â K 1 /2 áạ /2 V PT 2.13 K  / d k d K  / PT 2.14 e k Với K kích thước hạt nhân D định độ lệch chuẩn V mong muốn nhân, D = xác định cửa sổ Gaussian có độ dài K kéo dài r3V Thường thuận tiện định tham số D độ lệch chuẩn xây dựng hạt nhân, giá trị cố định D tương ứng với hình dạng Gaussian kích thước K Giá trị thích hợp độ lệch chuẩn phụ thuộc vào K liên quan D đến: K 1 V PT 2.15 2D Bộ lọc Gaussian cung cấp cách thuận tiện để phân biệt làm mịn tín hiệu đầu vào lần truyền Sử dụng thuộc tính đạo hàm phép chập: d G * x dt dG *x dt PT 2.16 tín hiệu đầu vào x(t) làm mịn phân biệt đồng thời phép tích chập với nhân Gaussian đạo hàm, dễ dàng tính tốn từ biểu thức giải tích [38] 2.4.1.2 Bộ lọc trung vị tiêu chuẩn mi median ^Wi H ` median ^ xi  H , , xi , xi  H ` PT 2.17 Ở H số không âm gọi độ dài nửa cửa sổ, đại diện cho lượng mẫu trước sau mẫu I, tổng chiều dài cửa sổ K = 2H + Bộ lọc trung vị tiêu chuẩn (SMF) cần thay mẫu xi trung vị mi cửa sổ Wi H Bộ lọc có tham số điều chỉnh cung cấp H Bộ lọc trung 35 vị tiêu chuẩn coi có khả chống lại giá trị ngoại lai cục nhiễu cục cao chuỗi liệu {xi} 2.4.1.3 Bộ lọc trung vị đệ quy Bộ lọc trung vị đệ quy (RMF) sửa đổi SMF để bao gồm kết đầu lọc trước cửa sổ trước tính tốn trung vị Phản hồi lọc là: yi median yi  H , , yi 1 , xi , xi 1 , xi  H