Đề tài thiết kế và chế tạo hệ thống tự động nhận dạng đo lường khuyết tật của kết cấu từ xa sử dụng phương pháp xử lý hình ảnh

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc Đơn vị chủ trì: Trường Đại học Nguyễn Tất Thành BÁO CÁO TỔNG KẾT ĐỀ TÀI NCKH DÀNH CHO CÁN BỘ - GIẢNG VIÊN 2018 Tên đề tài: THIẾT KẾ VÀ CHẾ TẠO HỆ THỐNG TỰ ĐỘNG NHẬN DẠNG & ĐO LƯỜNG KHUYẾT TẬT CỦA KẾT CẤU TỪ XA SỬ DỤNG PHƯƠNG PHÁP XỬ LÝ HÌNH ẢNH Số hợp đồng: 2018.01.69/HĐ-KHCN Chủ nhiệm đề tài: Nguyễn Hoàng Nam Đơn vị cơng tác: Khoa Cơ khí - Điện - Điện tử - Ơ tơ Thời gian thực hiện: tháng năm 2018 đến tháng 11 năm 2018 TP Hồ Chí Minh, ngày tháng năm 201 CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc - Đơn vị chủ trì: Trường Đại học Nguyễn Tất Thành BÁO CÁO TỔNG KẾT ĐỀ TÀI NCKH DÀNH CHO CÁN BỘ - GIẢNG VIÊN 2018 Tên đề tài: THIẾT KẾ VÀ CHẾ TẠO HỆ THỐNG TỰ ĐỘNG NHẬN DẠNG & ĐO LƯỜNG KHUYẾT TẬT CỦA KẾT CẤU TỪ XA SỬ DỤNG PHƯƠNG PHÁP XỬ LÝ HÌNH ẢNH Số hợp đồng : Chủ nhiệm đề tài: Nguyễn Hoàng Nam Đơn vị cơng tác: Khoa Cơ khí Điện điện tử Ơ tơ Thời gian thực hiện: tháng năm 2016 đến tháng 11 năm 2018 Các thành viên phối hợp cộng tác: STT Họ tên Nguyễn Hoàng Nam Phan Văn Đức Phạm Đức Lâm Quách Phúc Hào Lê Hoàng Đủ Lê Hoàng Nhã Lê Hữu ghĩa Chuyên ngành Điều khiển tự động Cơ Điện Tử Cơ Điện Tử Cơ Điện Tử Cơ Điện Tử Cơ Điện Tử Cơ Điện Tử Cơ quan cơng tác Khoa Cơ khí Điện điện tử Ơ tơ CKĐĐTOTO CKĐĐTOTO CKĐĐTOTO CKĐĐTOTO CKĐĐTOTO CKĐĐTOTO Ký tên MỤC LỤC MỞ ĐẦU CHƯƠNG TỔNG QUAN TÀI LIỆU 10 CHƯƠNG CƠ SỞ LÝ THUYẾT 12 2.1 Board mạch điều khiển Ardunio 17 2.2 Moduel bluetooth HC-05: 20 2.3 LCD 14 2.4 Kiến thức sở cấu tạo nguyên lý hoạt động mơ hình 14 CHƯƠNG THIẾT KẾ VÀ CHẾ TẠO PHẦN CƠ KHÍ 17 3.1 Tổng quan 17 3.2 Các khớp xoay 18 3.3 Động 22 3.4 Chế tạo mơ hình thực tế 22 CHƯƠNG ĐỀ XUẤT CÔNG NGHỆ 27 4.1 Arduino mega 2560 27 4.2 LCD (Liquid Crystal Display) 28 4.3 Cảm biến Laser VL53I0X: 28 4.4 Driver L298N 29 4.5 Giới thiệu xử lý ảnh 30 4.6 Phần mềm để điều khiển động dùng MIT app inventor: 31 4.7 Phần mềm Remote control camera điện thoại 32 4.8 Phần mềm Arduino IDE 33 4.9 Phần mềm Matlab 34 CHƯƠNG CHẾ TẠO SẢN PHẨM - THỰC NGHIỆM 39 5.1 Mơ hình đề tài 39 5.2 Thực nghiệm 40 5.3 Code thực điều khiển chương trình 61 CHƯƠNG KẾT LUẬN VÀ KIẾN NGHỊ 67 6.1 Đánh giá kết đạt 67 5.2 Những hạn chế hướng khắc phục 67 5.3 Hướng phát triển đề tài 67 TÀI LIỆU THAM KHẢO 68 PHỤ LỤC DANH MỤC CÁC CƠNG TRÌNH ĐÃ CÔNG BỐ 71 PHỤ LỤC HỢP ĐỒNG, THUYẾT MINH ĐỀ CƯƠNG 84 PHỤ LỤC 3: BÀI GIẢNG THỰC HÀNH ĐO KHOẢNG CÁCH BẰNG CẢM BIẾN 111 PHỤ LỤC 4: BÀI GIẢNG THỰC HÀNH MATLAB VÀ ỨNG DỤNG 141 DANH MỤC CÁC BẢNG BIỂU, SƠ ĐỒ, HÌNH ẢNH HÌNH 2.1 Arduino Mega 2560 12 HÌNH 2.2 Module Bluetool HC-05 13 HÌNH 2.3 Mơ hình hệ thống đo vết nứt tài liệu [19] 15 HÌNH 2.4 Các tình chụp ảnh 16 HÌNH 3.1 Mơ hình chi tiết cụ thể 17 HÌNH 3.2 Khớp xoay điều chỉnh góc nghiêng 18 HÌNH 3.3 KHỚP XOAY 360 ĐỢ 19 HÌNH 3.4 TRỤC NÂNG VITME 19 HÌNH 3.5 KHỚP XOAY NGHIÊNG TRÁI PHẢI 20 HÌNH 3.6 CHIỀU CAO CỦA GIÁ ẢNH 21 HÌNH 3.7 Hướng di chuyển vitme 22 HÌNH 3.8 Động bước 22 HÌNH 3.9 MƠ HÌNH THỰC TẾ 23 HÌNH 3.10 MỢT SỚ HÌNH ẢNH THỰC HIỆN MƠ HÌNH CỦA NHĨM 24 HÌNH 3.11 Bản vẽ tổng qt mơ hình 25 HÌNH 3.12 Bản vẽ lắp mơ hình 26 HÌNH 4.1 Arduino Mega 2560 27 HÌNH 4.2 LCD 20x4 28 HÌNH 4.3 Cảm biến laser VL53L0X 28 HÌNH 4.4: Driver điều khiển động step 29 HÌNH 4.5 Tạo form xử lý ảnh Visual Studio 30 HÌNH 4.6 Xử lý ảnh phần mêm python 31 HÌNH 4.7 Giao diện tạo project 32 HÌNH 4.8 Giao diện app điều khiên camera phone 33 HÌNH.4.9 Phần mềm aduino IDE 33 HÌNH 4.10 Phần mềm Matlab 33 HÌNH 4.11 Giao diện phần mềm matlab mở lên 34 HÌNH 4.12 Mở ảnh matlab 35 HÌNH 4.13 Tạo biểu đồ subplot phân đoạn màu RBG 36 HÌNH 4.14 Hình tách ngưỡng cho ảnh blue 37 HÌNH 4.15 Lấp đầy lỗ trống loại bỏ đốm màu 37 HÌNH 4.16 Đo kích thước chiều dài vết nứt 38 HÌNH 5.1 MƠ HÌNH ĐỀ TÀI 39 HÌNH 5.2 VẾT NỨT THỰC TẾ 40 DANH MỤC CÁC BẢNG BIỂU BẢNG 2.1 PHÂN LOẠI ARDUINO THEO ỨNG DỤNG 10 BẢNG 2.2 MỘT SỐ MẠCH ARDUINO VÀ ĐẶC TÍNH LIÊN QUAN BẢNG 3.1 TĨM TẮT LỰC DỌC TRỤC, VÀ THỜI GIAN HOẠT ĐỢNG 32 BẢNG 3.2 TÓM TẮT LỰC DỌC TRỤC, VÀ THỜI GIAN HOẠT ĐỘNG 12 BẢNG 4.1 THÔNG SỐ KỸ THUẬT CỦA BOARD ARDUINO 43 BẢNG 4.2 PINOUT LCD 48 BẢNG 4.3 KÍCH THƯỚC CHUNG 48 BẢNG 4.4 THÔNG SỐ CHUNG CỦA LCD 48 BẢNG 4.5 KHẢ NĂNG ĐẠT KHOẢNG CÁCH TỐI ĐA VỚI THỜI GIAN 33MS 53 BẢNG 4.6: TỶ LỆ CHÍNH XÁC TỤT ĐỚI CỦA VL53LOX 54 BẢNG 4.7 RECOMMENDED OPERATING CONDITIONS 55 BẢNG 4.8 DIGITAL I/O ELECTRICAL CHARACTERISTICS 56 BẢNG 5.1: SỐ LIỆU ĐO BẰNG TAY 84 BẢNG 5.2: SỐ LIỆU ĐO BẰNG MÁY VÀ SAI SỐ 103 HÌNH 5.3: THÍ NGHIỆM 41 HÌNH 5.4: THÍ NGHIỆM 45 HÌNH 5.5: THÍ NGHIỆM 48 HÌNH 5.6: THÍ NGHIỆM 51 HÌNH 5.7: THÍ NGHIỆM 54 HÌNH 5.6: THÍ NGHIỆM 54 BẢNG 5.1: SỐ LIỆU ĐO BẰNG TAY 41 BẢNG 5.2: SỐ LIỆU ĐO BẰNG MÁY VÀ SAI SỐ 60 TÓM TẮT KẾT QUẢ NGHIÊN CỨU Sản phẩm đạt Sản phẩm đăng ký thuyết minh Thiết bị đo tự động, có thể tự động đo lường Thiết bị đo tự động, có thể tự động đo lường vết nứt kết cấu bê tông (có màu sắc vết nứt kết cấu bê tông (có màu sắc tương đối đồng đều) từ khoảng cách tối thiểu tương đối đồng đều) từ khoảng cách tối thiểu 30 cm đến 1m với sai số 0.1 mm (so với 30 cm đến 1m với sai số 0.1 mm (so với giá trị chuẩn người sử dụng đo thủ công giá trị chuẩn người sử dụng đo thủ công thiết bị đo khí) thiết bị đo khí) Sử dụng cảm biến Laser Range Finder Sử dụng cảm biến Laser Range Finder đo khoảng cách 2m đo khoảng cách 1m Máy chụp hình kỹ thuật số độ phân giải 18 Máy chụp hình kỹ thuật số độ phân giải 10 Megapixel, với ống kính tích hợp có tiêu cự Megapixel, với ống kính tích hợp có tiêu cự 123 mm 50mm trở lên Động DC Động bước giảm tốc Board vi điều khiển Arduino Board vi điều khiển Driver điều khiển động DC servo Driver điều khiển động bước pha (TB6600 tương đương) Hình ảnh có kích thước 200x200 đến Hình ảnh có kích thước 200x200 đến 1000x1000 (pixel), điều kiện ánh sáng thông 1000x1000 (pixel), điều kiện ánh sáng thông thường thường Vết nứt kết cấu bê-tơng đo có kích thước Vết nứt kết cấu bê-tơng đo có kích thước từ 0.3mm đến 20mm từ 0.3mm đến 20mm Khoảng cách đo từ 30 cm đến m Khoảng cách đo từ 30 cm đến m Phần mềm matlab đo và chuyển đổi đơn vị đo Phần mềm matlab đo và chuyển đổi đơn vị đo từ pixel sang mm Thời gian xử lý đo toàn từ pixel sang mm Thời gian xử lý đo toàn độ rộng dọc theo vết nứt ảnh từ 1- độ rộng dọc theo vết nứt ảnh từ 1- 10 phút máy tính cá nhân 10 phút máy tính cá nhân Bài giảng thực hành cảm biến laser đo khoảng Bài giảng thực hành cảm biến laser đo khoảng cách cách Bài giảng thực hành Matlab ứng dụng Bài giảng thực hành Matlab ứng dụng NTTU-KHCN-05-TMĐT Thời gian đăng ký : từ 05/2018 đến ngày 11/2018 Thời gian nộp báo cáo: NTTU-KHCN-05-TMĐT MỞ ĐẦU Hiện vấn đề đo lường kích thước vật thể từ xa thu hút quan tâm lớn doanh nghiệp Việc phát và đo lường khuyết tật kết cấu, đặc biệt là vết nứt, có vai trò thiết yếu việc bảo dưỡng và phòng tránh thảm họa động đất, bảo đảm an toàn tòa nhà, bảo đảm an toàn kết cấu bê tông Chúng tạo sản phẩm vừa có thể ứng dụng thực tiễn sản xuất cho doanh nghiệp, cho xã hội vừa là mơ hình giảng dạy hiệu Đề tài đạt số kết sau: 1.Xây dựng lý thuyết có thể phân tích hình ảnh để trích xuất hiệu vị trí vết nứt, xác định đường biên vật thể 2.Chương trình Matlab có thể tự động phát vết nứt từ hình ảnh bề mặt kết cấu bê tơng Chương trình có thể phát vết nứt hình ảnh có kích thước từ 200x200 đến 1000x1000 (pixel), độ rộng vết nứt tối thiểu là pixel 3.Thiết kế và chế tạo thiết bị có thể phát và đo lường vết nứt kết cấu cứng (có màu sắc tương đối đồng đều) từ khoảng cách 30cm đến 1m với sai số 0.1 mm Q trình nghiên cứu đề tài áp dụng để giảng dạy môn học sau ngành điện tử: ➢ Đo lường điện cảm biến ➢ Matlab ứng dụng biến ➢ Vi điều khiển ➢ Thị giác máy tính Mơ hình đề tài tạo ứng dụng để giảng dạy môn học Các môn học môn học quan trọng ngành Cơ Điện Tử ngành kỹ thuật ô tô Đặc biệt môn Matlab ứng dụng, Vi điều khiển, Đo lường điện cảm biến, Thị giác máy tính mơn học cần giảng dạy cho toàn 1000 sinh viên Khoa Cơ khí - Ơ tơ Mơ hình áp dụng nhiều công nghệ đại 4.0, đặc biệt cơng nghệ xử lý hình ảnh, nên mơ hình thực hành cơng nghệ cao cần thiết Khoa Đề tài áp dụng để hướng dẫn khóa luận tốt nghiệp cho sinh viên NTTU-KHCN-05-TMĐT SỐ LIỆU ĐO BẰNG MÁY VÀ SAI SỐ Kết luận: Tỷ lệ sai lệch giữ đo tay đo máy tầm khoảng 0.15mm việc xét vết nứt với 18 điểm đo mực độ xác vào tầm khoảng 55~60% với mức độ xác mơ hình thực yếu cầu kỹ thuật tương đối tốt chưa cao vết nứt việc tính tồn cịn nhiều sai sót Code thực điều khiển chương trình #include #include #include "Adafruit_VL53L0X.h" const int rs = 12, en = 11, d4 = 22, d5 = 24, d6 = 26, d7 = 28; const int stepsPerRevolution1 = 17; const int stepsPerRevolution2 = 18; const int stepsPerRevolution3 = 25; const int stepsPerRevolution4 = 650; LiquidCrystal lcd(rs, en, d4, d5, d6, d7); Stepper myStepper1(stepsPerRevolution1, 3, 4, 5, 6); Stepper myStepper2(stepsPerRevolution2, 2, 13, 44, 45); Stepper myStepper3(stepsPerRevolution3, 7, , 9, 10); Stepper myStepper4(stepsPerRevolution4, 38, 39, 40, 41); #define LOX1_ADDRESS 0x30 #define LOX2_ADDRESS 0x31 #define LOX3_ADDRESS 0x31 #define SHT_LOX1 48 #define SHT_LOX2 50 #define SHT_LOX3 52 Adafruit_VL53L0X lox1 = Adafruit_VL53L0X(); 134 NTTU-KHCN-05-TMĐT Adafruit_VL53L0X lox2 = Adafruit_VL53L0X(); Adafruit_VL53L0X lox3 = Adafruit_VL53L0X(); VL53L0X_RangingMeasurementData_t measure1; VL53L0X_RangingMeasurementData_t measure2; VL53L0X_RangingMeasurementData_t measure3; void setID() { digitalWrite(SHT_LOX1, LOW); digitalWrite(SHT_LOX2, LOW); digitalWrite(SHT_LOX3, LOW); delay(10); digitalWrite(SHT_LOX1, HIGH); digitalWrite(SHT_LOX2, HIGH); digitalWrite(SHT_LOX3, HIGH); delay(10); digitalWrite(SHT_LOX1, HIGH); digitalWrite(SHT_LOX2, LOW); digitalWrite(SHT_LOX3, LOW); } void read_trip_sensors() { lox1.rangingTest(&measure1, false); lox2.rangingTest(&measure2, false); lox3.rangingTest(&measure3, false); if (measure1.RangeStatus != 4) { lcd.print(0, 0); lcd.print("SS1: "); 135 NTTU-KHCN-05-TMĐT lcd.setCursor(6, 0); lcd.print(measure1.RangeMilliMeter); if(measure1.RangeMilliMeter>1000 && measure1.RangeMilliMeter100 && measure1.RangeMilliMeter10 && measure1.RangeMilliMeter1000 && measure2.RangeMilliMeter100 && measure2.RangeMilliMeter10 && measure2.RangeMilliMeter1000 && measure3.RangeMilliMeter100 && measure3.RangeMilliMeter10 && measure3.RangeMilliMeter>) - Workspace : Workspace hiển thị tất biến tạo nhập từ file - Command History: Bảng hiển thị trả lệnh nhập tiện ích dịng lệnh 143 NTTU-KHCN-05-TMĐT 2.Tính toán áp dụng cách phần mềm để xử lý ảnh : Để tính tốn vá áp dụng cơng thức để tính tốn độ dài vết nứt trước hết chung ta mở phần mềm matlab mở New Script Hình Giao diện phần mềm matlab mở lên Và tiếp đến add file hình chụp vào link dẫn matlab Có cách để biết kích thước pixel ảnh vết nứt Cách : Chúng ta add ảnh vết nứt chụp đưa vào vào matlab qua link folder tiếp đến mở newscript bắt đầu làm sau : 144 NTTU-KHCN-05-TMĐT Hình Mở ảnh matlab Sao đó chúng ta phân đoạn hình ảnh Từ ảnh đọc, tách ảnh thành phần màu: màu đỏ, màu xanh cây, màu xanh dương Đây là phân đoạn hình ảnh dựa màu sắc Hinh Tạo biểu đồ subplot phân đoạn màu RBG 145 NTTU-KHCN-05-TMĐT Và từ hình thấy Blue Image lựa chọn tốt để sử dụng cho hình ảnh tạo thresholding cho ta thấy độ tương phản cao so với hình khác Tiếp theo tạo threshold cho ảnh blue Hình Hình tạo threshold cho ảnh blue Ảnh Blue dùng để phân ngưỡng (Thresholding) Chọn threshold mức 0.37, thấy hình ảnh phân đoạn vết nứt Tiếp đến lọc nhiễu, dùng morphological image processing để trước tiên lấp đầy khoảng trống, đốm màu 146 NTTU-KHCN-05-TMĐT Hình Lấp đầy lỗ giảm pixel loại bỏ đốm màu Và tiến hành đo kích thước vết nứt đơn vị pixel Hình Đo kích thước chiều dài vết nứt Và độ dài đạt hình 1539 pixel 147 NTTU-KHCN-05-TMĐT 148