HƯỚNG DẪN LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA

CƠNG TY CỔ PHẦN TỰ ĐỘNG HỐ TÂN PHÁT Địa chỉ: Số 168 – Phan Trọng Tuệ - Thanh Trì – Hà Nội Điện thoại: 04.3685.7776/ Fax: 04 3685.7775 Website: www.tpa.com.vn - Email: tpa@tpa.com.vn HƯỚNG DẪN LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA TP-TT31-BM05/Lsđ:00 Cơng Ty Cổ Phần Tự Động Hóa Tân Phát Cài đặt phần mềm sử dụng NI-ISC-1780 - Phần mềm kết nối máy tính với camera NI-MAX: Vào địa http://www.ni.com/envn/support/downloads/drivers/download.ni-daqmx.html#291872 để download phần mềm NI-DAQmx phiên - Phần mềm xử lý ảnh NI Vision Buider AI 201x: Vào địa http://www.ni.com/envn/support/downloads/software-products/download.vision-builder-for-automatedinspection.html để download phiên - Key cài đặt phần mềm NI Vision Buider : H21M19054 - Key cài đặt phần mềm Vision Acquisition : H21M18613 Kết nối NI-ISC-1780 Camera với máy tính - Mở chạy phần mềm NI MAX - Các bước thực theo thứ tự hình dưới: LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát  Chú ý: - Địa IP mặc định camera 169.254.xx.xxx, tùy thuộc vào cài đặt IP mạng nội làm việc, ta tạo IP tương ứng cho camera - Trường hợp phần “Remote System” khơng thấy xuất ID camera cần phải kiểm tra lại driver cài đặt đủ hay chưa Hướng dẫn xử lý ảnh phần mềm NI Vision Buider AI 2018 Đây phần hướng dẫn cài đặt, xử lý ảnh lấy liệu camera cho trạm bàn xoay-robot lắp ráp bóng đèn Để biết chuyên sâu thủ thuật xử lý ảnh, cần xem thêm tài liệu hướng dẫn hãng sản xuất theo địa chỉ: http://www.ni.com/pdf/manuals/373379h.pdf 3.1 Kết nối camera với phần mềm - Mở chạy phần mềm NI Vision Buider AI 2018 - Kết nối camera với phần mềm theo bước hình LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát  Chú ý: - Đia IP nhập vào IP tạo phần kết nối camera với máy tính phần mềm NI MAX - Chọn“New Inspection” để tạo chương trình có chương trình xử tạo từ trước muốn chạy ta chọn “ Browse” 3.2 Truyền thông liệu Ở cửa sổ làm việc phần mềm, công cụ ta click vào “Tool”, sau chọn “Communication Device Manager” thực theo bước hình LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát  Chú ý: - Địa IP nhập vào địa IP cài đặt bước - Việc thay đổi giá trị cổng (Port) hạn chế phụ thuộc vào cài đặt nhà sản xuất, NI-ISC-1780 có giá trị 503 3.3 Chương trình xử lý ảnh đui đèn Đây giao diện chương trình xử lý ảnh phần mềm NI Vision Buider AI 2018 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát - Những vùng khoanh màu xanh khu vực tạo để xác định đối tượng trạng thái cố định gốc ban đầu - Những vùng khoanh màu đỏ vùng mà đối tượng xác định theo thời gian thực, dựa theo thay đổi toàn vật theo tâm - Ở phần “Inspect”, bước thực có màu xanh xuất chữ “PASS” chứng tỏ kết phát đối tượng thành cơng, màu đỏ có chữ “FAIL” khơng có đối tượng phát Dưới bước thực chương trình xử lý ảnh: LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát  Read and Write I/O Bước nhằm mục đích tạo tín hiệu xung để Robot kết nối trực tiếp lấy liệu từ camera thông qua lệnh “Trigger” Việc cài đặt tín hiệu đọc, ghi; cổng giao tiếp hay nội dụng thực lệnh tùy thuộc vào trình cài đặt hệ thống PLC Robot  Tạo tín hiệu Trigger cho camera LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát  Hiệu chỉnh camera Bước quan trọng để tìm gốc tọa độ thực bàn xoay, từ gốc làm việc robot xác định Việc hiệu chuẩn khơng xác ảnh hưởng lớn đến hiệu làm việc dây chuyền lắp ráp Các bước thực theo hình - Bước - Bước Giao diện để thay đổi thơng số q trình hiệu chỉnh, bao gồm nội dung ô khoanh đỏ LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát - Bước 3: Thay đổi ảnh “check board” u cầu phải có ảnh chọn để thực bước hiệu chỉnh Ảnh sau chọn khoanh vùng màu đỏ Ta kích chuột vào tab “Next” để chuyển sang bước LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát - Bước 4: Xác định khoảng cách thực Ta xác định điểm (kích chọn tâm đường tròn), khoảng cách tâm hình tròn 10 mm Nếu chọn điểm thuộc tâm hình tròn cách 1, 2, 3, … hình tròn khác khoảng cách thực 10, 20, 30, … mm Nên chọn điểm làm gốc nằm vùng trường nhìn camera Tạo điểm xong ta kích vào tab “Next” để thực bước - Bước 5: Tính độ méo ảnh camera Ta kích vào tab “Next” để thực bước 10 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát - Bước 6: Yêu cầu phải có ảnh chọn để thực bước hiệu chỉnh Ảnh sau chọn khoanh vùng màu đỏ Ta kích chuột vào tab “Next” để chuyển sang bước 11 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát - Bước 7: Trích xuất vùng lưới điểm để hiệu chỉnh Trước tiên ta thực khoanh vùng lưới điểm, có chế độ khoanh vùng khác nhau, ta chọn chế độ hình chữ nhật với đường viền bao màu xanh Các thơng số thiết lập hình, thay đổi tùy thuộc vào điều kiện thực tế để xây dựng ảnh có độ sắc nét cao nhằm giảm sai số cho trình hiệu chỉnh camera Sau thiết lập xong, ta kích vào tab “Next” để thực bước - Bước Nhập giá trị thực (10 mm) cho việc xác định gốc tọa độ (x, y), sau ta kích vào tab “Next” để thực bước 12 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát - Bước Kiểm tra kết hiệu chỉnh thu được, giá trị độ méo sai số điểm ảnh nhỏ tốt Cụ thể xem hình Ta kích vào tab “Next” để kết thúc trình hiệu chỉnh 13 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát  Acquire Images Đây bước chụp ảnh từ camera, ta tùy chỉnh thông số “Tool box” để thu ảnh có chất lượng tốt Ngồi bước thực đồng thời trình hiệu chỉnh camera, nhằm xác định tọa độ gốc làm việc Bước để thu nhận ảnh đối tượng (đui đèn) 14 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát  Vision Assistant Do ảnh chụp từ camera mặc định định dạng ảnh màu, RGB nên bước ta thực chuyển đổi ảnh sang dạng nhị phân với hai màu đen trắng (HIS, HSV,…) chương trình thực q trình phát đối tượng 15 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát  Match Pattern Sau hiệu chỉnh camera chuyển định dạng ảnh sang “Grayscale”, ta dùng công cụ “Match Pattern” để khoanh vùng vị trí đối tượng mà ta muốn phát Để có vùng làm việc tối ưu cần phải thiết đặt thông số hợp lý tùy thuộc vào đối tượng điều kiện làm việc  Set Coordinate System Các lỗ vít, chân pin ln thay đổi tự quanh trục đui đèn theo thời gian, để tìm đươc tọa độ chúng cần phải xác định gốc trục đui đèn bước 16 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát hiệu chỉnh trước Ở ta dùng cơng cụ “Set Coordinate System” để thực điều  Count Pixels Sử dụng công cụ để phát đối tượng nhỏ vật chất lượng thu nhận ảnh (có thể độ phân giải camera, ánh sáng, nhiễu,…) dựa kích thước điểm ảnh Các thơng số điều chỉnh dựa theo đối tượng điều kiện làm việc cụ thể Trong trường hợp này, chân pin (khoanh tròn màu đỏ) đối tượng vậy, chúng che phủ điểm ảnh màu xanh  Find Circular Edges Với đối tượng hiển thị ảnh xem đường tròn sử dụng cơng cụ “Find Circular Edges” để phát chúng cách hiệu Các bước thực đơn giản, việc di chuyển tay xác định kích thước vùng khoanh tròn màu xanh để định tâm đường tròn cần phát yếu tố quan trọng Ở có đường tròn màu xanh đồng tâm có đường kính khác kích thước đối tượng cần phát dựa vào độ chênh bán kính đường tròn với hướng “Outside to Inside Inside to Outside” 17 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát  Logical Calculator 18 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Công Ty Cổ Phần Tự Động Hóa Tân Phát Mục đích thực bước để xác định liệu nhận từ camera có đủ thông tin cần gửi cho robot làm việc hay không Nếu số liệu không nhận được, tương đương với việc có đối tượng khơng phát Robot thực thao tác nhận gói liệu xác định tín hiệu “TRUE”(khác 0) ngược lại khơng làm việc tín hiệu gửi “FALSE”(bằng 0) Các giá trị gói liệu camera “Insert” vào “Expression” 19 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát  TCP I/O Đây bước cuối để gửi liệu từ camera tới robot Các bước thực theo thứ tự đánh số hình vẽ Chú ý, bước cần phải thiết đặt phù hợp với chương trình liệu robot  Chú ý: - Mỗi lẩn vào lấy liệu robot cần kết nối với camera - Sau robot lấy liệu xong cần đóng socket (ngắt kết nối camera) để robot khác vào lấy liệu 3.3 Chương trình robot lấy liệu  Chương trình robot universal camera_data≔[0,0,0,0,0,0] goc_xoay≟0 Vit1_X≟0 Vit1_Y≟0 Vit2_X≟0 20 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Cơng Ty Cổ Phần Tự Động Hóa Tân Phát Vit2_Y≟0 ' khai bao mang du lieu camera dau chuong trinh ' Loop socket_open("192.168.0.50",503,"telnet") Wait: 0.1 ' ket noi camera ' i_int≔0 Loop camera_data[0]≟0 and i_int≤1 camera_data≔socket_read_ascii_float(5,"telnet") Wait: 0.1 i_int≔i_int+1 If camera_data[0]≟0 valueCamera≔ False Else valueCamera≔ True goc_xoay≟camera_data[1] Vit1_X≟camera_data[2] Vit1_Y≟camera_data[3] Vit2_X≟camera_data[4] Vit2_Y≟camera_data[5] ' lay du lieu va kiem tra du lieu ' socket_close("telnet") ' dong socket camera '  Chương trình robot ABB PERS num nAng_Z:=-0.824; PERS num nCount_Vision:=7; PERS num nNG_Count:=5; 21 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Công Ty Cổ Phần Tự Động Hóa Tân Phát PERS num nOK_Count:=3; PERS num nTilting_Angle:=6; PERS bool value_camera:=TRUE; PERS bool bVision:=FALSE; TASK PERS num length:=0; TASK PERS num Angle:=0; TASK PERS num Vit1_x:=0; TASK PERS num Vit1_y:=0; TASK PERS num Vit2_x:=0; TASK PERS num Vit2_y:=0; TASK PERS num Nsign:=0; PERS bool Vision_data_OQC_OK:=FALSE; PERS string AngleData:=" "; PERS string X1_Data:=" "; PERS string Y1_Data:=" "; PERS string X2_Data:=" "; PERS string Y2_Data:=" "; pers string sign:="0"; VAR bool bOKANGLE:=TRUE; VAR bool bResult:=TRUE; PERS bool bVisionTest:=TRUE; PERS bool bVisionStart:=TRUE; PERS bool bTakeVison_Data:=FALSE; PERS bool bWorking_Vision:=FALSE; VAR string stReceived; VAR socketdev ComChannel; ! khai bao bien 22 LẬP TRÌNH NATIONAL INSTRUMENT SMART CAMERA Công Ty Cổ Phần Tự Động Hóa Tân Phát PROC rConnectVison() ! chuong trinh ket noi camera var num found:=0; var num length:=0; SocketClose ComChannel; SocketCreate ComChannel; SocketConnect ComChannel,"192.168.0.50",503; ! ket noi camera SocketReceive ComChannel\Str:=stReceived; Length:=strlen(stReceived); found:=strmatch(stReceived,1,"User: "); RETURN ; ENDPROC PROC GetVisionData() ! chuong trinh lay du lieu camera stReceived:=""; WaitUntil stReceived=""; WaitTime 0.1; SocketSend ComChannel\Str:="GVJob.Robot.FormatString\0d\0a"; WaitTime 0.1; SocketReceive ComChannel\Str:=stReceived\Time:=1; length:=StrLen(stReceived); IF length>= 40 AND length