Lập trình điều khiển mobile robot bám đối tượng bằng thị giác nổi trên nền FPGA

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA PHẠM THANH HẢI LẬP TRÌNH ĐIỀU KHIỂN MOBILE ROBOT BÁM ĐỐI TƯỢNG BẰNG THỊ GIÁC NỔI TRÊN NỀN FPGA Chuyên ngành : TỰ ĐỘNG HÓA Mã số: 605260 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2013 i CƠNG TRÌNH ĐƢỢC HỒN THÀNH TẠI TRƢỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hƣớng dẫn khoa học : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ đƣợc bảo vệ Trƣờng Đại học Bách Khoa, ĐHQG Tp HCM ngày tháng năm Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Xác nhận Chủ tịch Hội đồng đánh giá LV Trƣởng Khoa quản lý chuyên ngành sau luận văn đƣợc sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ii ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: PHẠM THANH HẢI MSHV:11150087 Ngày, tháng, năm sinh: 06/03/1979 Nơi sinh: TP HCM Chuyên ngành: TỰ ĐỘNG HÓA Mã số : 605260 I TÊN ĐỀ TÀI: LẬP TRÌNH ĐIỀU KHIỂN MOBILE ROBOT BÁM ĐỐI TƯỢNG BẰNG THỊ GIÁC NỔI TRÊN NỀN FPGA II NHIỆM VỤ VÀ NỘI DUNG: Tìm hiểu thị giác nổi, thuật tốn Hough nhận dạng biên trịn, chƣơng trình Verilog, kít FPGA Xây dựng giải thuật điều khiển Mobile robot bám đối tƣợng, viết chƣơng trình phần mềm ngơn ngữ Verilog kiểm nghiệm kết chƣơng trình Mobile robot thực tế III NGÀY GIAO NHIỆM VỤ : 21/07/2012 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 30/11/2012 V CÁN BỘ HƯỚNG DẪN : TS NGUYỄN ĐỨC THÀNH Tp HCM, ngày tháng năm 20 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) TRƯỞNG KHOA ĐIỆN – ĐIỆN TỬ (Họ tên chữ ký) iii LỜI CẢM ƠN Em chân thành biết ơn sâu sắc đến thầy TS.Nguyễn Đức Thành Thầy tận tình dạy, hƣớng dẫn để em hồn thành luận văn thạc sĩ Em xin cảm ơn tất quý thầy cô khoa Điện - Điện tử trƣờng đại học Bách khoa Tp HCM giảng dạy, tạo điều kiện thuận lợi cho em thời gian học tập nghiên cứu trƣờng Xin chân thành cảm ơn bạn học viên lớp Cao học K2011 quan tâm giúp đỡ bạn trình học tập Tp HCM, ngày 15/06/2013 Học viên Phạm Thanh Hải iv TÓM TẮT LUẬN VĂN Luận văn nghiên cứu vấn đề thị giác nổi, lấy ảnh từ 02 camera ghi vào nhớ, chuyển đổi không gian màu, vấn đề lọc ảnh, xử lý ảnh nhị phân, nhận dạng đƣờng biên trịn ảnh thuật tốn Hough, xác định trọng tâm đối tƣợng, tính tốn khoảng cách D đối tƣợng Mobile robot, điều khiển bám đối tƣợng, chƣơng trình phần mềm đƣợc viết ngơn ngữ Verilog kít FPGA ASTRACT OF THE THESIS This thesis was conducted to research the matters of stereo vision, gathering image 02 camera to be saved in SDRAM, transfering from the color-space, image choosing and processing, object-identifying by Hough’s algorithm, defining the center of object, calculating the distance D between the object and Mobile robot and controlling the Mobile robot to track the object, the control program has been written by Verilog language into FPGA kit v LỜI CAM ĐOAN Luận văn “ Lập trình điều khiển mobile robot bám đối tƣợng thị giác FPGA” với hƣớng dẫn TS Nguyễn Đức Thành thực thời gian theo quy định 21/7/2012- 30/11/2012 có gia hạn thêm đến 21/6/2013 Q trình thực luận văn cách nghiêm túc, tìm hiểu ý tƣởng thiết kế cơng trình nghiên cứu liên quan hƣớng dẫn thầy để xây dựng dàn ý nghiên cứu thực công tác nhƣ xây dựng giải thuật điều khiển, lập trình điều khiển, gia công robot kiểm nghiệm kết robot thực tế Tơi cam đoan khơng có chép, vay mƣợn luận văn khác luận văn Tác giả Phạm Thanh Hải vi MỤC LỤC NHIỆM VỤ LUẬN VĂN THẠC SĨ ii LỜI CẢM ƠN iii TÓM TẮT LUẬN VĂN iv LỜI CAM ĐOAN v MỤC LỤC vi DANH SÁCH HÌNH MINH HỌA ix DANH SÁCH BẢNG MÔ TẢ SỐ LIỆU xi CHƢƠNG : TỔNG QUAN 1.1Tổng quan 1.1.1Giới thiệu đề tài 1.1.2 Các cơng trình nghiên cứu liên quan 1.1.2.1 Quốc tế 1.1.2.2 Trong nƣớc 2 Mục tiêu đề tài 1.3 Phƣơng pháp nghiên cứu 1.4 Giới hạn đề tài CHƢƠNG : CƠ SỞ LÝ THUYẾT 2.1 Cơ sở lý thuyết ảnh số 2.1.1 Phần tử ảnh 2.1.2 Độ phân giải 2.1.3 Mức xám 2.1.4 Không gian màu 2.1.4.1 Không gian RGB 2.1.4.2 Không gian màu HSV 2.1.4.3 Không gian màu YCbCr 2.1.5 Nhận dạng đối tƣợng ảnh Hough 2.1.5.1 Nhận dạng biên tròn 2.1.5.2 Nhận dạng biên vuông 2.1.6 Tính khoảng cách D 10 vii 2.2 Thị giác máy tính 12 2.2.1 Thị giác máy tính dùng camera 12 2.2.2 Thị giác máy tính dùng camera 13 2.3 FPGA ( DE2 115 ) 14 2.3.1 Đặc điểm 14 2.3.2 Sơ đồ khối 15 2.3.3 SDRAM 16 2.3.3.1 Đặc điểm 16 2.3.3.2 Nguyên lý hoạt động 17 2.4 Ngôn ngữ lập trình 18 2.4.1 Ngôn ngữ HDL 18 2.4.2 Ngôn ngữ Verilog 18 2.4.2.1 Đặc điểm 18 2.4.2.2 Thực thể thiết kế Verilog 18 2.4.2.3 Đối tƣợng liệu Verilog 21 2.5 Camera OV 7670 22 2.5.1 Đặc điểm 22 2.5.2 Sơ đồ khối 23 2.5.3 Chức chân 23 2.5.4 Định dạng liệu camera 24 2.5.5 Giản đồ hoạt động 25 CHƢƠNG : XÂY DỰNG GIẢI THUẬT 27 3.1 Mơ hình Mobile robot 27 3.1.1 Mơ hình 27 3.1.2 Sơ đồ điều khiển 28 3.1.3 Giải thuật điều khiển 29 3.2 Giải thuật thu nhận ảnh 30 3.2.1 Khối I2C_AV_config 31 3.1.2 Khối capture 31 3.3 Giải thuật xử lý ảnh 32 viii 3.3.1 Giải thuật lƣu trữ ảnh 32 3.3.1.1 Sơ đồ khối 35 3.3.1.2 Khối DCFIFO 36 3.3.1.3 Khối nhân tần 38 3.3.1.4 Khối điều khiển SDRAM 39 3.3.2 Giải thuật nhận dạng ảnh 42 3.3.2.1 Khối chuyển không gian màu 42 3.3.2.2 Khối lấy biên ảnh 47 3.3.2.3 Khối nhận dạng ảnh 49 3.3.3 Giải thuật bám đối tƣợng 55 CHƢƠNG : THỰC NGHIỆM 57 4.1 Mơ hình Mobile robot thực tế 57 4.2 Một số kết đạt đƣợc 56 4.3 Bàn luận 59 CHƢƠNG : KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 60 TÀI LIỆU THAM KHẢO 61 PHỤ LỤC 63 LÝ LỊCH TRÍCH NGANG ix DANH SÁCH HÌNH MINH HỌA Hình 2.1-1 : khung ảnh với giá trị Pixel Hình 2.1-2 : pha màu có tính chất cơng Hình 2.1-3 : Hệ tọa độ trụ cho không gian màu HSV Hình 2.1-4 : Chuyển đổi Hough với r biết trƣớc Hình 2.1-5 : Chuyển đổi Hough với r chƣa biết Hình 2.1-6 : Đƣờng thẳng Hough với thông số Hình 2.1-7 : Hình chữ nhật không gian Hough Hình 2.1-8 : Chuyển đổi Hough hình chữ nhật Hình 2.1-9 : Vị trí đặt camera 10 Hình 2.1-10 : ảnh vật nhìn từ camera 10 Hình 2.1-11 : Ảnh vật nhìn từ camera trái 11 Hình 2.1-12 : Ảnh vật nhìn từ camera phải 11 Hình 2.2-1 : Mơ hình thị giác máy tính dùng camera 12 Hình 2.2-2 : Mơ hình thị giác máy tính dùng camera 13 Hình 2.3-1 : Kít DE2 115 14 Hình 2.3-2 : sơ đồ khối Kít DE2 115 15 Hình 2.3-3 : sơ đồ kết nối SDRAM FPGA 16 Hình 2.4-1 : Thực thể thiết kế verilog 18 Hình 2.4-2 : Khai báo chƣơng trình đơn vị thiết kế 19 Hình 2.4-3 : lời gọi chƣơng trình con, khối đồng thời 20 Hình 2.5-1 : Camera OV7670 22 Hình 2.5-2 : Sơ đồ khối Camera OV7670 23 Hình 2.5-3 : Giản đồ tín hiệu điều khiển SIOC, SIOD 25 Hình 2.5-4 : Giản đồ thời gian liệu truyền hàng 26 Hình 2.5-5 : Giản đồ thời gian liệu truyền frame hình 26 Hình 2.5-6 : khung ảnh từ camera 26 Hình 2.5-7: ảnh thực tế từ camera 26 Hình 3.1-1 : Mơ hình Mobile robot 27 Hình 3.1-2 : Sơ đồ khối Mobile robot 28 84 case (state) S0: else S1: else S2: else if(wr_done) state