Điều khiển camera bám mục tiêu di động

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐỖ MINH TRIỀU ĐIỀU KHIỂN CAMERA BÁM MỤC TIÊU DI ĐỘNG Chuyên ngành : Tự Động Hóa Mã số: 605260 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 06 năm 2014 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày tháng năm Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA………… ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Đỗ Minh Triều MSHV: 12150092 Ngày, tháng, năm sinh: 15/08/1983 Nơi sinh: Bình Định Chuyên ngành: Tự động hóa Mã số : 605260 I TÊN ĐỀ TÀI: ĐIỀU KHIỂN CAMERA BÁM MỤC TIÊU DI ĐỘNG II NHIỆM VỤ VÀ NỘI DUNG: Thiết kế hệ thống điều khiển mang camera quay theo hai phương Nghiên cứu thuật toán nhận dạng vật thể dựa đặc trưng màu sắc, góc cạnh (hình trịn, hình tam giác) thuật toán bám đối tượng Xây dựng giao diện phần mềm điều khiển III NGÀY GIAO NHIỆM VỤ : (Ghi theo QĐ giao đề tài) IV NGÀY HOÀN THÀNH NHIỆM VỤ: (Ghi theo QĐ giao đề tài) V CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): TS, Hồng Minh Trí Tp HCM, ngày tháng năm 20 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) TRƯỞNG KHOA….……… (Họ tên chữ ký) LỜI CẢM ƠN Trên thực tế khơng có thành cơng mà khơng gắn liền với hỗ trợ, giúp đỡ dù hay nhiều, dù trực tiếp hay gián tiếp người khác Trong suốt thời gian từ năm 2012 đến nay, nhận nhiều quan tâm, giúp đỡ q Thầy Cơ, gia đình bạn bè Với lịng biết ơn sâu sắc nhất, tơi xin gửi đến quý Thầy Cô Bộ Môn Tự động - Khoa Điện-Điện tử Trường Đại Học Bách Khoa Tp.HCM với tri thức tâm huyết để truyền đạt vốn kiến thức quý báu cho suốt thời gian học tập trường Tôi xin chân thành cảm ơn TS Hồng Minh Trí tận tâm hướng dẫn, giúp đỡ tơi hồn thành luận văn Tơi xin cảm ơn gia đình, quan bạn bè nơi làm việc Khoa Tiêu Chuẩn-Đo Lường-Chất Lượng – Trường Đại Học Trần Đại Nghĩa tạo điều kiện thời gian vật chất để hồn thành khóa học Đề tài giải toán điều khiển tảng mảng kiến thức rộng, thân có dịp tiếp xúc tìm hiểu thị giác máy tính nên cịn có nhiều điểm hạn chế, thiếu sót Tơi mong nhận ý kiến đóng góp quý báu quý Thầy Cô bạn bè để kiến thức thân ngày hồn thiện Tơi xin chân thành cảm ơn tất cả! Trân trọng! TP HCM, ngày 20 tháng 06 năm 2014 SINH VIÊN THỰC HIỆN ĐỖ MINH TRIỀU TÓM TẮT Đề tài đưa giải pháp điều khiển hệ thống camera bám theo đối tượng di chuyển có hình dạng đặc trưng màu sắc, đặc trưng biên, cạnh sở thuật toán Hough thuật toán camshift kết hợp lọc Kalman tích hợp thư viện mã nguồn mở OpenCV phiên 2.3.1của hãng Intel Hệ thống bao gồm cấu pan-tilt hai bậc tự mang camera, board điều khiển hai động sử dụng vi điều khiển Atmega8L máy tính có tích hợp sẵn thư viện OpenCV Kết chạy thử nghiệm cho thấy hệ thống bám tốt điều kiện môi trường ánh sáng tốt, có hạn chế nhiễu, đối tượng dịch chuyển với tốc độ tối đa 5m/s sử dụng thuật toán Camshift kết hợp với lọc Kalman ABSTRACT Thesis takes one method of control camera system tracking to moving object which has characteristic shape of colour, canny, based on Hough algorithm and combination between camshift Algorithm with Kalman prediction Filter, integrated in open librabry source code OpenCV version 2.31 of Intel This system consists of a pan-tilt with degree of freedom (pich and yaw) that controls a videocamera, a board motor control using atmega8L microcontroller and a computer integrated OpenCV library Experiment results show the system can track moving object with maximum velocity of 5m/s with good light environment, limited noise using camshift Algorithm with Kalman prediction Filter LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tác giả Đỗ Minh Triều NHIỆM VỤ LUẬN VĂN THẠC SĨ LỜI CẢM ƠN TÓM TẮT LỜI CẢM ĐOAN MỤC LỤC DANH SÁCH CÁC HÌNH SỬ DỤNG TRONG LUẬN VĂN CHƯƠNG I : TỔNG QUAN 1.1 Giới thiệu 1.2 Tổng quan cơng trình liên quan 11 1.3 Các hướng tiếp cận việc điều khiển hệ pan-tilt bám theo đối tượng dịch chuyển 15 1.3.1 Hướng tiếp cận phần cứng phục vụ xử lý ảnh 15 1.3.2 Hướng tiếp cận phần mềm 22 1.4 Các giải thuật nhận dạng, tracking đối tượng di chuyển đặc trưng sử dụng thực tế 28 1.5 Mục tiêu đề tài 41 CHƯƠNG II: XÂY DỰNG PHƯƠNG TRÌNH TRẠNG THÁI CỦA HỆ PANTILT CAMERA 43 2.1 Giới thiệu 43 2.2 Mơ hình tốn học hệ pan –tilt camera 44 CHƯƠNG 3: THIẾT KẾ VÀ XÂY DỰNG GIẢI THUẬT NHẬN DẠNG, BÁM THEO ĐỐI TƯỢNG, VÀ THUẬT TOÁN ĐIỀU KHIỂN HỆ THỐNG 47 3.1 Giải thuật tách 48 3.2 Phương pháp lọc nhiễu 49 3.3 Phương pháp tracking đối tượng, dự báo hướng di chuyển vận tốc đối tượng sử dụng thuật toán Camshift kết hợp lọc Kalman 51 3.3.1 Xác định tọa độ tâm đối tượng 54 3.3.2 Luật điều khiển mờ đưa đối tượng tọa độ tâm ảnh 54 3.3.3 Thiết kế điều khiển PID vị trí điều khiển hai động 55 CHƯƠNG 4: THI CƠNG MƠ HÌNH, KẾT QUẢ THỰC NGHIỆM, KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 58 4.1 Thi cơng mơ hình 58 a Thông số kỹ thuật thành phần mơ hình 58 b Một số mạch nguyên lý sử dụng để thiết kế bo điều khiển: 60 c Mô hình hồn chỉnh sau thi cơng 63 d Giao diện phần mềm thiết kế 65 4.2 Kết thực nghiệm 66 a Điều khiển bám theo đối tượng hình trịn màu xanh sử dụng thuật toán Hough 66 b Điều khiển bám đối tượng có hình dạng trịn màu xanh sử dụng thuật toán Camshift lọc Kalman 67 4.3 Kết luận 68 4.4 Hướng phát triển đề tài 68 Tài liệu tham khảo 69 PHẦN LÝ LỊCH TRÍCH NGANG 71 DANH MỤC CÁC HÌNH VÀ BẢNG SỬ DỤNG TRONG LUẬN VĂN Hình 1.1: Sơ đồ tổng quát hệ pan – tilt camera theo dõi bám theo đối tượng 10 Hình 1.2: Sơ đồ điều khiển hệ pan-tilt camera bám theo mục tiêu di động 10 Hình 1.3: Mơ hình vật lý hệ thống 11 Hình 1.4: Sơ đồ điều khiển robot mang camera 12 Hình 1.5: Lưu đồ giải thuật thuật toán Camshift 13 Hình 1.6: Sơ đồ khối hệ thống robot-camera bám theo đối tượng di chuyển 13 Hình 1.7: Main công nghiệp PC 104 16 Hình 1.8: SBC sử dụng SoC 17 Hình 1.9: CCD Sensor MT9T001 hãng Micron 18 Hình 1.10: Board xử lý ảnh sử dụng DSP 19 Hình 1.11: Sơ đồ chân Atmega8L 20 Hình 1.12: Sơ đồ khối Atmega8 21 Hình1.13: Cấu trúc thư viện OpenCV 22 Hình 1.14: Một số thư viện OpenCV 2.3.1 23 Hình 1.15: Một số cấu Pan-tilt thực tế 28 Bảng 1.1 - Bảng phân loại thuật toán nhận dạng đối tượng 29 Hình 1.16: Lưu đồ thuật toán Camshift 32 Hình 1.17: Sơ đồ khối mơ tả mối quan hệ lọc tín hiệu liên quan 33 Hình 1.18: Sơ đồ tổng quát mơ hình ước lượng dùng lọc Kalman 35 Hình 1.19: Các phương trình cần thiết lọc Kalman 40 Hình 1.20: Quá trình làm việc lọc Kalman 41 Hình 2.1: Tọa độ đối tượng frame ảnh thu 43 Hình 2.2: Mơ hình hóa hệ pan tilt 43 Hình 3.1: Lưu đồ thuật tốn nhận dạng bám theo đối tượng dịch chuyển 47 Hình 3.2: Lược đồ Histogram ảnh thu từ camera 48 Hình 3.3: Sử dụng lọc ngưỡng (Threshold Filter) 49 Hình 3.4: Kết ảnh sau sử dụng lọc Gaussian Blur 51 Hình 3.5: Sơ đồ kết hợp lọc Kalman Camshift 51 Hình 3.6: Sơ đồ tóm tắt lọc Kalman sử dụng chương trình 53 Hình 3.7: Kết dự đốn vị trí với lọc Kalman 54 Hình 3.8: Sơ đồ điều khiển mờ PD 55 Hình 3.9: Sơ đồ khối điều khiển PID vị trí 56 Hình 3.10: Lưu đồ giải thuật điều khiển vi xử lý 57 Hình 4.1: Mơ hình hệ camera thiết kế máy 58 Hình 4.2: Webcam sử dụng đề tài 59 Hình 4.3: Động 59 Hình 4.4: Động 60 Hình 4.5: Bo mạch điều khiển hai động 60 Hình 4.6: Mạch vi xử lý atmega8 61 Hình 4.7: Mạch driver cầu H-FET 62 Hình 4.8: Mạch chuyển từ chuẩn RS485 sang RS232 62 Hình 4.9: Mơ hình thi cơng hồn chỉnh 63 Hình 4.10: Mơ hình hồn chỉnh nhìn từ phía trước 64 Hình 4.11: Giao diện phần mềm điều khiển hệ thống 65 Hình 4.12: Kết thực nghiệm nhận dạng bám theo đối tượng hình trịn màu xanh dựa vào thuật toán Hough 66 Bảng 4.1: Kết thực nghiệm nhận dạng bám theo đối tượng hình trịn màu xanh dựa vào thuật tốn Hough 66 Hình 4.13: Kết thực nghiệm với thuật toán Camshift Kalman 67 Bảng 4.2: Kết thực nghiệm với thuật toán Camshift Kalman 67 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hồng Minh Trí Bắt đầu Thiết lập vị trí ban đầu ∆X*=0, ∆Y*=0 Nhận ∆X(hoặc ∆Y) từ máy tính Tính ex = ∆X - ∆X* ey = ∆Y - ∆Y* Đọc ∆X*, ∆Y* Chọn thông số P, I, D Xuất xung PWM chân PB1, EN_PWM Dừng chương trình Khơng Có Kết thúc Hình 3.10: Lưu đồ giải thuật điều khiển vi xử lý SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 57 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hoàng Minh Trí CHƯƠNG THI CƠNG MƠ HÌNH, KẾT QUẢ THỰC NGHIỆM, KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1 Thi cơng mơ hình Mơ hình hệ camera bám mục tiêu thiết kế bao gồm đế xoay camera pan-tilt có gắn hai động DC loại 12-24V có gắn hộp số có tỷ số truyền 20:1, cơng suất 60W có gắn encoder loại kênh A,B (100xung/vòng) Sau mơ hình vẽ thiết kế USB Mạch điều khiển pan-tilt dùng AVR Xử lý ảnh dùng OpenCV + C++ RS485 USB Hình 4.1: Mơ hình hệ camera thiết kế máy a Thông số kỹ thuật thành phần mơ hình - Laptop HP 6710b: cấu hình Duo Core 2GHz, Ram 2GHz, khơng có card đồ họa - Webcam mini LifeCam Cinema H5D-00013 hãng Microsoft có thơng số kỹ thuật sau: Khả quay video chất lượng HD 720p Kích thước (55,9 x 46 x 40) mm Tự động Focus Tự động điều chỉnh độ sáng màu sắc Giao tiếp chuẩn USB SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 58 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hồng Minh Trí Tốc độ đọc frame ảnh: 30 frame/s Cấu hình địi hỏi: laptop Intel Dual Core 3.0 GHz, RAM 2GHz Hình 4.2: Webcam sử dụng đề tài - Động bên (quay ngang): động DC Tốc độ quay tối đa 2000v/p Có gắn encoder loại A,B độ phân giải 100p/v Hộp số có tỷ số truyền 20:1 Nguồn cung cấp 12-24V DC Hình 4.3: Động - Động bên (quay dọc): động DC Tốc độ quay tối đa 3000v/p Có gắn encoder loại A,B độ phân giải 100p/v Hộp số có tỷ số truyền 20:1 Nguồn cung cấp 12-24V DC SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 59 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hoàng Minh Trí Hình 4.4: Động Bo điều khiển hai động sử dụng vi xử lý atmega8 có tích hợp thêm bo driver: Hình 4.5: Bo mạch điều khiển hai động b Một số mạch nguyên lý sử dụng để thiết kế bo điều khiển: - Mạch vi xử lý atmega8 để đọc tín hiệu từ encoder tín hiệu điều khiển từ máy tính để xuất xung điều rộng điều khiển động cơ: SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 60 Điều khiển camera bám theo mục tiêu di động U1 LM317/CYL VOUT C3 1uf R3 1k D2 18-OHm R1 C7 104 C8 104 C9 104 0 LO 2k R2 C6 104 LED C2 1uf C1 470/35 VIN ADJ LO D1 1n4007 LO J1 HEADER GVHD: TS Hồng Minh Trí LO LO RXD A R17 180 DI DE RE B RO MAX485 TXD J4 3 HEADER GND VCC LO J6 ENC_B ENC_A PD1/TXD Y1 H1 H2 H3 PWM EN_PWM C4 22p H4 LED70 LED72 R15 R IN1 IN2 IN3 IN4 IN5 IN6 IN7 IN8 J3 OUT1 OUT2 OUT3 OUT4 OUT5 OUT6 OUT7 OUT8 COM 18 17 16 15 14 13 12 11 10 HEADER ULN2803 J2 LED70 LED71 LED72 LED73 HEADER HOLE 1 1 1 HOLE Q4 a1013 8xR 180 19 18 17 15 16 14 13 12 HOLE R14 R U3 PB5/SCK PB4/MISO PB3/MOSI PB1/OCA1 PB2/SS PB0/ICP1 PD7/AIN1 PD6/AIN0 C5 22p R13 R Q3 a1013 26 25 24 23 ATMEGA PC4/ADC4/SDA PC5/ADC5/SCL PD4/XCK/T0 PD3/INT1 PD2/INT0 PD5/T1 HEADER 27 28 11 PC3/ADC3 PC2/ADC2 PC1/ADC1 PC0/ADC0 PD0/RXD PB6/XTAL1 U5 R12 R LED73 PC6/RESET GND U2 Q2 a1013 RXD TXD HEADER Q1 a1013 LED71 R19 R GND GND1 R18 R 22 PB7/XTAL2 RO LED 10 B D4 LED 20 21 GND DE RE D3 MAX485 LO R16 180 DI VCC AVCC AREF A J5 LO VCC U4 HOLE Hình 4.6: Mạch vi xử lý atmega8 Thành phần mạch bao gồm: 01 vi xử lý atmega8, 02 Max485 dùng để giao tiếp: Nguyên lý hoạt động mạch: atmega8 nhận tín hiệu điều khiển từ mạng 485 thơng qua 02 Max485 tín hiệu nhận từ encoder kênh A (chân PD2 – sử dụng ngắt INT0) tính tốn xuất tín hiệu điều rộng xung qua chân PWM (PB3) tín hiệu kích hoạt động hoạt động EN_PWM(chân PB0) tới mạch driver SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 61 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hồng Minh Trí - Mạch driver : thiết kế theo nguyên lý cầu H sử dụng 04 IC IRF540 02 IC lái FET IR2184 kết hợp với cổng NOT (74HC04) để đảo chiều quay động 13 12 +24V IN VB HO U1F 74HC04 P5 14 +24V Test IR1 PWM LO P3_24V +5V VS R1 100/1W D1 12V C1 C Q1 IRF540N/TO Test FR307 P1 1 LINE1 D5 D8 1N4007 SD SD VCC J4 LO +24V +12V +5V PWM EN COM FR307 +12V Q2 IRF540N/TO C2 C R2 100/1W D2 12V Test P4_GND IR2184 D7 Test 0 +24V HEADER Q3 IRF540N/TO IR2 LO +12V HO VS R6 R SD VCC LO R5 R C4 C D9 DIODE ZENER FR307 P2 LINE2 COM D6 D10 P6FR307 +12V C3 C Q4 IRF540N/TO R3 100/1W Test 0Tes t D4 IR2184 R7 10K +24V D3 EN R8 1K R4 100/1W 1N4007 SD C6 104 VB ISO2 P817 +5V IN DIODE ZENER Q5 C1815 0 Hình 4.7: Mạch driver cầu H-FET - Mạch chuyển đổi RS485 sang RS232: mạch thiết kế để phục vụ cho việc truyền nhận lệnh điều khiển từ máy tính thơng qua cáp chuyển RS232 sang USB 5VDC LM317/CY L C3 1uf 5VDC 1k VOUT 18-OHm R1 C6 104 LED C2 1uf C1 470/35 VIN ADJ HI D1 1n4007 HI 12VDC C7 104 C8 104 C9 104 0 2k R2 DE RE B RO 10 11 12 RECEIVE HI DI GND DE RE VCC C1C2+ V+ C2- RO V- 13 14 16 COM B R1IN R2IN T1OUT T2OUT C1+ MAX232 HI A R17 180 TRANSMIT VCC MAX485 T2IN T1IN R1OUT R2OUT HI DI GND R16 180 GND A 15 VCC HI MAX485 Hình 4.8: Mạch chuyển từ chuẩn RS485 sang RS232 SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 62 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hồng Minh Trí c Mơ hình hồn chỉnh sau thi công Sau số hình ảnh mơ hình hệ pan-tilt camera bám mục tiêu thi cơng đề tài: Hình 4.9: Mơ hình thi cơng hồn chỉnh SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 63 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hồng Minh Trí Hình 4.10: Mơ hình hồn chỉnh nhìn từ phía trước SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 64 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hồng Minh Trí d Giao diện phần mềm thiết kế Hình 4.11: Giao diện phần mềm điều khiển hệ thống - Giao diện phần mềm điều khiển hệ thống gồm hai chế độ hoạt động: • Chế độ điều khiển Manual • Chế độ Automatic Tracking - Giao diện phần mềm điều khiển hệ thống có chức tracking: • Đối tượng hình trịn dựa vào thuật tốn nhận dạng đối tượng đặc trưng màu sắc thuật tốn Hough • Tracking sử dụng thuật tốn Camshift • Tracking sử dụng thuật toán Camshift kết hợp lọc Kalman * Ở chế độ điều khiển Manual: ta điều khiển camera quay theo hướng cách nhập thông số vị trí cho truyền xuống vi xử lý (chế độ áp dụng cho trường hợp vật thể di chuyển nhanh, khả bị bám cao) * Ở chế độ điều khiển tự động (Automatic Tracking): hệ thống nhận dạng đối tượng, sau tự động bám theo đối tượng SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 65 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hồng Minh Trí 4.2 Kết thực nghiệm a Điều khiển bám theo đối tượng hình trịn màu xanh sử dụng thuật toán Hough Hệ thống bám tốt đối tượng khoảng cách tối đa 3m, điều khiển ánh sáng tốt, vận tốc di chuyển đối tượng 3m/s Các trường hợp bám xảy vật thể dịch chuyển nhanh, tốc độ đọc ảnh camera không đáp ứng kịp, hệ thống xử lý ảnh máy tính cấu hình thấp khơng đủ khơng gian nhớ để lưu trữ phép xử lý thuật tốn Hình 4.12: Kết thực nghiệm nhận dạng bám theo đối tượng hình trịn màu xanh dựa vào thuật tốn Hough Bảng kết thử nghiệm Vận tốc di chuyển Lần thử nghiệm Môi trường Ánh sáng tốt Ánh sáng tối Ánh sáng tốt Ánh sáng tối Ánh sáng tốt 10 Ánh sáng tối 25 (m/s) Số lần bám Bảng 4.1: Kết thực nghiệm nhận dạng bám theo đối tượng hình trịn màu xanh dựa vào thuật tốn Hough SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 66 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hồng Minh Trí b Điều khiển bám đối tượng có hình dạng trịn màu xanh sử dụng thuật toán Camshift lọc Kalman Hệ thống bám tốt đối tượng dịch chuyển với khoảng cách tối đa 5m, vận tốc dịch chuyển tối đa 5m/s Hệ thống bám vật thể di chuyển nhanh khỏi vùng quan sát camera Hình 4.13: Kết thực nghiệm với thuật toán Camshift Kalman Bảng kết thử nghiệm Vận tốc di chuyển Lần thử nghiệm Môi trường Ánh sáng tốt Ánh sáng tối Ánh sáng tốt Ánh sáng tối Ánh sáng tốt Ánh sáng tối 4 Ánh sáng tốt (m/s) Số lần bám Bảng 4.2: Kết thực nghiệm với thuật toán Camshift Kalman SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 67 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hồng Minh Trí 4.3 Kết luận Qua kết thực nghiệm với việc hồn chỉnh mơ hình phần cứng, luận văn đạt mục tiêu đề đề cương Đề tài nhận dạng vật thể có đặc trưng màu sắc so với ảnh thu từ camera, vật thể có đặc trưng góc cạnh hình trịn Đề tài ứng dụng thuật tốn bám đối tượng dịch chuyển tác giả ngồi nước, thuật tốn Camshift kết hợp với lọc Kalman, kết thực nghiệm cho thấy hệ thống bám tốt vật thể di chuyển với vận tốc 5m/s, điều kiện ánh sáng tốt nhiễu ảnh Tuy nhiên nhiều nguyên nhân đáp ứng hệ thống bị trễ nhiều, : - Hệ thống sử dụng máy tính có cấu hình chưa tốt, tốc độ tối thiểu phải Itel Duo Core 3HGz máy có 2GHz, khơng có card đồ họa để hỗ trợ - Q trình truyền thơng giao tiếp máy tính bo mạch điều khiển hai động bị giới hạn tốc độ truyền nối tiếp 9600b/s - Camera sử dụng loại Webcam có chất lượng hình ảnh tốt tốc độ đọc ảnh có 30 frame/s, vật thể di chuyển nhanh, frame ảnh thu máy tính bị nhịe, làm ảnh hưởng lớn tới q trình nhận dạng thuật tốn bám đối tượng 4.4 Hướng phát triển đề tài Để khắc phục nhược điểm trên, tác giả có hướng khắc phục thời gian tới sau: - Sử dụng board xử lý điều khiển chuyên dụng có tích hợp thư viện mã nguồn mở xử lý ảnh, camera chuyên dụng có tốc độ đọc frame ảnh cao (Ví dụ bo xử lý ảnh phần mềm hỗ trợ LabView hãng National Instrument) - Tối ưu giải thuật xử lý ảnh điều khiển nhằm hạn chế thấp thời gian trễ xử lý giao tiếp SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 68 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hồng Minh Trí Tài liệu tham khảo [1] Lý Thanh Phương, “Điều khiển camera bám theo mục tiêu di động”, Luận văn Thạc sỹ, 2008 [2] Bùi Trọng Tuyên, Phạm Thượng Cát, “Về phương pháp điều khiển hệ camera-robot bám mục tiêu sử dụng mạng nơ ron”, Kỷ yếu hội nghị Cơ điện tử toàn quốc lần thứ 2.- Tp Hồ Chí Minh : Đại học Bách Khoa Tp HCM, 2004.- tr 216-221 [3] Ngô Mạnh Tiến, Phan Xuân Minh, Hà Thị Kim Duyên, “Một phương pháp sử dụng lọc Kalman kết hợp với thuật toán bám ảnh Camshift nhằm nâng cao chất lượng bám hệ thống robot tự động tìm kiếm bám bắt mục tiêu”, Hội nghị toàn quốc Điều khiển Tự động hoá VCCA, 2001 [4] D Comaniciu, V Ramesh, P Meer, “Real-Time Tracking of Non-Rigid Objects using Mean Shift”, IEEE Conf.on Comp Vis and Pat Rec., Hilton Head Island, South Carolina, 2000 [5] K Daniilidis, C Krauss, M Hansen and G Sommer, “ Real-Time Tracking of Moving Objects with an Active Camera” Real-Time Imaging 4, (1998) [6] Kyu Bum Han, Yoon Su Back, “Visual servo tracking strategy using timevarying kalman filter estimation” Yonsei University, Seoul, Korea [7] J.A Piepmeier, G.V McMuray, H.Lipkin, “ Tracking moving target with Model Independent Visual Servoing: a predictive estimate Approach” , Proceeding of the 1998 IEEE, Int Conf On intelligent robot and system, Leuven, Begium, 1998 [8] Afef SALHI and Ameni YENGUI JAMMOUSSI ,”Object tracking system using Camshift, Meanshift and Kalman filter”, World Academy of Science, Engineering and Technology 64, 2012 [9] Gary Bradski and Adrian Kaehler: Learning OpenCV Computer Vision with the OpenCV Library; O’Reilly; 2008 [10] Anurag Mittal and Mikos Paragios, "Motion Based Background Subtraction using Adaptive Kernel Density Estimation" pp 302-309, 2004 [11] C.Stauffer and W.Grimson, "Adaptive Background mixture models for Realtime tracking" pp 750-755, 2009 SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 69 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hồng Minh Trí [12] Alper Yilmaz, Omar Javed, and Mubarak Shah, "Object Tracking: A Survey" pp 7-15 [13] Cơ sở lý thuyết điều khiển tự động, NXB Đại Học Quốc Gia, Thành Phố Hồ Chí Minh, Nguyễn Thị Phương Hà Huỳnh Thái Hoàng [14] Lý thuyết điều khiển nâng cao, NXB Đại Học Quốc Gia, Thành Phố Hồ Chí Minh, Nguyễn Thị Phương Hà [15] Hệ thống điều khiển thông minh, NXB Đại Học Quốc Gia, Thành Phố Hồ Chí Minh, Huỳnh Thái Hồng [16] Hệ thống điều khiển đa biến, NXB Đại Học Quốc Gia, Thành Phố Hồ Chí Minh, Dương Hồi Nghĩa SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 70 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hoàng Minh Trí PHẦN LÝ LỊCH TRÍCH NGANG Họ tên: Đỗ Minh Triều Ngày, tháng, năm sinh: 15/08/1983 Nơi sinh: Bình Định Địa liên lạc: Khoa Tiêu Chuẩn-Đo lường-Chất Lượng, Trường Đại học Trần Đại Nghĩa QUÁ TRÌNH ĐÀO TẠO - Từ tháng 9/2001 đến tháng 3/2007: học đại học ngành Điều khiển tự động-Khoa Điện điện tử - Đại Học Bách Khoa Hồ Chí Minh - Từ tháng 9/2012 đến nay: học cao học ngành Tự động hóa – Khoa Điện điện tử Đại học Bách Khoa Hồ Chí Minh Q TRÌNH CƠNG TÁC - Từ tháng 07/2007 đến nay: Giảng viên Bộ môn Đo lường Vô tuyến điện – Khoa Tiêu Chuẩn-Đo lường-Chất lượng-Trường Đại Học Trần Đại Nghĩa SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 71 ... Pan-Tilt Camera system Camera Hình 1.2: Sơ đồ điều khiển hệ pan-tilt camera bám theo mục tiêu di động SVTH: ĐỖ MINH TRIỀU - 12150092 Trang 10 Điều khiển camera bám theo mục tiêu di động GVHD:... Camshift Kalman 67 Điều khiển camera bám theo mục tiêu di động GVHD: TS Hoàng Minh Trí CHƯƠNG I TỔNG QUAN 1.1 Giới thiệu Trong lĩnh vực điều khiển, toán điều khiển bám mục tiêu toán phổ biến... thể đề tài Điều khiển camera bám theo mục tiêu di động [1] dừng lại mức nhận dạng điều khiển bám theo dịch chuyển gương mặt người Thì đề tài này, mục tiêu điều khiển camera bám theo đối tượng có