NHẬN DẠNG VÀ XỬ LÝ ẢNH VẬT THỂ ỨNG DỤNG TRONG ĐIỀU KHIỂN

Đề tài đã thực hiện thành công và đạt được kết quả khả quan như điều khiển được robot đến vị trí nhận dạng và thực hiện thao tác hái cà chua. Đây được xem là kết quả chính của đề tài, để thực hiện tốt kết quả này thì chúng tôi cũng phải thực hiện thành công quá trình xử lý ảnh nhận dạng vật thể, vị trí vật thể trong không gian 3 chiều bằng Webcame thông qua chương trình Matlab và cảm biến SRF10 thông qua vi điều khiển ATMEGA 16. Để từ đó, chúng tôi lấy tín hiệu điều khiển robot. Ngoài ra, chúng tôi cũng thiết kế giao diện giao tiếp với người quan sát bằng đồ thị trong lập trình GUI của Matlab một cách thân thiện ,dễ hiểu và dễ điều khiển.

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC NÔNG LÂM THÀNH PHỐ HỒ CHÍ MINH KHĨA LUẬN TỐT NGHIỆP NHẬN DẠNG VÀ XỬ LÝ ẢNH VẬT THỂ ỨNG DỤNG TRONG ĐIỀU KHIỂN Họ tên sinh viên: ĐẶNG MINH CHỨC PHẠM TRƯỜNG GIANG Ngành: : CƠ ĐIỆN TỬ Niên khóa: 2007-2011 Tháng 5/2011 NHẬN DẠNG VÀ XỬ LÝ ẢNH VẬT THỂ ỨNG DỤNG TRONG ĐIỀU KHIỂN Tác gia ĐẶNG MINH CHỨC PHẠM TRƯỜNG GIANG Khóa luận được đệ trình để đáp ứng yêu cầu cấp bằng Kỹ sư ngành Cơ điện tư Giáo viên hướng dẫn: Ths TRẦN THỊ KIM NGÀ Ts NGUYỄN VĂN HÙNG Tháng 5/2011 LỜI CẢM ƠN Em xin gởi đến Thầy Nguyễn Văn Hùng và Cô giáo Trần Thị Kim Ngà lời cam ơn chân thành Cam ơn Thầy, Cô đã tận tình hướng dẫn, định hướng, tạo điều kiện giúp chúng em hoàn thành luận văn này Chúng em cũng xin chân thành cam ơn quý Thầy Cô ở khoa Cơ khí Công nghệ Trường Đại học Nông Lâm Thành phố Hồ Chí Minh đã tận tình truyền đạt kiến thức và định hướng cho em suốt khóa học Cuối chúng em xin cam ơn gia đình, bạn bè đã động viên giúp đỡ chúng em suốt trình học tập Xin trân trọng Đặng Minh Chức Phạm Trường Giang TÓM TẮT Đề tài nghiên cứu “ nhận dạng và xư lý anh ứng dụng điều khiển” được thực hiện tại trường Đại Học Nông Lâm Thành Phố Hồ Chí Minh, thời gian tháng từ tháng đến ngày tháng năm 2011 Đề tài đã thực hiện thành công và đạt được kết qua kha quan điều khiển được robot đến vị trí nhận dạng và thực hiện thao tác hái cà chua Đây được xem là kết qua chính đề tài, để thực hiện tốt kết qua này thì chúng cũng phai thực hiện thành công trình xư lý anh nhận dạng vật thể, vị trí vật thể không gian chiều bằng Webcame thông qua chương trình Matlab và cam biến SRF10 thông qua vi điều khiển ATMEGA 16 Để từ đó, chúng lấy tín hiệu điều khiển robot Ngoài ra, chúng cũng thiết kế giao diện giao tiếp với người quan sát bằng đồ thị lập trình GUI Matlab một cách thân thiện ,dễ hiểu và dễ điều khiển MỤC LỤC LỜI CẢM ƠN ii TÓM TẮT iii MỤC LỤC iv DANH MỤC HÌNH vii DANH MỤC VIẾT TẮT ix Chương MỞ ĐẦU .1 1.1 Đặt vấn đề 1.2 Mục đích Chương TỔNG QUAN .3 2.1 Lý thuyết xử lý ảnh 2.1.1 Hệ thống xử lý ảnh 2.1.1.1 Thu nhận anh và số hóa .3 2.1.1.2 Phân tích anh .4 2.1.1.3 Hệ quyết định 2.1.2 Thu nhận anh và lưu trữ anh 2.1.2.1 Thu nhận anh .4 2.1.2.2 Lưu trữ anh 2.1.3 Phân tích anh .8 2.1.3.1 Khái niệm pixel và pixel lân cận 2.1.3.2 Mộtsố không gian màu 2.1.3.3 Một số công cụ trợ giúp xư lý anh .13 2.1.3.4 Tiền xư lý anh 15 2.1.3.5 Làm trơn anh .17 2.1.3.6 Biên và phương pháp phát hiện biên 20 2.2 Xác định khoảng cách sóng siêu âm .21 2.2.1 Khái niệm siêu âm .21 2.2.2 Cam biến siêu âm và nguyên tắc TOF .21 2.2.2.1 Cam biến siêu âm 21 2.2.2.2 Cấu tạo và nguyên lý hoạt động cam biến siêu âm 22 2.2.2.3 Nguyên tắc TOF 24 2.2.2.4 Ưu điểm và nhược điểm cam biến siêu âm 26 2.2.3 Cam biến siêu âm SRF10 27 2.3 Phần mềm matlab ứng dụng xử lý ảnh 30 2.3.1 Khái niệm MATLAB 30 2.3.2 Giao diện Matlab 30 2.3.3 Kha và ứng dụng Matlab 31 2.3.4 Hệ thống lệnh xư lý anh Matlab (Matlab Funtion) 32 Chương NỘI DUNG VÀ PHƯƠNG PHÁP NGHIÊN CỨU 34 3.1 Bố trí thực đề tài .34 3.1.1 Thời gian 34 3.1.2 Địa điểm 34 3.2 Phương tiện nghiên cứu 34 3.3 Phương pháp nghiên cứu 35 3.3.1 Phương pháp lý thuyết .35 3.3.2 Phương pháp thực nghiệm 35 Chương KẾT QUẢ VÀ THẢO LUẬN 37 4.1 Xây dựng quy trình nhận dạng xử lý ảnh 37 4.1.1 Quy trình nhận dạng và xư lý anh 37 4.1.2 Quy trình xác định khoang cách sư dụng cam biến siêu âm 38 4.2 Kết nhận dạng xử lý ảnh 39 4.2.1 Quá trình nhận dạng và xư lý anh 39 4.2.1.1 Sơ đồ khối xư lý 39 4.2.1.2 Nhận dạng và xư lý anh .39 4.2.2 Quá trình nhận tín hiệu cam biến SRF10 46 4.2.2.1 Sơ đồ xư lý tín hiệu cam biến 46 4.2.2.2 Kết nối, chuyển đổi và hiển thị 46 4.2.3 Kết qua chương trình 47 4.3 Kết chế tạo điều khiển robot 49 4.3.1 Mô hình chế tạo robot 49 4.3.2 Kết qua chế tạo 49 4.3.3 Điều khiển robot 50 4.3.4 Kết qua khao nghiệm sơ bộ .52 4.4 Nhận xét 54 Chương KẾT LUẬN VÀ ĐỀ NGHỊ .55 5.1 Kết luận 55 5.2 Đề nghị .55 TÀI LIỆU THAM KHẢO .56 PHỤ LỤC 57 DANH MỤC HÌNH HÌNH 2.1 Sơ đờ hệ thớng xư lý anh HÌNH 2.2 Sensor qt dòng CCD .5 HÌNH 2.3 Quy ước tọa độ cho biểu diễn anh HÌNH 2-4 Pixel P và lân cận P HÌNH 2.5 Mơ hình màu RGB 10 HÌNH 2.6 Các màu gớc bù và pha trợn chúng 10 HÌNH 2.7 Sự biến đổi từ RGB thành CMY 11 HÌNH 2.8 Mơ hình màu HSV 12 HÌNH 2.9 Mơ hình màu HLS 13 HÌNH 2.10 Mợt lân cận kích thước 3x3 quanh điểm (x,y) 16 HÌNH 2.11 Các lân cận p sư dụng để làm nhẵn anh nhị phân .19 HÌNH 2.12 Làm trơn hình anh nhị phân 20 HÌNH 2.13 Vùng hoạt đợng cam biến siêu âm( ng̀n internet) 23 HÌNH 2.14 Khu vực mù cam biến siêu âm( nguồn internet) 23 HÌNH 2.15 Thời gian truyền nguyên lý TOF 25 HÌNH 2.16 Tầm quét cam biến siêu âm .25 HÌNH 2.17 Cam biến siêu âm SRF10 .27 HÌNH 2.18 Sơ đờ kết nới SRF10 28 HÌNH 2.19 Giao diện Matlab 31 HÌNH 3.1 Sơ đồ phương pháp điều khiển robot .35 HÌNH 3.2 Phương pháp điều khiển hồi tiếp 36 HÌNH 4.1 Sơ đờ nhận dạng và xư lý anh 37 HÌNH 4.2 Sơ đồ xác định khoang cách sư dụng cam biến SRF10 38 HÌNH 4.3 Sơ đờ mạch vi điều khiển 38 HÌNH 4.4 Sơ đờ nhận dạng và xư lý anh ứng dụng điều khiển 39 HÌNH 4.5 Hình anh thu nhận từ Webcame .40 HÌNH 4.6 Sơ đồ nhận dạng và trích đối tượng 40 HÌNH 4.7 Ảnh sau chuyển sang anh xám 41 HÌNH 4.8 Ảnh trích xuất gam màu đỏ 42 HÌNH 4.9 Sơ đờ q trình xư lý phân tích anh 42 HÌNH 4.10 Ảnh sau lọc trung vị 43 HÌNH 4.11 Lọc bỏ vùng dưới 300px 44 HÌNH 4.12 Ảnh đã được định tâm và đóng khung 44 HÌNH 4.13 Xác định khoang cáchhiển thị tọa độ tới tâm hình 45 HÌNH 4.14 Kết qua hệ quyết định 45 HÌNH 4.15 Sơ đồ khối trình nhận tín hiệu cam biến SRF10 46 HÌNH 4.16 Kết qua hiển thị màn hình LCD 47 HÌNH 4.17 Kết qua hiển thị tín hiệu cam biến Matlab 47 HÌNH 4.18 Giao diện hiển thị chương trình xư lý anh 48 HÌNH 4.19 Giao diện hiển thị kết qua hệ thống 48 HÌNH 420 Mơ hình robot ứng dụng xư lý anh 49 HÌNH 4.21 Robot ứng dụng xư lý anh 50 HÌNH 4.22 Giai thuật điều khiển robot 51 HÌNH 4.23 Biểu đờ khao nghiệm độ phận giai xác định khoang cách 52 HÌNH 42.4 Biểu đờ thời gian đáp ứng .53 DANH MỤC VIẾT TẮT CCD Charge Coupled Device CMOS Complementary Metal-Oxide-Semiconductor GIF Graphics Interchange Format P Pixel CMY Cyan, Magenta, Yellow TOF Time Of Flight RLE Run-Length-Encoded RGB Red, Green, Bule HSL Hue, Saturation, Lightness LED Light Emitting Diode Chương MỞ ĐẦU 1.1 Đặt vấn đề Trong mấy thập kỷ gần đây, xư lý anh đã được nghiên cứu mạnh mẽ và đã có rất nhiều ứng dụng thực tế Như y học, xư lý anh số đã được dùng để phát hiện và nhận dạng khối u, cai thiện anh X quang, nhận dạng đường biên mạch máu từ anh chụp mạch bằng tia X Trong cuộc sống gia đình, xư lý anh được dùng để cai thiện anh Ti vi Trong truyền thông video hội nghị video, điện thoại video thì một vấn đề chính là cần có dai tần rộng Việc mã hóa thẳng chương trình video chất lượng quang bá cần đến 100 triệu bit/s Điều này không thể đáp ứng được Nhưng bằng cách mã hóa số và khôi phục anh (là vấn đề xư lý anh ) thì việc có thể thực hiện với băng tần 100 nghìn bit/s Còn lĩnh vực khoa học kỹ thuật, xư lý anh đã và có đóng góp quan trọng, đặc biệt là lĩnh vực Robot Robot thông minh ngày không thể thiếu yếu tố xư lý anh Đó là vấn đề nhận dạng đối tượng ngoài môi trường Từ việc nhận dạng có thể giai quyết rất nhiều bài toán tránh vật can, dò đường, tìm vật… Từ sở đó, việc nghiên cứu bài toán xư lý anh thời đại ngày là rất quan trọng và không thể thiếu hầu hết lĩnh vực Ngày nay, lĩnh vực khoa học kỹ thuật công nghệ phát triển một cách nhanh chóng và mạnh mẽ, đặc biệt là lĩnh vực Robot thông minh Xư lý anh là bài tốn khơng thể thiếu Robot nó có thể được xem là mắt Robot, nó có thể giúp Robot quan sát, theo dõi đới tượng, dò đường,tìm vật, điều này rất quan trọng cho điều khiển Robot Vì thế, bài toán xư lý anh giúp cho ta điều khiển Robot một cách chính xác và dễ dàng 1.2 Mục đích Dựa yêu cầu thực tế ngày lĩnh vực Robot thông minh.Chúng thực hiện đề tài “nhận dạng xử lý ảnh vật thể ứng dụng điều khiển” với mục đích nhận dạng vật thể thông qua màu sắc vật và định dạng vị trí vật thể không gian để lấy tín hiệu điều khiển Robot Vì thời gian giới hạn cũng mức độ rộng lớn đề tài nên chúng thực hiện nghiên cứu vấn đề ban sau:  Sư dụng Webcame kết hợp phần mềm MATLAB phát hiện đối tượng và định vị trí đối tượng theo phương x,y khung anh  Sư dụng cam biến siêu âm SRF10 để xác định khoang cách đối tượng theo phương z  Ứng dụng xư lý anh vào điều khiển ROBOT Chương TỔNG QUAN 2.1 Lý thuyết xử lý ảnh 2.1.1 Hệ thống xử lý ảnh Một hệ thống xư lý anh điển hình thường bao gồm thành phần sau: [2] Lương Mạnh Bá, Nguyễn Thanh Thủy (2002), Nhập Môn Xư lý anh số, Nxb Khoa học và Kỹ thuật, 2002 [3] TS Đỗ Năng Toàn, TS Phạm Việt Bình, Giáo Trình Xư Lý Ảnh,Khoa Công Nghệ Thông Tin Trường Đại Học Thái Nguyên [4] Võ Đức Khánh, Hoàng Văn Kiếm Giáo trình xư lý anh số Nhà xuất ban Đại học Quốc gia Thành phố Hồ Chi Minh Tài liệu tiếng Anh: [5] Anil K.Jain (1989), Fundamental of Digital Image Processing Prentice Hall, Engwood cliffs [6] J.R.Paker (1997), Algorithms for Image processing and Computer Vision John Wiley & Sons, Inc PHỤ LỤC Chương trình Matlab xử lý ảnh function varargout = nhandangmau(varargin) % NHANDANGMAU M-file for nhandangmau.fig % NHANDANGMAU, by itself, creates a new NHANDANGMAU or raises the existing % singleton* % % H = NHANDANGMAU returns the handle to a new NHANDANGMAU or the handle to % the existing singleton* % % NHANDANGMAU('CALLBACK',hObject,eventData,handles, ) calls the local % function named CALLBACK in NHANDANGMAU.M with the given input arguments % % NHANDANGMAU('Property','Value', ) creates a new NHANDANGMAU or raises the % existing singleton* Starting from the left, property value pairs are % applied to the GUI before nhandangmau_OpeningFcn gets called An % unrecognized property name or invalid value makes property application % stop All inputs are passed to nhandangmau_OpeningFcn via varargin % % *See GUI Options on GUIDE's Tools menu Choose "GUI allows only one % instance to run (singleton)" % % See also: GUIDE, GUIDATA, GUIHANDLES % Edit the above text to modify the response to help nhandangmau % Last Modified by GUIDE v2.5 06-Jun-2011 21:53:12 56 % Begin initialization code - DO NOT EDIT gui_Singleton = 1; gui_State = struct('gui_Name', mfilename, 'gui_Singleton', gui_Singleton, 'gui_OpeningFcn', @nhandangmau_OpeningFcn, 'gui_OutputFcn', @nhandangmau_OutputFcn, 'gui_LayoutFcn', [] , 'gui_Callback', []); if nargin && ischar(varargin{1}) gui_State.gui_Callback = str2func(varargin{1}); end if nargout [varargout{1:nargout}] = gui_mainfcn(gui_State, varargin{:}); else gui_mainfcn(gui_State, varargin{:}); end % End initialization code - DO NOT EDIT % - Executes just before nhandangmau is made visible function nhandangmau_OpeningFcn(hObject, ~, handles, varargin) % This function has no output args, see OutputFcn % hObject handle to figure % eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA) % varargin command line arguments to nhandangmau (see VARARGIN) % Choose default command line output for nhandangmau handles.output = hObject; % Update handles structure guidata(hObject, handles); % UIWAIT makes nhandangmau wait for user response (see UIRESUME) % uiwait(handles.figure1); set(handles.axes1,'visible','off'); % - Outputs from this function are returned to the command line function varargout = nhandangmau_OutputFcn(~, ~, handles) % varargout cell array for returning output args (see VARARGOUT); % hObject handle to figure % eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA) varargout{1} = handles.output; % - Executes on button press in pushbutton1 function pushbutton1_Callback(~, ~, handles) % hObject handle to pushbutton1 (see GCBO) % eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA) s_port=serial('COM1'); %setup cong com set(s_port,'baudrate',9600); s_port.DataBits =8; s_port.Parity = 'none'; s_port.StopBit = 1; 57 s_port.OutputBufferSize=512; s_port.InputBufferSize=512; s_port.BytesAvailableFcnCount = 1; s_port.Terminator = 'LF'; s_port.ReadAsyncMode = 'continuous'; s_port.BytesAvailableFcnMode = 'Byte'; fopen(s_port); %tat tin hieu nhan slider_step(1) = 0.01/(1-0); % xac dinh day cua truot slider_step(2) = 0.1/(1-0); set(handles.slider1,'sliderstep',slider_step,'max',0.9,'min',0); set(handles.axes1,'visible','on'); vid=videoinput('winvideo',1,'RGB24_1600x1200'); triggerconfig(vid,'manual'); set(vid,'FramesPerTrigger',1 ); set(vid,'TriggerRepeat', Inf); %bat dau thu hinh start(vid); trigger(vid); try while(1) tic % Get the snapshot of the current frame data = getsnapshot(vid); % Now to track red objects in real time % subtract the red component from the grayscale image to extract the red components in the image diff_im = imsubtract(data(:,:,1), rgb2gray(data)); % thay doi data(:,:,thay doi) %Use a median filter to filter out noise diff_im = medfilt2(diff_im, [3 3]); % Convert the resulting grayscale image into a binary image x = 0.1+ get(handles.slider1,'value'); diff_im = im2bw(diff_im,x); %thay doi khoang -> % Remove all those pixels less than 300px diff_im = bwareaopen(diff_im,300); % Label all the connected components in the image bw = bwconncomp(diff_im,8); %sai lenh tiet kiem duoc mb bo nho va nhanh hon so voi sai bwlabel % Measure properties of image regions stats = regionprops(bw, 'BoundingBox', 'Centroid'); % Display the image axes(handles.axes1); imshow(data) hold on %Day la vong lap de dong khung chu nhat khu vuc co mau for object = 1:length(stats) %nhan tin hieu tu cong com (dua vao vong lap chuong trinh chay nhanh hon) bb = stats(object).BoundingBox; %tim gi?i h?n bc = stats(object).Centroid; %tim tr?ng tâm plot(bc(1),bc(2),'-m+') % v? tr?ng tâm v?i Line Specification hinh ch? th?p tai t?a ?? tâm rectangle('Position',bb,'EdgeColor','g','LineWidth',1) % ve hình ch? nh?t bao quanh khu v?c gi?i h?n % strcat: Concatenate strings horizontally (bu?c kich th??c ph?i n?m ngang) % text: Create text object in current axes i=text(bc(1)+15,bc(2), strcat('X: ', num2str(round(bc(1)-400)), ' Y: ', num2str(round(bc(2)-300)))); set(i, 'FontName', 'Arial', 'FontWeight', 'bold', 'FontSize', 12, 'Color', 'yellow'); x= 400; y= 300; %toa tam cua camera % ve quy dao chuyen dong hl = line('XData',x,'YData',y,'Marker','.','Color','m','MarkerEdgeColor','c','LineStyle',':'); 58 xdat = [x,bc(1)]; ydat = [y,bc(2)]; %toa tam set(hl,'XData',xdat,'YData',ydat); % set thuoc tinh cua duong quy dao % vung cho phep hien thi toa thu if ( 3500 < bc(1) && bc(1) < 4500), if (2500 < bc(2) && bc(2) < 3500), %nhan tin hieu tu cong COM val1 = GetSerialData('com1', 9600, 4); %su dung file GetSerialData.DLL cua VC++ h= char (val1(1,1)); a= char (val1(1,2)); %chuyen ma ascii sang str hang tram b= char (val1(1,3)); %chuyen ma ascii sang str hang chuc c= char (val1(1,4)); %chuyen ma ascii sang str hang don vi if (h == 'a'), %kiem tra du lieu co hop le khong ? d= str2double (a); %doi tu string sang so hang tram e= str2double (b); %doi tu string sang so hang chuc f= str2double (c); %doi tu string sang so hang donvi g= (d*100+e*10+f); %rap lai so hoan chinh he mm end % stats Statistics Toolbox (h?p công c? th?ng kê) rectangle('Position',bb,'EdgeColor','r','LineWidth',2) % ve hình ch? nh?t bao quanh khu v?c gi?i h?n % strcat: Concatenate strings horizontally (bu?c kich th??c ph?i n?m ngang) % text: Create text object in current axes i=text(bc(1)+15,bc(2), strcat('X: ', num2str(round(bc(1)-400)), ' Y: ', num2str(round(bc(2)-300)), ' Z: ',num2str(round(g)),' mm')); k=text(bc(1)-60,bc(2)-50, strcat('Target locked')); set(i, 'FontName', 'Arial', 'FontWeight', 'bold', 'FontSize', 12, 'Color', 'green'); set(k, 'FontName', 'Arial', 'FontWeight', 'bold', 'FontSize', 12, 'Color', 'yellow'); end end end %xac dinh vat the can lay if (object > 0), rectangle('Position',bb,'EdgeColor','b','LineWidth',1) % ve hình ch? nh?t bao quanh khu v?c gi?i h?n if ( bc(1) > 450 ), fprintf(s_port,'b'); else if (bc(1) < 350), fprintf(s_port,'c'); else fprintf(s_port,'f'); end end if ( bc(2) > 350 ), fprintf(s_port,'d'); else if ( bc(2) < 250 ), fprintf(s_port,'e'); else fprintf(s_port,'g'); end end end toc hold off flushdata(vid,'triggers'); end fclose(s_port); 59 stop(vid); flushdata(vid,'triggers'); delete(vid); clear all catch fclose(s_port); stop(vid); flushdata(vid); delete(vid); clear all end % - Executes on button press in pushbutton2 function pushbutton2_Callback(~, ~, ~) % hObject handle to pushbutton2 (see GCBO) % eventdata reserved - to be defined in a future version of MATLAB % handles structure with handles and user data (see GUIDATA) % global vid; % stop(vid); % flushdata(vid); % delete(vid); % clear all close(nhandangmau) % - Executes during object creation, after setting all properties function axes4_CreateFcn(~, ~, ~) % hObject handle to axes4 (see GCBO) % eventdata reserved - to be defined in a future version of MATLAB % handles empty - handles not created until after all CreateFcns called imshow('giaodien.bmp'); % Hint: place code in OpeningFcn to populate axes4 Chương trình vi điều khiển nhận tín hiệu điều khiển robot /***************************************************** This program was produced by the CodeWizardAVR V2.03.4 Standard Automatic Program Generator © Copyright 1998-2008 Pavel Haiduc, HP InfoTech s.r.l http://www.hpinfotech.com Chip type Program type Clock frequency Memory model : ATmega16 : Application : 8.000000 MHz : Small 60 External RAM size : Data Stack size : 256 *****************************************************/ #include