(Đề tài NCKH) nghiên cứu và ứng dụng hệ thống xử lý ảnh thông qua interactive robot

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CƠNG TRÌNH NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG NGHIÊN CỨU VÀ ỨNG DỤNG HỆ THỐNG XỬ LÝ ẢNH THÔNG QUA INTERACTIVE ROBOT MÃ SỐ: SV2012-51 SKC003869 Tp Hồ Chí Minh, tháng 11/2012 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM ĐỀ TÀI NCKH SINH VIÊN NGHIÊN CỨU VÀ ỨNG DỤNG HỆ THỐNG XỬ LÝ ẢNH THƠNG QUA INTERACTIVE ROBOT MÃ SỐ: SV2012-51 THUỘC NHĨM NGÀNH: KỸ THUẬT GIÁO VIÊN HƯỚNG DẪN: TS NGUYỄN TRƯỜNG THỊNH NGƯỜI CHỦ TRÌ: ĐÀO TRỌNG HIỆP NGƯỜI THAM GIA: NGUYỄN QUÍ LÂM VĂN NGỌC ĐỨC ĐƠN VỊ: KHOA ĐÀO TẠO CHẤT LƯỢNG CAO TP HỒ CHÍ MINH – 11/2012 NCKH: Nghiên cứu ứng dụng hệ thống xử lý ảnh thông qua Interactive Robot GVHD: PGS.TS Nguyễn Trường Thịnh LỜI CẢM ƠN Nhóm chúng em xin chân thành cảm ơn PGS.TS Nguyễn Trường Thịnh người tận tình dẫn, khuyến khích động viên chúng em đề tài này.Xin chân thành cảm ơn thầy môn giúp chúng em cách nghiên cứu cách trình bày đề tài nghiên cứu.Chân thành cảm ơn bạn bè lớp Cơ điện tử 09 chia sẻ đóng góp ý kiến để hồn thành đề tài tốt T h n h p h ố H C h í M i n h n g y t h n g n ă m 2 N h ó m S V T H : Đ o T r ọ n g H i ệ p SVTH: Đào Trọng Hiệp - Văn Ngọc Đức - Nguyễn Quí Lâm Page ii Văn Ngọc Đức Nguyễn Quí Lâm NCKH: Nghiên cứu ứng dụng hệ thống xử lý ảnh thông qua Interactive Robot GVHD: PGS.TS Nguyễn Trường Thịnh Tóm tắt đề tài Tìm hiểu lịch sử phát triển tình hình phát triển đầu robot có hình dạng cấu trúc gần giống với đầu người giới Sử dụng phần mềm VS2008 thư viện mở OpenCV để nhận diện khuôn mặt người Khi nhận diện mắt robot hướng theo khn mặt người giao tiếp, phần mềm nhận biết màu sắc vật thể Chế tạo robot có khả giao tiếp người có hình dạng mặt người Thiết kế, thi cơng: Phần khí Phần mềm điều khiển Phần mềm giao tiếp SVTH: Đào Trọng Hiệp - Văn Ngọc Đức Nguyễn Quí Lâm Page iii NCKH: Nghiên cứu ứng dụng hệ thống xử lý ảnh thông qua Interactive Robot GVHD: PGS.TS Nguyễn Trường Thịnh MỤC LỤC trang Trang bìa i Lời cảm ơn ii Tóm tắt đề tài iii Mục lục iv Danh mục hình ảnh v Chương I: Tổng quan I.1 Giới thiệu đề tài I.2 Mục đích đề tài I.3 Nhiệm vụ đề tài I.4 Giới hạn đề tài Chương II: Phương pháp nghiên cứu thiết kế chế tạo II.1 Phần khí II.2 Phần điều khiển II.3 Phần xử lí ảnh 13 Chương III: Kết luận 30 III.1 Kết đạt 30 III.2 Hướng phát triển 32 SVTH: Đào Trọng Hiệp - Văn Ngọc Đức - Nguyễn Quí Lâm Page iv NCKH: Nghiên cứu ứng dụng hệ thống xử lý ảnh thông qua Interactive Robot GVHD: PGS.TS Nguyễn Trường Thịnh Danh mục hình ảnh Hình 1.1: David McGoren, nhóm nghiên cứu Đại học West England, “Heart Robot” Hình 1.2: Robot ASIMO Hình 1.3: Robot NAO Hình 1.4: Robo Head "Flobi" Hình 1.5: Các robot dạng mặt người Hình 2.1: Toàn phần cấu mắt vẽ SolidWorks2011 Hình 2.2 : Bộ phận mắt Hình 2.3 : Bộ phận mí mắt Hình 2.4: Bộ phận lơng mày Hình 2.5: Mối quan hệ độ xộng xung PWM góc quay động RC Hình 2.6: Giải thuật điều khiển động RC Hình 2.7: Phần cứng mạch điều khiển Hình 2.8: Các đặc trưng Haar like 13 Hình 2.9: Đặc trưng Haar like vùng mắt 14 Hình 2.10: Giao diện xử lý ảnh 15 Hình 2.11: Phần mềm nhận diện khn mặt 15 Hình 2.12: Histogram 25 Hình 2.13: Histogram ảnh tối 26 Hình 2.13: Histogram ảnh sáng 26 Hình 3.1: Cơ cấu mắt 30 Hình 3.2: Bộ phận miệng 30 Hình 3.3: Khn mặt hồn thiện 31 SVTH: Đào Trọng Hiệp - Văn Ngọc Đức - Nguyễn Quí Lâm Page v NCKH: Nghiên cứu ứng dụng hệ thống xử lý ảnh thông qua Interactive Robot GVHD: PGS.TS Nguyễn Trường Thịnh CH Ư Ơ N G I: TỔ N G Q U A N I.1 Giới thiệu đề tài Ngày nay, với phát triển khoa học , đặc biệt lĩnh vực khoa học máy tính, hướng nghiên cứu lĩnh vực trí tuệ nhân tạo, điều khiển thơng minh, thị giác máy tính robot sau chế tạo robot thông thinh đạt nhiều thành tựu rực rỡ Không phát triển giới, mà Việt Nam việc chế tạo robot thơng minh có bước phát triển vững Với hướng nghiên cứu này, việc tạo cảm xúc cho robot thông minh nhiều hãng sản xuất robot áp dụng chế tạo thành công mẫu robot thơng minh có khả biểu lộ trạng thái cảm xúc thơng qua phận khuôn mặt đôi mắt, lông mày, miệng… hay màu sắc da má nhịp đập trái tim Robot cảm xúc phát triển từ nhiều năm trước kỉ nguyên robot cảm xúc báo hiệu vào ngày cuối tháng năm 2008, triển lãm nhằm giới thiệu giới robot Bảo tàng khoa học Anh, bật triển lãm Heart Robot nhà khoa học Đại học West England Briston Anh sáng tạo với mục đích khám phá cách người phản ứng với điều xung quanh Heart Robot có tầm vóc đứa bé với trái tim biết đập, bụng hô hấp phận cảm biến cảm nhận phản ứng trước cử động, âm tiếp xúc, tức biết thể "cảm xúc" tùy theo cách đối xử người đối diện Hình 1.1: David McGoren, nhóm nghiên cứu Đại học West England, “Heart Robot” SVTH: Đào Trọng Hiệp - Văn Ngọc Đức Nguyễn Quí Lâm Page sáng tốt Ngược lại ảnh ảnh tối Hình 2.14: Histogram ảnh tối SVTH: Đào Trọng Hiệp - Văn Ngọc Đức Nguyễn Quí Lâm Page 25 NCKH: Nghiên cứu ứng dụng hệ thống GVHD: PGS.TS Nguyễn Trường Thịnh xử lý ảnh thông qua Interactive Robot Hình 2.14: Histogram ảnh tối Hình 2.15: Histogram ảnh sáng Đối với ảnh màu, để tính histogram ảnh ta tính Histogram cuả kênh màu Giả sử hệ màu sử dụng hệ RGB, ta tính Histogram kênh R, G, B với ảnh xám thông thường Phần cịn lại sau tơi giới thiệu cách tính Histogram ảnh màu đồng thời hiển thị biều đồ histogram kênh Code chương trình tình Histogram cân Histogram: #include "cv.h" #include "highgui.h" #include "iostream" using namespace std; void histogram() { IplImage * Img =cvLoadImage("p1.txt.jpg",0); SVTH: Đào Trọng Hiệp - Văn Ngọc Đức - Nguyễn Quí Lâm Page 26 NCKH: Nghiên cứu ứng dụng hệ thống xử lý ảnh thông qua Interactive Robot GVHD: PGS.TS Nguyễn Trường Thịnh cvNamedWindow("My Picture"); cvShowImage("My Picture",Img); int height = Img>height; int width = Img->width; i n t h i s t [ ] ; / / k h a i b a o m a n g h i s t gom 256 phan tu //hien thi histogra m -for (int y=0; yimageData + y*Img>widthStep); for (int x=0; xptr[3*x+1]+40 )&&(ptr[3*x+2]>ptr[3*x+0] +40))//RED { coun t_re d++; } if ((ptr[3*x+1]>ptr[3*x+2]+20)& &(ptr[3*x+1]>ptr[3*x+0]+20))/ /GREEN SVTH: Đào Trọng Hiệp - Văn Ngọc Đức Nguyễn Quí Lâm Page 28 NCKH: Nghiên cứu ứng dụng hệ thống xử lý ảnh thông qua Interactive Robot GVHD: PGS.TS Nguyễn Trường Thịnh { count _gree n++; } if (( ab s( pt r[ 3* x + 2] ptr[3*x+1])ptr [3*x+0]+40))//YELLOW { coun t_yel low+ +; } } } if (count_blue>500 00)// or 50000 { cout