Thiết kế và thi công robot bám đuôi đối tượng trên nền hệ thống nhúng

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG LƯU THÀNH BẮC THIẾT KẾ VÀ THI CÔNG ROBOT BÁM ĐUỔI ĐỐI TƯỢNG TRÊN NỀN HỆ THỐNG NHÚNG Chuyên ngành: Kỹ thuật Điện tử Mã số: 60.52.02.03 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT Đà Nẵng - Năm 2015 Cơng trình hồn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học: TS HUỲNH VIỆT THẮNG Phản biện 1: TS HỒ PHƯỚC TIẾN Phản biện 2: TS NGUYỄN HOÀNG CẨM Luận văn bảo vệ Hội đồng chấm Luận văn tốt nghiệp Thạc sĩ chuyên ngành kỹ thuật điện tử Đại học Đà Nẵng vào ngày 21 tháng năm 2015 * Có thể tìm hiểu luận văn tại: Trung tâm Thông tin - Học liệu, Đại học Đà Nẵng MỞ ĐẦU Tính cấp thiết đề tài Hiện nay, việc ứng dụng khoa học công nghệ - kỹ thuật tiên tiến vào lĩnh vực khác đời sống ngày quen thuộc với người, tiện ích thuận lợi mà chúng mang lại cho sống phủ nhận Đặc biệt, hầu hết ngành nghề, dễ dàng nhận thấy diện loại máy móc nhằm giúp cho cơng việc dễ dàng giảm thiểu tối đa nguy hiểm cho người Cùng với yêu cầu ngày cao xã hội, loại máy tự động khơng ngừng hồn thiện cách thơng minh hơn, linh hoạt hơn, xác hơn, thân thiện với mơi trường người sử dụng Nghiên cứu điều khiển Robot toán nhà khoa học quan tâm, nhằm phục vụ cho người nhiều lĩnh vực quân sự, cứu nạn, thám hiểm hay ứng dụng đời thường sống Ngày nay, điều kiện khoa học kỹ thuật với đời sống xã hội ngày cao, điều dẫn tới Robot phải thông minh với ứng dụng cao để phục vụ tốt cho nhu cầu người Để làm điều đó, cần phải có kết nối “bộ não thông minh” kết cấu khí tối ưu để tạo nên Robot hoàn chỉnh Một hướng nghiên cứu khác Robot đại, vấn đề Robot thị giác thực hệ thống nhúng, toán hay ứng dụng nhiều thực tế Nhận thấy tầm quan trọng vấn đề này, định chọn luận văn “Thiết kế thi công Robot bám đuổi đối tượng hệ thống nhúng” Mục tiêu nghiên cứu Mục tiêu luận văn tập trung nghiên cứu, thiết kế chế tạo thử nghiệm Robot có khả tự động bám theo đối tượng định từ trước Robot chạy thử nghiệm đánh giá cách khách quan nhiều điều kiện mơi trường khác nhau, từ xác định khả ứng dụng luận văn vào đời sống người Đối tượng phạm vi nghiên cứu Nghiên cứu thuật toán phát bám đối tượng Luận văn tập trung vào thuật toán bám đuổi đối tượng dựa màu sắc đối tượng bám vật có màu sắc đơn giản Nghiên cứu loại Mobile Robot, luận văn chọn thi công xe Robot đơn giản Nghiên cứu cuối vấn đề thực thi thuật toán phát bám đối tượng hệ thống nhúng Hệ thống nhúng chọn dự kiến điện thoại thông minh có tích hợp sẵn camera chạy hệ điều hành Android Phương pháp nghiên cứu Kết hợp nghiên cứu lý thuyết từ môn học trường đại học giáo trình cao học kiến thức tổng hợp nguồn khác thi công Robot, thử nghiệm Robot điều kiện môi trường khác 3 Bố cục đề tài Nội dung luận văn “Thiết kế thi cơng Robot bám đuổi đối tượng hệ thống nhúng” bao gồm chương: Chương 1: Tổng quan Chương 2: Giới thiệu thuật toán phát bám đuổi đối tượng Chương 3: Xây dựng thuật toán bám đuổi đối tượng hệ thống nhúng Chương 4: Thiết kế thi công phần cứng Robot Chương 5: Thử nghiệm đánh giá kết Tổng quan tài liệu Để thực luận văn này, tổng hợp kiến thức, nội dung nghiên cứu trước bao gồm lĩnh vực kỹ thuật mạch điện tử, kỹ thuật vi điều khiển, kỹ thuật xử lý ảnh Cùng với kiến thức bổ ích internet với vấn đề liên quan đến luận văn tác giả nước Luận văn tốt nghiệp đại học liên quan đến phần Robot xử lý ảnh máy tính cung cấp nhiều kiến thức việc thi công Robot thuật toán xử lý ảnh Đặc biệt, hướng dẫn, giúp đỡ tận tình chun mơn vấn đề khác TS Huỳnh Việt Thắng giúp tơi hồn thành luận văn 4 CHƯƠNG TỔNG QUAN 1.1 GIỚI THIỆU CHƯƠNG Trong giới đại, người ngày khám phá chinh phục nhiều tầm cao lĩnh vực đời sống Để làm công việc này, điều khiển bàn tay khối óc người, phải kể đến vai trò vơ quan trọng khơng thể thiếu máy móc Nhưng, loại máy xuất từ nào, người lại cần đến hỗ trợ chúng công việc…, thắc mắc giải chương 1.2 GIỚI THIỆU CHUNG VỀ ROBOT 1.2.1 Lịch sử phát triển Robot 1.2.2 Các hệ Robot 1.2.3 Những xu hướng phát triển Robot đại 1.3 KẾT LUẬN CHƯƠNG Như vậy, qua vài nét trình bày trên, hiểu trình hình thành phát triển Robot, vai trò tầm quan trọng chúng sống người Cũng qua chương này, luận văn khái quát yêu cầu cần đạt để có nhìn tổng quan luận văn 5 CHƯƠNG GIỚI THIỆU THUẬT TOÁN PHÁT HIỆN ĐỐI TƯỢNG 2.1 GIỚI THIỆU CHƯƠNG Xử lý ảnh lĩnh vực mang tính khoa học cơng nghệ Nó ngành khoa học mẻ so với nhiều ngành khoa học khác tốc độ phát triển nhanh, kích thích trung tâm nghiên cứu, ứng dụng, đặc biệt máy tính chun dụng riêng cho Trong chương này, tìm hiểu tổng quan hệ thống xử lý ảnh thuật toán phát bám đuổi đối tượng dùng luận văn 2.2 MỘT SỐ KHÁI NIỆM TRONG XỬ LÝ ẢNH 2.3 TỔNG QUAN VỀ PHÁT HIỆN ĐỐI TƯỢNG DỰA VÀO MÀU SẮC 2.3.1 Tổng quan phát đối tượng Phát đối tượng chuyển động toán nghiên cứu rộng rãi có nhiều ứng dụng sống Đó xác minh diện đối tượng chuỗi ảnh định vị xác Các hệ thống theo vết đối tượng thường bắt đầu qúa trình phát đối tượng 2.3.2 Các không gian màu a Không gian màu RGB b Không gian màu HSV c Chuyển đổi không gian màu Từ không gian màu RGB sang không gian màu HSV 60° h= 60° s=( 60° 60° $ , 0° , 360° , 120° , $ 240° , 0, v = max 1) , *+, - ! #! ! (2.1) Trong max = max(r, g, b) = min(r, g, b) Các thành phần màu r, g, b có giá trị nằm đoạn [0,1] Từ không gian màu HSV sang không gian màu RGB hi = /123 * f = 12 ) hi p=v ( 1- s) ) 41 ) 41 ) 46, +, 75, 48, 6, 75, 47, 6, +5, (r ,g, b) = 47, 8, 65, 4+, 7, 65, 46, 7, 85, q=v t=v (1 – f , , , , , , (2.2) 2.3.3 Moment ảnh (Image moment) 2.3.4 Phân vùng ảnh a Khái niệm b Phương pháp phân vùng ảnh theo ngưỡng biên độ c Kỹ thuật lấy ngưỡng Kỹ thuật dựa ý tưởng đơn giản Một tham số θ, gọi ngưỡng độ sáng, chọn để áp dụng cho ảnh a[m,n] theo cách sau: θ a [m,n] = “ đối tượng ” = Nếu a [m,n] Ngược lại a [m,n] = “ ” =0 2.3.5 Phương pháp lọc nhiễu a Tổng quan phương pháp lọc nhiễu b Lọc trung vị (Median filter) Lọc Trung vị kĩ thuật lọc phi tuyến (non-linear), hiệu hai loại nhiễu: nhiễu đốm (speckle noise) nhiễu muối tiêu (salt-pepper noise) Định nghĩa: Phần tử b dãy có 2m+1 phần tử x1, x2, , xm, xm+1, xm+2, , x2m, x2m+1 gọi trung vị có m phần tử lớn b m phần tử nhỏ b Giả sử A= {a1, a2, a3, , aK} giá trị pixel cửa sổ lân cận với a1 ≤ a2 ≤ ≤ aK Thì Median(A) =: ; < ế > ?,ẵ ; AB < ế > Cẻ Sơ lược cách ngắn gọn bước giải thuật: Quét cửa sổ lọc lên thành phần ảnh gốc; điền giá trị quét vào cửa sổ lọc Lấy thành phần cửa sổ lọc để xử lý Sắp xếp theo thứ tự thành phần cửa sổ lọc Lưu lại thành phần trung vị, gán cho ảnh đầu 2.4 SƠ ĐỒ THUẬT TOÁN PHÁT HIỆN ĐỐI TƯỢNG DỰA VÀO MÀU SẮC bước để phát đối tượng sau: Bước 1: chọn đối tượng chạm để định màu đối tượng Bước 2: Chuyển ảnh RGB hệ màu HSV Bước 3: thực phân ngưỡng ảnh: tạo ảnh nhị phân từ ảnh HSV với ngưỡng thích hợp Các điểm ảnh nằm khoảng ngưỡng có giá trị (trắng), điểm lại có giá trị (đen) Bước 4: làm mịn ảnh phân ngưỡng để loại bỏ điểm nhiễu sử dụng lọc trung vị Bước 5: tính tốn moment M00, M10 M01 để tính tâm diện tích đối tượng Sơ đồ thuật toán phát đối tượng dựa vào màu sắc hình 2.1 2.4 KẾT LUẬN CHƯƠNG Qua chương này, hiểu thêm số khái niệm ảnh số vấn đề liên quan đến việc làm để phát đối tượng dựa vào màu sắc đối tượng Sau phát đối tượng cần theo dõi, chương cho thấy cách thức Robot di chuyển theo đối tượng Lựa chọn màu đối tượng cần phát Chuyển ảnh từ định dạng RGB sang HSV ảnh chứa đối tượng cần phát Trả kết định xem đối tượng nằm vị trí Lấy ngưỡng lọc màu Sử dụng lọc trung vị để lọc nhiễu Tính tọa độ tâm diện tích đối tượng Hình 2.1 Sơ đồ thuật tốn phát đối tượng dựa vào màu sắc 10 CHƯƠNG XÂY DỰNG THUẬT TOÁN BÁM ĐUỔI ĐỐI TƯỢNG TRÊN HỆ THỐNG NHÚNG 3.1 GIỚI THIỆU CHƯƠNG Hệ thống nhúng (Embedded system) thuật ngữ để hệ thống có khả tự trị nhúng vào môi trường hay hệ thống mẹ Đó hệ thống tích hợp phần cứng phần mềm phục vụ tốn chun dụng nhiều lĩnh vực cơng nghiệp, tự động hoá điều khiển, quan trắc truyền tin Đặc điểm hệ thống nhúng hoạt động ổn định có tính tự động hố cao Ở toán xử lý ảnh, yêu cầu hệ thống phần cứng để thực thi thuật toán phát bám đuổi đối tượng nghiên cứu phát triển, nhiều tảng hệ thống nhúng thực phần cứng KIT FriendlyArm micro2440, máy tính nhúng PC-104,…ở luận văn này, sử dụng hệ thống phần cứng điện thoại chạy hệ điều hành Android để thực thi thuật toán xử lý ảnh 3.2 NỀN TẢNG HỆ ĐIỀU HÀNH ANDROID 3.2.1 Sự phát triển hệ điều hành Android 3.2.2 Những đặc điểm khác biệt hệ điều hành Android 3.3 KIẾN TRÚC CỦA HỆ ĐIỀU HÀNH ANDROID 3.3.1 Applications (Tầng ứng dụng) 3.3.2 Application Framework (Nền tảng ứng dụng) 3.3.3 Library (Thư viện) 11 3.3.4 Android Runtime (Môi trường thực thi) 3.3.5 Linux Kernel 3.4 THƯ VIỆN XỬ LÝ ẢNH OPENCV 3.4.1 Vài nét Computer Vision 3.4.2 Thư viện OpenCV a Lịch sử OpenCV b Cấu trúc OpenCV c OpenCV Android 3.5 THUẬT TOÁN PHÁT HIỆN VÀ BÁM VẬT TRÊN ĐIỆN THOẠI ANDROID a Video Processing Library - Thư viện xử lý video b Frame Processor - Xử lý khung hình c Android Application - Ứng dụng Android d Robot Controller Library - Thư viện điều khiển Robot Có tổng cộng phương thức sử dụng để điều khiển Robot: chạy thẳng, rẽ trái, rẽ phải, chạy lùi, đứng im ứng với hướng khoảng cách Robot với đối tượng Để dễ hình dung ta có hình vẽ mô tả cách thức Robot bám theo đối tượng sau: 12 CHẠY THẲNG RẼ TRÁI ĐỨNG IM RẼ PHẢI CHẠY LÙI Hình 3.1 Vị trí tâm đối tượng mà Robot thực thi lệnh Sơ đồ hoạt động Robot xây dựng hình 3.2 3.6 KẾT LUẬN CHƯƠNG Như vậy, vấn đề trình bày chương kết thúc cho toàn phần lý thuyết liên quan đến hoạt động chung hệ thống Tuy vấn đề trình bày ngắn gọn, vơ vùng quan trọng mắt xích khơng thể thiếu hệ thống, ảnh hưởng trực tiếp đến hoạt động xác Robot Vì thế, việc lập trình cần đạt độ xác tối đa để hoạt động Robot xác 13 13 Hình 3.2 Sơ đồ hoạt động Robot 14 CHƯƠNG THIẾT KẾ VÀ THI CÔNG PHẦN CỨNG ROBOT 4.1 GIỚI THIỆU CHƯƠNG Yêu cầu thiết kế phần cứng là: Robot phải có tải trọng khoảng 1kg, để đỡ board mạch điện tử, điện thoại Android, pin linh kiện khí khác Các mạch điện tử chắn, thiết kế nhỏ gọn, đẹp làm việc theo sơ đồ nguyên lý Nguồn cho Robot phải ổn định áp dòng 4.2 KHUNG XE ROBOT R4WD a Khung xe b Động DC giảm tốc GA12-N20 c Đĩa encoder d Bánh xe e Pin Li-On 18650 4.3 BOARD ARDUINO MEGA 2560 ADK 4.4 MODULE ĐIỀU KHIỂN ĐỘNG CƠ 4.5 KẾT LUẬN CHƯƠNG Trong chương vừa rồi, luận văn trình bày cách khái quát phần cứng Robot Các kết cấu phần cứng có sẵn thị trường, sản xuất tự động tránh lỗi đứt dây board mạch, bong mối hàn rửa mạch in thủ cơng hay lỗi vấn đề tính tốn thiết kế, lợi đáng kể làm luận văn 15 CHƯƠNG THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 5.1 YÊU CẦU CỦA CHƯƠNG ĐÁNH GIÁ Trong chương này, luận văn đánh giá khả phát bám theo đối tượng robot điều kiện ánh sáng môi trường khác Yêu cầu phải phát đối tượng điều kiện ánh sáng lý tưởng, mơi trường khơng có nhiều vật màu với đối tượng 5.2 THỬ NGHIỆM VÀ ĐÁNH GIÁ CHƯƠNG TRÌNH TRÊN THIẾT BỊ ANDROID VÀ KHẢ NĂNG LÀM VIỆC CỦA ROBOT 5.2.1 Thử nghiệm đánh giá chương trình thiết bị Android Ánh sáng lý tưởng chọn phòng sử dụng ánh sáng trắng đèn huỳnh quang công suất 36W gạch men màu trắng Hình 5.1 biểu diễn việc sử dụng bóng tenis người mặc áo màu xanh làm đối tượng cần theo dõi Kết cho thấy chương trình chạy ổn định, đối tượng chọn (có đường bao màu xanh), khơng bị nằm khung hình thiết bị 16 Hình 5.1 Kết thử nghiệm với đối tượng màu xanh môi trường ánh sáng lý tưởng Môi trường ánh sáng yếu chọn mơi trường phòng có gạch màu trắng tắt bóng đèn huỳnh quang, ánh sáng bên ngồi chiếu vào phòng hạn chế Hình 5.2 kết thử nghiệm mơi trường ánh sáng yếu Cùng bóng tenis đối tượng mặc áo màu xanh, môi trường ánh sáng yếu, thuật tốn nhận biết màu khơng xác, chương trình lúc phát lúc khơng phát đối tượng Hình 5.2 Kết thử nghiệm với đối tượng màu xanh môi trường ánh sáng yếu 17 5.2.2 Thử nghiệm đánh giá khả làm việc Robot Sau thử nghiệm chương trình thiết bị Android, luận văn thực chạy thử nghiệm Robot môi trường ánh sáng lý tưởng, môi trường ánh sáng yếu có nhiều vật đồng màu với đối tượng Robot khơng thể thực thuật tốn bám đối tượng Hình 5.3 Kết thử nghiệm Robot bám đối tượng 18 5.3 KẾT LUẬN CHƯƠNG Qua kết thu từ thử nghiệm trên, thấy hiệu suất làm việc chương trình xử lý ảnh khả bám đối tượng Robot Robot bám theo đối tượng mơi trường ánh sáng lý tưởng khơng có nhiều vật thể đồng màu với đối tượng, thực theo mục đích yêu cầu luận văn 19 KẾT LUẬN VÀ KIẾN NGHỊ Luận văn trình bày cách khái quát lịch sử phát triển hệ Robot, tổng quan kỹ thuật xử lý ảnh, khái niệm tính chất hệ thống xử lý ảnh thuật ngữ dùng lĩnh vực ảnh số Ngoài luận văn giới thiệu tảng di động dành cho nhà phát triển ứng dụng di động hệ điều hành Android Cùng với thư viện xử lý ảnh OpenCV, thư viện sử dụng nhiều làm việc với toán nhận dạng ứng dụng tốn Áp dụng lý thuyết vào thực tế, luận văn nghiên cứu toán phát nhận dạng đối tượng theo màu sắc, viết chương trình cài đặt thành cơng phần mềm phát đối tượng điện thoại chạy hệ điều hành Android Thiết kế thi công thành công xe Robot kết nối với thiết bị Android để bám theo đối tượng chọn Tuy hoàn thành luận văn theo yêu cầu đề trước đó, với phát triển khơng ngừng nhanh chóng kỹ thuật xử lý ảnh kỹ thuật Robot nhà khoa học ngồi nước nghiên cứu thời gian hạn hẹp nên luận văn giới hạn việc phát bám theo đối tượng dựa vào màu sắc Vì vây, có thời gian điều kiện cho phép dựa sở đề tài luận văn thực hiện, mở rộng thực thuật toán xử lý ảnh việc thi công Robot tinh vi mang lại nhiều lợi ích nhằm ứng dụng vào lĩnh vực đời sống người: Cải tiến thuật toán xử lý ảnh phát đối tượng, tăng khả làm việc môi trường khác nhau, tăng tốc độ 20 làm việc thuật toán Kết hợp thêm lọc Kalman với thuật tốn để theo dõi đối tượng chuyển động nhanh, kích thước bé Cải tiến phần cứng Robot để cải thiện chất lượng bám đuổi đối tượng, thêm vào module cần thiết tùy vào ứng dụng cụ thể,ví dụ module đo khoảng cách để tránh va chạm với vật cản sử dụng hệ thống camera để đo chiều sâu kích thước đối tượng  ... trình cao học kiến thức tổng hợp nguồn khác thi công Robot, thử nghiệm Robot điều kiện môi trường khác 3 Bố cục đề tài Nội dung luận văn Thi t kế thi cơng Robot bám đuổi đối tượng hệ thống nhúng”... nghiên cứu khác Robot đại, vấn đề Robot thị giác thực hệ thống nhúng, toán hay ứng dụng nhiều thực tế Nhận thấy tầm quan trọng vấn đề này, định chọn luận văn Thi t kế thi công Robot bám đuổi... khơng thể thi u máy móc Nhưng, loại máy xuất từ nào, người lại cần đến hỗ trợ chúng công việc…, thắc mắc giải chương 1.2 GIỚI THI U CHUNG VỀ ROBOT 1.2.1 Lịch sử phát triển Robot 1.2.2 Các hệ Robot