Nhận dạng chuyển động bàn tay dựa vào phân đoạn màu thực hiện trên FPG

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN ĐỖ TRỌNG LUẬN NHẬN DẠNG CHUYỂN ĐỘNG BÀN TAY DỰA VÀO PHÂN ĐOẠN MÀU THỰC HIỆN TRÊN FPGA Chuyên ngành : Kỹ Thuật Điện Tử Mã số: 60 52 70 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng 06 năm 2013 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : TS Trương Công Dung Nghi Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày tháng năm Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA………… ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Đỗ Trọng Luận MSHV: 09140990 Ngày, tháng, năm sinh: 03/01/1986 Nơi sinh: TPHCM Chuyên ngành: Kỹ Thuật Điện Tử Mã số : 60 52 70 I TÊN ĐỀ TÀI: Nhận dạng chuyển động bàn tay dựa vào phân đoạn màu thực FPGA II NHIỆM VỤ VÀ NỘI DUNG : - Nghiên cứu kỹ thuật phân đoạn màu xử lý ảnh - Ứng dụng kỹ thuật phân đoạn màu để theo vết chuyển động bàn tay, dựa vào chuyển động để thực điều khiển hệ thống mà đề tài vẽ lên mặt phẳng III NGÀY GIAO NHIỆM VỤ : (Ghi theo QĐ giao đề tài) 21/01/2013 IV NGÀY HOÀN THÀNH NHIỆM VỤ: (Ghi theo QĐ giao đề tài) 21/06/2013 V CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, họ, tên): TS Trương Công Dung Nghi Tp HCM, ngày tháng năm 20 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) TRƯỞNG KHOA….……… (Họ tên chữ ký) Lời cảm ơn Tơi xin kính gửi lịng biết ơn chân thành đến TS Trương Cơng Dung Nghi, người tận tình giúp đỡ, hướng dẫn tạo điều kiện thuận lợi cho tơi hồn thành Luận Văn Thạc Sĩ Tơi xin chân thành cảm ơn quý Thầy Cô khoa Điện-Điện Tử tận tình truyền đạt cho tơi kiến thức vô vững suốt trình học tập trường Cuối lời cảm ơn đến gia đình, bạn bè động viên, khích lệ giúp đỡ suốt thời gian thực luận văn Tp Hồ Chí Minh, tháng 06 năm 2013 Nguyễn Đỗ Trọng Luận i HVTH: Nguyễn Đỗ Trọng Luận GVHD: TS Trương Cơng Dung Nghi TĨM TẮT Điều khiển cử lĩnh vực tương tác giao tiếp người thiết bị thông minh Luận văn hướng đến việc giải tốn nhận dạng hình thái cử bàn tay thực thiết bị dải cổng lập trình FPGA (Field Programmable Gate Array) Mục tiêu đề tài nhận dạng động tác bàn tay ngón tay đánh dấu ký hiệu màu, từ thực thi tác vụ đó, ví dụ điều khiển thiết bị, ghi với bàn phím ảo… Việc xây dựng thực giải thuật nhận dạng điều khiển FPGA có nhiều ràng buộc khó khăn thực phần mềm máy tính Do vậy, việc thiết kế giải thuật hiệu quả, tương thích với phần cứng thách thức lớn cần giải đề tài Kết đề tài khối mạch IP (intellectual property) nạp vào chip FPGA Altera Cyclone II kit DE2 kết nối với camera để nhận dạng chuyển động ngón tay đánh dấu ký hiệu màu từ vẽ đường nét theo chuyển động ngón tay HVTH: Nguyễn Đỗ Trọng Luận GVHD: TS Trương Công Dung Nghi Abstract Gesture interaction and control is a new way of communication between human and smart devices in the modern time This thesis aims to find a solution for the problem of hand’s gesture recognition implemented on FPGA (Field Programmable Gate Array) devices The purpose of this thesis is to recognize the gesture of the hand and the fingers marked with the color tape, and then use the recognized info (position, movement …) to some tasks, e.g virtual control, virtual typing… The building and implementation of the recognition algorithm on FPGA has more constraints and challenges than the implementation by computer software For that reason, it is very important to design an algorithm which has good compatible with hardware and also uses the hardware resource efficiently in order to have a fast object tracking time The result of the work is an intellectual property core to be downloaded to the Altera Cyclone II FPGA chip on Altera DE2 kit and connected with an external camera to track the finger tips and paint the lines based on finger’s movements HVTH: Nguyễn Đỗ Trọng Luận GVHD: TS Trương Công Dung Nghi Lời Cam Đoan Tôi xin cam đoan luận văn kết q trình tự tìm tịi nghiên cứu Mọi số liệu tính tốn chương trình trung thực Nguyễn Đỗ Trọng Luận i HVTH: Nguyễn Đỗ Trọng Luận GVHD: TS Trương Công Dung Nghi MỤC LỤC Chương I: Mở đầu giới thiệu tổng quan đề tài I Giới thiệu hoàn cảnh lý chọn đề tài II Tổng quan mục tiêu đề tài III Đối tượng phạm vi nghiên cứu IV Tóm tắt nội dung chương Chương II: Lý thuyết phân đoạn màu xử lý ảnh áp dụng vào nhận dạng theo dõi vật thể………… I Giới thiệu hệ thống theo vết vật thể di động II Tác động môi trường đến nhận dạng……………… III Thu hình ảnh khơng gian màu……………………… IV Nhận dạng vật thể……………………… …………… V Lọc hình thái…………………………………………… Chương III: Xây dựng chương trình nhận dạng chuyển động bàn tay dựa vào phân đoạn màu thực mạch phần cứng FPGA 11 I Giới thiệu kit Altera DE2 11 II Sơ đồ khối tổng quát chương trình .12 III Chi tiết thực chương trình 14 HVTH: Nguyễn Đỗ Trọng Luận GVHD: TS Trương Công Dung Nghi Chương IV: Kết Quả Và Phân Tích 54 I Kết thực thi 54 II Tốc độ thực thi thực tế chương trình kit DE2 54 III Độ xác nhận dạng .55 Chương V: Kết Luận Và Hướng Phát Triển .56 I Kết luận .56 II Hướng phát triển 56 Chương VI: Tài Liệu Tham Khảo .57 HVTH: Nguyễn Đỗ Trọng Luận GVHD: TS Trương Công Dung Nghi Chương I: Mở đầu giới thiệu tổng quan đề tài Chương giới thiệu tổng quan đề tài, số nghiên cứu có liên quan đến đề tài đề nhiệm vụ đề tài I Giới thiệu hoàn cảnh lý chọn đề tài Những năm gần chứng kiến bùng nổ thiết bị thông minh (smart devices) với nhiều ứng dụng, chức khác Việc giao tiếp người với thiết bị ngày đa dạng, không dừng việc giao tiếp bàn phím hay hình cảm ứng, mà cịn hướng đến giao tiếp “con người” thơng qua giọng nói, cử chỉ, suy nghĩ… Một ứng dụng thu hút quan tâm việc nhận dạng cử bàn tay, nhằm hướng đến việc xây dựng ứng dụng hồn tồn điều khiển chuyển động cử bàn tay [1,2,3] Hình 1.1: Một số ứng dụng dựa nhận dạng cử bàn tay [1] (từ trái sang phải: điều khiển việc phóng to thu nhỏ đồ; bàn phím ảo lịng bàn tay) Trước phát triển đa dạng ứng dụng xử lý ảnh video để nhận dạng cử động, đề tài “Nhận dạng chuyển động bàn tay dựa vào phân đoạn màu thực FPGA” chọn làm đề tài nghiên cứu luận văn thạc sĩ II Tổng quan mục tiêu đề tài Trang HVTH: Nguyễn Đỗ Trọng Luận GVHD: TS Trương Công Dung Nghi end else if(Y_addr == 'd478) begin we =X_START+60 && H_Cont=Y_START+330 && V_Cont