(Đồ án tốt nghiệp) ứng dụng xử lý ảnh trong điều khiển thiết bị bằng cử chỉ tay sử dụng kit raspberry pi

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM KHOA ĐIỆN - ĐIỆN TỬ ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ - TRUYỀN THÔNG ỨNG DỤNG XỬ LÝ ẢNH TRONG ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ CHỈ TAY SỬ DỤNG KID RASPBERRY PI GVHD: ThS NGƠ QUỐC CƯỜNG SVTH: NGƠ HỒI BẢO MSSV: 12141476 SVTH: NGUYỄN TRUNG ĐẠT MSSV: 12141049 SKL004344 Tp Hồ Chí Minh, tháng 7/2016 BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MƠN ĐIỆN TỬ-CÔNG NGHIỆP - ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH TRONG ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ CHỈ TAY SỬ DỤNG KIT RASPBERRY PI GVHD: ThS.Ngô Quốc Cường SVTH: Ngô Hồi Bảo Nguyễn Trung Đạt Tp Hồ Chí Minh – 7/2016 BỘ GIÁO DỤC & ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ-CÔNG NGHIỆP - ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH TRONG ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ CHỈ TAY SỬ DỤNG KIT RASPBERRY PI GVHD: ThS.Ngô Quốc Cường SVTH: Ngơ Hồi Bảo Nguyễn Trung Đạt Tp Hồ Chí Minh – 7/2016 LỜI CAM ĐOAN Đề tài nhóm tự thực dựa vào số tài liệu trước khơng chép từ tài liệu hay cơng trình có trước Người thực đề tài Nguyễn Trung Đạt Ngơ Hồi Bảo LỜI CẢM ƠN Em xin gởi lời cảm ơn sâu sắc đến thầy Ngô Quốc Cường trực tiếp hướng dẫn tận tình giúp đỡ tạo điều kiện để hồn thành tốt đề tài Em xin gởi lời chân thành cảm ơn thầy cô Khoa Điện-Điện Tử tạo điều kiện tốt cho em hoàn thành đề tài Em gửi lời đồng cảm ơn đến bạn lớp 12141DT2 chia sẻ trao đổi kiến thức kinh nghiệm quý báu thời gian thực đề tài Xin chân thành cảm ơn! Người thực đề tài Ngơ Hồi Bảo Nguyễn Trung Đạt MỤC LỤC Trang bìa I Nhiệm vụ đồ án II Lịch trình III Cam đoan IV Lời cảm ơn V Mục lục VI Liệt kê hình vẽ IX Liệt kê bảng vẽ XI Tóm tắt XII Chương TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ 1.2 MỤC TIÊU 1.3 NỘI DUNG NGHIÊN CỨU 1.4 GIỚI HẠN 1.5 BỐ CỤC ĐỀ TÀI Chương CƠ SỞ LÝ THUYẾT 2.1 TÌM HIỂU KIT RASPBERRY PI 2(RPI2) 2.2 NGÔN NGỮ KÝ HIỆU 2.3 TÌM HIỂU XỬ LÝ ẢNH 2.3.1 GIỚI THIỆU 2.3.1.1 Phần thu nhận ảnh (Image Acquisition) 2.3.1.2 Tiền xử lý (Image Processing) 2.3.1.3 Phân đoạn (Segmentation) hay phân vùng ảnh 2.3.1.4 Biểu diễn ảnh (Image Representation) 2.3.1.5 Nhận dạng nội suy ảnh (Image Recognition and Interpretation) .9 2.3.1.6 Cơ sở tri thức (Knowledge Base) 10 2.3.2 NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH 10 2.3.2.1 Điểm ảnh ( Picture Element) 10 2.3.2.2 Ảnh 10 2.3.2.3 Độ phân giải ảnh 11 2.3.2.4 Mức xám ảnh 11 2.3.2.5 Ảnh nhị phân 12 2.3.2.6 Ảnh màu 12 2.3.2.7 Khử nhiễu 12 2.3.2.8 Chỉnh mức xám 12 2.3.2.9 Nhận dạng ảnh 12 2.4 PHÁT HIỆN MÀU DA DỰA VÀO KHÔNG GIAN MÀU 13 2.4.1 GIỚI THIỆU 13 2.4.2 CHUYỂN ẢNH MÀU THÀNH ẢNH XÁM 13 2.4.3 KHÔNG GIAN MÀU 14 2.4.3.1 Không gian màu RGB 15 2.4.3.2 Không gian màu HSV 16 2.5 THUẬT TỐN ADABOOST VÀ MƠ HÌNH CASCADE 16 2.5.1 ĐẶC TRƯNG HAAR-LIKE 16 2.5.2 ĐẶC TRƯNG HISTOGRAM OF ORIENTED GRADIENTS (HOG) 18 2.5.2.1 Rút trích đặc trưng HOG ảnh 19 2.5.2.2 Chuẩn hóa vector đặc trưng cho block 22 2.5.3 THUẬT TOÁN TĂNG TỐC ADABOOST 23 2.5.4 MƠ HÌNH CASCADE 26 2.5.4.1 Giai đoạn huấn luyện phân loại (stage) 28 2.5.4.2 Tầng phân loại (Cascade) 28 Chương TÍNH TỐN THIẾT KẾ 31 3.1 GIỚI THIỆU 31 3.2 TÍNH TỐN VÀ THIẾT KẾ HỆ THỐNG 31 3.2.1 THIIẾT KẾ SƠ ĐỒ KHỐI HỆ THỐNG 31 3.2.2 TÍNH TỐN VÀ THIẾT KẾ MẠCH 31 3.2.2.1 Khối nhận dạng cử 31 3.2.2.2 Khối công suất 33 3.3 SƠ ĐỒ NGUYÊN LÝ TOÀN MẠCH 34 Chương THI CÔNG HỆ THỐNG 35 4.1 GIỚI THIỆU 35 4.2 THI CÔNG 35 4.2.1 DANH SÁCH LINH KIỆN 35 4.2.2 SƠ ĐỒ SẮP XẾP LINH KIỆN 35 4.2.3 SƠ ĐỒ MẠCH IN 36 4.3 LẬP TRÌNH HỆ THỐNG NHẬN DẠNG CỬ CHỈ TAY 37 4.3.1 LƯU ĐỒ GIẢI THUẬT NHẬN DIỆN CỬ CHỈ TAY BẰNG NGƯỠNG MÀU DA 37 4.3.2 QUY TRÌNH HUẤN LUYỆN PHÁT HIỆN BÀN TAY TRÊN MÁY TÍNH 39 4.4 KẾT QUẢ MƠ PHỎNG 44 Chương KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ 47 5.1 NHỮNG MẶT ĐÃ LÀM ĐƯỢC 47 5.2 NHỮNG MẶT CHƯA LÀM ĐƯỢC 47 5.3 NHỮNG KẾT QUẢ BẰNG HÌNH ẢNH CỦA ĐỀ TÀI THU ĐƯỢC .47 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 50 6.1 KẾT LUẬN 50 6.2 HƯỚNG PHÁT TRIỂN 50 TÀI LIỆU THAM KHẢO PHỤ LỤC A HƯỚNG DẪN SỬ DỤNG B CODE CHƯƠNG TRÌNH LIỆT KÊ HÌNH VẼ Hình Trang Hình 2.1 Kit Raspberry Pi Model B v1.1 Hình 2.2 Cử bàn tay số từ 1-10 ASL Hình 2.3 Mơ tả bước xử lý ảnh Hình 2.4 Ảnh RGB 14 Hình 2.5 Chuyển ảnh màu thành ảnh xám 14 Hình 2.6 Các màu sở 15 Hình 2.7 Khơng gian màu RGB 15 Hình 2.8 Khơng gian màu HSV 16 Hình 2.9 Đặc trưng theo cạnh 16 Hình 2.10 Đặc trưng theo đường 17 Hình 2.11 Đặc trưng xung quanh tâm 17 Hình 2.12 Đặc trưng theo đường chéo 17 Hình 2.13 Ảnh chia nhỏ vị trí (x,y) 18 Hình 2.14 Tổng giá trị pixel nằm vùng A 18 Hình 2.15 R-HOG C-HOG 19 Hình 2.16 Mỗi khối (block) gồm 20 Hình 2.17 Các khối xếp chồng lên 20 Hình 2.18 Tính góc biên độ theo X-Gradient Y-Gradient 21 Hình 2.19 Các bước rút trích đặc trưng HOG 22 Hình 2.20 Lược đồ AdaBoost 23 Hình 2.21 Thuật toán học AdaBoost 24 Hình 2.22 Dùng chuỗi Cascade để phát cửa sổ phù hợp 27 Hình 2.23 Cấu trúc chuỗi Cascade song song 28 Hình 2.24 Cấu trúc chuỗi cascade nối tiếp, với N giai đoạn học huấn luyện 29 Hình 3.1 Sơ đồ khối hệ thống 31 Hình 3.2 Sơ đồ chân kit raspberry Pi 32 Hình 3.3 Camera pi kết nối với kit Raspberry pi 33 Hình 3.4 Sơ đồ nguyên lý khối công suất 33 Hình 3.5 Sơ đồ kết nối khối công suất với kit Raspberry pi 34 Hình 4.1 Sơ đồ xếp linh kiện phần mềm 36 Hình 4.2 Sơ đồ xếp linh kiện thực tế 36 Hình 4.3 Sơ đồ mạch in khối công suất 37 Hình 4.4 Lưu đồ giải thuật nhận diện cử tay ngưỡng màu da 38 Hình 4.5 Một số ảnh positive tập huấn luyện 40 Hình 4.6 Một số ảnh negative tập huấn luyện 40 CHƯƠNG THI CÔNG HỆ THỐNG Thư mục “305-1” Hình 4.11 Thư mục chứa file L305_GOP MAT, thư mục “po”, “ne” Thư mục “po” chứa ảnh tích cực (positive) Thư mục “ne” chứa ảnh tiêu cực (negative) Thực dòng lệnh: load('L305_GOP.mat'); imDir = fullfile('po'); addpath(imDir); negativeFolder = fullfile('ne');  Bước 6: Tiến hành huấn luyện Các tham số có lệnh huấn luyện: trainCascadeObjectDetector  'ObjectTrainingSize': Kích thước ảnh để huấn luyện [height, width]: Tỉ lệ theo ảnh tích cực, thường nhỏ kích thước ảnh tích cực để q trình huấn luyện nhanh BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 43 CHƯƠNG THI CÔNG HỆ THỐNG Nếu ta không thêm tham số vào hệ thống chế độ “Auto”, tự định kích thước ảnh huấn luyện  'NegativeSamplesFactor': Tỉ lệ ảnh âm Số lượng ảnh âm sử dụng cho giai đoạn (stage) = 'NegativeSamplesFactor' x Số lượng ảnh dương giai đoạn Mặc định:  'NumCascadeStages': Số giai đoạn Số giai đoạn tăng lên tăng tính xác huấn luyện, yêu cầu thời gian lâu cấn nhiều hình ảnh Mặc định: 20  'FalseAlarmRate': Tỉ lệ sai Có giá trị từ (0,1] Mặc định: 0,5 Là tỉ lệ sai chấp nhận giai đoạn  'TruePositiveRate': Tỉ lệ ảnh tích cực giai đoạn Có giá trị (0,1] Mặc định: 0,995  'FeatureType': Loại huấn luyện Gồm loại: ‘Haar’: Haar-like ‘LBP’: Local Binary Patterns (Mẫu nhị phân cục bộ) ‘HOG’: Histogram Gradients Oriented (Lược đồ xám) Mặc định ‘HOG’ Thực dòng lệnh: trainCascadeObjectDetector('L305.xml',L305_1,negativeFolder,'FalseAlarmRate',0.1, 'NumCascadeStages',1 4.4 KẾT QUẢ MƠ PHỎNG Bảng 4.2 Kết mơ Ảnh gốc BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 44 CHƯƠNG THI CÔNG HỆ THỐNG (s) (đ) (đ) (đ) (đ) (đ) BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 45 CHƯƠNG THI CÔNG HỆ THỐNG (đ) (s) (s) (đ) BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 46 CHƯƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Chương KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ 5.1 NHỮNG MẶT ĐÃ LÀM ĐƯỢC Tìm hiểu phương pháp nhận dạng cử bàn tay: Thuật toán nhận diện dựa vào màu da kết hợp với thuật tốn adabosst mơ hình cascade Nhận dạng tương tối xác mơi trường ánh sáng đầy đủ Áp dụng thuật toán cắt ảnh từ ảnh gốc, vẽ khung hình ảnh mong muốn ảnh gốc, tính tốn góc, xử lý nhiễu, phân ngưỡng Xử lý ảnh có độ khó tương đối: Có thêm khn mặt, có hành động đưa tay, nhận dạng khoảng cách từ 50cm đến 120cm Ứng dụng thư viện có sẵn Opencv, ngơn ngữ lập trình python, tiến hành huấn luyện mơ hình cascade ứng dụng matlab Ứng dụng thực tế mơ hình relay điều khiển thiết bị 5.2 NHỮNG MẶT CHƯA LÀM ĐƯỢC Trong q trình thực đề tài, nhóm tiến hành thu thập mẫu huấn luyện hạn chế số lượng độ phức tạp ảnh mẫu Số cử nhận dạng bị giới hạn (5 cử chỉ) đơn giản Vẫn nhiều ảnh bị nhận dạng thiếu sai Mơ hình nhận dạng từ camera nhiều hạn chế việc nhận dạng ánh sáng, nhiễu từ ngoại cảnh có màu ngưỡng màu da Vùng nhận dạng sai có diện tích lớn vùng có bàn tay cần nhận dạng Thực điều khiển thiết bị dạng đơn giản, xuất mức cao thấp để điều khiển, chưa có ứng dụng nhiều vào thiết bị phức tạp 5.3 NHỮNG KẾT QUẢ BẰNG HÌNH ẢNH CỦA ĐỀ TÀI THU ĐƯỢC Hình 5.1 Hộp sản phẩm BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP CHƯƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 5.2 Mặt trước hộp sản phẩm BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 48 CHƯƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 5.3 Kết nối mạch cơng suất với raspberry pi BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 49 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 KẾT LUẬN Bảng 6.1 Kết luận Điều kiện Cử Ánh sáng đầy đủ + Nền đơn giản Ánh sáng + Nền đơn giản Ánh sáng đầy đủ + Nền phức tạp (có khn mặt) Ánh sáng đầy đủ + Nền phức tạp (có khn mặt loại nhiễu) Như vậy, mơ hình hồn thành tốt mục tiêu ban đầu đề ra, có khả điều khiển thiết bị theo mong muốn, đảm bảo an toàn, thẩm mỹ, sau đóng hộp cần cắm điện đợi thời gian khởi động phút hệ thống tự hoạt động Dễ dàng thay đổi sửa chữa với khối tách rời Tuy nhiên khoảng cách ứng dụng đưa thực tế chưa khả thi, khoảng cách nhận diện tầm 1,2m tốc độ xử lý kit tương đối chậm Trong khoảng thời gian hoạt động, khơng cịn điều khiển máy tính trực quan trình hoạt động, kit dễ xảy tình trạng ngắt khơng nhận thấy ảnh khung ảnh thay đổi nhanh 6.2 HƯỚNG PHÁT TRIỂN Phát triển mơ hình nhận dạng nhiều cử hơn, đưa lệnh điều khiển phức tạp (tăng giảm âm lượng, đóng ngắt lập tức, nhận diện theo thay đổi hành động) Xây dựng kho ảnh huấn luyện phức tạp, có độ xác cao Sử dụng kit có chip vi xử lý nhanh để xử lý ảnh với tốc độ cao Phát triển rộng rãi đời sống sinh hoạt, công nghệ điều khiển xe, robot BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 50 TÀI LIỆU THAM KHẢO TÀI LIỆU THAM KHẢO [1] Chen Chiung Hsieh and Dung Hua Liou, “A Real Time Hand Gesture Recognition System Using Motion History Image”, International Conference on Signal Processing Systems (ICSPS), vol 2, pp 394-398, 2010 [2] Dharani Mazumdar, Anjan Kumar Talukdar and Kandarpa Kumar Sarma, Feng Wang, Hui Deng and Kaifan Ji, “Gloved and Free Hand Tracking based Hand Gesture Recognition”, ICETACS, pp 197-202, 2013 [3] Trần Nguyên Ngọc, “Nghiên cứu phát triển kỹ thuật nhận dạng cử động bàn tay người theo thời gian thực”, mã số KC01.TN08/11-15 thuộc chương trình “Nghiên cứu ứng dụng phát triển công nghệ Thông tin Truyền thông” [4] Võ Đắc Thọ Trần Quang Tráng, “Nhận diện cử bàn tay sử dụng phân cụm K-MEANS mạng NƠ-RON” , đồ án tốt nghiệp thực tại: Bộ môn Điện Tử Viễn Thông, Khoa Điện - Điện Tử, Trường Đại học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh năm 2014 [5] Nguyễn Đăng Duy Phạm Công Tâm, “Nhận diện khuôn mặt ứng dụng bảo mật chấm cơng dùng kít raspberry pi”, đồ án tốt nghiệp thực tại: Bộ môn Điện Tử Công Nghiệp, Khoa Điện - Điện Tử, Trường Đại học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh năm 2015 [6] Nguyễn Duy Phương Nguyễn Thành Tâm, “Ứng dụng xử lý ảnh cảnh báo tài xế ngủ gật”, đồ án tốt nghiệp thực tại: Bộ môn Điện Tử Công Nghiệp, Khoa Điện - Điện Tử, Trường Đại học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh năm 2014 [7] Nguyễn Sơn Lâm, “Giới thiệu loạt hướng dẫn lập trình Raspberry” website https://xivila.com [8] Nguyễn Sơn Lâm, “Giới thiệu loạt hướng dẫn lập trình Raspberry” website https://xivila.com [9] Bài viết “Ngôn ngữ ký hiệu Mỹ”, website https://vi.wikipedia.org/ [10] Bài viết: “Learning American Sign Language (ASL)”, website http://americansignlanguage1.weebly.com/ [11] Nguyễn Quang Hoan, Bài viết: “Xử lý ảnh” website http://123doc.org/ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP TÀI LIỆU THAM KHẢO [12] Nguyễn Sơn Lâm, “Giới thiệu loạt hướng dẫn lập trình Raspberry” website https://xivila.com [13] Alex, viết “RPI.GPIO basics – Setting up and using output with RPI.GPIO”, website http://www.raspi.tv [14] Datasheet PC817 Series, hãng Sharp, website: http://www.alldatasheet.com [15] Datasheet 2SC1815, hãng Toshiba, website: http://www.alldatasheet.com [16] Datasheet relay HF3FF, hãng HONGFA, website: http://www.alldatasheet.com BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP PHỤ LỤC PHỤ LỤC A HƯỚNG DẪN SỬ DỤNG  Bước 1: Gắn thiết bị cần điều khiển vào domino (ngõ hệ thống)  Bước 2: Cấp nguồn cho hệ thống, kiểm tra có nguồn hay chưa, có nguồn đèn kit Raspberry sáng, đèn báo camera hoạt động  Bước 3: Khi có nguồn hệ thống, tiến hành cấp nguồn cho thiết bị qua domino chân Nguồn phụ thuộc vào loại thiết bị gì? (220VAC, 12VDC, …)  Bước 4: Tiến hành kiểm tra hoạt động mạch sử dụng cách đưa cử tay hướng dẫn Thay đổi điều kiện ánh sáng, vị trí đặt sản phẩm kết hoạt động mạch có sai sót B CODE CHƯƠNG TRÌNH Chương trình xóa khn mặt: Chương trình phát vùng chứa bàn tay: Chương trình loại bõ nhiễu: BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP PHỤ LỤC Chương trình cắt bàn tay khỏi ảnh gốc: Chương trình đếm số ngón tay: BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP PHỤ LỤC Chương trình xuất output: Chương trình phát bàn tay sử dụng file huấn luyện: BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP PHỤ LỤC BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP ... - ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH TRONG ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ CHỈ TAY SỬ DỤNG KIT RASPBERRY PI GVHD: ThS.Ngô Quốc... NGHIỆP - ĐỒ ÁN TỐT NGHIỆP NGÀNH KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG ĐỀ TÀI: ỨNG DỤNG XỬ LÝ ẢNH TRONG ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ CHỈ TAY SỬ DỤNG KIT RASPBERRY PI GVHD: ThS.Ngơ Quốc Cường... góc > ° ° 40 windown 20 kit, chưa đáp ứng tốc độ hay xử lý có phần hạn chế với người đeo kính,… Đề tài ? ?Ứng dụng xử lý ảnh điều khiển thiết bị cử tay sử dụng kit raspberry pi? ?? nhóm xây dựng với