Ứng dụng xử lý ảnh trong điều khiển thiết bị bằng cử chỉ tay sử dụng kit raspberry pi

MỤC LỤC Trang bìa I Nhiệm vụ đồ án II Lịch trình III Cam đoan IV Lời cảm ơn V Mục lục VI Liệt kê hình vẽ IX Liệt kê bảng vẽ XI Tóm tắt XII Chương TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ 1.2 MỤC TIÊU 1.3 NỘI DUNG NGHIÊN CỨU 1.4 GIỚI HẠN 1.5 BỐ CỤC ĐỀ TÀI Chương CƠ SỞ LÝ THUYẾT 2.1 TÌM HIỂU KIT RASPBERRY PI 2(RPI2) 2.2 NGÔN NGỮ KÝ HIỆU 2.3 TÌM HIỂU XỬ LÝ ẢNH 2.3.1 GIỚI THIỆU 2.3.1.1 Phần thu nhận ảnh (Image Acquisition) 2.3.1.2 Tiền xử lý (Image Processing) 2.3.1.3 Phân đoạn (Segmentation) hay phân vùng ảnh 2.3.1.4 Biểu diễn ảnh (Image Representation) 2.3.1.5 Nhận dạng nội suy ảnh (Image Recognition and Interpretation) 2.3.1.6 Cơ sở tri thức (Knowledge Base) 10 2.3.2 NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH 10 2.3.2.1 Điểm ảnh ( Picture Element) 10 2.3.2.2 Ảnh 10 2.3.2.3 Độ phân giải ảnh 11 2.3.2.4 Mức xám ảnh 11 2.3.2.5 Ảnh nhị phân 12 2.3.2.6 Ảnh màu 12 2.3.2.7 Khử nhiễu 12 2.3.2.8 Chỉnh mức xám 12 2.3.2.9 Nhận dạng ảnh 12 2.4 PHÁT HIỆN MÀU DA DỰA VÀO KHÔNG GIAN MÀU 13 2.4.1 GIỚI THIỆU 13 2.4.2 CHUYỂN ẢNH MÀU THÀNH ẢNH XÁM 13 2.4.3 KHÔNG GIAN MÀU 14 2.4.3.1 Không gian màu RGB 15 2.4.3.2 Không gian màu HSV 16 2.5 THUẬT TOÁN ADABOOST VÀ MƠ HÌNH CASCADE 16 2.5.1 ĐẶC TRƯNG HAAR-LIKE 16 2.5.2 ĐẶC TRƯNG HISTOGRAM OF ORIENTED GRADIENTS (HOG) 18 2.5.2.1 Rút trích đặc trưng HOG ảnh 19 2.5.2.2 Chuẩn hóa vector đặc trưng cho block 22 2.5.3 THUẬT TOÁN TĂNG TỐC ADABOOST 23 2.5.4 MƠ HÌNH CASCADE 26 2.5.4.1 Giai đoạn huấn luyện phân loại (stage) 28 2.5.4.2 Tầng phân loại (Cascade) 28 Chương TÍNH TỐN THIẾT KẾ 31 3.1 GIỚI THIỆU 31 3.2 TÍNH TỐN VÀ THIẾT KẾ HỆ THỐNG 31 3.2.1 THIIẾT KẾ SƠ ĐỒ KHỐI HỆ THỐNG 31 3.2.2 TÍNH TỐN VÀ THIẾT KẾ MẠCH 31 3.2.2.1 Khối nhận dạng cử 31 3.2.2.2 Khối công suất 33 3.3 SƠ ĐỒ NGUYÊN LÝ TOÀN MẠCH 34 Chương THI CÔNG HỆ THỐNG 35 4.1 GIỚI THIỆU 35 4.2 THI CÔNG 35 4.2.1 DANH SÁCH LINH KIỆN 35 4.2.2 SƠ ĐỒ SẮP XẾP LINH KIỆN 35 4.2.3 SƠ ĐỒ MẠCH IN 36 4.3 LẬP TRÌNH HỆ THỐNG NHẬN DẠNG CỬ CHỈ TAY 37 4.3.1 LƯU ĐỒ GIẢI THUẬT NHẬN DIỆN CỬ CHỈ TAY BẰNG NGƯỠNG MÀU DA 37 4.3.2 QUY TRÌNH HUẤN LUYỆN PHÁT HIỆN BÀN TAY TRÊN MÁY TÍNH 39 4.4 KẾT QUẢ MÔ PHỎNG 44 Chương KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ 47 5.1 NHỮNG MẶT ĐÃ LÀM ĐƯỢC 47 5.2 NHỮNG MẶT CHƯA LÀM ĐƯỢC 47 5.3 NHỮNG KẾT QUẢ BẰNG HÌNH ẢNH CỦA ĐỀ TÀI THU ĐƯỢC 47 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 50 6.1 KẾT LUẬN 50 6.2 HƯỚNG PHÁT TRIỂN 50 TÀI LIỆU THAM KHẢO PHỤ LỤC A HƯỚNG DẪN SỬ DỤNG B CODE CHƯƠNG TRÌNH LIỆT KÊ HÌNH VẼ Hình Trang Hình 2.1 Kit Raspberry Pi Model B v1.1 Hình 2.2 Cử bàn tay số từ 1-10 ASL Hình 2.3 Mơ tả bước xử lý ảnh Hình 2.4 Ảnh RGB 14 Hình 2.5 Chuyển ảnh màu thành ảnh xám 14 Hình 2.6 Các màu sở 15 Hình 2.7 Khơng gian màu RGB 15 Hình 2.8 Khơng gian màu HSV 16 Hình 2.9 Đặc trưng theo cạnh 16 Hình 2.10 Đặc trưng theo đường 17 Hình 2.11 Đặc trưng xung quanh tâm 17 Hình 2.12 Đặc trưng theo đường chéo 17 Hình 2.13 Ảnh chia nhỏ vị trí (x,y) 18 Hình 2.14 Tổng giá trị pixel nằm vùng A 18 Hình 2.15 R-HOG C-HOG 19 Hình 2.16 Mỗi khối (block) gồm ô 20 Hình 2.17 Các khối xếp chồng lên 20 Hình 2.18 Tính góc biên độ theo X-Gradient Y-Gradient 21 Hình 2.19 Các bước rút trích đặc trưng HOG 22 Hình 2.20 Lược đồ AdaBoost 23 Hình 2.21 Thuật tốn học AdaBoost 24 Hình 2.22 Dùng chuỗi Cascade để phát cửa sổ phù hợp 27 Hình 2.23 Cấu trúc chuỗi Cascade song song 28 Hình 2.24 Cấu trúc chuỗi cascade nối tiếp, với N giai đoạn học huấn luyện 29 Hình 3.1 Sơ đồ khối hệ thống 31 Hình 3.2 Sơ đồ chân kit raspberry Pi 32 Hình 3.3 Camera pi kết nối với kit Raspberry pi 33 Hình 3.4 Sơ đồ nguyên lý khối công suất 33 Hình 3.5 Sơ đồ kết nối khối công suất với kit Raspberry pi 34 Hình 4.1 Sơ đồ xếp linh kiện phần mềm 36 Hình 4.2 Sơ đồ xếp linh kiện thực tế 36 Hình 4.3 Sơ đồ mạch in khối công suất 37 Hình 4.4 Lưu đồ giải thuật nhận diện cử tay ngưỡng màu da 38 Hình 4.5 Một số ảnh positive tập huấn luyện 40 Hình 4.6 Một số ảnh negative tập huấn luyện 40 Hình 4.7 Giao diện Training Image Labeler 41 Hình 4.8 Giao diện Training Image Labeler sau thêm hình ảnh tích cực 41 Hình 4.9 Ảnh sau xác định ROI 42 Hình 4.10 Tên ROI cần xuất 42 Hình 4.11 Thư mục chứa file L305_GOP MAT, thư mục “po”, “ne” 43 Hình 5.1 Hộp sản phẩm 47 Hình 5.2 Mặt trước hộp sản phẩm 48 Hình 5.3 Kết nối mạch cơng suất với raspberry pi 49 LIỆT KÊ BẢNG Bảng Trang Bảng 1.1 Nội dung nghiên cứu Bảng 1.2 Tập cử đề xuất Bảng 2.1 Cấu hình Raspberry Pi model B v1.1 Bảng 3.1 Bảng linh kiện dòng điện tiêu thụ 34 Bảng 4.1 Danh sách linh kiện 35 Bảng 4.2 Kết mô 44 Bảng 6.1 Kết luận 50 TÓM TẮT Cùng với phát triển khoa học công nghệ, thiết bị điện tử dần phát triển theo hướng tự động hóa, thơng minh, hiểu ý người Trong năm gần đây, nhiều loại hệ thống nhận dạng cử bàn tay đề xuất phát triển theo hướng ứng dụng thực tế có nhiều thành tựu đáng kể Đề tài thực nhận dạng cử tay sử dụng phương pháp nhận diện màu da kết hợp với file huấn luyện phát bàn tay tạo từ thuật toán huấn luyện HOG, thuật toán tăng tốc ADABOOST Hệ thống đưa gồm có cử chỉ, thiết kế cho phát cử tay từ camera thời gian thực đưa lệnh điều khiển thiết bị Mơ hình nhận dạng chạy kit Raspberry Pi model B v1.1, sử dụng ngơn ngữ Python thư viện có sẵn OpenCV Trong điều kiện mơi trường thích hợp (ánh sáng, màu đơn giản, khơng có màu trùng ngưỡng với màu da) kết nhận diện khoảng 85% CHƯƠNG TỔNG QUAN Chương TỔNG QUAN 1.1 ĐẶT VẤN ĐỀ Ngày với tiến vượt bậc khoa học kỹ thuật, với môn khoa học xử lý ảnh thu thành tựu lớn lao Các thiết bị điện tử dần phát triển theo hướng tự động hóa, thơng minh, hiểu ý người, chúng giao tiếp với người mà không cần thiết bị trung gian nào, để làm điều thiết bị cảm biến, thuật tốn nhận dạng đời ngày đại hơn, xác hơn, dễ sử dụng hơn, chúng nhận biết hoạt động người, cảm xúc người hoạt động theo ý muốn họ Bài toán “Nhận dạng cử điều khiển thiết bị” số Ngơn ngữ thể, đặc biệt ngôn ngữ tay ngày xem phương pháp tương tác tự nhiên trực quan Trong năm gần đây, nhiều loại hệ thống nhận dạng cử bàn tay đề xuất phát triển theo hướng thực hành sử dụng vào sống thực việc nghiên cứu giải thuật nhận dạng cách xác hơn:  Nghiên cứu Chen Chiung Hsieh Dung Hua Liou nhận dạng cử lịch sử chuyển động ảnh [1] Các khung hình tích lũy hình ảnh lịch sử chuyển động Sử dụng báo động sai lọc số lượng điểm ảnh da phát nhỏ ngưỡng định Hệ thống xây dựng khối: Digital Zoom, phát màu da, nhận dạng cử  Nghiên cứu Dharani Mazumdar, Anjan Kumar Talukda Kandapar Kumar Sarma nghiên cứu nhận dạng cử găng tay cảm biến Data Glove [2] Bằng việc sử dụng lối số serson gia tốc MEMS gắn liền với ngón tay sử dụng vi điều khiển Máy tính phân tích xử lý thơng tin liệu thực thuật toán  Trong nước có đề tài: “Nghiên cứu phát triển kỹ thuật nhận dạng cử động bàn tay người theo thời gian thực” nhóm nghiên cứu trẻ thuộc Khoa Cơng nghệ Thông tin, Học viện Kỹ thuật Quân tiến sỹ Trần Nguyên Ngọc làm chủ nhiệm mở nhiều hướng ứng dụng hiệu thực tế [3] Những hiệu ứng dụng đề tài phát triển hệ thống hỗ trợ tra cứu thông BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP CHƯƠNG TỔNG QUAN tin điều khiển thiết bị từ xa, điều khiển robot trợ giúp người khuyết tật, tích hợp điều khiển tivi, máy nghe nhạc…  Trường Đại học sư phạm kĩ thuật thành phố Hồ Chí Minh có đề tài: “Nhận diện cử bàn tay sử dụng phân cụm K-MEANS mạng NƠ-RON” sinh viên Võ Đắc Thọ Trần Quang Tráng thực vào năm 2014 [4] Giúp tìm hiểu tổng quát xử lý ảnh, tìm hiểu phương pháp nhận dạng cử tay, mô tập lệnh liên quan đến đề tài matlab Tuy nhiên đề tài dừng lại nhiều mức lý thuyết sử dụng mô để kiểm chứng kết nên nhiều hạn chế thực tế  Bên cạnh cịn có đề tài ứng dụng xử lý ảnh nhận dạng khn mặt, điển hình như: “Nhận diện khn mặt ứng dụng bảo mật chấm cơng dùng kít raspberry pi” sinh viên Duy Tâm thực năm 2015 [5] Đạt kết nhận diện thành công 95% khoảng cách 0.5m, nhiên phải lấy mẫu người một, ảnh người chụp thẳng nghiêng không 10° ảnh chụp điều kiện ánh sáng bình thường , tốc độ xử lý chậm phút  Đề tài : “Ứng dụng xử lý ảnh cảnh báo tài xế ngủ gật” sinh viên Phương Tâm thực năm 2014 [6], phát 90% với khoảng cách từ 0.2-1.2 m, cịn tồn nhược điểm: Khơng thể quay trái phải với góc > 40° windown 20° kit, chưa đáp ứng tốc độ hay xử lý có phần hạn chế với người đeo kính,… Đề tài “Ứng dụng xử lý ảnh điều khiển thiết bị cử tay sử dụng kit raspberry pi” nhóm xây dựng với mong muốn góp phần thúc đẩy phát triển nhận dạng cử chỉ, thơng qua việc tìm hiểu kế thừa thành tựu có từ cơng trình nghiên cứu trước Về mặt kỹ thuật, đề tài giúp người tương tác với hệ thống thiết bị, khơng cịn bó buộc cách tương tác truyền thống (như thông qua bàn phím máy tính, chuột điện thoại…) mà chuyển sang tương tác trực tiếp cử Ngoài giúp người khiếm thính nhận biết ngơn ngữ qua cử bàn tay, người có vấn đề bắp điều khiển số thiết bị gia dụng, Về mặt nghiên cứu khoa học, hệ thống nhận dạng cử nhóm ứng dụng phương pháp tối ưu có đầy đủ tri thức nhận dạng liệu huấn luyện giúp nhận biết xác dạng cử chỉ, có khả đưa kết xác cao BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP CHƯƠNG TỔNG QUAN 1.2 MỤC TIÊU Tách bàn tay cách nhanh chóng, xác, nhận dạng số cử với đơn giản Thiết kế thi cơng mơ hình, giao diện điều khiển thiết bị cách chụp ảnh camera qua kit raspberry pi 1.3 NỘI DUNG NGHIÊN CỨU Bảng 1.1 Nội dung nghiên cứu Tuần Tuần Tuần Tuần Tuần Tuần Tuần Tuần Tuần Tuần Tuần 10 Tuần 11 Tuần 12 Tuần 13 Tuần 14 Nội dung Tìm hiểu xử lý ảnh cơng trình nghiên cứu liên quan đến đề tài Tìm hiểu phương pháp nhận diện bàn tay Cấu hình kit raspberry, cài đặt thư viện opencv Kết nối camera với kit raspberry pi, tiến hành chụp ảnh bàn tay Nhận dạng cử bàn tay ngưỡng màu da Sử dụng cử tay đưa tập lệnh điều khiển Chụp ảnh mẫu bàn tay Ứng dụng matlab huấn luyện phát bàn tay Nhận dạng cử tay file huấn luyện phát bàn tay Thiết kế, thi công khối công suất Lắp ráp, kiểm tra mạch Làm mơ hình sản phẩm Tối ưu hóa hệ thống, hồn thiện đề tài Viết báo cáo đề tài 1.4 GIỚI HẠN Sử dụng thư viện OpenCV ngơn ngữ python lập trình kit Raspberry Pi Nhận dạng cử tĩnh bàn tay thơng qua camera Pi BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP CHƯƠNG THI CÔNG HỆ THỐNG thấu bên Để chép dán ROI, nhấp chuột trái bên giới hạn để chọn Bạn chọn nhiều ROIs để di chuyển chép dán Để xóa ROI, nhấp vào màu đỏ x-box góc bên phải Hình 4.9 Ảnh sau xác định ROI Sau xác định ROI tất hình ta lưu lại với tên L305_GOP.MAT  Bước 4: Xuất ROI Nhấn Export ROIs để xuất ROI Tiến hành gõ tên vào chọn OK để xuất Hình 4.10 Tên ROI cần xuất Name L305_1 kiểu cấu trúc chứa thành phần :  imageFilename: Chuỗi chứa tên hình ảnh  objectBoundingBoxes: Ma trận chứa khung đối tượng nhận dạng  Bước 5: Load file L305_GOP.MAT, thêm thư mục chứa ảnh tích cực, tiêu cực Tại cửa sổ Command Window Matlab ta đường dẫn hành Matlab thưu mục chứa file L305_GOP.MAT, thư mục chứa ảnh tích cực tiêu cực BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 42 CHƯƠNG THI CƠNG HỆ THỐNG Thư mục “305-1” Hình 4.11 Thư mục chứa file L305_GOP MAT, thư mục “po”, “ne” Thư mục “po” chứa ảnh tích cực (positive) Thư mục “ne” chứa ảnh tiêu cực (negative) Thực dòng lệnh: load('L305_GOP.mat'); imDir = fullfile('po'); addpath(imDir); negativeFolder = fullfile('ne');  Bước 6: Tiến hành huấn luyện Các tham số có lệnh huấn luyện: trainCascadeObjectDetector  'ObjectTrainingSize': Kích thước ảnh để huấn luyện [height, width]: Tỉ lệ theo ảnh tích cực, thường nhỏ kích thước ảnh tích cực để q trình huấn luyện nhanh BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 43 CHƯƠNG THI CƠNG HỆ THỐNG Nếu ta khơng thêm tham số vào hệ thống chế độ “Auto”, tự định kích thước ảnh huấn luyện  'NegativeSamplesFactor': Tỉ lệ ảnh âm Số lượng ảnh âm sử dụng cho giai đoạn (stage) = 'NegativeSamplesFactor' x Số lượng ảnh dương giai đoạn Mặc định:  'NumCascadeStages': Số giai đoạn Số giai đoạn tăng lên tăng tính xác huấn luyện, yêu cầu thời gian lâu cấn nhiều hình ảnh Mặc định: 20  'FalseAlarmRate': Tỉ lệ sai Có giá trị từ (0,1] Mặc định: 0,5 Là tỉ lệ sai chấp nhận giai đoạn  'TruePositiveRate': Tỉ lệ ảnh tích cực giai đoạn Có giá trị (0,1] Mặc định: 0,995  'FeatureType': Loại huấn luyện Gồm loại: ‘Haar’: Haar-like ‘LBP’: Local Binary Patterns (Mẫu nhị phân cục bộ) ‘HOG’: Histogram Gradients Oriented (Lược đồ xám) Mặc định ‘HOG’ Thực dòng lệnh: trainCascadeObjectDetector('L305.xml',L305_1,negativeFolder,'FalseAlarmRate',0.1, 'NumCascadeStages',1 4.4 KẾT QUẢ MÔ PHỎNG Bảng 4.2 Kết mô Ảnh gốc Ảnh sau xử lý đếm số Số ngón tay đếm ngón tay (Đúng/Sai) BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 44 CHƯƠNG THI CÔNG HỆ THỐNG (s) (đ) (đ) (đ) (đ) (đ) BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 45 CHƯƠNG THI CÔNG HỆ THỐNG (đ) (s) (s) (đ) BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 46 CHƯƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Chương KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ 5.1 NHỮNG MẶT ĐÃ LÀM ĐƯỢC Tìm hiểu phương pháp nhận dạng cử bàn tay: Thuật toán nhận diện dựa vào màu da kết hợp với thuật tốn adabosst mơ hình cascade Nhận dạng tương tối xác mơi trường ánh sáng đầy đủ Áp dụng thuật toán cắt ảnh từ ảnh gốc, vẽ khung hình ảnh mong muốn ảnh gốc, tính tốn góc, xử lý nhiễu, phân ngưỡng Xử lý ảnh có độ khó tương đối: Có thêm khn mặt, có hành động đưa tay, nhận dạng khoảng cách từ 50cm đến 120cm Ứng dụng thư viện có sẵn Opencv, ngơn ngữ lập trình python, tiến hành huấn luyện mơ hình cascade ứng dụng matlab Ứng dụng thực tế mơ hình relay điều khiển thiết bị 5.2 NHỮNG MẶT CHƯA LÀM ĐƯỢC Trong q trình thực đề tài, nhóm tiến hành thu thập mẫu huấn luyện hạn chế số lượng độ phức tạp ảnh mẫu Số cử nhận dạng bị giới hạn (5 cử chỉ) đơn giản Vẫn nhiều ảnh bị nhận dạng thiếu sai Mơ hình nhận dạng từ camera nhiều hạn chế việc nhận dạng ánh sáng, nhiễu từ ngoại cảnh có màu ngưỡng màu da Vùng nhận dạng sai có diện tích lớn vùng có bàn tay cần nhận dạng Thực điều khiển thiết bị dạng đơn giản, xuất mức cao thấp để điều khiển, chưa có ứng dụng nhiều vào thiết bị phức tạp 5.3 NHỮNG KẾT QUẢ BẰNG HÌNH ẢNH CỦA ĐỀ TÀI THU ĐƯỢC Hình 5.1 Hộp sản phẩm BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 47 CHƯƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 5.2 Mặt trước hộp sản phẩm BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 48 CHƯƠNG KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ Hình 5.3 Kết nối mạch cơng suất với raspberry pi BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP 49 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 KẾT LUẬN Bảng 6.1 Kết luận Một Hai Ba Bốn Năm ngón ngón ngón ngón ngón Ánh sáng đầy đủ + Nền đơn giản 60% 80% 80% 80% 90% Ánh sáng + Nền đơn giản 40% 50% 50% 50% 50% 50% 70% 70% 70% 80% 30% 40% 40% 40% 60% Điều kiện Cử Ánh sáng đầy đủ + Nền phức tạp (có khn mặt) Ánh sáng đầy đủ + Nền phức tạp (có khn mặt loại nhiễu) Như vậy, mơ hình hồn thành tốt mục tiêu ban đầu đề ra, có khả điều khiển thiết bị theo mong muốn, đảm bảo an toàn, thẩm mỹ, sau đóng hộp cần cắm điện đợi thời gian khởi động phút hệ thống tự hoạt động Dễ dàng thay đổi sửa chữa với khối tách rời Tuy nhiên khoảng cách ứng dụng đưa thực tế chưa khả thi, khoảng cách nhận diện tầm 1,2m tốc độ xử lý kit tương đối chậm Trong khoảng thời gian hoạt động, khơng cịn điều khiển máy tính trực quan trình hoạt động, kit dễ xảy tình trạng ngắt khơng nhận thấy ảnh khung ảnh thay đổi nhanh 6.2 HƯỚNG PHÁT TRIỂN Phát triển mơ hình nhận dạng nhiều cử hơn, đưa lệnh điều khiển phức tạp (tăng giảm âm lượng, đóng ngắt lập tức, nhận diện theo thay đổi hành động) Xây dựng kho ảnh huấn luyện phức tạp, có độ xác cao Sử dụng kit có chip vi xử lý nhanh để xử lý ảnh với tốc độ cao Phát triển rộng rãi đời sống sinh hoạt, công nghệ điều khiển xe, robot BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 50 TÀI LIỆU THAM KHẢO TÀI LIỆU THAM KHẢO [1] Chen Chiung Hsieh and Dung Hua Liou, “A Real Time Hand Gesture Recognition System Using Motion History Image”, International Conference on Signal Processing Systems (ICSPS), vol 2, pp 394-398, 2010 [2] Dharani Mazumdar, Anjan Kumar Talukdar and Kandarpa Kumar Sarma, Feng Wang, Hui Deng and Kaifan Ji, “Gloved and Free Hand Tracking based Hand Gesture Recognition”, ICETACS, pp 197-202, 2013 [3] Trần Nguyên Ngọc, “Nghiên cứu phát triển kỹ thuật nhận dạng cử động bàn tay người theo thời gian thực”, mã số KC01.TN08/11-15 thuộc chương trình “Nghiên cứu ứng dụng phát triển công nghệ Thông tin Truyền thông” [4] Võ Đắc Thọ Trần Quang Tráng, “Nhận diện cử bàn tay sử dụng phân cụm K-MEANS mạng NƠ-RON” , đồ án tốt nghiệp thực tại: Bộ môn Điện Tử Viễn Thông, Khoa Điện - Điện Tử, Trường Đại học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh năm 2014 [5] Nguyễn Đăng Duy Phạm Công Tâm, “Nhận diện khuôn mặt ứng dụng bảo mật chấm công dùng kít raspberry pi”, đồ án tốt nghiệp thực tại: Bộ môn Điện Tử Công Nghiệp, Khoa Điện - Điện Tử, Trường Đại học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh năm 2015 [6] Nguyễn Duy Phương Nguyễn Thành Tâm, “Ứng dụng xử lý ảnh cảnh báo tài xế ngủ gật”, đồ án tốt nghiệp thực tại: Bộ môn Điện Tử Công Nghiệp, Khoa Điện - Điện Tử, Trường Đại học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh năm 2014 [7] Nguyễn Sơn Lâm, “Giới thiệu loạt hướng dẫn lập trình Raspberry” website https://xivila.com [8] Nguyễn Sơn Lâm, “Giới thiệu loạt hướng dẫn lập trình Raspberry” website https://xivila.com [9] Bài viết “Ngôn ngữ ký hiệu Mỹ”, website https://vi.wikipedia.org/ [10] Bài viết: “Learning American Sign Language (ASL)”, website http://americansignlanguage1.weebly.com/ [11] Nguyễn Quang Hoan, Bài viết: “Xử lý ảnh” website http://123doc.org/ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP TÀI LIỆU THAM KHẢO [12] Nguyễn Sơn Lâm, “Giới thiệu loạt hướng dẫn lập trình Raspberry” website https://xivila.com [13] Alex, viết “RPI.GPIO basics – Setting up and using output with RPI.GPIO”, website http://www.raspi.tv [14] Datasheet PC817 Series, hãng Sharp, website: http://www.alldatasheet.com [15] Datasheet 2SC1815, hãng Toshiba, website: http://www.alldatasheet.com [16] Datasheet relay HF3FF, hãng HONGFA, website: http://www.alldatasheet.com BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP PHỤ LỤC PHỤ LỤC A HƯỚNG DẪN SỬ DỤNG  Bước 1: Gắn thiết bị cần điều khiển vào domino (ngõ hệ thống)  Bước 2: Cấp nguồn cho hệ thống, kiểm tra có nguồn hay chưa, có nguồn đèn kit Raspberry sáng, đèn báo camera hoạt động  Bước 3: Khi có nguồn hệ thống, tiến hành cấp nguồn cho thiết bị qua domino chân Nguồn phụ thuộc vào loại thiết bị gì? (220VAC, 12VDC,…)  Bước 4: Tiến hành kiểm tra hoạt động mạch sử dụng cách đưa cử tay hướng dẫn Thay đổi điều kiện ánh sáng, vị trí đặt sản phẩm kết hoạt động mạch có sai sót B CODE CHƯƠNG TRÌNH Chương trình xóa khn mặt: Chương trình phát vùng chứa bàn tay: Chương trình loại bõ nhiễu: BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP PHỤ LỤC Chương trình cắt bàn tay khỏi ảnh gốc: Chương trình đếm số ngón tay: BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP PHỤ LỤC Chương trình xuất output: Chương trình phát bàn tay sử dụng file huấn luyện: BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP PHỤ LỤC BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP ... góc > 40° windown 20° kit, chưa đáp ứng tốc độ hay xử lý có phần hạn chế với người đeo kính,… Đề tài ? ?Ứng dụng xử lý ảnh điều khiển thiết bị cử tay sử dụng kit raspberry pi? ?? nhóm xây dựng với... chụp ảnh bàn tay Nhận dạng cử bàn tay ngưỡng màu da Sử dụng cử tay đưa tập lệnh điều khiển Chụp ảnh mẫu bàn tay Ứng dụng matlab huấn luyện phát bàn tay Nhận dạng cử tay file huấn luyện phát bàn tay. .. nhiều đồ vật ảnh hưởng đến loại trừ nhận diện) Khoảng cách nhận dạng từ 0.5 đến 1.2 mét 1.5 BỐ CỤC ĐỀ TÀI Với đề tài ? ?Ứng dụng xử lý ảnh điều khiển thiết bị cử tay sử dụng kit raspberry pi? ?? nhóm