Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ)

Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ) Phân vùng bàn tay dựa trên phát hiện các bộ phận (Lv thạc sĩ)

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THU HƯƠNG PHÂN VÙNG BÀN TAY DỰA TRÊN PHÁT HIỆN CÁC BỘ PHẬN Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS NGUYỄN VĂN TẢO THÁI NGUYÊN, 2017 LỜI CẢM ƠN Tác giả xin bày tỏ lòng biết ơn tới thầy cô giáo Trường Đại học Công nghệ Thông tin Truyền thông, thầy cô giáo Viện Công nghệ Thông tin - Viện Hàn lâm Khoa học Công nghệ Việt Nam tạo điều kiện giúp đỡ em trình học tập làm luận văn Trường Đặc biệt tác giả xin bày tỏ lòng biết ơn sâu sắc tới TS Nguyễn Văn Tảo người dìu dắt, định hướng trực tiếp hướng dẫn cho tác giả năm học cao học thực luận văn Cuối cùng, tác giả xin gửi lời cảm ơn đến gia đình, bạn bè tình cảm, ủng hộ động viên dành cho suốt trình học tập thực luận văn Thái Nguyên, tháng năm 2017 Học viên cao học Nguyễn Thu Hương i LỜI CAM ĐOAN Tôi xin cam đoan luận văn thực hiện, hướng dẫn khoa học TS Nguyễn Văn Tảo kết lý thuyết trình bày luận văn tổng hợp từ kết công bố có trích dẫn đầy đủ, kết chương trình thực nghiệm luận văn tác giả thực hoàn toàn trung thực, sai hoàn toàn chịu trách nhiệm Thái Nguyên, tháng năm 2017 Học viên Nguyễn Thu Hương ii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT v DANH MỤC CÁC BẢNG vi DANH MỤC CÁC HÌNH vii MỞ ĐẦU CHƯƠNG I: TỔNG QUAN VỀ BÀI TOÁN PHÂN VÙNG BÀN TAY 1.1 Giới thiệu toán 1.2 Một số nghiên cứu liên quan 1.2.1 Pixel value (intensity/color) 1.2.2 Hình dạng (shape) 1.2.3 Topography 1.2.4 Ngữ cảnh (Context) 1.2.5 Chuyển động (Motion) 1.2.6 Thảo luận CHƯƠNG II: PHÂN VÙNG BÀN TAY SỬ DỤNG ĐẶC TRƯNG HAAR-LIKE 11 2.1 Giới thiệu 11 2.2 Sơ đồ hệ thống phát bàn tay 12 2.3 Trích chọn đặc trưng 13 2.3.1 Đặc trưng Haar-like 13 2.3.2 Tính toán nhanh đặc trưng Haar-like sử dụng ảnh tích phân 15 2.3.3 Các đặc trưng Internal 22 2.3.4 Đặc trưng Internal Haar-like 23 iii 2.4 Phân loại 26 2.4.1 Thuật toán Boosting 27 2.4.2 AdaBoost 28 2.4.3 Cấu trúc Cascade phân loại 31 2.5 Thí nghiệm 32 2.5.2 Huấn luyện phát 38 2.5.3 Kết 40 2.6 Kết luận 45 CHƯƠNG III: PHƯƠNG PHÁP PHÁT HIỆN MÀU DA SỬ DỤNG CHO BÀI TOÁN PHÂN VÙNG BÀN TAY 46 3.1 Nội dung phương pháp 46 3.2 Chi tiết bước 48 3.2.1 Phát màu da 48 3.2.2 Công thức màu da 48 3.2.2.1 Histogram 50 3.2.3 Lọc nhiễu 53 3.2.4 Xác định vùng trắng 54 3.2.5 Phân loại vùng trắng 59 3.3 Xây dựng hệ thống thử nghiệm 61 3.3.1 Mục đích 61 3.3.2 Dữ liệu đầu vào 61 KẾT LUẬN 63 TÀI LIỆU THAM KHẢO 64 iv DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Chữ viết tắt/cụm từ Tiếng Anh đầy đủ ACRH AIRH Approximate Circumscribed Rectangle’s area of a Hand Approximate Inscribed Rectangle’s area of a Hand GMM Gaussian Mixture Model LBP Local binary pattern RGB Red Green Blue ROI Region Of Interest v DANH MỤC CÁC BẢNG Bảng 2.1: Thuật toán Boosting 27 Bảng 2.2: Ý tưởng thuật toán AdaBoost 31 Bảng 2.3: Thông tin số liệu thu thập 34 Bảng 2.4: So sánh liệu 35 Bảng 2.5: Cấu hình quy trình huấn luyện 39 Bảng 2.6: Kết phát với số lượng tầng khác 41 vi DANH MỤC CÁC HÌNH Hình 1.1: Sự thay đổi màu da điều kiện ánh sáng khác Hình 2.1: (a) Ảnh mẫu khuôn mặt; (b) Một ảnh mẫu bàn tay 12 Hình 2.2: Khung phát tay 12 Hình 2.3: Đặc trưng Haar-like 14 Hình 2.4: Tập mở rộng kiểu đặc trưng Haar-like [17] sử dụng 15 Hình 2.5: Tập kiểu đặc trưng Haar-like 15 Hình 2.6: Ảnh tích phân (không xoay) 16 Hình 2.7: Tính toán ảnh tích phân 18 Hình 2.8: Sơ đồ tính toán ảnh tích phân 19 Hình 2.9 Tính toán tổng giá trị điểm ảnh bên hình chữ nhật (không xoay) r =(x, y, w, h) 20 Hình 2.10: Ảnh tích phân quay nghiêng 45◦ 21 Hình 2.11: Sơ đồ tính toán ảnh tích phân xoay nghiêng 45◦ 21 Hình 2.12: Sơ đồ tính toán tổng điểm ảnh thuộc hình chữ nhật (xoay nghiêng 45◦) 22 Hình 2.13: (a) Ví dụ đặc trưng Haar-like mà đặc trưng Internal Haar-like (b) Ví dụ đặc trưng Internal Haar-like 23 Hình 2.14: Hai ảnh mẫu bàn tay hình trạng bàn tay 24 Hình 2.15: Các ví dụ đặc trưng Haar-like trích chọn từ vùng ACRH đặc trưng Internal Haar-like trích chọn từ vùng AIRH 24 Hình 2.16: Các ví dụ đặc trưng Haar-like Internal Haar-like trích xuất từ vùng ACRH (bên trái) vùng AIRH (bên phải) 25 Hình 2.17: Ví dụ đặc trưng Haar-like cho loại hình trạng 26 vii Hình 2.18 Minh họa thuật toán Boosting 28 Hình 2.19: Thuật toán AdaBoost với số phân loại yếu M = 29 Hình 2.20: Cấu trúc Cascade phân loại 31 Hình 2.21: Thiết lập cho việc thu thập tập liệu L3i-MICA 33 Hình 2.22: Danh sách 21 hình trạng bàn tay tập liệu L3i-MICA 34 Hình 2.23: Sự đa dạng màu tay liệu MICA-L3i 35 Hình 2.24: Các vùng sáng, tối khác vùng bàn tay 35 Hình 2.25: Độ nghiêng khác bàn tay thực hình trạng 36 Hình 2.26: Sự đa dạng Scale, kích thước tay 36 Hình 2.27: Ví dụ nhiều cách thực hình trạng bàn tay 36 Hình 2.28: Ví dụ hình trạng khác có đặc điểm hình dạng tương tự 37 Hình 2.29: Số lượng phân loại yếu tầng 40 Hình 2.30: Tần số xuất loại đặc trưng Haar-like 40 Hình 2.31: Biểu đồ kết phát phận trung tâm bàn tay 42 Hình 2.32: Biểu đồ kết phát toàn bàn tay 42 Hình 2.33: Các đường cong Precision-Recall để so sánh phát phận trung tâm bàn tay phát toàn bàn tay 43 Hình 2.34: So sánh Precision (độ xác) 43 Hình 2.35: So sánh giá trị Recall 44 Hình 2.36: So sánh giá trị F-score 44 Hình 2.37: Ví dụ lợi bất lợi phát phận trung tâm bàn tay 45 Hình 3.1: Sơ đồ khối phương pháp 47 Hình 3.2: Vị trí khâu phương pháp 48 Hình 3.3: Sự phân bố điểm màu da không gian YCrCb 49 viii Hình 3.4: Sự phân bố điểm màu da hệ màu HSV 49 Hình 3.5: Một số bàn tay người dùng tổng hợp histogram màu da 51 Hình 3.6: Một số kết minh họa phát màu da 52 Hình 3.7: Minh họa phát màu da theo tiêu chí Từ trái sang phải: ảnh vào, ảnh màu da theo công thức, ảnh màu da theo histogram 52 Hình 3.8: Vị trí khâu lọc nhiễu phương pháp 53 Hình 3.9: Minh họa kết lọc nhiễu 54 Hình 3.10: Vị trí khâu xác định vùng trắng phương pháp 54 Hình 3.11: Vị trí tương đối điểm trắng so với vùng trắng 57 Hình 3.12: Vị trí khâu phân loại vùng trắng phương pháp 59 Hình 3.13: Trường hợp phát nhầm cận tỉ lệ điểm trắng 60 Hình 3.14: Giao diện khởi động chương trình 61 Hình 3.15: Vùng bàn tay sau phát 62 ix Lý không xây dựng hệ màu RGB, hệ màu phụ thuộc vào độ sáng Ví dụ, điểm bàn tay, ánh sáng thay đổi thi giá trị RGB ứng với điểm thay đổi Còn hệ màu HSV, ánh sáng thay đổi có thành phần V (đặc trưng cho độ sáng) thay đổi, thành phần HS không đổi Ví dụ: với RGB = (10; 20; 30) RGB = (40; 80; 120), màu màu sau sáng hơn, cho giá trị HS là: (210; 0.67) Điều có nghĩa việc tổng hợp histogram màu da không phụ thuộc vào ánh sáng Một số ảnh sử dụng tổng họp histogram như: Hình 3.5: Một số bàn tay người dùng tổng hợp histogram màu da Trong ảnh tất điểm điểm màu da điểm màu da chiếm phần lớn nên histogram, cột ứng với điểm màu da cao vọt so với điểm khác Sau tổng hợp xong histogram từ tập ảnh, histogram chuẩn hóa, tức chia chiều cao cột cho tổng số điểm xét (tổng số điểm toàn tập ảnh) để đưa giá trị histogram dải [0,1) Việc xác định màu da thực sau: với điểm ảnh vào, ta tính thành phần H, s (giá trị nguyên) Sau kiểm tra xem cột (H,S) histogram có lớn giá trị ngưỡng cho trước không Nếu có màu da Giá trị ngưỡng xác định qua thực nghiệm tùy theo histogram tổng hợp cụ thể (tùy theo tập ảnh mẫu sử dụng) Có giá trị ngưỡng tốt cho ảnh lại không tốt cho ảnh khác Do giá trị ngưỡng tốt cho ảnh Chỉ có giá trị ngưỡng tốt cho nhiều ảnh Việc thực nghiệm để tìm giá trị ngưỡng tốt cho nhiều ảnh 3.2.2.2 Kết hợp tiêu chí Một điểm ảnh vào coỉ màu da thỏa mãn tiêu chí trên: thỏa mãn công thức màu da thỏa mãn histogram Một số ảnh họa việc phát màu da: 51 Hình 3.6: Một số kết minh họa phát màu da Tại lại phải kết hợp tiêu chí Vì qua thực nghiệm thấy rằng: áp dụng công thức màu da histogram có phát nhầm (điểm màu da lại bị phát màu da), nhầm lẫn không giống nhau, tức điểm mà dùng công thức phát nhầm dùng histogram lại không phát nhầm ngược lại điểm mà dùng histogram phát nhầm dùng công thửc lại không phát nhầm Đồng thời điểm màu da phát Do đó, việc kết hợp chúng lại giảm thiểu sai xót phát màu da không làm triệt tiêu phát phương pháp Hình 3.7: Minh họa phát màu da theo tiêu chí Từ trái sang phải: ảnh vào, ảnh màu da theo công thức, ảnh màu da theo histogram 52 3.2.3 Lọc nhiễu Vị trí khâu hệ thống xử lý: Ảnh màu Phát màu da Xác định vùng trắng Ảnh nhị phân Danh sách vùng trắng Lọc nhiễu Phân loại vùng trắng Ảnh nhị phân lọc nhiễu Tọa độ vùng bàn tay Hình 3.8: Vị trí khâu lọc nhiễu phương pháp Đầu vào khâu ảnh nhị phân đầu ảnh nhị phân lọc nhiễu Trong trình phát màu da ta phát nhầm điểm gây nhiễu điểm trắng ảnh nhị phân Do đó, ta cần loại bỏ nhiễu điểm này, tốt cho bước sau: xác định vùng trắng, không loại bỏ điểm nhiễu điểm bị phát vùng trắng làm tăng số lượng vùng trắng lên nhiều gây tốn lưu trữ xử lý Như ta biết, để loại bỏ nhiễu dùng lọc trung bình trung vị Dùng lọc trung bình làm xuất giá trị (ngoài (đen) 255 (trắng)) không hoàn toàn đưa giá trị điểm nhiễu trắng mà làm nhỏ Do đó, sau ta duyệt lại ảnh sau lọc nhiễu mà kiểm tra điều kiện khác điểm bị coi trắng Nếu không muốn bị nhầm lẫn ta phải đặt giá trị ngưỡng thích hợp Như dùng lọc trung bình trường hợp không phù hợp Do đó, ta dùng lọc trung vị dùng lọc vừa không làm xuất giá trị mới, lại vừa làm giá trị điểm nhiễu trắng hoàn toàn Kích thước lọc trung vị bao nhiêu? Nếu dùng lọc trung vị kích thước lớn khả loại nhiễu tăng, không loại nhiễu điểm mà loại nhiễu to (nhiễu vùng), thời gian thực lâu nhiều Do đó, để cân đối mặt thời gian thực hiện, hướng tới phương pháp phân 53 vùng bàn tay nhanh, nên ta sử dụng lọc trung vị kích thước x Lý thuyết bọ lọc trung vị không trình bày Sau số kết lọc nhiễu: Hình 3.9: Minh họa kết lọc nhiễu Qua hình ta thấy, lọc nhiễu mũi tên trúng đích Nó không loại bỏ nhiễu phát nhầm (những điểm trắng lác đác ảnh) mà loại bỏ nhiễu không phát màu da (loại bỏ điểm đen trắng) Tức cánh tay bàn tay (nói chung vùng da) có điềm không phát màu da (nó trở thành điểm đen) Cũng điểm bị nhiễu giá trị, nên nằm vùng da giá trị phù hợp màu da Nhưng nhờ lọc nhiễu mà ta biến thành trắng, nhờ tạo thành vùng trắng quán 3.2.4 Xác định vùng trắng Vị trí khâu hệ thống xử lý: Ảnh màu Phát màu da Xác định vùng trắng Ảnh nhị phân Danh sách vùng trắng Lọc nhiễu Phân loại vùng trắng Ảnh nhị phân lọc nhiễu Tọa độ vùng bàn tay Hình 3.10: Vị trí khâu xác định vùng trắng phương pháp 54 Đầu vào khâu ảnh nhị phân (đã lọc nhiễu), đầu danh sách vùng trắng (mỗi vùng trắng xác định tọa độ số điểm trắng vùng) Để xác định vùng trắng, thuật toán gán nhãn hay gọi thuật toán duyệt Để duyệt thường có kiểu là: duyệt theo chiều rộng duyệt theo chiều sâu Duyệt theo chiều sâu sử dụng đệ quy duyệt theo chiều rộng sử dụng hàng đợi Nhưng ta xử lý điểm ảnh, mà ảnh có kích thước lớn, mức đệ quy sâu qua thử nghiệm gây tràn stack Vì thế, ta sử dụng tìm kiếm theo chiều rộng, cấp phát nhớ sin có cho hàng đợi Trong phần ta trình bày thuật toán phân vùng, thuật toán phân vùng bản, thuật toán phân vùng nâng cao 3.2.4.1 Thuật toán phân vùng Như nói trên, ta sử dụng thuật toán gán nhãn cho điểm trắng để phân vùng Nhãn điểm số vùng trắng mà thuộc vào Ta có ảnh nhị phân (đen trắng) Trong ảnh có tập vùng trắng tách rời Mỗi vùng trắng đánh số nguyên, trình đánh số liên tiếp (1,2,3 ) Và điểm vùng gán nhãn số nguyên vùng Chi tiết thực thuật toán sau: * Đầu vào: • Ảnh nhị phân * Đầu ra: • Danh sách vùng trắng tìm ảnh nhị phân vào * Xử lý cấu trúc liệu: • Ta có ảnh nhị phân vào, ta biểu diễn mảng chiều nguyên, với giá trị điểm đen khác điểm trắng Ta đặt tên Anh • Ta cần định nghĩa cấu trúc lưu tham số vùng trắng Ta đặt tên là: VungTrang Nó có trường sau: o Tọa độ vùng trắng: Mỗi vùng trắng bao bọc hình chữ nhật Tọa độ vùng trắng tọa độ hình chữ nhật bao Tọa độ bao gồm: tọa độ góc trái (x,y), chiều rộng, chiều cao hình chữ nhật o Số điểm trắng vùng 55 • Ta cần có danh sách để chứa vùng trắng tìm Ta đặt tên DSVT Bên cạnh danh sách có biến đếm số lượng vùng trắng tìm Biến đếm sử dụng để đánh số cho vùng Các vùng đánh số theo trình tự tìm Ta gọi biến SLVT • Ta cần có hàng đợi để thực duyệt, đặt tên là: HangDoi • Và có mảng chiều chứa nhãn điểm ảnh Ta gọi Nhan • Khởi tạo: • Khởi tạo mảng Nhan để đảm bảo điểm chưa gán nhãn • DSVT rỗng • SLVT = • HangDoi rỗng Thực hiện: • Duyệt qua điểm ảnh nhị phân vào từ trái sang phải từ xuống Với điểm ta kiểm tra xem điểm có phải điểm trắng chưa gán nhãn không? o Nếu không thỏa mãn thi bỏ qua, xét điểm o Nếu thỏa mãn, có nghĩa ta tìm vùng trắng Điểm xét điểm vùng trắng Ta thực xác định vùng trắng sau: ■ Tạo biến cấu trúc VungTrang để chứa vùng trắng này, gọi vt ■ Tăng biến đếm số lượng SLVT lên ■ Cập nhật biến cấu trúc vt biết thêm điểm trắng thuộc vùng ■ Gán nhãn cho điểm SLVT (giá trị SLVT số vùng trắng vừa tìm được) ■ Đưa điểm xét vào HangDoi ■ Thực vòng lặp Chừng mà HangDoi chưa rỗng: • Lấy điểm khỏi HangDoi • Duyệt qua điểm xung quanh nó: trái, phải, trên, Tại điểm, xét xem có phải điểm trắng chưa gán nhãn không? Xây dựng ứng dụng phân vùng bàn tay dựa màu da 56 o Nếu không thỏa mãn bỏ qua, xét điểm o Nếu thỏa mãn thì: ■ Gán nhãn cho SLVT ■ Cập nhật biến cấu trúc vt biết thêm điểm trắng thuộc vùng ■ Đưa vào HangDoi ■ Thêm vùng trắng vừa tìm vào DSVT • Trả DSVT Trong bước thực trên, ta cần làm rõ thêm số bước, là: cập nhật biến cấu trúc vt biết thêm điểm trắng thuộc vùng Thao tác gồm hành động: • Tăng số lượng điểm trắng vùng lên • Cập nhật lại tọa độ vùng Để cập nhật lại tọa độ vùng trắng, ta phải xét xem điểm vào có vị trí với hình chữ nhật bao vùng trắng Ta có vị trí tương đối điểm xét với hình chữ nhật bao vùng sau: Hình 3.11: Vị trí tương đối điểm trắng so với vùng trắng Nếu nằm hình chữ nhật không cần cập nhật Nhưng nằm (8 vị trí lại) tùy vị trí mà cập nhật lại tọa độ (x,y) chiều rộng, chiều cao Hàng đợi tổ chức xoay vòng để tiết kiệm nhớ Và điểm thuật toán ta xét điểm hàng xóm (trên, dưới, trái, phải) mà không xét điểm Bởi với việc xét điểm ta duyệt qua tất điểm trắng vùng, bảo đảm không bỏ xót Đồng thời giúp ta giảm bớt trùng lặp 3.2.4.2 Thuật toán phân vùng nâng cao 57 Sự khác thuật toán vớỉ thuật toán chỗ: thuật toán ta cố cài đặt để loại bỏ liên kết yếu vùng, tức thuật toán trước vùng liên kết yếu phát vùng, thuật toán chúng coi vùng Mục tiêu ta xóa bỏ khỏi ảnh nhị phân liên kết yếu vùng (xóa bỏ tức gán cho giá trị (đen)) Làm để phát liên kết yếu Ta xét hình liên kết yếu (hình có đường nối hình elip), ta dùng đường thẳng cắt ta thu tiết diện dãy điểm trắng ngăn Như vậy, điểm trắng xét, ta xét theo phương thẳng đứng, dãy điểm trắng theo phương có số lượng điểm nhỏ giá trị định trước ta coi điểm nằm liên kết yếu gán Tương tự, ta xét theo phương ngang phương chéo Cách xác định dãy điểm trắng theo phương sau: ví dụ ta xét theo phương thẳng đứng, ta duyệt lên phía trên, đến khỉ gặp điểm đen dừng, đánh dấu vị trí dừng Sau lại duyệt từ điểm xét xuống phía dưới, gặp điểm đen dừng Cũng đánh dấu lại vị trí Từ ta xác định số điểm trắng theo phương Tuy nhiên, điểm trắng xét mà nằm sâu vùng sao? Khi việc duyệt lên xuống phải chạy qua nhiều điểm, tốn Do đó, ta phải có điều kiện kiểm tra số lượng điểm duyệt Nếu số lượng điểm lớn giá trị ngưỡng định trước dừng kết luận điểm nằm liên kết yếu Cụ thể sau: với điểm trắng xét: • Gán biến đếm số lượng sl = • Duyệt lên phía trên: Xây dựng ứng dụng phát mặt người dựa màu da: o Nếu gặp điểm đen dừng o Nếu gặp điểm trắng thì: ■ Tăng sl lên ■ Kiểm tra giá trị sl Nếu lớn giá trị ngưỡng dừng 58 • Kiểm tra giá trị sl Nếu lớn giá trị ngưỡng thi kết luận không nằm liên kết yếu • Nếu nhỏ hơn, ta duyệt xuống bên Thao tác tương tự duyệt lên • Khi dừng kiểm tra giá trị sl để định Nếu nhỏ ngưỡng điểm nằm liên kết yếu gán (đen) Khi duyệt lên xuống ta lao khỏi ảnh Khi ta phải dừng trình duyệt lại Vì vậy, ta coi điểm nằm ảnh điểm đen Tương tự ta xét theo phương khác phương ngang chéo 45o Trong cài đặt ta kiểm tra theo chiều: thẳng ngang Đưa khâu vào thuật toán phân vùng sau: ta đưa vào chỗ Một kiểm tra điểm thấy điểm trắng chưa gán nhãn ta không tạo 1vùng trắng để chứa ngay, mà ta kiểm tra xem có nằm đường liên kết yếu không? Nếu có ta xóa (gán thành đen) chuyển sang xét điểm tiếp theo, không tạo vùng Nếu không lúc tạo vùng trắng để lưu trữ tiếp tục thực trước Hai lấy điểm khỏi hàng đợi, xét điểm hàng xóm nó, điểm hàng xóm điểm trắng chưa gán nhãn ta không gán nhãn, đưa vào hàng đợi vùng trắng mà ta phải kiểm tra xem có nằm đường liên kết yếu không Nếu nằm đường liên kết yếu ta xóa chuyển sang kiểm tra hàng xóm mà không làm Nếu không nằm đường liên kết yếu lúc gán nhãn, đưa vào vùng trắng hàng đợi 3.2.5 Phân loại vùng trắng Vị trí khâu hệ thống xử lý: Ảnh màu Phát màu da Xác định vùng trắng Ảnh nhị phân Danh sách vùng trắng Lọc nhiễu Phân loại vùng trắng Ảnh nhị phân lọc nhiễu Tọa độ vùng bàn tay Hình 3.12: Vị trí khâu phân loại vùng trắng phương pháp 59 Phân loại vùng trắng tức xác định xem vùng trắng tay Đầu vào khâu danh sách vùng trắng tìm từ khâu trước, đầu tọa độ vùng tay lọc từ danh sách vùng trắng Để xác định vùng trắng có phải tay không dựa tiêu chí: • Tỉ lệ kích thước vùng • Tỉ lệ số điểm trắng tổng số điểm vùng * Tỉ lệ kích thước: Để xác định tỉ lệ kích thước vùng bàn tay, cần tiến hành khảo sát để thu tỉ lệ trung bình phổ biến TiLeTay Ngoài ra, ta phải đặt sai số cho phép delta TiLeTay Khi đó, tỉ lệ thỏa mãn rơi vào dải: TiLeTay ± delta Giá trị delta xác định từ thực nghiệm Không có giá trị delta tốt cho ảnh, giá trị delta tốt cho ảnh (giúp phát bàn tay), lại không tốt cho ảnh khác Do đó, ta chọn giá trị delta tốt cho nhiều ảnh * Tỉ lệ số điểm trắng: Nếu vào tỉ lệ kích thước vùng trắng phát nhầm Do đó, ta cần thêm tiêu chí tỉ lệ số điểm trắng để loại bỏ trường hợp Tiêu chí sau: yêu cầu tỉ lệ số điểm trắng vùng phải thỏa mãn điều kiện cho trước Cũng giá trị delta trên, điều kiện xác đinh thực nghiệm ta chọn giá trị tốt nhiều trường hợp Tuy nhiên tình như: Hình 3.13: Trường hợp phát nhầm cận tỉ lệ điểm trắng 60 Rõ ràng vùng trắng thỏa mãn tỉ lệ kích thước lẫn tỉ lệ số điểm trắng, tay Bởi ta biết tay người có dạng hình chữ nhật (bao đường cong) nên chiếm đầy toàn hình chữ nhật bao được, có nghĩa giá trị tỉ lệ số điểm trắng vùng bàn tay có giới hạn Vì vậy, ta đặt thêm giá trị cận tiêu chí tỉ lệ số điểm trắng 3.3 Xây dựng hệ thống thử nghiệm Giao diện chương trình sau: Hình 3.14: Giao diện khởi động chương trình 3.3.1 Mục đích Mục đích chương trình phân vùng bàn tay người ảnh frame (từ camera file ảnh) 3.3.2 Dữ liệu đầu vào Chương trình hỗ trợ phát bàn tay nguồn sau: - File ảnh - Từ camera Chương trình nhận dạng qua webcam xây dựng môi trường Matlab, sử dụng thư viện OpenCV Chương trình xây dựng với giao diện trực quan, dễ sử dụng 61 Hình 3.15: Vùng bàn tay sau phát 62 KẾT LUẬN Những kết đạt được: Luận văn trình bày số nội dung chính: - Tìm hiểu tổng quan toán phân vùng bàn tay, hướng tiếp cận, công trình nghiên cứu liên quan; - Tìm hiểu thực phương pháp phát đối tượng sử dụng đặc trưng Haar; áp dụng xây dựng mô đun phát phận bàn tay (vùng trung tâm bàn tay); - Đã tiến hành thử nghiệm so sánh, đánh giá hiệu việc phát phận (vùng trung tâm bàn tay) việc phát vùng chứa toàn bàn tay Kết thực nghiệm cho thấy phát phận không bao gồm hoạt động tốt phát toàn bàn tay Huớng phát triển tiếp theo: Trong thời gian tới, em tập trung hoàn thiện, phát triển nội dung sau: - Huấn luyện phát phận khác ngón tay, cổ tay - Tích hợp phát phận khác phát màu da vào hệ thống - Đánh giá đầy đủ khía cạnh hệ thống Trên kết đạt hướng nghiên cứu luận văn Tuy luận văn đạt kết định thời gian thực luận văn có hạn nên không tránh khỏi thiếu sót Em mong nhận ý kiến đóng góp từ thầy cô bạn để em tiếp tục hoàn thiện nghiên cứu 63 TÀI LIỆU THAM KHẢO [1] V.-T NGUYEN, “Visual interpretation of hand postures for humanmachine interaction,” 2015 [2] V Nguyen, T Le, T Tran, R Mullot, and V Courboulay, “A method for hand detection based on Internal Haar-like features and Cascaded AdaBoost Classifier,” in The International Conference on Communications and Electronics (ICCE), 2012, pp 608-613 [3] P Viola and M Jones, “Rapid object detection using a boosted cascade of simple features,” in Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition CVPR 2001, 2001, pp 511-518 [4] X Zhu, J Yang, and AlexWaibel, “Segmenting hands of arbitrary color,” Proceedings Fourth IEEE International Conference on Automatic Face and Gesture Recognition (Cat No PR00580), pp 446453, 2000 [5] G Yoder and L Yin, “Real-Time Hand Detection and Gesture Tracking with GMM and Model Adaptation,” Lecture Notes in Computer Science, vol 5876, pp 387-396, 2009 [6] H Francke, J Ruiz-del-solar, and R Verschae, “Real-Time Hand Gesture Detection and Recognition Using Boosted Classifiers and Active Learning,” Lecture Notes in Computer Science, vol 4872, pp 533-547, 2007 [7] L Liu, J Xing, H Ai, and X Ruan, “Hand Posture Recognition Using Finger Geometric Feature,” no Icpr, pp 565-568, 2012 [8] J Choi and B Seo, “Robust Hand Detection for Augmented Reality Interface,” in Proceedings of the 8th International Conference on Virtual Reality Continuum and its Applications in Industry, 2009, vol 1, no 212, pp 319-322 64 [9] L Dung and M Mizukawa, “Fast Fingertips Positioning Based on Distance-based Feature Pixels,” in Third International Conference on Communications and Electronics (ICCE), 2010, pp 184-189 [10] N Dalal and B Triggs, “Histograms of Oriented Gradients for Human Detection,” in 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05), 2005, pp 886-893 [11] A Mittal, A Zisserman, and P Torr, “Hand detection using multiple proposals,” Procedings of the British Machine Vision Conference 2011, pp 75.1-75.11, 2011 [12] N H Dardas and N D Georganas, “Real-Time Hand Gesture Detection and Recognition Using Bag-of-Features and Support Vector Machine Techniques,” IEEE Transactions on Instrumentation and Measurement, vol 60, no 11, pp 3592-3607, Nov 2011 [13] J Triesch and C von der Malsburg, “Robust classification of hand postures against complex backgrounds,” in The Second International Conference on Automatic Face and Gesture Recognition, 1996., 1996, pp 170 - 175 [14] D Lee, “Vision-Based Finger Action Recognition by Angle Detection and Contour Analysis,” ETRI Journal, vol 33, no 3, pp 415-422, Jun 2011 [15] P Kakumanu, S Makrogiannis, and N Bourbakis, “A survey of skincolor modeling and detection methods,” Pattern Recognition, vol 40, no 3, pp 1106-1122, Mar 2007 [16] M Kölsch and M Turk, “Robust Hand Detection,” in The Sixth IEEE international conference on Automatic face and gesture recognition, 2004, pp 614-619 [17] R Lienhart, A Kuranov, and V Pisarevsky, “Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid Object Detection,” Lecture Notes in Computer Science, vol 2781/2003, pp 297-304, 2003 [18] R E Schapire, P Avenue, and R A, “The Boosting Approach to Machine Learning An Overview,” 2003 65 ... vực tay, cánh tay từ vùng da khác dựa độ sáng khác Việc phân biệt vùng tay cánh tay thực cách sử dụng đặc trưng hình dạng Họ coi blob dài vùng tay- cánh tay Phương pháp phát vùng tay mà cánh tay. .. Biểu đồ kết phát phận trung tâm bàn tay 42 Hình 2.32: Biểu đồ kết phát toàn bàn tay 42 Hình 2.33: Các đường cong Precision-Recall để so sánh phát phận trung tâm bàn tay phát toàn bàn tay 43... I TỔNG QUAN VỀ BÀI TOÁN PHÂN VÙNG BÀN TAY 1.1 Giới thiệu toán Phân vùng bàn tay trình nhằm mục đích xác định vùng chứa bàn tay ảnh Đây bước quan trọng việc nhận dạng cử tay chất lượng bước ảnh