Tìm hiểu các kĩ thuật áp dụng cho bài toán nhận dạng kí tự người câm

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ PHẦN MỀM ĐINH BÁ THẮNG – ĐẶNG BÁC VĂN TÌM HIỂU CÁC KỸ THUẬT ÁP DỤNG CHO BÀI TOÁN NHẬN DẠNG KÝ HIỆU NGƯỜI CÂM KHÓA LUẬN CỬ NHÂN TIN HỌC TP.HCM, NĂM 2005 TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ PHẦN MỀM ĐINH BÁ THẮNG – 0112446 ĐẶNG BÁC VĂN – 0112454 TÌM HIỂU CÁC KỸ THUẬT ÁP DỤNG CHO BÀI TOÁN NHẬN DẠNG KÝ HIỆU NGƯỜI CÂM KHÓA LUẬN CỬ NHÂN TIN HỌC GIÁO VIÊN HƯỚNG DẪN T.S DƯƠNG ANH ĐỨC Th.S NGUYỄN TRI TUẤN NIÊN KHÓA 2001 - 2005 LỜI NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… LỜI NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… …………………………………………………………………………………………………… Lời cảm ơn Chúng em xin chân thành cảm ơn Khoa Công nghệ Thông tin, trường Đại học Khoa học Tự nhiên TP.HCM tạo điều kiện cho chúng em thực đề tài luận văn tốt nghiệp Chúng em xin gửi lời cảm ơn sâu sắc đến Tiến sĩ Dương Anh Đức, Thạc sĩ Nguyễn Tri Tuấn Thạc sĩ Lê Đình Duy tận tình hướng dẫn chúng em suốt thời gian thực đề tài Qua thời gian thầy hướng dẫn, chúng em biết cách làm việc khoa học hơn, biết cách “Khi em viết khơng phải em em phải cho người khác biết ai”, “Khi em nói kết em đạt tốt phải rõ tốt tốt nào” Chúng em xin chân thành cảm ơn Thầy Cô Khoa truyền đạt cho chúng em kiến thức quý báu năm học vừa qua, giúp chúng em có tảng lý thuyết vững để tiếp tục theo học hay tìm việc làm Chúng xin bày tỏ lòng biết ơn sâu sắc Ơng Bà, Cha Mẹ, người ln ln quan tâm chăm sóc mặt vật chất lẫn tinh thần, tạo điều kiện cho chúng chuyên tâm học tập nghiện cứu Cuối cùng, xin nói lời cảm ơn chân thành đến anh chị bạn giúp đỡ, khích lệ phê bình, góp ý, giúp chúng em hồn thành cơng việc cách tốt Tuy chúng em nổ lực hoàn thành luận văn, chắn luận văn nhiều thiếu sót Chúng em mong nhận góp ý, bảo tận tình Thầy Cơ bạn để chúng em tiếp tục thực chúng em viết mục “hướng phát triển” khóa luận Thành phố Hồ Chí Minh, Tháng 7/2005 Nhóm SV thực Đinh Bá Thắng – Đặng Bác Văn Lời nói đầu Sự đời máy tính giúp ích nhiều cho công việc sống người Với máy tính, người soạn thảo văn bản, nghe nhạc, xem phim, thiết kế đồ họa, xử lý ảnh, biên tập phim Tuy nhiên, việc giao tiếp người máy tính phụ thuộc chủ yếu vào bàn phím chuột, người ln phải ngồi trước máy tính Dần dần, nhà sản xuất thấy bất tiện tạo bàn phím chuột khơng dây với mong muốn mang lại tự cho người dùng Tuy nhiên, bàn phím khơng dây bàn phím, người tương tác với máy tính thơng qua hệ thống 104 phím Con người thật “giải phóng” việc tương tác với máy tính thực thơng qua cử sống hàng ngày, tức máy tính phải “hiểu” cử người Đó vấn đề đặt cho tốn nhận dạng phân loại cử Cho đến thời điểm nay, dù có nhiều cách tiếp cận khác cho toán này, dường chưa có hệ thống nhận dạng cử thực hiệu Bên cạnh đó, tốn nhận dạng mặt người đạt kết khả quan với mơ hình Cascade of Boosted Classifiers Viola Jones [1] đề nghị Mơ hình đạt hiệu cao độ xác lẫn thời gian nhận dạng Eng Jon [14] áp dụng mô hình lên tốn nhận dạng bàn tay đạt kết tốt Mục tiêu khóa luận thử áp dụng mơ hình Cascade of Boosted Classifiers lên toán phân loại cử với hi vọng đạt kết tốt toán nhận dạng mặt người nhận dạng bàn tay Luận văn trình bày chương với bố cục sau: • Chương 1-Mở đầu: Nêu lên tầm quan trọng toán phân loại cử mô tả sơ phạm vi tốn mà khóa luận giải Đồng thời giới điểm sơ qua cách tiếp cận có với ưu khuyết điểm chúng giới thiệu mơ hình sử dụng khóa luận • Chương 2-Giới thiệu toán phân loại cử chỉ: Phát biểu cụ thể mô tả chi tiết phạm vi tốn giải quyết, giải thích lại chọn mơ hình Cascade of Boosted Classifiers • Chương 3-Cơ sở lý thuyết: Trình bày AdaBoost, Haar Feature, mơ hình Cascade of Classifiers, khái niệm Integral Image, từ hình thành nên cấu trúc Cascade of Boosted Classifiers Tiếp phần giới thiệu ứng dụng mơ hình số nhận xét, đánh giá • Chương 4-Áp dụng mơ hình Cascade of Boosted Classifiers: Trình bày chi tiết cách áp dụng mơ hình cascade lên tốn phân loại cử • Chương 5-Kết thử nghiệm: Giới thiệu tập huấn luyện, cách thu thập mẫu, cách tiến hành kết huấn luyện, đồng thời so sánh đối chiếu với kết người khác • Chương 6-Tổng kết: Tóm tắt kết nghiên cứu, đạt được, hạn chế nêu hướng phát triển tương lai Mục Lục Chương Mở đầu .6 Chương Giới thiệu hệ thống phân loại cử 12 Chương Các sở lý thuyết 15 3.1 Tiếp cận Boosting 15 3.2 AdaBoost 16 3.3 Haar Feature 20 3.4 Cascade of Classifiers .24 3.5 Cascade of Boosted Classifiers .25 3.6 Đánh giá 26 Chương 4.1 Phân loại cử với Cascade of Boosted Classifiers .29 Bộ nhận dạng cử .29 4.1.1 Tập huấn luyện .29 4.1.2 Đặc trưng 31 4.1.3 Xây dựng nhận dạng với AdaBoost 32 4.1.4 Cascade of Boosted Classifiers 36 4.1.5 Hoạt động nhận dạng cử 38 4.2 Bộ phân loại cử 41 Chương Kết thử nghiệm 43 5.1 Tập huấn luyện 43 5.2 Cách tiến hành huấn luyện 47 5.3 Kết thử nghiệm 49 5.4 So sánh đánh giá 53 Chương Tổng kết 56 6.1 Kết luận 56 6.2 Hướng phát triển 57 Phụ lục A: Các thuật ngữ liên quan .59 Phụ lục B: Các chương trình dùng cho huấn luyện .62 Phụ lục C: Các chương trình tiện ích .66 Tài liệu tham khảo 67 Danh sách hình Hình - Hệ thống 24 cử .8 Hình - Bộ phân loại cử Hình - Bộ phân loại tạo thành từ kết hợp nhận dạng 10 Hình - Hệ thống 24 cử 13 Hình - Boosting 16 Hình - Strong classifier H(x) xây dựng AdaBoost .17 Hình - Haar Feature 21 Hình - Haar Feature cho mặt người 21 Hình - SAT(x,y) cách tính tổng điểm ảnh hình chữ nhật 22 Hình 10 - Haar Feature xoay 45º Lienhart đề nghị 23 Hình 11 - RSAT(x,y) cách tính tổng điểm ảnh hình chữ nhật xoay góc 45º 23 Hình 12 - Cascade of Classifiers 25 Hình 13 - Bộ nhận dạng cử A 29 Hình 14 - Các mẫu positive cho nhận dạng chữ A 30 Hình 15 - Các mẫu negative (B, C, D) cho nhận dạng chữ A 30 Hình 16 - Tập huấn luyện weak classifiers 31 Hình 17 - Các Haar Feature sử dụng nhận dạng cử 31 Hình 18 - Cách chọn weak classifier AdaBoost 34 Hình 19 - Chọn ngưỡng θ dựa vào detection rate 35 Hình 20 - Các vùng ảnh khơng liên quan (nét mảnh) bị loại từ stages 39 Hình 21 - Khắc phục trường hợp nhiều vùng ảnh kế cận cách lấy vùng ảnh trung bình .39 em huấn luyện ký hiệu Victory viết Kolsch (chọn false alarm -3 mức 10 ) qua biểu đồ sau: Hình 38 - Biểu đồ so sánh Hit Rate ký hiệu Victory với cử V Còn với tỉ lệ false alarm cho ký tự L ký hiệu Lpalm, ta có kết sau: Hình 39 - Biểu đồ so sánh Hit Rate ký hiệu LPalm với cử L Những so sánh mang tính tương đối, thấy hiệu nhận dạng cho cử xây dựng khóa luận khơng thực nói lên 54 tương quan hệ thống, số liệu lấy từ tập huấn luyện tập test khác Hình 40 - Vài kết test nhận dạng cử A (cử B trường hợp false alarm) 55 Chương Tổng kết Chương Tổng kết 6.1 Kết luận Trên sở tìm hiểu thuật tốn AdaBoost, Haar Feature mơ hình Cascade of Classifiers, chúng em áp dụng mơ hình Cascade of Boosted Classifers – vốn áp dụng lĩnh vực nhận dạng mặt người – lên toán nhận dạng cử đạt những kết bước đầu Chúng em tiến hành đủ tất khâu việc lấy mẫu cách chụp hình bạn lớp, Thầy Cơ cán giảng dạy trẻ người thân gia đình chúng em; tiếp đến chuẩn hóa hình này; sau bắt tay vào chỉnh sửa chương trình huấn luyện thư viện OpenCV cung cấp; cuối tiến hành huấn luyện thử nghiệm nhiều lần để chọn kích thước mẫu phù hợp, để chọn tham số max false alarm, hit rate cho hệ thống đạt hiệu tốt Bên cạnh đó, chúng em xây dựng số chương trình tiện ích phục vụ cho việc chuẩn hóa mẫu huấn luyện (xem phần Phụ lục C để biết thêm chi tiết), qua biết cách sử dụng hàm thư viện OpenCV 24 nhận dạng cho 24 cử mà chúng em xây dựng cho kết tốt với detection rate khoảng 96% Tuy false alarm tương đối cao, điều chấp nhận với số lượng mẫu giới hạn chất lượng không cao (do chụp từ webcam với độ phân giải 320x240) cử mà chúng em thu thập Tuy nhiên, khóa luận dừng lại mức xây dựng 24 nhận dạng cử mà chưa thể kết hợp chúng để tạo thành phân loại cử mục tiêu đề 56 Chương Tổng kết ban đầu hạn chế thời gian, phần thời gian thực khơng đủ, phần khâu huấn luyện chiếm nhiều thời gian 6.2 Hướng phát triển Hướng phát triển trước mắt xây dựng phân loại cử dựa kết hợp nhận dạng cử có Từ xây dựng hệ thống phân loại thời gian thực dựa camera để ghi nhận cử mà người dùng dấu Một có hệ thống có khả “hiểu” cử người, ta bắt đầu gán cho hệ thống số tính yêu cầu chúng thực nhận cử – ứng dụng dạng điều khiển robot Hệ thống hoạt động hình chụp diện, nhạy cảm góc quay bàn tay Trong tương lai, ta sử dụng thêm đặc trưng khác ngồi Haar Feature, áp dụng thêm biến đổi Fourier (như tiếp cận Kolsch [7]) để nhận dạng cử góc quay Đồng thời tiến hành xây dựng nhiều nhận dạng cho cử chỉ, đảm nhiệm góc nhìn cử để nhận dạng cử từ góc độ Đối với tốn nhận dạng cử động nhiều hạn chế hạn chế lớn số lượng từ vựng Mơ hình Cascade of Boosted Classifiers cho kết tốt toán nhận dạng cử tĩnh, ta áp dụng lên toán nhận dạng cử động cách nhận dạng khung hình trình chuyển động, chuyển tiếp khung hình thực xử lý mơ hình Markov ẩn Với kết đạt này, để có hệ thống thực tương tác với người thơng qua cử chặng đường dài phải Tuy nhiên, điều khơng có nghĩa khơng thể Nếu vượt qua trở ngại trước mắt, nhận dạng cử động với số lượng tự vựng nhiều giới mới, giới mà máy cần có 57 Chương Tổng kết hệ thống camera tương tác với người, đích mà nhắm đến 58 Phụ lục A: Các thuật ngữ liên quan Phụ lục A: Các thuật ngữ liên quan Pattern (Mẫu) Được chia loại: • Training Samples (Mẫu huấn luyện ): Mẫu huấn luyện mẫu dùng cho việc học hệ nhận dạng Trong trình huấn luyện, nhận dạng học từ mẫu này, thông qua đặc trưng để nhận đối tượng cần nhận dạng Mẫu huấn luyện gồm loại: o Positive samples: mẫu chứa đối tượng cần nhận dạng o Negative samples: mẫu không chứa đối tượng cần nhận dạng Trong trình học, nhận dạng cố gắng tìm đặc trưng mẫu positive mà mẫu negative khơng có, từ rút đặc trưng đối tượng cần nhận dạng Khi đưa mẫu vào nhận dạng, nhận dạng áp đặc trưng lên mẫu, thỏa mẫu đối tượng cần nhận dạng, ngược lại khơng phải • Test Samples (Mẫu kiểm thử): Mẫu kiểm thử mẫu dùng cho việc kiểm tra tỉ lệ nhận dạng hệ nhận dạng Các mẫu phải không nằm tập huấn luyện Tỉ lệ nhận dạng mẫu tập kiểm thử nói lên tính hiệu hệ nhận dạng, mẫu hệ nhận dạng chưa học, nhận dạng chứng tỏ đặc trưng mà rút thật đặc trưng đối tượng Feature (Đặc trưng) Là thơng tin giúp đối tượng tự định danh Để hệ nhận dạng biết mẫu đưa vào có chứa đối tượng cần nhận dạng hay không, nhận dạng phải biết đặc trưng đối tượng Ví dụ tốn phân loại cá hồi cá mú, đặc trưng cá hồi “độ sáng khơng 0.5 chiều dài vảy không 59 Phụ lục A: Các thuật ngữ liên quan cm” Khi đó, mẫu đưa vào thỏa đặc trưng cá hồi, ngược lại cá mú Trong tốn nhận dạng nào, thơng thường khơng tồn đặc trưng đơn giúp nhận dạng tốt đối tượng (“độ sáng không 0.5” chưa đủ để kết luận mẫu đưa vào “cá hồi”), mà đòi hỏi phải kết hợp nhiều đặc trưng với nhau, chúng gọi không gian đặc trưng Threshold (Ngưỡng) Ngưỡng giá trị “ranh giới” lớp Trong ví dụ trên, giá trị “0.5” “3” gọi ngưỡng Ngưỡng hiệu chỉnh được, thơng thường chọn thực nghiệm (Người ta thử nhận dạng với giá trị ngưỡng khác để chọn ngưỡng cho tỉ lệ nhận dạng tốt nhất) Classifier (Bộ phân loại) Một hệ nhận dạng gồm nhiều phân loại, phân loại ứng với lớp, gồm hay nhiều luật dạng If…then… với đặc trưng ngưỡng tương ứng Khi mẫu đưa vào phân loại, phân loại kiểm tra xem có thỏa luật hay khơng, thỏa xếp vào lớp tương ứng với phân loại này, khơng đưa qua phân loại (nếu có) Detector (Bộ nhận dạng) Chức tương tự nhận dạng có phạm vi hẹp hơn, có nhiệm vụ cho biết mẫu có thuộc lớp cụ thể hay khơng Detector classifier dùng thay cho nhau, detector xem classifier cho lớp “có” “khơng” Hit Rate (Detection Rate) Là tỉ lệ nhận dạng object (các đối tượng cần nhận dạng) Ví dụ tốn nhận dạng mặt người, Hit Rate = 0.95 có nghĩa số 100 mẫu mặt người, phân loại nhận 95 mẫu (5 mẫu lại phân loại cho background) False Positive (False Alarm) 60 Phụ lục A: Các thuật ngữ liên quan Là tỉ lệ nhận dạng sai background (các mẫu khơng phải đối tượng cần nhận dạng) Ví dụ False Alarm = 0.01 có nghĩa 100 mẫu background có mẫu bị phân loại lầm tưởng object Weak classifier Là classifier đơn giản cần có độ xác 50% Strong classifier Là classifier có độ xác cao , xây dựng từ kết hợp weak classifier 61 Phụ lục B: Các chương trình dùng cho huấn luyện Phụ lục B: Các chương trình dùng cho huấn luyện Tạo sample Việc tạo samples thực chương trình CreateSamples, chương trình kèm thư viện Intel OpenCV có chức tạo file liệu cho mẫu (positive lẫn negative) từ file ảnh (bmp, jpg ), đồng thời cho phép phát sinh thêm ảnh từ hay nhiều ảnh ban đầu cách áp dụng phép xử lý ảnh rotate, dilate, erode lên ảnh Chương trình chúng em sửa đổi đáp ứng nhu cầu xây dựng nhận dạng cử Các sửa đổi bao gồm cách tạo samples, thêm phép tịnh tiến cho việc phát sinh ảnh Chương trình sau chỉnh sửa có tên MyCreateSamples Chương trình có chức sau: Phát sinh hình tương tự từ hay nhiều ảnh ban đầu Xác lập giá trị cho tham số sau: • -info: tập tin chứa tên tập tin hình cần phát sinh • -dir: tên thư mục chứa tập tin hình phát sinh • -w -h: kích thước hình gốc (mặc định 24x24) • -num: số lượng hình phát sinh từ hình đưa vào (mặc định 10) Tạo liệu huấn luyện Xác lập giá trị cho tham số sau: • -info: tập tin liệt kê danh sách ảnh positive (ảnh chụp cử qua chuẩn hóa) • -vec: tập tin liệu phát sinh để dùng cho q trình huấn luyện • -nongen: chương trình ghi liệu ảnh vào thằng file vec • -gen: với ảnh file info, chương trình phát sinh num ảnh tương tự, sau ghi liệu tất ảnh vào file vec 62 Phụ lục B: Các chương trình dùng cho huấn luyện • -num: số ảnh phát sinh cho ảnh positive (chỉ sử dụng kèm với tham số -gen) • -w -h: kích thước ảnh positive Phủ kín ảnh ảnh cho trước Xác lập giá trị cho tham số sau: • -info: tập tin ảnh phát sinh • -img: tập tin ảnh dùng để phủ • -bg: tập tin chứa danh sách ảnh cần phủ • -w -h: kích thước ảnh –img • -ran: áp dụng phép biến đổi ngẫu nhiên lên ảnh trước phủ lên ảnh (ảnh phủ nhiều ảnh khác – ảnh phát sinh từ -img) • -nonran: dùng ảnh –img phủ kín tất ảnh Phủ kín nhiều ảnh nhiều ảnh cho trước Xác lập giá trị cho tham số sau: • -info: tập tin liệt kê danh sách ảnh dùng để phủ • -bg: tập tin chứa danh sách ảnh cần phủ • -w -h: kích thước ảnh –img • -ran: áp dụng phép biến đổi ngẫu nhiên lên ảnh trước phủ lên ảnh (ảnh phủ nhiều ảnh khác – ảnh phát sinh từ ảnh -info) • -nonran: dùng ảnh –info phủ kín tất ảnh Huấn luyện Haartraining ứng dụng dùng để xây dựng hệ nhận dạng theo mơ hình Cascade of Boosted Classifiers Đây chương trình mã nguồn mở cung cấp phận thư viện Intel OpenCV Chương trình chúng em sửa 63 Phụ lục B: Các chương trình dùng cho huấn luyện đổi, sửa cấu trúc liệu biểu diễn feature thêm vào feature sử dụng toán nhận dạng cử chỉ, đồng thời thêm chức khác phát sinh file log, phát sinh file mô tả feature chọn, Chương trình sau sửa đổi có tên Parsehaartraining Chương trình có tham số sau: • -data: thư mục chứa cấu trúc cascade • -vec: tập tin liệu positive phát sinh CreateSamples • -bg: tập tin liệt kê danh sách ảnh negative (các ảnh background ảnh cử khác với cử cần nhận dạng) • -subwnd: tên file log lưư tọa độ feature chọn Nếu không xác lập tham số chức khơng thực • -log: tên file log thơng số q trình huấn luyện Nếu khơng nhập vào chương trình lấy tên mặc định logxxx.txt 000 tăng dần file logxxx.txt tồn • -npos: số lượng positive samples dùng để huấn luyện • -nneg: số lượng negative samples dùng để huấn luyện • -nstages: số stage dự kiến train • -nsplits: số feature sử dụng weak classifier Bài toán nhận dạng cử sử dụng –nsplits • -sym: dùng mẫu nhận dạng có tính chất đối xứng nhằm giảm false alarm • -minhitrate: tỉ lệ nhận dạng tối thiểu mẫu positve mà stage classifier phải đạt minhitrate cấu trúc cascade –nstages -minhitrate • -maxfalsealarm: tỉ lệ nhận dang sai tối đa mẫu negative mà stage classifier phép mắc phải maxfalsealarm cấu trúc cascade –nstages -maxfalsealarm 64 Phụ lục B: Các chương trình dùng cho huấn luyện • -eqw • -mode : loại haar features sử dụng BASIC gồm kiểu feature không xoay, CORE bao gồm feature xoay, ALL bao gồm thêm feature hình vuống lồng (Xem 4.1.2 để biết thêm chi tiết) • -w -h: kích thước mẫu positive • -bt: thuật toán boost muốn sử dụng: Discreate AdaBoost, Real AdaBoost, LogitBoost Gentle AdaBoost Bài toán nhận dạng cử khóa luận sử dụng GAB Nhận dạng Chúng em tự xây dựng chương trình Haardetecting (phỏng theo chương trình facedetect dựa hỗ trợ OpenCV) dùng để tiến hành nhận dạng Chương trình sử dụng cấu trúc cascade phát sinh từ ứng dụng Haartraining để nhận dang mẫu đưa vào Chương trình có tham số đơn giản sau: • -data: thư mục chứa cấu trúc cascade phát sinh từ ứng dụng Haartraining • -img: ảnh cần nhận dạng • -cam: webcam dùng để chụp ảnh nhận dạng trực tuyến, không sử dụng tham số nhận dạng ảnh tĩnh • -w -h: kích thước mẫu positive tiến hành huấn luyện 65 Phụ lục C: Các chương trình tiện ích Phụ lục C: Các chương trình tiện ích Để tiến hành huấn luyện đòi hỏi ảnh chụp phải chuẩn hóa Việc chuẩn hóa ảnh chụp thực tay hay chương trình xử lý đồ họa sẵn có nhiều thời gian chương trình khơng sát với nhu cầu Do đó, chúng em xây dựng tập ứng dụng hỗ trợ cho việc chuẩn hóa Hầu hết chương trình viết với hỗ trợ thư viện Open CV PathToTxt: với input thư mục, chương trình phát sinh tập tin chứa đường dẫn đến tất tập tin có thư mục (các tập tin cấp độ bất kỳ) Output chương trình dùng cho chương trình MyCreateSamples ImageCropper: chương trình giúp cắt nhanh vùng ảnh (vùng chứa bàn tay) tự động lưu vào file với tên với ảnh mà xử lý MakeGrayScaleImg: chương trình giúp chuyển lúc nhiều hình ảnh grayscale, đồng thời cho phép chọn có thay đổi kích thước ảnh hay khơng (thay đổi thành kích thước cố định hay đổi theo tỉ lệ) MyDemHist: Dùng để threshold, tô đen vùng cho ảnh dựa vào histogram 66 Tài liệu tham khảo Tài liệu tham khảo [1] P Viola and M J Jones Robust real-time face detection International Journal of Computer Vision, 57(2):137 154, May 2004 [2] C Papageorgiou, M Oren, and T Poggio A general framework for Object Detection In International Conference on Computer Vision, 1998 [3] Paul Viola and Michael J Jones Rapid Object Detection using a Boosted Cascade of Simple Features IEEE CVPR, 2001 [4] Rainer Lienhart and Jochen Maydt An Extended Set of Haarlike Features for Rapid Object Detection IEEE ICIP 2002, Vol 1, pp 900-903, Sep 2002 [5] Y Freund and R Schapire A decision-theoretic generalization of on-line learning and an application to boosting Journal of Computer and System Sciences, 55(1):119– 139, 1997 [6] M Kolsch and M Turk Robust Hand Detection In Proc IEEE Intl Conference on Automatic Face and Gesture Recognition, May 2004 [7] M Kolsch and M Turk Analysis of Rotational Robustness of Hand Detection with a Viola-Jones Detector In Proc IEEE Intl Conference on Pattern Recognition, 2004 [8] Yoav Freund and Robert E Schapire Experiments with a new boosting algorithm In Machine Learning: Proceedings of the Thirteenth International Conference, pages 148–156, 1996 [9] Robert E Schapire and Yoram Singer Improved boosting algorithms using confidence-rated predictions Machine Learning, 37(3):297–336, December 1999 [10] Yoav Freund and Robert E Schapire A decision-theoretic generalization of online learning and an application to boosting Journal of Computer and System Sciences, 55(1):119–139, August 1997 [11] Rowley, H., Baluja, S., and Kanade, T 1998 Neural network-based face detection IEEE Patt Anal Mach Intell., 20:22–38 67 Tài liệu tham khảo [12] Schneiderman, H and Kanade, T 2000 A statistical method for 3D object detection applied to faces and cars In InternationalConference on Computer Vision [13] Roth, D., Yang, M., and Ahuja, N 2000 A snowbased face detector In Neural Information Processing 12 [14] Eng-Jon Ong and Bowden, R A Boosted Classifier Tree for Hand Shape Detection In Proc IEEE Intl Conference on Automatic Face and Gesture Recognition, 2004 [15] William T Freeman, Michal Roth Orientation Histograms for Hand Gesture Recognition In Proc IEEE Intl Wkshp on Automatic Face and Gesture Recognition, Zurich, June, 1995 [16] R Bowden and M Sarhadi Building temporal models for gesture recognition In Proc BMVC., volume 1, pages 32–41, 2000 [17] X Zhu, J Yang, and A Waibel Segmenting Hands of Arbitrary Color In Proc IEEE Intl Conference on Automatic Face and Gesture Recognition, 2000 [18] Nolker, C Ritter, H.: Illumination Independent Recognition on Deictic Arm th Postures, Proc 24 Annual Conf of the IEEE Industrial Electronics Society, Germany, pp 2006- 2011 (1998) [19] Duy-Dinh Le, Shin'ichi Satoh Feature Selection By AdaBoost For Efficient SVM-Based Face Detection, In Information Technology Letters, Vol.3, pp 183-186, Kyoto, Japan, Sep 2004 68 ... KHOA HỌC TỰ NHIÊN KHOA CÔNG NGHỆ THÔNG TIN BỘ MÔN CÔNG NGHỆ PHẦN MỀM ĐINH BÁ THẮNG – 0112446 ĐẶNG BÁC VĂN – 0112454 TÌM HIỂU CÁC KỸ THUẬT ÁP DỤNG CHO BÀI TOÁN NHẬN DẠNG KÝ HIỆU NGƯỜI CÂM KHÓA... Jon áp dụng lên toán nhận dạng bàn tay [14] với kết khả quan Bài toán phân loại cử giống với toán nhận dạng bàn tay Eng Jon Một phân loại cử xây dựng từ nhiều nhận dạng cử chỉ, đó, nhận dạng. .. thành Module nhận dạng cử chỉ: tạo lại cascade tree từ tập tin nhận dạng xây dựng để tiến hành nhận dạng Ví dụ sử dụng tập tin nhận dạng cử A ta A-Detector, việc nhận dạng nhận dạng vùng ảnh