Để tiến hành nhận dạng cử chỉ của bàn tay, chúng tôi tiến hành trích chọn đặc trưng đường bao thu được ở phần phát
hiện vùng đối tượng. Ở bước này có thể sử dụng các kỹ thuật phân tích hình dạng đối tượng khác nhau như: sử dụng các dạng moment, phân tích đường bao theo đặc trưng Fourier 2D, sử dụng curvefitting … tuy nhiên trong nghiên cứu của mình bước đầu tôi sử dụng kỹ thuật xấp xỉ đa giác cho vùng đường bao và tìm bao lồi nhỏ nhất chứa vùng bàn tay, tiếp đó trích chọn các đặc trưng theo đa giác
Trong đó để phân biệt các ngón tay, chúng tôi tiến hành phân tích độ sâu các kẽ tay dựa trên các góc khuyết, đồng thời loại bỏ các kẽ không phù hợp về độ sâu.
Hình. Phát hiện kẽ ngón tay
Các thao tác về xấp xỉ đa giác và tìm bao lồi được chúng tôi sử dụng thuật toán Douglas–Peucker tích hợp sẵn trong bộ thư viện mã nguồn mở OpenCV.
Khi đó, vector đặc trưng cho vùng bàn tay cuối cùng được xác định gồm các thành phần sau: f1 số lượng kẽ tay; f2 độ sâu trung bình của các kẽ tay; f3 diện tích vùng bàn tay, f4 giá trị depthIx0,y0 của tâm bàn tay; f5 khoảng cách trung
bình giữa hai kẽ tay liên tiếp; f6 số đỉnh bao lồi; f7 độ dài cạnh lớn nhất của bao lồi, f8 độ dài cạnh nhỏ nhất của bao lồi bàn tay.
Kết thúc giai đoạn này mỗi tư thế của bàn tay có thể xác định bởi hàm phân loại từ 8 đặc trưng
f1 , f2 , f8 G G h SVM 4.5. Thực nghiệm nhận dạng hình ảnh cử chỉ bàn tay
Từ bộ ảnh thu thập được, chúng tôi chia ra thành nhiều nhóm con theo mỗi loại cử chỉ, và đưa vào tập huấn luyện, qua bước huấn luyện, chúng tôi tạo ra 01 file để ghi lại dữ liệu của 8 đặc trưng đã trích chọn ở phần trên. Kết quả thử nghiệm
Trong quá trình thực nhiệm nhận dạng trên nhiều mẫu ảnh, chúng tôi nhận thấy với những ảnh chụp có điều kiện ánh sáng tốt, phông nền trơn độ tương phản cao so với da bàn tay
thì kết quả nhận dạng là rất tốt đạt độ chính xác đạt 98%. tuy nhiên, với những ảnh chụp trên phông nền có mầu gần giống như mầu da thì hệ thống nhận dạng rất kém gần như không thể nhận dạng được.
KẾT LUẬN
Luận văn nghiên cứu các kỹ thuật tiền xử lý ảnh và trích chọn đặc trưng cũng như một số mô hình, thuật toán trong việc nhận dạng hình. Qua các thử nghiệm trên nhiều mẫu hình ảnh cử chỉ bàn tay khác nhau, tôi đã xác định được ngưỡng nhận dạng mầu da bàn tay, qua đó, trích chọn được đặc trưng để đưa vào huấn luyện theo mô hình SVM, hướng tới xây dựng một siêu phẳng để cực tiểu hoá độ phân lớp sai của một đối tượng dữ liệu mới, giúp cho SVM có khả năng mạnh mẽ ứng dụng tốt trong bài toán nhận dạng.
Tôi dự định sau đây sẽ tiếp tục nghiên các kỹ thuật huấn luyện máy tính để bổ sung tập các đặc trưng cũng như các cử động của bàn tay và sẽ khảo sát kỹ hơn mức độ nhầm lẫn giữa các cử chỉ và xây dựng ứng dụng tương tác người máy thời gian thực.