Tìm và tách mặt người ra khỏi ảnh số là một bài toán gắn liền với hệ thống nhận dạng mặt người tựđộng.
Hiện nay có một số phương pháp để tách mặt người trong ảnh là:
• Sử dụng ngưỡng màu đối với ảnh màu để xác định vùng có màu da của người.
• Kỹ thuật trừảnh đối với hệ thống có Camera đặt cốđịnh. Khối này sử dụng phương pháp trừảnh để tách đối tượng.
Cho ảnh nền X và ảnh chứa đối tượng Y có cùng kích thước 600×800.
Ảnh kết quả của phép trừảnh là I. Xét pixel có tọa độ ( , )x y0 0 , ta có: 0 0 0 0 0 0 0 0 0 0 1 ( , ) ( , ) ( , ) 0 ( , ) ( , ) khi X x y Y x y I x y khi X x y Y x y ε ε ⎧ − > ⎪ = ⎨ − ≤ ⎪⎩
Kết quả của phép trừ ảnh là một ảnh nhị phân. Khu vực chứa đối tượng sẽ có màu trắng (giá trị bằng 1), và khu vực còn lại sẽ có màu đen (giá trị bằng 0). Tuy
nhiên, do sự thay đổi cường độ sáng ở một mức độ nào đó giữa ảnh nền và ảnh chứa
đối tượng, ảnh sẽ có nhiều nhiễu. Lọc nhiễu:
• Lọc các nhiễu (các vùng màu trắng không có đối tượng) có diện tích bé. Vùng chứa đối tượng luôn là vùng có diện tích tích lớn nhất.
• Lọc các vùng đen bên trong khu vực chứa đối tượng.
(a) (b)
(c) (d)
(e)
Hình-5. 10: Quá trình thu thập và tách đối tượng khỏi ảnh
a. - Ảnh nền, b- Ảnh chưa đối tượng, c. Kết quả trừảnh, d. Mặt nạ sau khi lọc nhiễu, e – Đối tượng được tách khỏi nền.
5.1.2.2. Chuẩn hóa ảnh
• Đầu vào: Ảnh đối tượng sau khi đã được tách ở khâu thu thập.
• Đầu ra: Ảnh có kích thước cố định (310×250 pixels), bao trọn khuôn mặt đối tượng, được xoay thẳng và được cân bằng sáng.
Để thực hiện nhiệm vụ tìm khung khuôn mặt mà xoay chuẩn, đồ án sử dụng phương pháp tìm tâm 2 mắt để xác định vị trí khuôn mặt.
Để xác định vùng mắt, ta nhận thấy mắt là một vùng có ánh sáng tối nằm ở một khu vực riêng trên khuôn mặt, xung quanh là vùng màu da. Do đó, ta sử dụng
Chương 5: Nhận dạng bàn tay và mặt người
phương pháp tách vùng để tìm ra vùng chứa mắt. Phương pháp phân ngưỡng được sử dụng.
Các bước thực hiện:
Hình-5. 11: Khối chuẩn hóa ảnh
5.1.2.2.1. Xác định tâm mắt
Ta thấy, số pixel quy định gương mặt có tỉ lệ gần như không đổi so với tổng số
pixel (điều này do ta đã quy định chặt chẽđiều kiện biên).
Ảnh chứa đối tượng Lược đồ mức xám của ảnh
Hình-5. 12: Xác định vùng mắt bằng phân tích lược đồ mức xám
Ta thấy khu mực chứa màu mắt khá nổi bật trong lược đồ mức xám. Nhận thấy tỉ
lệ của vùng da và nền so với t ổng số pixel luôn nằm trong một khoảng cốđịnh, do
đó ta có thể tính được ngưỡng của vùng màu mắt.
Do diện tích của vùng mắt là nhỏ hơn rất nhiều so với vùng tóc, nên ta sử dụng chương trình lọc để bỏ đi các vùng có diện tích lớn. Vùng có diện tích lớn hơn
ngưỡng sẽđược thay thế bằng giá trị 0 (màu đen). Qua khảo sát, luận văn lựa chọn ngưỡng đó là 1000 pixels.
Việc đặt ngưỡng thông thường sẽ sinh ra các vùng nhiễu có diện tích bé. Để lọc các vùng này, ta cũng sử dụng hàm lọc giống như trên nhưng chỉ để lọc với các vùng có diện tích bé hơn ngưỡng. Qua khảo sát, đồ án lựa chọn ngưỡng đó là 100 pixels.
Sau khi lọc nhiễu, ta có kết quả như sau:
Ảnh mặt nạ sau khi đặt ngưỡng tách màu mắt
Ảnh mặt nạ sau khi được lọc
nhiễu. Vùng mắt được tách
Hình-5. 13: Quá trình đặt ngưỡng tách vùng mắt
Sau khi tách được vùng mắt, sử dụng phương pháp tìm tâm của một vùng, ta có
được tọa độ tâm của 2 mắt, từđây ta có thể thực hiện phép xoay ảnh và tách được vùng mặt như mong muốn.
5.1.2.2.2. Xoay ảnh và tắt khung mặt
Từ tọa độ tâm 2 mắt, ta xác định góc nghiêng α của khuôn mặt so với phương thẳng đứng. Nếu α >50, ta sẽ thực hiện phép xoay ảnh.
Chương 5: Nhận dạng bàn tay và mặt người
α
α
Mắt phải
Mắt trái
Hình-5. 14: Xác định góc nghiêng của khuôn mặt dựa trên tâm mắt
Giả sử tại tâm 2 mắt có tọa độ tương ứng là (x1,y1) và (x2,y2) khi đó ta có:
2 1 2 1 y x y tg x α = − −
Xoay chuẩn đổi tượng thực chất là một phép biến đổi hệ tọa độ. Giả sửảnh f ban
đầu ở trong hệ tạo độ(w,z), thông qua phép biến đổi T ta được ảnh f’ trong hệ tọa độ
(x, y);
( )
{ } ( , )x y =T w z,
Phương pháp biến đổi phổ biến hay được dùng là phương pháp affine transform theo phương pháp này thì:
[ ] [ ] [ ] 1121 1222 31 32 0 1 1 1 0 1 t t x y w z w z t t t t ⎡ ⎤ ⎢ ⎥ = ⋅ = ⋅ ⎢ ⎥ ⎢ ⎥ ⎣ ⎦ T
Các phép chuyển đổi thông thường có thể là: scale, rotation translation,…
Đối với mỗi phương pháp có ma trận T khác nhau, trong trường hợp xoay ảnh thì ma trận T tương ứng sẽ là:
cos sin 0 sin cos 0 0 0 1 α α α α ⎡ ⎤ ⎢ ⎥ = −⎢ ⎥ ⎢ ⎥ ⎣ ⎦ T
Tương ứng với phương trình toán học:
cos sin sin cos x w z y w z α α α α = − = +
Sau khi xoay, tọa độ của các điểm trong ảnh cũ sẽ bị dịch chuyển đi theo công thức trên. Trong hệ tọa độ mới, ta có được khuôn mặt theo tư thế thẳng đứng và hai tâm mới tương ứng với mắt của đối tượng. Từđây, ta có được khung để tách phần mặt mong muốn ra khỏi ảnh.
Kết quả thực hiện như sau:
0
1 α =
Hình-5. 15: Xoay chuẩn đối tượng theo góc α
5.1.2.2.3. Chuẩn sáng ảnh
Để kiểm tra mức sáng, ta kiểm tra biểu đồ mức xám của ảnh và sử dụng thuật toán san bằng mức xám (histogram equalization). Ảnh sau khi được san bằng mức xám thì mức xám của ảnh sẽ phân bốđều từ 0-255.
Chương 5: Nhận dạng bàn tay và mặt người (a) (b) (c) (d) Hình-5. 16: Kết quả cân bằng mức xám 5.2. Trích chọn đặc tính 5.2.1. Trích chọn đặc tính ảnh bàn tay
Như phương án đã lựa chọn ở trên, quá trình nhận dạng sẽ dựa vào cả các đặc tính hình học lẫn đặc tính vân bàn tay (lấy cả bề mặt bàn tay). Một số phương pháp trích chọn đặc tính hay được dùng trong các bài toán nhận dạng bàn tay là: PCA (Principal Component Analysis), ICA (Independent Component Analysis), ART (Axial Radial Transform), DT (Distance Transform).
5.2.1.1. Phương pháp PCA (Principal Component Analysis)
5.2.1.1.1. Ứng dụng cho các đặc tính hình học
Đường viền bàn tay được biểu diễn bởi một véc tơ có độ dài 2n: ( (1),..., ( ), (1),..., ( ))T
x x y y
c c n c c n
=
z trong đó n là số điểm của đường viền bàn tay và ( ( ), ( ))c i c ix y là tọa độ 2-D của điểm thứi trên đường viền. Đầu tiên ta xác định 11 điểm mốc trên đường viền, bao gồm điểm đầu, điểm cuối, 5 điểm đầu ngón tay
và 4 điểm kẽ ngón tay, sau đó tiến hành lấy mẫu một lần nữa dữ liệu đường viền nhằm mục đích đảm bảo sự tương ứng giữa các phần tửđường viền của các bàn tay. Số lượng mẫu giữa hai điểm mốc phải bằng nhau đối với tất cả các bàn tay, vì thế độ dài bước lấy mẫu tỉ lệ với kích cỡ và hình dáng của bàn tay. Hình vẽ dưới biểu diễn số phần tửđường viền lựa chọn giữa các điểm mốc.
Hình-5. 17: Số phần tửđường viền được lựa chọn giữa các điểm mốc
Ma trận hiệp phương sai (covariance matrix) C của các véc tơđường viền được xây dựng bởi công thức: 1 1 ( - )( - ) 1 s T i i i s = = − ∑ C z z z z% % , sử dụng s bàn tay mẫu, trong
đó z% là véc tơ đường viền trung bình. Các véc tơ riêng { }vi của ma trận hiệp phương sai sắp xếp theo thứ tự giảm dần, có mối liên quan với các giá trị riêng tương ứng { }λi thể hiện sự thay đổi ở trong tập học. Nếu V chứa M véc tơ riêng tương ứng với M giá trị riêng lớn nhất thì bất kì véc tơ hình dạng nào ở trong tập học có thể xấp xỉ bởi z z V b≅ + ⋅% , trong đó V=[v v1 2...vM] là tập chuẩn không gian đặc trưng đã lựa chọn và b là hình chiếu của hình dạng z ở trong không gian
đặc trưng này: b V z z= T( −%). Véc tơ b đóng vai trò như một véc tơđặc tính độ dài M của đường viền bàn tay trong phần đối sánh.
5.2.1.1.2. Ứng dụng cho các đặc tính bề mặt bàn tay
Chọn bh làm hình chiếu của bàn tay vào không gian đặc trưng hình dạng và bg
Chương 5: Nhận dạng bàn tay và mặt người
T h g
⎡ ⎤
= ⎣ ⎦
b b b được xem như là véc tơđặc tính của bàn tay. Kích thước không gian
đặc trưng của cả hình dạng lẫn bề mặt đều là các thông số quan trọng và đều được
đánh giá bằng thực nghiệm. Khoảng cách giữa hai bàn tay được tính bằng cách sử
dụng một phép cộng có trọng số của các hiệu bình phương của các thành phần của véc tơđặc tính. Khi phần đối sánh được tiến hành mà chỉ sử dụng các thông tin về
hình dạng thì khoảng cách giữa hai véc tơđặc tính bk và bl là: 2 1 1 ( , ) M ( k l) i i i i D k l b b λ = =∑ − .
Còn khi đối sánh sử dụng cả thông tin về hình dạng lẫn bề mặt thì khoảng cách sẽ là : 2 2 1 1 1 1 ( , ) M ( k l ) N ( k l ) hi hi gi gi i hi i gi D k l b b b b λ λ = = =∑ − +∑ − Trong đó { }k M1 hi i b = là các đặc tính hình dạng M chiều của bàn tay thứ k, { }l N1 gi i b = là các đặc tính bề mặt N chiều của bàn tay thứ l, và λhi, λgi là các giá trị riêng thứ i
tính được được từ các véc tơ PCA. Hiệu bình phương của mỗi đặc tính được chia bởi căn bậc hai của phương sai đặc tính nhưđã tiến hành ở trong tập học.
5.2.1.2. Phương pháp ICA (Independent Component Analysis)
ICA là một phương pháp dùng để trích chọn các biến độc lập có tính thống kê từ
một hỗn hợp. Phương pháp này có nhiều ứng dụng trong khâu trích chọn đặc tính của các bài toán nhận dạng. Trong bài toán nhận dạng bàn tay, công cụ phân tích này được áp dụng đối với ảnh nhị phân đường viền bàn tay cũng như ảnh bề mặt bàn tay, nhằm mục đích trích chọn và tổng hợp các thông tin nguyên mẫu.
Phương pháp ICA giả thiết rằng mỗi ảnh bàn tay được quan sát {x k k( ), =1,.., )K } là một hỗn hợp của một tập gồm N tín hiệu nguồn độc lập chưa biết si, (i=1,.., )N . Ở đây {x k k( ), =1,.., )K } là do cách sắp xếp thứ tự từđiển của
ảnh ( , )I i j theo lớp, bao gồm K pixel. Cũng cần chú ý rằng trong khi phép phân tích PCA chỉ xem xét ảnh dựa vào phần bên trong đường viền bàn tay còn phép phân tích ICA lại quan tâm đến toàn bộ ảnh, cả ảnh bàn tay lẫn ảnh nền. Với xi và
si, (i=1,..,N) là các cột của ma trận X và S có kích thước N K× . Ta có mô hình
trộn như sau:
X AS=
ˆS = =Y WX
Trong đó A là ma trận của các hệ số hỗn hợp. Thuật toán ICA sẽ tìm một phép biến đổi tuyến tính ˆS = =Y WX sao cho số biến độc lập thống kê giữa các nguồn
độc lập giả thuyết si, (i=1,..,N).
Có hai kiểu cấu trúc của ICA là ICA1 và ICA2, tùy thuộc vào mục tiêu mà nó hướng tới là các ảnh gốc độc lập hay các hệ số trộn độc lập.
5.2.1.2.1. Cấu trúc của ICA1
Mỗi một trong số N dữ liệu bàn tay riêng rẽ được giả thiết như một hỗn hợp tuyến tính của một tập hợp chưa biết bao gồm N bàn tay độc lập thống kê. Với mô hình này, ảnh của bàn tay đã chuẩn hóa có kích thước 200 200× được quét, trở
thành véc tơ dữ liệu kích thước 40000. Khi đó ma trận dữ liệu X sẽ có kích thước 40000
N × , vì thế ởđây M =40000. Ma trận này sẽđược phân tích thành N phần
độc lập { }sˆi , được chèn vào các hàng của ma trận đầu ra ˆ = S W X⋅ . Mỗi hàng của ma trận trộn A (N N× ) sẽ chứa các hệ số trọng lượng của từng bàn tay. Các hệ số
này chỉ ra sự đóng góp liên quan của các bàn tay gốc nhằm tổng hợp bàn tay mẫu cho trước. Tiếp theo đó, với bàn tay test xi, hàng thứ i của ma trận A sẽ tạo thành một véc tơđặc tính N chiều.
Chương 5: Nhận dạng bàn tay và mặt người
5.2.1.2.2. Cấu trúc của ICA2
Hình-5. 19: ICA2 đối với bàn tay thứ i
Trong cấu trúc thứ hai này, hệ số xếp chồng được giả thiết là độc lập chứ không phải là các hình ảnh gốc như trong cấu trúc đầu. Vì thế mô hình này giả thiết rằng mỗi một K pixel của ảnh bàn tay được tạo bởi hỗn hợp độc lập của các biến ngẫu nhiên, gọi là “các nguồn pixel”. Với mục đích này, ta bắt đầu xem xét ma trận chuyển vị của ma trận dữ liệu XT . Tuy nhiên với kích thước tương đối lớn của các véc tơ pixel (thông thường thì K lớn hơn rất nhiều so với N), đòi hỏi một quá trình biến đổi PCA trước khi thực hiện ICA.
Trên thực tế, các véc tơ đặc trưng của ma trận hiệp phương sai 1 T
N
= ⋅
C X X,
trong đó mỗi hàng của XT được định tâm, có thể được tính toán bằng cách sử dụng các véc tơ đặc trưng của ma trận có kích thước nhỏ hơn nhiều là ma trận
T N N×
⋅ ∈
X X . Với {v ,..., v1 M} là các véc tơ đặc trưng bậc M với các giá trị đặc trưng {λ λ1 ≥ 2...≥λM} của ma trận X X⋅ T∈ N N× . Sau đó, từ phương pháp SVD suy ra véc tơđặc trưng trực chuẩn {w ,..., w1 M} của ma trận C tương ứng với M giá trị đặc trưng lớn nhất {λ λ1, ...,2 λM} (M≤N) là j 1 j
j
w v
λ
= X⋅ , 1,..,j= M. Sau khi
thực hiện phép chiếu véc tơ đầu vào x lên các véc tơ đặc trưng wj ta đạt được đặc tính thứ j: 1 T T T j j j y v x x λ = ⋅ ⋅X = ⋅R ,
trong đó R là toán tử phép chiếu. Dữ liệu ảnh bàn tay được lược bớt sau khi được chiếu lên M thành phần cơ bản và vì thế mà tạo thành ma trận vuông RXT . Cuối cùng ta phân tích ma trận RXT thành các nguồn và các hệ số trộn phụ thuộc vào mô hình ở hình-5.19, ta sẽđạt được các đặc trưng cơ bản (của ảnh bàn tay) nằm trên các cột của ma trận trộn A (NxN). Ngược lại, các hệ số trên ma trận gốc ước lượng
đều là độc lập thống kê. Hình-5.19 mô tả việc tổng hợp một bàn tay trong tập dữ
liệu xi từ sự xếp chồng các ảnh gốc bàn tay theo các cột của ma trận ước lượng ˆA.
5.2.1.3. Phương pháp ART (Axial Radial Transform)
ART là một phép biến đổi phức tạp được xác định trên một đĩa đơn vị. Hàm cơ
sởVnm( , )ρ θ được xác định trong hệ tọa độ cực là một phép nhân của hai hàm có thể tách rời giữa góc và hướng của bán kính: Vnm( , )ρ θ = Am( ) ( )θ Rn ρ , trong đó 1 ( ) exp( ) 2 m A θ jmθ π = và ( ) 1 0 2cos( ) 0 n n R n n ρ π ρ = ⎧ = ⎨ ≠ ⎩ . Hình-5.20 chỉ ra những phần tử chính của các hàm cơ sở ART. Từ hình vẽ này có thể quan sát thấy khi tăng bậc n lên, các hàm cơ sở thay đổi nhanh hơn theo hướng bán kính, trong khi bậc m biểu diễn sự biến thiên theo hướng góc.
m n 0 1 2 3 4 5 6 0 1 2 Hình-5. 20: Các phần của hàm ART cơ bản
Chương 5: Nhận dạng bàn tay và mặt người
Phép biến đổi bán kính góc của một ảnh ( , )f ρ θ ở trong hệ tọa độ cực là một tập