Tìm hiể u các đặc trưng sinh trắ c ảnh khuôn mặ t , nghiên cứ u ứ ng d ụ ng của phép biến đổi KL và phân tích thành các thành phầ n chính PCA trong trích chọ n đặc trưng khuôn mặ t

5/11/2018 BÀIT PL NX L NH-slidepdf.com   ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG  - - BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH   ĐỀ  TÀI : Tìm hiể u đặc trưng sinh trắ  c ảnh khuôn mặ t , nghiên cứ u ứ  ng  d ụ ng phép biến đổi KL phân tích thành thành phầ n PCA trích chọ n đặc trưng khn mặ t  Giảng viên hướ ng dẫn : PGS.TS Nguyễn Thị Hoàng Lan  Sinh viên thực : Nguyễn Văn Thành  SHSV : 20072604  Lớ p: Hệ thống thông tin truyền thông –  KSCLC-K52  Hà Nội, 12/2011 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 1/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MƠN XỬ  LÝ ẢNH  2011  MỤC LỤC LỜI NĨI ĐẦU ĐẶC TRƯNG SINH TRẮ C ẢNH KHUÔN MẶT I.  II.  NGHIÊN CỨ U Ứ NG DỤNG CỦA PHÉP BIẾN ĐỔI KL 1.  Phép biến đổi KL 2.  Ứ ng dụng phép biến đổi KL III.  PHÂN TÍCH THÀNH CÁC THÀNH PHẦN CHÍNH PCA TRONG TRÍCH CHỌN ĐẶC TRƯNG KHUÔN MẶT 1.  Phép biến đổi PCA 2.  IV.  14 14 Phân tích thành PCA trích chọn đặc trưng khn mặt 14 2.1.  Tính tốn vector riêng 14 2.2.  Biểu diễn khuôn mặt theo sở  tìm đượ c 17 KẾT LUẬN 18 TÀI LIỆU THAM KHẢO 19 Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 2/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  LỜI NĨI ĐẦU “Xử lý ảnh” mơn học quan trọng sinh viên ngành công nghệ thông tin Đây mơn học khó đối vớ i h ầu hết nhiều sinh viên do yêu cầu kiến thức về  toán xác suất Vớ i mục tiêu có thêm kiến thức lĩnh vực xử  lý ảnh, em chọn đề  tài  “Tìm hiểu đặc trưng sinh trắ  c ảnh khuôn mặt, nghiên cứ u ứ  ng  d ụ  ng củ a  phép biến đổ i KL phân tích thành thành phần PCA lớ n, em có thêm đượ c trích chọn trưng khuôn mặ tkhuôn ”  Quamặt, tập đặc nhìn chung vềđặc hệ th ống nh ận dạng trưng sinh trắc khn mặt giúp phát trích rút đặc trưng cho việ c nhận dạng Đồng thời em đượ c củng cố thêm kiến thức toán xác suất thơng kê, có đượ c hiểu biết tốt về ứng dụng kiến thức toán thự c tế Dù cố gắng việc tìm hiểu tài liệu, thiếu sót kiến thức cơ  bản, hạn chế tầm hiểu biết mà báo cáo cịn nhiều thiếu khuyết Kính mong nhận đượ c ý kiến góp ý để em hồn thiện hơn.   Nhân dịp này, em xin gửi lờ i cảm ơn chân thành tớ i PGS.TS Nguyễn Thị  Hồng Lan đã nhiệt tình hướ ng dẫn góp ý giúp em hồn thành báo cáo mơn họ c này.  Em xin chân thành cảm ơn!  Hà Nội, ngày 12 tháng 12 năm 2011  Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 3/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  I.  ĐẶC TRƯNG SINH TRẮC ẢNH KHN MẶT Các đặc trưng khn mặt bao gồm: -  Đặc trưng hình học: cấu trúc, hình dạng các  thành phần khuôn mặt: miệng, mắt, mũi, lông mày Khoảng cách mắt, mũi, miêng hàm; đườ ng  bao hốc mắt; cạnh c miệng; vị  trí mũi, hai mắt vùng xung quanh.Các thành phần khn mặt trích rút để  hình thành vector đặc trưng biểu diễn hình học khn mặt Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 4/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  Hình 1.1 Minh họa đặc trưng hình học khuôn mặt -  Đặc trưng diện mạo biểu diễn sự thay đổi vẻ bề ngoài: kết cấu da nếp nhăn khuôn mặt; biểu đồ nhiệt khuôn mặt: mẫ u nhiệt khuôn mặt vớ i ngườ i đặc trưng nụ  cườ i Các đặc trưng về  diện mạo có thể  trích rút cả  khn mặt phần khn mặt -  Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 5/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  Hình 1.2 Minh họa đặc trưng diện mạo khuôn mặt Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 6/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  II.  NGHIÊN CỨ U Ứ NG DỤNG CỦA PHÉP BIẾN ĐỔI KL  1.  Phép biến đổi KL Xét không gian mẫu S = {x} gồm n vector liệu mẫu Trong x vector biến ngẫu nhiên N chiều: T   x = [ x1 x2 … x N ]   Phép biến đổi KL vector  x được định nghĩa sau:   y = W T   x (1.1) Trong  x = [ x1 x2 … x N ] T , y = [ y1 y2 … y M ]T  và ma trận W ma trận phép biến đổi với kích thướ c NxM (M ≤ N) có dạng: w T   W T   wi     w M  w1 N   11    w MN   Ta định nghĩa ma trậ n hiệp tương quan vector x: T  [C] = E [ xx x   ] (1.2) Ma trận tương quan ước lượ ng t n m ẫu không gian liệu quan sát  đượ c xác định bở i biểu thức: C  x  n  x x n i T  i   i 1 Phép biến đổi KL tốn tìm ma trận biến đổi W thỏa mãn (1.1)  w     W  là vector sở trực giao không gian mớ i hay:  w  i1 Mỗi cột wi iN  w j wk   nế u j = k T  (1.3)  Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 7/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MƠN XỬ  LÝ ẢNH  2011  Vì phần tử yi y sẽ được tính:  T   yi  wi  x  wi1  x1  wi  x2   wiN   x N  (1.4) Do wi là vector sở trực giao theo (1.3) nên W  là ma trận trực chuẩn thỏa mãn:  T  T  (I ma trận đơn vị ) (1.5) W  W = I = WW    T  -1 Từ đó: W  = W   và ta có dạng biến đổi ngượ c (1.1):   x = Wy (1.6) Đặt C  y là ma trận đường chéo mong muốn vector biến ngẫu nhiên y:          C  y =      0   N   Trong phần tử đường chéo phương sai liệu đượ c biến đổi Ma trận đường chéo có thể tính tồn từ ma trận hiệp tương quan gốc sau: C  y =  E  yy T  =  E  W T  x W T  x  Hay WC  y = C  xW   T  =  E W T   xxT  W  = W T C  W        x (1.7)     Cy là ma trận đường chéo nên biểu thức (1.7) được đưa sạng C  xwi =  i wi  (1.8)  Từ  (1.8) ta thấy λ i  w i  cặp giá trị riêng vector riêng ma trận tương quan C  x  biểu thức (1.2) Hay cột wi ma trận W  là vector riêng ma trận C  x Để  đảm bảo W   trực chuẩn cần áp dụng trực giao chuẩn hóa Gram-Schmidt vớ i vector riêng tìm đượ c  Như vậy, phép biến đổi KL tìm vector riêng w i ứng với M giá trị riêng lớ n ma trận hi ệp tương quan vector ngẫu nhiên quan sát đượ c Phép biển đổi KL cách tối ưu nhằ m giảm thứ  ngun từ  khơng gian liệu có số chiều lớ n Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 8/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  thành khơng gian có số chiều bé nhiều vớ i sai số  là  bé nằm ở   vector riêng ứng với giá trị riêng nhỏ 2.  Ứ ng dụng phép biến đổi KL Hình 2.1 biểu diễn ảnh đa mức xám kích thướ c 512 x 512 với giá trị mức xám điểm ảnh đượ c biểu diễn bit (giá trị [0 – 255]) Giá trị mức xám điểm ảnh k ề nhau có xu hướ ng tương tự nhau Hình 2.2 minh họa giá trị mức xám cặp điểm ảnh liền k ề Hình 2.1 Ảnh đa mức xám kích thướ c 512 x 512 Trong hình 2.2, chấm biểu diễn điểm ảnh ảnh hình 2.1 vớ i hồnh  độ  x giá trị điểm ảnh tung độ  y giá trị điểm ảnh liền k ề  bên phải nó.Từ  đồ thị, ta thấy quan hệ x = y thể độ  tương quan mạnh điểm ảnh liền k ề Chia ảnh thành khối 1x2 rời hình 2.3, biểu diễn Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 9/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  ảnh thành tập vector chiều xi Phân bố  giá trị mức xám thành phần đượ c v ẽ  hình 2.4 Chúng ta thấ y phân bố mức xám thành phần tương đối rộng phủ hầu hết dải  –   255 Hơn nữa, hai phân bố  giống vớ i  phân bố chung điểm ảnh ảnh hình 2.1.  Hình 2.2 Đồ thị biểu diễn cặp giá trị mức xám điểm ảnh 10 Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 10/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  Hình 2.3 Chia ảnh ban đầu thành khối điểm ảnh x 11 Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 11/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MƠN XỬ  LÝ ẢNH  2011  Hình 2.4 Phân bố giá trị mức xám thành phần khối Bây giờ , quay phân bố  hình 2.2  góc 45o K ết qu ả  hình 2.5 cho thấy, hai thành phần khơng tương quan nghĩa biết giá trị thành phần thứ sẽ không giúp ta xác định giá trị thành phần thứ hai Phân bố hai thành phần đượ c vẽ như hình 2.6 Thành phần thứ giống với phân bố  trướ c, tức phân bố rộng, trải hầu hết khoảng giá trị Tuy nhiên thành phầ n thứ hai khác, hẹp rấ t nhiều giá trị  đỉnh Do có khoảng biến đổi nhỏ  nhiều nên cần số   bit để  mã hóa giá trị Vì vậy, giảm số bit cần thiết để mã hóa một ảnh giải tương quan.  Hình 2.5 Đồ thị các cặp mức xám quay 45o 12 Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 12/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  Hình 2.6 Phân bố mức xám hai thành phần xoay tương ứng với hình 2.5  Hầu h ết ảnh chứa s ự  tương quan ngẫu nhiên liệu dẫn đến sự  dư thừa liệu Phép biến đổi KL loại bỏ  đượ c sự  dư thừa liệu nhờ  việc giải tương quan liệu giảm số chiều ảnh có thể  lưu trữ hiệu qu ả  Đó ứng dụng phép biển đổi KL 13 Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 13/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  III.  PHÂN TÍCH THÀNH CÁC THÀNH PHẦN CHÍNH PCA TRONG TRÍCH CHỌN ĐẶC TRƯNG KHUÔN MẶT 1.  Phép biến đổi PCA Tương tự  phép biến đổi KL, ta có khơng gian liệu quan sát S = {x} gồm n vector liệu mẫu N chiều Dữ liệu thô tồn sự  tương quan ngẫu nhiên thành phần có   dư thừa d ữ liệu Ý tưở ng c phép biến đổi PCA phân tích liệu thành thành phần không tương quan (gọi thành phần chính) để giảm độ dư thừa liệu T  Phép biến đổi PCA định nghĩa sau: u   x   (2.1)  Trong  x = [ x1 x2  … x N  ] T  , u = [ u1 u2  … u N  ] T   –   thành phần thứ  i j  không tương quan trong không gian mớ i Và ma trận Ψ ma trận phép biến đổi với kích thướ c N  có dạng: v T  T    i      N   1 N   11      NN   (2.2)  Ở  vi  vector riêng tương ứng v ớ i ma trận hi ệp phương sai x quan sát đượ c    C    E   x     x        Trong       i    N   2.   T    (2.3)  n x  n ik  k 1   Phân tích thành PCA trích chọn đặc trưng khn mặ t 2.1.  Tính tốn vector riêng  ta t ập luyện gồm M ảnh khuôn mặt  I 1 , I 2…I  M  Các ảnh có kích thước đượ c chỉnh tâm.  Giả sử  chúng 14 Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 14/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  Chúng ta biểu diễn ảnh  I i  kích thướ c NxN vector  có kích thướ c N2 chiều  Bướ  c 1: Tính vector trung bình  15 Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 15/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011   Bướ  c 2: Tính  i  i   vớ i i = 1, 2…N2   Bướ  c 3: Tính ma trân hiệp phương sai C vector quan sát:  C    M   i i  M  T  i 1 Trong  A     M    T   AA 2 (ma trận C có kích thướ c N xN ) (2.4) (kích thướ c N2xM)  Bướ  c 4: Tìm vector riêng ui ma trận hiệp phương sai C hay của AAT  Tuy nhiên kích thướ c ma trận N2xN2  lớn nên việc tìm vector riêng ma trận không khả thi Chúng ta xem xét ma trận ATA có kích thướ c MxM Tìm vector riêng vi ma trận AT  A, ta có:   AT  Av i   i vi   (2.5)  Quan hệ ui và vi:  AT  Avi   i vi   AAT  Avi   i Avi  CAv i   i Avi   (2.6)  Từ đó suy ui = Avi  Vì vậy, AAT  và AT  A có giá trị  riêng vector riêng chúng quan hệ   vớ i theo ui = Avi  T  Chú ý: - A  A có thể có M giá trị riêng vector riêng -   AAT  có thể có N  giá trị riêng vector riêng.  -  M giá trị riêng của AT  A cùng với vector riêng tương ứ ng với M giá trị riêng T  lớ n của AA 16 Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 16/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MƠN XỬ  LÝ ẢNH  2011  Sau tính M vector riêng ứng với M giá trị riêng lớ n AAT: ui = Avi đồng thờ i chuẩn hóa vector ui cho u    i Bướ c 5: Chọn K vector riêng ứng với K giá trị riêng lớ n 2.2.  Biểu diễn khn mặt theo sở  tìm đượ c Mỗi vector biểu diễn khn mặt (trừ đi vector trung bình)  i tập luyện có thể  đượ c biểu diễn tổ hợ p tuyến tính K giá trị riêng tính ở  trên K   i  mean   w j u j   ˆ  j 1 i=1,2…M  Trong w j  u  jT  i thành phần thứ   j không gian mớ i Và u j gọi ảnh riêng   Mỗi ảnh đượ c chuẩn hóa tập luyện sẽ  đượ c biểu diễn cở  sở   bở i vector:  wi   i w  i     trong i = 1, 2… M    i  wK   17 Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 17/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  IV.  KẾT LUẬN   Như vậy, em trình bày về  đặc trưng sinh trắc ảnh khn mặt, gồm đặc trưng hình học đặc trưng diện mạo khuôn mặt, với lý thuyết ứng dụng phép biến đổi KL phân tích thành thành phần PCA trích chọn đặc trưng khn mặ t Phép biến đổi KL ứng dụng toán giả m số chiều không gian liệu số  lớn thành khơng gian có số chiều nhỏ  nhằm giảm giá tính tốn tăng hiệ u quả  kỹ thuật xử  lý ảnh Trong PCA giải tương tương quan liệu  phân tích thành thành phần ứ ng dụng trích chọn đặc trưng khuôn mặt 18 Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 18/19 5/11/2018 BÀIT PL NX L NH-slidepdf.com BÀI TẬP LỚN MÔN XỬ  LÝ ẢNH  2011  TÀI LIỆU THAM KHẢO [1] Bài giảng môn Xử  lý ảnh – PGS.TS Nguyễn Hoàng Lan –  Đại học Bách Khoa Hà Nội, 2010 [2] Digital Image Processing – William K Pratt- Wiley, 2007 [3] Fundamental of Image Processing – Ian T Young et al., 1998 [4] Principal Component Analysis  – I.T.Jolliffe – Springer, 2002 [5] R.D Dony “Karhunen-Lòeve Transform” - The Transform and Data Compression Handbook, 2001 19 Nguyễn Văn Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a238908d5ac 19/19 ... đổ i KL ph? ?n t? ?ch thành thành ph? ?n PCA lớ? ?n, em c? ? thêm đượ? ?c trích ch? ?n tr? ?ng khn mặ? ?tkhn ”  Quam? ?t, t? ??p đ? ?c nh? ?n chung v? ?đ? ?c hệ th ? ?ng nh ? ?n d? ? ?ng tr? ?ng sinh tr? ?c khn m? ?t giúp ph? ?t trích r? ?t đ? ?c. .. t? ? ?n t? ?ng hiệ u quả  kỹ thu? ?t xử  lý ảnh Trong PCA giải t? ?? ?ng t? ?? ?ng quan li? ?u ? ?ph? ?n t? ?ch thành thành ph? ?n ứ ng d? ? ?ng trích ch? ?n đ? ?c tr? ?ng khn m? ?t 18 Nguy? ?n V? ?n Thành – HTTT&TT – KSCLC-K52 http://slidepdf.com/reader/full/bai-tap-lon-xu-ly-anh-55a23890 8d5 ac... tr? ?ng cho việ c nh? ?n d? ? ?ng Đ? ?ng thời em đượ? ?c c? ?ng c? ?? thêm ki? ?n th? ?c to? ?n x? ?c su? ?t th? ?ng k? ?, c? ? đượ? ?c hi? ?u bi? ?t t? ?t về ? ?ng d? ? ?ng ki? ?n th? ?c to? ?n thự c t? ?? D? ? c? ?? g? ?ng vi? ?c t? ?m hi? ?u t? ?i li? ?u, thiếu