Trang 1 BO GIAO DUC VA DAO TAO DAI HOC HUE TRUONG DAI HOC KHOA HOC VO PHAN NHAT QUANG TAI NHAN DANG NHAN VAT TREN HE THONG MANG CAC CAMERA LUAN VAN THAC SI KHOA HOC CONG NGHE THONG TIN
Trang 1BO GIAO DUC VA DAO TAO DAI HOC HUE
TRUONG DAI HOC KHOA HOC
VO PHAN NHAT QUANG
TAI NHAN DANG NHAN VAT
TREN HE THONG MANG CAC CAMERA
LUAN VAN THAC SI KHOA HOC
CONG NGHE THONG TIN
Thira Thién Hué, 2020
Trang 2
BO GIAO DUC VA DAO TAO ĐẠI HỌC HUE TRƯỜNG ĐẠI HỌC KHOA HỌC VÕ PHAN NHẬT QUANG TÁI NHẬN DẠNG NHÂN VẬT TRÊN HỆ THÓNG MẠNG CÁC CAMERA NGÀNH: KHOA HỌC MÁY TÍNH MÃ SÓ: 8.48.01.01
LUẬN VĂN THẠC SĨ KHOA HỌC
ĐỊNH HƯỚNG NGHIÊN CỨU
NGƯỜI HUONG DAN KHOA HOC: TS NGUYEN ĐĂNG BÌNH
Thira Thién Hué, 2020
Trang 3
LOI CAM DOAN
Tôi xin cam đoan luận văn này là công trình nghiên cứu của cá nhân tôi Tât cả số liệu, kết quả nghiên cứu trong luận văn là trung thực
Thừa Thiên Huế, tháng 01 năm 2020
Học viên
Trang 42.2.2 Thuat toan Adaboost
AdaBoost là một bộ phân loại mạnh phi tuyến phức dựa trên hướng tiếp cận boosting duoc Freund va Schapire dua ra vao năm 1995 Adaboost cũng hoạt động trên nguyên tắc kết hợp tuyến tính các bộ phân loại yếu dé hình thành một bộ phân loại mạnh
Trong quá trình huấn luyện, cứ mỗi bộ phân loại yếu được xây dựng, thuật toán sẽ tiến hành cập nhật lại trọng số để chuẩn bị cho việc xây dựng bộ phân loại yếu kế tiếp bằng cách tăng trọng số của các mẫu bị nhận dạng sai và giảm trọng số của các mẫu được nhận dạng đúng bởi bộ phân loại yếu vừa xây đựng Điều này giúp bộ phân loại yếu sau có thê tập trung vào các mẫu mà các bộ phân loại yếu trước nó làm chưa tốt Sau cùng, các bộ phân loại yếu sẽ được kết hợp tùy theo mức độ tốt của chúng để tạo nên bộ phân loại mạnh Viola và Jones dùng AdaBoost kết hợp các bộ phân loại yếu sử dụng các đặc trưng Haar-like theo mô hình phân tầng (cascade) như Hình 3
Dữ liệu huẳn luyện
Trang 5MUC LUC Trang 09)09.0/6)970 0008 gHA , i 09099019) 72001577 3<54 3 ii MU 6 TAU G wrssesescssexeeesssexseecseexeeesanrencrnrennrnrencenronccenrsancenrmancenrearcenrearenracerss iii ` 0\)28)/10/990.(0:70) c7 ồ'°'.ồ:'"^'”'”ễ '®”- vi
DANH MỤC CÁC HÌNH 55-55 +22 EEEEEEErtitrrrrrrrrrrrre vii DANH MỤC CÁC TỪ VIẾT TẮC ©5<-©5<©cxecExetrxetrkeerkeerkerrkerrrerre ix h9 - H,A 1 CHUONG 1 - TONG QUAN VE TAI NHAN DANG DOI TUONG TRUC
910.0007757 - HH 3
1.1 GIỚI THIỆU VỀ TÁI NHẬN DẠNG ĐÓI TƯỢNG - 2-2-2 3 1.2 CAC KHO KHAN TRONG VIEC TAI NHAN DANG DOI TUONG 4 1.3 TỎNG QUAN VẺ CÁC NGHIÊN CỨU GÀN ĐÂY c sec 5
1.3.1 Nghiên cứu về tái nhận dang cua S Gong, M Cristani, S Yan, and C 9090009 101 1070-34 5 1.3.2 Nghiên cứu về tái nhận dạng người với người từ điển với quan điểm bất biến được đào tạo phân biệt của S Karanam, Y Li, va R J Radke[18] 6 1.3.3 Nghiên cứu về tái nhận dạng con người: quá khứ, hiện tại và tương lai của L Zheng, Y Yang và A G Hauptmann[ L7] -: : xs:+s+>: 7 1.3.4 Nghiên cứu về Các mẫu bị chặn tạm thời để tái nhận dạng người của H Huang, D Li, Z Zhang, X Chen và K Huang[ 19] - -. :+-+5: 7 1.3.5 Nghiên cứu về mạng tích chập định kỳ để nhận dạng lại người dựa trên video cua N McLaughlin, J Martinez del Rincon, và P Miller[20] 8
1.4 MOT SO PHUONG PHAP TAI NHẬN DẠNG ĐỐI TƯỢNG 9
1.4.1 Tai nhan dang déi tượng dua trén hoc tap miéu ta eee 9 1.4.2 Tai nhan dang déi tượng dựa trên học tập số liỆU 2 s22 n2 sse2 10 1.4.3 Tái nhận đạng đối tượng dựa trên tính năng địa phương 11 1.4.4 Tai nhan dang đối tượng dựa trên trình tự video cee 12 1.4.5 Tái nhận đạng đối tượng dựa trên phương pháp sinh trắc học mềm 13
Trang 61.5 MƠ HÌNH HỆ THÓNG TÁI NHẬN DẠNG ĐÓI TƯỢNG 14
1.6 MỘT SÓ ỨNG DỰNG CỦA TÁI NHẬN DẠNG ĐÓI TƯỢNG 15 1.7 TIEU KET CHUONG 1 ©22222222212221122122121122122112222 e6 15
CHƯƠNG 2 - TAI NHAN DANG DOI TUONG SU DUNG PHUONG
PHÁP SINH TRẮC HOC MEM.uw ccccsessssssssssssssssesssssssecssesssesssssssessscsssecssessseesses 17 2.1 TÔNG QUAN VỀ PHƯƠNG PHÁP SINH TRẮC HỌC MÉẺM 17 2.2 PHAT HIEN VA NHAN DANG DOI TUGNG BANG KY THUAT
TBO [OS ON Cn 2e 18
2.2.1 Tổng quan về kỹ thuật boosfing - 22: 222222221222112111221121122 xe 18 2.2.2 Thuật toán Adaboosf - L2 1 2211122111125 111521111181 11 112111121 x key 20 2.2.3 Phát hiện đối tượng bằng thuật toán AdaBoost -. c c2 cssssy 21 2.2.4 Nhan dang đối tượng bằng thuật tốn AdaBoost .-cc 22+ 27
2.3 TRÍCH XUẤT ĐÓI TƯỢNG RA KHỎI NẺN 2222522222222 2e 37 2.4 TRÍCH CHỌN ĐẶC TRƯNG HÌNH THẺ CỦA ĐỐI TƯỢNG 39
2.4.1 Đặc trưng màu sắc của đối tượng - 222222 2222211221112111211222 xe 39 2.4.2 Phương pháp phát hiện ba lô và túi đeo chéo ịcc cà: cccccscxsvsse2 42 2.4.3 Phương pháp nhận dạng quần áo -2- 22 2222222225122522211211.2212 xe 49
2.5 TRUY VẤN ĐÓI TƯỢNG 222 22221122122212211221121122122.2 te 51
2.5.1 Giới thiệu 5s 22 2222112212211211122112112122212222212222e 51
2.5.2 Thuật tod so khop mau oo cece ccecssssesssessseseeseteeesetvttetsssesenseeseeees 53 2.5.3 Kết luận eseseseseer tester testartetitaritatitaretasetasetesetaseseetaseeeees 57 2.6 TIỂU KÉT CHƯƠNG 2 222 S22 2212221221211211211211212222 re 57
CHƯƠNG 3 - MƠ PHỎNG VÀ THỰC NGHIỆM -c©cccc©cse+ 59
3.1 GIỚI THIỆU -2-©22221122112212211221121112112112112112112212212222ee 59 3.2.NGƠN NGỮ, MƠ HÌNH VÀ BỘ THƯ VIỆN 2222222222222 cee 59
32:1: Ngồn:ngữ lâp trình PYTHƠN ::scesesesaotigbdritdtotovsdtttrttndytrtogzmeai 59
3.2.2 Mô hình CNN YOLO 52222222212221211221211221122112222 re 61 3.2.3 Bộ thư viện OPENCV 222 2222212221222122122122222222 re 70
3.3 CÀI ĐẶT MÔ PHỎNG 222222 2221222122122112222211222222 2 ee 72
Trang 73.3.2 Mô phỏng 2 22222222222222 2222222121222 74 3.3.3 Mô phỏng 3 2222 2222222211222211221112211222211222212221 2 re 75 S8 0n 7n 77 3.3.5 Mô phỏng 5 2222 222222211222121122112221122221112212222 2 re 78 3.4 TIỂU KÉT CHƯƠNG 3 22222 2222221221221221211211221221222 xe 79 KET LUẬN VA HƯỚNG PHÁT TRIN -25c©5scScsecxeerreerrerrreee 80
Trang 8DANH MUC CAC BANG
Bang 2.1 Ma tran hén loan dé phat hién tii trén b6 dé ligu SATVT-SoftBio 48 Bang 2.2 Ma tran hỗn loạn để nhận dang áo trên bộ dữ liệu SAIVT-SoftBio 49 Bảng 3: Ma trận hỗn loạn để nhận dạng quan áo thân dưới trên bộ dữ liệu SATVT-
Trang 93.2.3 Bộ thư viện OPENCV 3.2.3.1 Giới thiệu
OpenCV( OpenSource computer vision) là một thư viện mã nguồn mở hàng đầu cho thị giác máy tính (computer vision), xử lý ảnh và máy học, và các tính năng tăng tốc GPU trong hoạt động thời gian thực
OpenCV được phát hành theo giấy phép BSD, do đó nó hoàn toàn miễn phí cho cả học thuat va thuong mai No co cac interface C++, C, Python, Java va hé tro Windows, Linux, Mac OS, iOS va Android OpenCV duoc thiết kế để tính toán hiệu quả và với sự tập trung nhiều vào các ứng dụng thời gian thực Được viết bằng tối ưu hóa C/C++, thư viện có thể tận dụng lợi thế của xử lý đa lõi Được sử dụng trên khắp thế giới, OpenCV có cộng đồng hơn 47 nghìn người dùng và số lượng download vượt quá 6 triệu lần Phạm vi sử dụng từ nghệ thuật tương tác, cho đến lĩnh vực khai thác mỏ, bản đỗ trên web hoặc công nghệ robot
3.2.3.2 Chức năng và ứng dụng của OPEINCYV trong thế giới thực e_ Chức năng: Thư viện OpenCV bao gồm một số tính năng nổi bật như:
Y Bộ công cụ hỗ trợ 2D và 3D
Nhận diện khuôn mặt Nhận diện cử chỉ
Nhận dạng chuyển động, đối tượng, hành vi, Tương tác giữa con người và máy tính
Điều khiển Robot
SN
NKR
KK
Hỗ trợ thực tế tăng cường
e Ứng dụng: OpenCV hiện có hơn 47 nghìn người dùng và ước tính hơn 14 triệu số lượt tải xuống, thư viện OpenCV được sử dụng rộng rãi trong nhiều lĩnh vực
v_ Giám sát tự động
Trang 10Hinh 2.20 Hinh anh tích hợp và ví dụ hoạt động Bên trái là một mẫu các gia tri hình ảnh Hình ảnh bên phải hiển thị hình ảnh tích phân được tính toán Bên dưới mỗi hình ảnh là khu vực cách được tính toán Hình ảnh tích hợp sử dụng hai phép cộng ít hơn để có cùng sỐ - 22 222 122212221211221122112211212212212222222 2e 43 Hình 2.21 Xuất hiện túi đeo chéo từ các góc nhìn khác nhau với tư thế con người 3701 8 ốẻằe 44 Hình 2.22 Chuyên đổi Bradley và giới hạn tối thiểu của Bradley - 44 Hình 2.23 So sánh hình dáng ba lô từ trái, phải, trước và sau -: 45 Hình 2.24 Màu đen là ba lô được chiết xuất Đường đứt nét màu đỏ cho thấy thân tàu lỗi Màu xanh các vòng tròn là các điểm lồi và các vòng tròn màu xanh lá cây là các khuyết Góc đo từ điểm khuyết đến các điểm lỗi,Ø, được sử dụng để phát hiện một chiếc ba lÔ 2 1 311111 515515151111511115111111111211111111121111211112111 1111 rae 46 Hình 2.25 Các góc tương ứng với các tín hiệu phát hiện ba lô Hình ảnh bên trái cho thấy một phần khuyết trên cùng, hình ảnh ở giữa cho thấy một phần khuyết khuyết bên trái và hình ảnh bên phải cho thấy một phần khuyết khuyết bên phải 47 Hình 2.26 Ma trận hỗn loạn của D1800 01 48 Hình 2.27 Quy trình phân loại quần áo -©2222222221222122211221221211222 e0 50 Hinh 2.28 Téng quan vé quy trình trích xuất và ghi nhãn tính năng cho một người TTORN CAIT€TA 0 LH TT TH HH HH HH HH HH HH 51 Hình 2.29 Sơ đồ phương pháp truy vấn tiểu vùng 2222222222212 xe 34
Hình 2.30 Hình ảnh ví dụ và hình ảnh đã chuyền đổi YCbCr của nó 54
Hình 2.31 Ví dụ về kết hợp thành công trong trích xuất vùng với phương pháp đề
Trang 11DANH MUC CAC TU VIET TAC Từ viết tắt Từ hoặc cụm từ
Tiếng Anh Tiếng Việt AI Artificial Intelligence Tri tué nhan tao
ML Machine Learning Hoc may DL Deep Learning Hoc sau
DNN Deep Neural Network Mang no-ron hoc sau ANN Artificial Neutral Network Mang no-ron nhan tao RNN Recurrent Neutral Netwrok Mang no-ron héi quy CNN Convolution Neural Network | Mang no-ron tich chap
Trang 12
ODA
Tái nhận đạng người trong hệ thống nhiều camera giám sát không chồng lấp ngày càng có nhiều ứng dụng, đặc biệt là trong các hệ thống camera giám sát công cộng Các camera trong hệ thống này giám sát hàng trăm địa điểm, hàng trăm đến hàng nghìn người mỗi ngày nên việc xác định và tìm kiếm đối tượng cần truy vấn một cách thủ công là hết sức khó khăn và tốn rất nhiều thời gian, công sức Do đó, bài toán tái nhận dạng các đối tượng cần truy vấn nhằm hướng tới một hệ thống hoàn toàn tự động ngày càng được chú trọng Việc tái nhận dạng các đối tượng thường phải đối mặt với nhiều khó khăn như sự thay đổi về ánh sáng góc quay của camera, sự tương đồng về hình dáng bên ngoài của các đối tượng
Đề thực hiện việc tái nhận dạng người, hầu hết các nghiên cứu trước đây dựa trên các thông tin tồn cục như thơng tin về phân bố màu sắc, hướng tính [2] Các phương pháp nhận dạng này thường đạt hiệu quả cao khi góc nhìn không có sự thay đổi lớn và đặc điểm hình đáng bên ngoài của các đối tượng là tương đối khác nhau Tuy nhiên, khi góc nhìn thay đổi đủ lớn, các đặc tính hình đáng có nhiều điểm tương đồng hoặc miễn ảnh nền khá giống nhau thì hiệu suất nhận đạng giảm đi đáng kẻ
Trong luận văn, đầu tiên tôi xin tổng quan các kết quả nghiên cứu về tái nhận dạng đối tượng đã có từ trước đến nay của các nhà nghiên cứu trong và ngồi nước Tiếp theo tơi xin trình bày một nghiên cứu của tôi về tái nhận dạng đối tượng trên các camera bằng phương pháp sinh trắc học mềm
Nội dung của luận văn được trình bày trong 3 chương:
A
Chương 1: Tổ é ậ ạng đối tượ ự
Nội dung Chương 1 sẽ giới thiệu tổng quan vẻ tái nhận dạng đối tượng trực quan, mô hình, ứng dụng, một số nghiên cứu và các phương pháp tái nhận đạng được nghiên cứu gần đây
Trang 13Chương 3: Mô phỏng và thực nghiệm
Nội dung chương 3 sẽ giới thiệu bài toán tái nhận dạng, các ngôn ngữ, công cụ và thực hiện mô phỏng tái nhận dạng đối tượng trên các camera bằng phương pháp sinh trắc học mềm
Trang 14CHU ONG 1 - TONG QUAN VE TAI NHAN DANG DOI TUONG
TRUC QUAN
Một trong những lĩnh vực quan trọng của Trí tuệ nhân tạo là thị giác máy Thị giác máy là một lĩnh vực bao gồm các phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích và nhận dạng các hinh ảnh, phát hiện các đối tượng, tạo ảnh, siêu phân giải hình ảnh và nhiều hơn vậy Tái nhận dạng đối tượng có lẽ là khía cạnh sâu sắc nhất của thị giác máy do số lần sử dụng trong thực tế
1.1 GIOI THIEU VE TAI NHAN DANG DOI TUONG
Tái nhận đạng đối tượng trong hệ thống nhiều camera giám sát không chồng lấp ngày càng có nhiều ứng dụng, đặc biệt là trong các hệ thống camera giám sát công cộng Các camera trong hệ thống này giám sát hàng trăm địa điểm, hàng trăm đến hàng nghìn người mỗi ngày nên việc xác định và tìm kiếm đối tượng cần truy vấn một cách thủ công là hết sức khó khăn và tốn rất nhiều thời gian, công sức Do đó, bài toán tái nhận dạng các đối tượng cần truy vấn nhằm hướng tới một hệ thống hoàn toàn tự động ngày càng được chú trọng Việc tái nhận dạng các đối tượng thường phải đối mặt với nhiều khó khăn như sự thay đổi về ánh sáng góc quay của camera, sự tương đồng về hình dáng bên ngoài của các đối tượng
Tái nhận dạng đối tượng có vai trò quan trọng trong các hệ thống trinh sát phát hiện mục tiêu, các hệ thống giám sát, nhận dạng và khảo sát Việc sử dụng thị giác máy tính để phát hiện các đối tượng là một giải pháp được sử dụng rộng rãi trên toàn thế giới Phương pháp này ứng dụng các kỹ thuật xử lý ảnh và các thuật toán máy học để tìm các đối tượng trong các hình ảnh Tuy nhiên, việc phát hiện đối tượng dựa trên thị giác máy tính là một vấn đề khó bởi vì hệ thống phải giải quyết với sự thay đổi về điều kiện tạo ảnh (ví dụ như sự thay đổi về các điều kiện ánh sáng và thời tiết) và sự thay đổi của các cảnh và môi trường
Trang 15của đối tượng như màu sắc, kết cấu bể mặt và hình dạng để trích chọn các đặc trưng ảnh Bước thứ hai là sử dụng tập dữ liệu mẫu để xác định các tham số cho các bộ nhận dạng đối tượng trong ảnh Bước thứ 3 là sử dụng bộ nhận dạng để xác định đối tượng trong các ảnh đầu vào bất kỳ
Trong hệ thống tái nhận dạng đối tượng thì việc trích chọn đặc trưng anh dong một vai tro quan trong Có hai xu hướng chính trong việc trích chọn đặc trưng:
e Sử dụng các đặc trưng cạnh: Các phương pháp dựa trên các đặc trưng cạnh xác định đối tượng trong ảnh bằng việc đi tìm các đường bao của đối tượng (xem [1]-[5]) Diém mạnh của các phương pháp này là bất biến với các điều kiện ánh sáng và sự dịch chuyên của đối tượng Tuy nhiên, các phương pháp dựa vào cạnh lại nhạy cảm với các cạnh nhiễu và không có hiệu quả khi trong ảnh xuất hiện nhiều cạnh nhiễu Mặt khác, hiệu quả của các phương pháp này lại phụ thuộc vào việc dò tìm các điểm cạnh
e Sử dụng các đặc trưng màu và kết cầu bề mặt của các vùng ảnh: Các phương pháp sử dụng các đặc trưng màu và kết cấu bề mặt của các vùng ảnh có hiệu quả cao trong việc dò tìm các đối tượng mà chúng có mảu sắc hoặc kết cấu bể mặt rất khác so với các đối tượng nền khác trong ảnh [6] [7] Điểm yếu của các phương pháp này là chúng rất nhạy cảm với sự thay đổi của các điều kiện ánh sáng và thường lỗi trong trường hợp đối tượng bị ảnh hưởng bởi các vùng rất sáng và các bóng râm
1.2 CÁC KHÓ KHAN TRONG VIEC TAI NHAN DANG DOI TUONG
Đối với con người thì việc nhận ra các đối tượng trong ảnh là việc không phải là phức tạp; tuy nhiên, đối với một hệ thống nhân tạo thì nhận ra một đối tượng từ một ảnh đòi hỏi phải giải quyết được rất nhiều vấn đề hóc búa Chính vì thế vấn để này vẫn đang được nhiều nhóm trên thế giới quan tâm nghiên cứu Khó khăn của bài toán nhận dạng có thể kể ra như sau:
Trang 16450° hay xéo bén phai 450°, chup tir trén xuống, chụp từ dưới lên, v.v Với các tư thế khác nhau, các thành phần trên khuôn mặt như mắt, mũi, miệng có thể bị khuất một phần hoặc thậm chí khuất hết
e Sự xuất hiện hoặc thiếu một số thành phần: Các thành phần biểu tả một đối tượng có thể xuất hiện hoặc không trong ảnh làm cho bài toán nhận dạng càng trở nên khó hơn rất nhiều
e Sự biến dạng của đối tượng: Biến dạng của đối tượng có thể làm ảnh hưởng đáng kế lên các thông số của đối tượng đó Chẳng hạn, cùng một khuôn mặt một người, nhưng có thể sẽ rất khác khi họ cười hoặc sợ hãi,v.v
e Sự che khuất: Đối tượng có thể bị che khuất bởi các đối tượng khác
e Sự phức tạp của hình nền: Hình nền phức tạp sẽ khiến việc nhận dạng trở nên khó khăn
e Điều kiện của ảnh: Ảnh được chụp trong các điều kiện khác nhau về: chiếu sáng, về tính chất camera (máy kỹ thuật số, máy hồng ngoại,v.v ) ảnh hưởng rất nhiều đến chất lượng ảnh
1.3 TONG QUAN VE CAC NGHIEN CUU GAN DAY
1.3.1 Nghiên cứu về tái nhận dạng của S Gong, M Cristani, S Yan, and
C C Loy, Eds [16]
Trang 17này sẽ cho phép khám phá và lý luận về các hoạt động và hành vi có cấu tric dai hạn cụ thể của từng cá nhân Mặc dù việc giải quyết vấn để tái nhận đạng con người vốn đã rất khó khăn, nhưng nó cũng hứa hẹn tiềm năng to lớn cho một loạt các ứng dụng thực tế, từ an ninh và giám sát đến bán lẻ và chăm sóc sức khỏe Kết quả là, lĩnh vực này đã thu hút sự quan tâm ngày càng tăng từ các nhà nghiên cứu học thuật và các nhà phát triển công nghiệp Nghiên cứu này đã giới thiệu van dé tái nhận dạng , nêu ra những khó khăn trong việc xây dựng hệ thống tái nhận dạng con người và trình bày tổng quan về tiến bộ gần đây và các phương pháp tiên tiến để giải quyết một số thách thức cơ bản trong tái nhận dạng người, được hưởng lợi từ nghiên cứu về tầm nhìn máy tính, nhận đạng mẫu và học máy và rút ra những hiểu biết sâu sắc từ các cân nhắc thiết kế hệ thống phân tích video cho các giải pháp thực tế kỹ thuật Nó cũng cung cấp một giới thiệu về các chương đóng góp của cuốn sách này Nghiên cứu này kết thúc bằng cách đặt ra một số câu hỏi mở cho thách thức nhận đạng lại phát sinh từ các ứng dụng mới nỗi và trong tương lai
1.3.2 Nghiên cứu về tái nhận dạng người với người từ điển với quan điểm
bất biến được đào tạo phân biệt của S Karanam, Y Lä, và R J Radke[18]
Trang 18ràng trên các biểu diễn thưa thớt liên quan của các vectơ đặc trưng Trong giai đoạn thử nghiệm, các tác giả đã xác định lại hình ảnh thăm dò bằng cách chỉ cần xác định hình ảnh bộ sưu tập có biêu hiện thưa thớt gần nhất với hình ảnh thăm dò theo nghĩa Euclide Đánh giá hiệu suất mở rộng trên ba bộ dữ liệu nhận dạng lại nhiều lần chụp công khai cho thấy những lợi thế của thuật toán của tác giả so với một số cách học từ điển hiện đại, kết hợp trình tự thời gian và xuất hiện không gian và kỹ thuật dựa trên số liệu
1.3.3 Nghiên cứu về tái nhận dạng con người: quá khú;, hiện tại và tương lai của L Zheng, Y Yang va A G Hauptmann[17]
Nam 2016, trong bai bao “Person Re-identification: Past, Present and Future” cua L Zheng, Y Yang va A G Hauptmann dang o tạp chí trường Cornell University [17] cdc tác giả giới thiệu lịch sử của tái nhận dạng người và mối quan hệ của nó với phân loại hình ảnh và truy xuất thê hiện; tiếp theo các tác giả khảo sát nhiều lựa chọn về các hệ thống thủ công và các phương pháp quy mô lớn trong tái nhận lại dựa trên hình ảnh và video; sau đó họ mô tả các hướng quan trọng trong tương lai trong tái nhận dang lại từ đầu đến cuối và truy xuất nhanh trong các phòng trưng bày lớn; và cuối cùng các tác giả tóm tắt một số vấn để quan trọng chưa được phát triển
Nghiên cứu trên cho ta một cái nhìn tổng quan về tái nhận dạng người và lịch sử phát triển của nó, nghiên cứu này rất hữu ích cho những người mới bắt đầu nghiên cứu về lĩnh vực này
1.3.4 Nghiên cứu về Các mẫu bị chặn tạm thời để tái nhận dạng người cua H Huang, D Li, Z Zhang, X Chen va K Huang[19]
Trang 19rằng các mẫu này thúc giục mô hình khám phá mới manh mối trên cơ thé va cải thiện khả năng của nó Các tác giả cũng phân tích độ cứng và ảnh hưởng của các kích cỡ mặt nạ khác nhau, xác suất tắc và phương pháp lấy mẫu, đưa ra một số hiểu biết về khai thác các mẫu đối nghịch dựa trên tắc Sự cải thiện đáng kể trên ba bộ dữ liệu quy mô lớn cho thấy hiệu quả của phương pháp của các tác giả Để khám phá nhiều tiềm năng hơn trong chiến lược của các tác giả, các tác giả sẽ xem xét cách hiệu quả hơn
để tìm các khu vực phân biệt đối xử, ví dụ như như Grad-CAM
1.3.5 Nghiên cứu về mạng tích chập định kỳ để nhận dạng lại người dựa trén video cia N McLaughlin, J Martinez del Rincon, và P Miller[20]
Nam 2016, trong bai bao “Recurrent convolutional network for video-based person re-identification” cua N McLaughlin, J Martinez del Rincon, va P Miller [20] dang 6 Queen’s University Belfast, cac tac giả đề xuất một kiến trúc mạng thần kinh tai phat moi để tái nhận dạng người dựa trên video Họ đưa ra chuỗi video của một người, các tính năng được trích xuất từ mỗi khung sử dụng mạng nơ ron tích chập kết hợp một lớp cuối cùng lặp lại, cho phép thông tin lưu chuyển giữa các bước thời gian Các tính năng từ tất cả các đấu thời gian sau đó được kết hợp bằng cách sử dụng nhóm tạm thời để cung cấp một tính năng xuất hiện tông thể cho chuỗi hoàn chỉnh Các mạng chập, lớp lặp lại và lớp gộp thời gian, được đào tạo chung để hoạt động như một trình trích xuất tính năng cho tái nhận dạng dựa trên video bằng kiến trúc mạng Siamese Cách tiếp cận của các tác giả sử dụng màu sắc và quang học lưu lượng thông tin để nắm bắt sự xuất hiện và chuyên động thông tin hữu ích cho việc tái nhận dạng trên video Các thử nghiệm được tiến hành trên
iLIDS-VID và PRID-2011 bộ dữ liệu để cho thấy rằng phương pháp này tốt hơn so
với hiện có phương pháp xác định lại dựa trên video
Trang 20kết hợp phương pháp hiện tai với đa mục tiêu thực sự theo dõi đầu ra Điều này sẽ làm cho nó có thể đánh giá sự mạnh mẽ của dé xuất của tác giả khi được phân mảnh và các chuỗi hỏng được sử dụng làm đầu vào, cũng như đề xác nhận tính ứng dụng của nó như là một thành phần của một tích hợp đầy đủ hệ thống theo dõi diện rộng
1.4 MOT SO PHUONG PHAP TAI NHAN DANG DOI TƯỢNG
Trong các công trình nghiên cứu từ trước đến nay, có rất nhiều phương pháp dùng để tái nhận dạng đối tượng, các phương pháp đều có ưu điểm nhược điểm riêng của nó, các nhà khoa học đã và đang nghiên cứu thêm những phương pháp mới để có kết quả tốt nhất trong lĩnh vực tái nhận đang, trong phần này tôi xin trình bày một số phương pháp có kết quả tôt mà các nhà khoa học đã nghiên cứu trước đây
1.4.1 Tái nhận dạng đối tượng dựa trên học tập miêu tả
Các phương pháp dựa trên học tập miêu tả là một loại phương pháp tái nhận dạng đối tượng rất phô biến, chủ yếu nhờ vào việc học sâu, đặc biệt là sự phát triển mạng thần kinh Convolutional (CNN) Sunđerrajan và cộng sự [21] đề xuất một phương pháp trích xuất màu nhận biết ngữ cảnh quần áo để tìm hiểu các mẫu trôi màu theo cách không tham số bằng cách sử dụng chức năng khoảng cách rừng ngẫu nhién (RFD) Geng và các cộng su [3] đã để xuất thuật toán tái nhận dạng cho một người sử dụng mất phân loại và mất xác minh đề huấn luyện mạng (bao gồm mạng con phân loại và mạng xác minh) và mạng nhập một số cặp hình ảnh cho người đi bộ Mạng con phân loại thực hiện dự đoán ID trên hình ảnh và tính toán mất lỗi phân loại theo ID dự đoán Mạng con tích hợp các tính năng của hai hình ảnh và đánh giá xem hai hình ảnh này có thuộc cùng một người đi bộ hay không Mạng con về cơ bản tương đương với mạng phân loại nhị phân Sau khi đào tạo đủ dữ liệu, hãy nhập lại hình ảnh thử nghiệm và mạng sẽ tự động trích xuất một tính năng, được sử đụng cho tái nhận đạng đối tượng Đối với vấn đề chỉ riêng thông tin ID
người đi bộ là không đủ để tìm hiểu một mô hình có khả năng khái quát hóa mạnh
Trang 21chính xác cho người di bộ, giúp tăng đáng kế khả năng khái quát của mô hình Hầu hết các giấy tờ cũng cho thấy phương pháp này có hiệu quả Lin và các cộng sự [4] để xuất thuật toán tái nhận dạng đối tượng cho một người dựa trên nhiễu thuộc tính Trong thuật toán này, các tính năng của đầu ra mạng không chỉ được sử đụng để dự đốn thơng tin ID của người đi bộ mà còn để dự đoán các thuộc tính của từng người đi bộ Sự kết hợp giữa mất ID và mắt thuộc tính có thể cải thiện khả năng khái quát của mạng Hiện tại, vẫn còn rất nhiều công việc dựa trên học tập miêu tả Học tập miêu tả cũng đã trở thành một cơ sở rất quan trọng của lĩnh vực tái nhận dạng đối tượng Hơn nữa, phương pháp học tập đại diện mạnh mẽ hơn, đảo tạo ổn định hơn và kết quả dễ tái tạo hơn Tuy nhiên, học đại diện rất dễ bị qua mức trong miễn của tập dữ liệu và khi ID đào tạo được tăng lên ở một mức độ nhất định, nó sẽ yếu
1.4.2 Tái nhận dạng đối tượng dựa trên học tập số liệu
Học số liệu là một phương pháp được sử dụng rộng rãi trong lĩnh vực phục hồi hình ảnh Không giống như học tập miêu tả, học số liệu nhằm mục đích tìm hiểu sự tương đồng giữa hai hình ảnh thông qua mạng Trong vấn để của tái nhận dạng người, sự giống nhau của các hình ảnh khác nhau của cùng một người đi bộ lớn hơn so với các hình ảnh khác nhau của những người đi bộ khác nhau Cuối cùng, chức năng mất của mạng làm cho khoảng cách giữa các hình ảnh của người đi bộ (cặp mẫu dương) càng nhỏ càng tốt và khoảng cách giữa các hình ảnh khác nhau của người đi bộ (cặp mẫu âm) càng lớn càng tốt Các biện pháp phổ biến về mất học tập bao gồm mất tương phản, mất Triplet, mất Quadruplet, mất cứng Triplet với khai thác cứng hang loat (mat TriHard) và mất khai thác mẫu Margin (MSML) Varior Và các cộng sự để xuất mạng Siamese và đào tạo mô hình mạng bằng cách giảm độ tương phản Bằng cách giảm mất độ tương phản, khoảng cách giữa các cặp mẫu dương tính sẽ giảm dần và khoảng cách giữa các cặp mẫu âm tính ting dan, dé dap ứng nhu cầu của người tái nhận dạng Mắt ba lần là mất học tập số liệu được sử dụng rộng rãi và rất nhiều phương pháp học số liệu đã phát triển dựa trên bộ ba Dinh và các đồng su [4] coi van dé nhan dang lai la van dé xép hang va mất bộ ba để có được khoảng cách tương đối giữa các hình ảnh Chen và các cộng sự [5] đã
Trang 22thiết kế một quy trình mất bộ tứ, có thê dẫn đến két qua dau ra mé hinh voi bién thé giữa các lớp lớn hơn và biến thê trong lớp nhỏ hơn so với phương pháp mất bộ ba Hermans và các cộng sự [6] đề xuất một phương pháp lấy mẫu mẫu khó trực tuyến dựa trên đào tạo, được đặt tên là Mất TriHard Chiến lược khai thác mẫu bộ ba truyền thống chọn ngẫu nhiên ba hình ảnh từ đữ liệu huấn luyện và hầu hết các hình ảnh được lay mẫu là các cặp mẫu đơn giản và dễ phân biệt, không có lợi cho việc thể hiện tốt hơn việc học tập trên mạng Bài viết này để xuất một chiến lược khai thác mẫu có thê thu được các mẫu khó hơn có thể cải thiện khả năng khái quát hóa của mạng Xiao và các cộng sự [9] để xuất tôn thất khai thác mẫu Margin trong đó đưa ra ý tưởng lấy mẫu mẫu cứng Tôn thất MSML được tính bằng cách chỉ chọn cặp mẫu dương tính cứng nhất và cặp mẫu âm tính cứng nhất Đó là một phương pháp học đo lường có tính đến cả khoảng cách tương đối và khoảng cách tuyệt đối và đưa ra ý tưởng lấy mẫu khó
1.4.3 Tái nhận dạng đối tượng dựa trên tính năng địa phương
Trang 23chính của người đi bộ với mô hình ước tính thái độ, và sau đó thực hiện các điểm chính tương tự phù hợp với chuyển đổi affine Dé trích xuất các tính năng cục bộ ở các tỷ lệ khác nhau, họ đặt ba kết hợp PoseBox khác nhau Sau đó, ba hình ảnh đã sửa của PoseBox đã được gửi tới mạng cùng với hình ảnh được chỉnh sửa ban đầu để trích xuất các tính năng, chứa cả thơng tin tồn cầu và địa phương Đề giải quyết vấn để căn chỉnh tính năng cục bộ, hầu hết các phương pháp cần một điểm chính khung xương hoặc mô hình ước lượng tư thế bổ sung Zhang và các cộng sự [13] dé xuất một mô hình căn chỉnh tự động dựa trên khoảng cách SP (AlignReID), tự động căn chỉnh các tính năng cục bộ mà không yêu cầu thêm thông tin
1.4.4 Tái nhận dạng đối tượng dựa trên trình tự video
Sự khác biệt chính giữa các phương pháp dựa trên chuỗi video là các phương pháp đó không chỉ xem xét thông tin nội dung của hình ảnh mà còn xem xét thông tin chuyển động giữa các khung Liu và các cộng sự [14] đề xuất một thuật toán gọi là mạng bối cảnh chuyên động tích lũy (AMOC), đầu vào của AMOC bao gồm chuỗi hình ảnh gốc và chuỗi đòng quang được trích xuất AMOC có mạng không gian và mạng chuyển động Mỗi khung của chuỗi hình ảnh được nhập vào Spat Nets để trích xuất các tính năng nội dung toàn cầu của hình ảnh, hai khung liền kề sẽ được gửi đến Moti Nets để trích xuất các tính năng mô hình dòng quang: sau đó các tính năng không gian và tính năng dòng quang được hợp nhất và nhập vào RNN để trích xuất các tính năng tạm thời Thông qua mạng AMOC, mỗi chuỗi hình ảnh có thê được trích xuất với một tính năng tích hợp thông tin nội dung va thông tin chuyển động Mạng thông qua mất phân loại và mất so sánh để đào tạo mô hình Các tính năng hình ảnh liên tiếp với thông tin chuyền động có thể cải thiện độ chính xác của người tái nhận dạng Mazzeo và các cộng sự [1Š] để xuất kiến trúc đa camera để giám sát khu vực rộng và thuật toán theo đõi người thời gian thực trên các camera không chồng chéo, họ đã đề xuất các phương pháp khác nhau để trích xuất thông tin biêu đồ màu từ mỗi bản vá đối tượng cho camera trong và so sánh các phương pháp khác nhau để đánh giá Chức năng chuyển độ sáng màu (BTF)
Trang 24giữa các camera không chồng lấp để theo dõi giữa các camera Phương pháp này vượt trội hơn hiệu suất về tỷ lệ khớp giữa các máy ảnh khác nhau
1.4.5 Tái nhận dạng đối tượng dựa trên phương pháp sinh trắc học mềm Hầu hết các nghiên cứu hiện có về tái nhận dạng đối tượng đang tập trung vào việc trích xuất tính năng bat biến quan điểm cục bộ của một người và học một thước đo khoảng cách phân biệt đối xử để phân tích tương tự Sinh trắc mềm như giới tính, tuổi tác, kiểu tóc hoặc quần áo là mô tả ngữ nghĩa trung cấp của một người bất biến đối với sự chiếu sáng, quan điểm và tư thế Do đó, trong những năm gần đây, sinh trắc học mềm đã được sử dụng trong kết hợp với thông tin nhận dạng để hỗ trợ nhiều phương thức tái nhận dạng đối tượng làm phụ trợ thông tin Hơn nữa, các nhãn thuộc tính dễ hiểu của con người thu hẹp khoảng cách nhận ra và xác định đối tượng giữa con người và máy móc Bởi tích hợp sinh trắc mềm, hệ thống tái nhận dạng đối tượng hiện tại có thể được mở rộng thành một phạm vi ứng dụng rộng hơn như truy xuất văn bản từ người sang người, hình ảnh đê mô tả chuyền đổi
Mặc dù, nhiều phương pháp tái nhận dạng thuộc tính sinh trắc học mềm được hỗ trợ đã được đề xuất trước đây Hầu hết chúng đều dựa trên học máy truyền thống phương pháp tiếp cận với các tính năng thủ công Các thuộc tính được phân loại bởi SVM từ các mô tả cấp thấp và được tích hợp trong bước nghiêng số liệu của tái nhận dạng đối tượng Su và các cộng sự [17] để xuất nhúng thuộc tính xếp hạng thấp nhúng các thuộc tính nhị phân vào một không gian thuộc tính liên tục dựa trên cục bộ đại diện tính năng Khamis và các cộng sự [5] đã phát triển một phương pháp đựa trên thuộc tính tính nhất quán cho cùng một người và đề xuất mất bộ ba cho thuộc tính đặc trưng TẤt cả các tác phẩm này chỉ dựa trên bộ dữ liệu VIPeR và PRID nhỏ 21 thuộc tính nhị phân Năm 2014, Yubin Deng [9] và các cộng sự đã phát hành một thuộc tính cho người đi bộ quy mô lớn bộ đữ liệu PETA bao gồm
hình ảnh từ nhiều bộ dữ liệu tái nhận dạng đối tượng Tuy nhiên, bộ dữ liệu PETA
không chứa đủ số lượng hình ảnh đào tạo cho học sâu dựa trên phương pháp tái nhận dạng đối tượng Cho đến khi Lin và các cộng sự [II] phát hành các chú thích
Trang 25DukeMTMC-reID sinh trac hoc mém bat dau tích hợp vào phương pháp tái nhận dạng đối tượng
1.5 MÔ HÌNH HE THONG TAI NHAN DANG DOI TUONG
Một hệ thống tái nhận dạng đối tượng thông thường xử lý bốn bước sau: e_ Thu nhận tín hiệu (hình ảnh) và số hóa ảnh
e Nhận đạng và đưa ra tập kết quả đối tượng e_ Truy vấn đối tượng vào các camera khác
e Tra loi két quả đối tượng có xuất hiện hay không kh ảnh ảnh hậ 3 a > 4he hung can anh Thuật toán nhận Tập kết quả đôi ——————| Camera | = số Nhận dạng A dạng tượng a Axt Zz .Äẳ 2 = Camera 2 Camera n s B 2 & se 3 5 M M Bi
Đổi tượng có Đối tượng có Đối tượng có xuât hiện không xuât hiện không xuât hiện không
Hình 1 1: Mô hình hệ thống tái nhận dạng đối tượng
Ảnh đầu vào được thu nhận và số hóa Các ảnh sau đó được trích chọn đặc trưng để tạo ra các vectơ đặc trưng trong bước rút trích đặc trưng Những véc-tơ đặc trưng này sẽ là dữ liệu đầu vào cho một mô hình đã được huấn luyện trước Truy vấn đối tượng: dò tìm và định vị những vị trí đối tượng xuất hiện trong ảnh hoặc trên các chuỗi ảnh của video của các camera khác Đối tượng đã xuất hiện trên camera l sẽ được truy vấn vào các camera còn lại để xem đối tượng này có xuất hiện lại hay không
Trang 261.6 MOT SO UNG DUNG CUA TAI NHAN DANG DOI TUONG
Bài toán tái nhận dạng đối tượng có thể áp dụng rộng rãi trong nhiều ứng dụng thực tế khác nhau Đó chính là lý do mà bài toán này hấp dẫn rất nhiều nhóm nghiên cứu trong thời gian đài Các ứng đụng liên quan đến tái nhận dạng đối tượng có thể kể ra như:
- Hệ thống phát hiện tội phạm: camera được đặt tại một số điểm công cộng như: siêu thị, nhà sách, trạm xe buýt, sân bay,v.v Khi phát hiện được sự xuất hiện của các đối tượng là tội phạm, hệ thống sẽ gởi thông điệp về cho trung tâm xử lý
- Hệ thống theo dõi nhân sự trong một đơn vị: giám sát giờ ra vào của từng nhân viên và chấm công
- Hệ thống giao tiếp người máy: thay thế việc tương tác giữa người và máy theo những cách truyền thống như: bàn phím, chuột,v.v Thay vào đó là sử dung các giao tiếp trực quan: biêu cảm khuôn mặt, dấu hiệu, cử chỉ bằng tay
- Hệ thống tìm kiếm thông tin trên ảnh, video dựa trên nội dung (chỉ mục theo người) Chẳng hạn như: đài truyền hình Việt Nam (VTYV) có một kho dữ liệu video tin tức khá lớn cần tìm kiếm nhanh những đoạn video nào có G Bush hoặc Bin Laden
- Cac hé théng bảo mật dựa trên thông tin trắc sinh học: mặt người, vân tay,v.v thay vì xác nhận mật khẩu, khóa,v.v
- Phần mềm nhận dạng chữ in, đặc biệt dành riêng cho ngôn ngữ tiếng Việt, dịch vụ Nhận dang chit in
- Công nghệ nhận dạng quản lý giao thông quản lý hình ảnh của xe và biển số xe thay đổi (không khớp với cơ sở dữ liệu), giám sát bãi đỗ xe, phương tiện giao thông tại các khu vực nhạy cảm như các sân bay, bến cảng
1.7 TIEU KET CHUONG 1
Trang 27đó ở nơi khác Việc giải quyết vấn dé tai nhận dạng đối tượng đã thu hút được sự chú ý nhanh chóng trong cả cộng đồng nghiên cứu học thuật và lao động công nghiệp trong những năm gần đây
Chương này đã cung cấp một bức tranh toàn cảnh về tái nhận dạng đối tượng, cùng với một tổng quan về các phương pháp hiện tại để sử dụng giải quyết cho bai toán tái nhận dạng đối tượng Phần còn tiếp theo của luận văn sẽ trình bày kỹ thuật và phương pháp chỉ tiết hơn cho việc giải quyết bái toán tái nhận dạng đối tượng mà các nhà nghiên cứu đang sử dụng nhiều trong hiện tại
Trang 28CHU ONG 2 - TAI NHAN DANG DOI TUONG SU DUNG
PHUONG PHAP SINH TRAC HOC MEM
2.1 TONG QUAN VE PHUONG PHAP SINH TRAC HOC MEM
Trang 29kiện máy ảnh là tốt (ánh sáng, chất lượng, vị trí, và độ phân giải cao) Mặt khác, các tính năng sinh trắc mềm không bị xâm nhập trong quá trình mua lại và có thể được áp đụng trực tiếp của các hệ thống camera hiện có Vì những lý đo này, họ có thé được coi là một cách tiếp cận đầy hứa hẹn Nghiên cứu này sử dụng một mô hình xuất hiện sinh trắc mềm tập trung vào một danh sách theo dõi cách tiếp cận, nơi mục tiêu là nhận ra và theo dõi những người nằm trong danh sách (như danh sách khủng bố hoặc tội pham) Đó là, một số lượng lớn máy ảnh được cài đặt trong nhiều địa điểm được sử dụng, trong khi một số lượng rất lớn người sẽ đi qua các camera giám sát này, chỉ một bộ cá nhân phải được công nhận Đó là, hệ thống phải từ chối mọi đối tượng trừ khi đối tượng nằm trong danh sách theo đối Công việc nay dé xuất một hệ thống nhận dạng có thể xác định N cá nhân được chỉ định trước, trong khi đó không xác định những người khác Cách tiếp cận này sẽ đặc biệt hữu ích để giám sát video thông minh, nơi các cá nhân N sẽ là nghi phạm trong danh sách theo dõi Mặt khác, đối với người mục đích nhận dạng, một tính năng sinh trắc học mềm bao gồm các loại tính năng khác nhau: màu sắc, kết cấu, tính năng địa phương, và hình học Tầm quan trọng của mỗi tính năng được phân tích bằng cách nghiên cứu sự đóng góp của mỗi tính năng cho khía cạnh cá nhân
Phương pháp này mất vài bước để hồn thành Thuật tốn đi thông qua bốn bước chính: phát hiện và nhận dạng người, trích xuất người, tính toán màu sac, phat hiện ba lô và túi đeo và nhận dạng quần áo Chương này mô tả từng bước một mô hình tính năng cho mỗi đối tượng
2.2 PHAT HIEN VA NHAN DANG DOI TUONG BANG KY THUAT BOOSTING
2.2.1 Téng quan vé ky thuat boosting
Boosting la kỹ thuật dùng để tăng độ chính xác cho các thuật todn hoc (Learning algorithm) Nguyén ly co ban cia no là kết hợp cdc weak classifiers thành một sfrong classifier Trong d6, weak classifier la cdc bé phan loai đơn giản chỉ cần có độ chính xác trên 50% Bằng cách này, chúng ta nói bộ phân loại đã được “boosf”
Xét một bài toán phân loại 2 lớp (mẫu cần nhận dạng sẽ được phân vào 1 trong 2 lớp) với D là tập huấn luyện gồm có ø mẫu Trước tiên, chúng ta sẽ chọn ngẫu nhiên
Trang 30ra n; mau ti tap D (n)<n) dé tao tập D¡ Sau đó, chúng ta sẽ xây dựng weak classifier dau tién C, từ tập Dị Tiếp theo, chúng ta xây dựng tập D¿ để huấn luyện bộ phân loại C; D; sẽ được xây dựng sao cho một nửa số mẫu của nó được phân loại đúng bởi C; và nửa còn lại bị phân loai sai boi C; Bằng cách này, D; chứa đựng những thông tin bố sung cho C; Bây giờ chúng ta sẽ xây huấn luyện C; từ D¿
Tiếp theo, chúng ta sẽ xây dựng tập D; từ những mẫu không được phân loại tốt bởi sự kết hợp giữa C; và C;: những mẫu còn lại trong 2 mà C; và C; cho kết quả khác nhau Như vậy, D; sẽ gồm những mẫu mà C; vv C; hoạt động không hiệu quả Sau cùng, chúng ta sẽ huấn luyện bộ phân loại C; từ D;
Trang 312.2.2 Thuat toan Adaboost
AdaBoost là một bộ phân loại mạnh phi tuyến phức dựa trên hướng tiếp cận boosting duoc Freund va Schapire dua ra vao năm 1995 Adaboost cũng hoạt động trên nguyên tắc kết hợp tuyến tính các bộ phân loại yếu dé hình thành một bộ phân loại mạnh
Trong quá trình huấn luyện, cứ mỗi bộ phân loại yếu được xây dựng, thuật toán sẽ tiến hành cập nhật lại trọng số để chuẩn bị cho việc xây dựng bộ phân loại yếu kế tiếp bằng cách tăng trọng số của các mẫu bị nhận dạng sai và giảm trọng số của các mẫu được nhận dạng đúng bởi bộ phân loại yếu vừa xây đựng Điều này giúp bộ phân loại yếu sau có thê tập trung vào các mẫu mà các bộ phân loại yếu trước nó làm chưa tốt Sau cùng, các bộ phân loại yếu sẽ được kết hợp tùy theo mức độ tốt của chúng để tạo nên bộ phân loại mạnh Viola và Jones dùng AdaBoost kết hợp các bộ phân loại yếu sử dụng các đặc trưng Haar-like theo mô hình phân tầng (cascade) như Hình 3
Dữ liệu huẳn luyện
Trang 32Trong đó, hy là các bộ phân loại yếu, được biểu diễn bởi công thức:
h, = ( nếu P„,Fy(x) < P,0y k— |0 nếu ngược lại
x: Cửa số con cần xét 6, : Nguong
J: Gia tri cua dic trung Haar-like
p¿: Hệ số quyết định chiều của phương trình
AdaBoost sẽ kết hợp các bộ phân loại yếu thành bộ phân loại mạnh như Hình 4 Giá trị của bộ phân loại mạnh (+) = sigm(a¡h¡ (x) +a¿;h; () + +a„ạh„(%))
(a = alpha) Voi: a ,>= 0 la hé số chuẩn hoá cho các bộ phân loại yếu
Bộ phân Bộ phân Bộ nhân
loại yêu Ï loại yẫu 2 loạ yằu 3 “ _- : 6 O e O \ .® O› % e 0 OB Ilo Ð' oXx®9 .-® e s \ \e ° a % o ®\ o.® hy (x) h, (x) h, (x)
Hình 2.3 Kết hợp các bộ phân loại yếu thành bộ phân loại mạnh
2.2.3 Phát hiện đối tượng bằng thuật toán AdaBoost
2.2.3.1 Đặc trưng
Hệ thống phát hiện đối tượng trên hình ảnh dựa trên các đặc trưng đơn giản Có nhiều lý do để chọn việc xử lý dựa trên đặc trưng mà không thực hiện với xử lý trực tiếp trên các điểm ảnh Lý do phổ biến nhất là các đặc trưng có thể dựa trên các tri thức hữu hạn của các dữ liệu huấn luyện để mã hóa ra các tri thức nhận dang Ngoài ra một hệ thống phát hiện đối tượng sử dụng đặc trưng thì xử lý sẽ nhanh hơn
so với hệ thống dựa trên xử lý điểm ảnh
Trang 33Một loại đặc trưng đơn giản được sử dụng là đặc trưng Haar-like, là một loại đặc trưng thường được dùng cho bài toán nhận dạng trên ảnh Đặc trưng Haar-like được xây dựng từ các hình chữ nhật có kích thước bằng nhau, dùng để tính độ chênh lệch giữa các giá trị điểm ảnh trong các vùng kể nhau Trong hình 5a và 5b, giá trị của đặc trưng cho bởi I ảnh bằng hiệu số giữa tổng các điểm ảnh thuộc 2 vùng hình chữ nhật sáng và tối Trong hình 5c thì giá trị đặc trưng bằng tổng các điểm ảnh trong 2 vùng hình chữ nhật bên ngoài trừ cho tổng các điểm ảnh trong hình chữ nhật ở giữa -~———VWV——> Anh _—— +H A Feature x2 B Feature y2
C Feature x3 D Feature x2-y2
Hinh 2.4 Dac trung Haar-like co ban
Trang 34Trong quá trình huấn luyện, số lượng xử ly trên các đặc trưng Haar-like là rất lớn, việc tính tổng các điểm ảnh cho bởi từng đặc trưng làm cho thời gian xử lý tăng đáng kế
Đề khắc phục điều nay, Viola va Jones di dua ra khai niém Integral Image dé tinh toán nhanh cho các đặc trưng cơ bản Integral Image
Hình 2.6 Gia tri integral image tai diém (x,y) bang téng gia trị của tất cả điểm ảnh
phia trén va bén trai (x,y)
Trang 35
Theo công thức trén thi integral image tai diém 1 sé bang téng gia trị điểm ảnh trong hình chữ nhật A, integral image tai diém 2 sé bang A + B, integral image tại diém 3 sé bang A +C, integral image tai điểm 4 sẽ bằng A + B + € +D
Như vậy, tổng giá trị điểm ảnh trong một hình chữ nhật bất kỳ có thể tính nhanh dựa trên integral image tại bốn đỉnh của nó, tông giá trị điểm ảnh của hình
chữ nhật D bằng 4 + I - (2 +3 )
2.2.3.2 Mô hình cascade
Một hệ thống phát hiện tốt thường tốn rất nhiều thời gian để cho ra kết quả phát hiện bởi vì nó phải xét rất nhiều đặc trưng của mẫu Tuy nhiên, trong các mẫu đưa vào, không phải mẫu nào cũng thuộc loại khó nhận dạng Có những mẫu background rất dễ nhận ra (ta gọi đây là những mẫu background đơn giản) Đối với những mẫu này, ta chỉ cần xét một hay vài đặc trưng đơn giản là có thể nhận diện được chứ không cần xét tất cả các đặc trưng Nhưng đối với các bộ phát hiện thông thường thì cho dù mẫu cần nhận đạng là đễ hay khó thì nó vẫn sẽ xét tất cả các đặc trưng mà nó rút ra được trong quá trình học Do đó, chúng tốn thời gian xử lý một cách không cần thiết
Mô hình cascade được xây dựng chính là nhằm rút ngắn thời gian xử lý, giảm thiểu tỷ lệ nhận dạng sai của bộ nhận dạng Mô hình cascade phân tầng theo dạng hình cây, mỗi cây gồm nhiều tầng, mỗi tầng của cây sẽ là một bộ phân loại Một mẫu để được phát hiện là đối tượng thì nó cần phải đi qua hết tất cả các tầng của cây, các bộ phân loại ở tầng sau được huấn luyện bằng những mẫu âm mà bộ phân loại trước nó nhận dạng sai, tức là nó sẽ tập trung học từ các mẫu background khó
Trang 36hơn, do đó sự kết hợp các bộ phân loại này lại sẽ giúp bộ phát hiện có false alarm thấp Với cấu trúc này, những mẫu background dễ nhận diện sẽ bị loại ngay từ những tầng đầu tiên, giúp đáp ứng tốt nhất đối với độ phức tạp gia tăng của các mẫu đưa vào, đồng thời giúp rút ngắn thời gian xử lý
223.3 Mô hình boost cascade
Mô hình boost cascade là mô hinh cascade với mỗi bộ phân loại được xây dựng bằng AdaBoost sử dụng đặc trưng Haar-like Mô hình này đã được Viola và M6 hinh cascade Doi tượng Anh Vv Không phải đối tượng Hình 2.7 Mô hình cascade
Jones sử đụng rất thành công trong bài tốn phát hiện khn mặt Với tập huấn
luyện gồm 4196 hình mặt người được đưa về ảnh xám kích thước 24x24 và 9500
hinh background, Viola và Jones đã xây dựng cấu trúc cây cascade gồm 38 tầng với tổng cộng 6060 đặc trưng Haar-like Thực nghiệm đã cho thấy bộ phân loại ở tầng đầu tiên sử dụng 2 đặc trưng và loại được khoảng 50% mẫu background (không chứa khuôn mặt) và có tỷ lệ nhận dạng là 100% Bộ phân loại ở tầng thứ 2 sử dụng 10 đặc trưng loại được 80% mẫu background vẫn với lệ nhận dạng 100% Hệ thống này được so sánh với hệ thống của Rowley-Baluja-Kanade (sử đụng mạng nơron), Schneiderman-Kanade (sử dụng phương pháp thống kê), và cho thấy tỉ lệ nhận dạng là ngang nhau, trong khi hệ thống của Viola và Jones chạy nhanh hơn đến 15 lần so với hệ thống của Rowley-Baluja-Kanade và nhanh hơn 600 lần hệ thống của Schneiderman-Kanade
Trang 37dụng thành cơng trong bài tốn nhận dạng bàn tay Do bàn tay có nhiều biến động hơn so với mặt người, Ong và Bowden đã sử dụng phương pháp học không giám sát: tiến hành phân cụm cho tất cả các mẫu trong tập huấn luyện chứa 2504 hình bàn tay chụp ở nhiều tư thế khác nhau bằng thuật toán K-mediod clustering Cấu trúc bộ nhận dạng của Ong và Bowden gồm 2 lớp: lớp ở trên là 1 M6 hinh boost cascade để nhận dạng sơ bộ bàn tay, lớp bên đưới là từng mô hình boost cascade ứng với từng cụm được chia bằng K-mediod Kết quả thu được rất khả quan, cấu trúc cascade của bộ nhận dạng ở lớp trên gồm I1 tầng với tổng cộng 634 bộ phân loại yếu đã đạt tỉ lệ nhận dang la 99.8% trên tập kiểm thử, còn các bộ cascade ớ lớp dưới có tỉ lệ nhận dạng trung bình là 97.4%
223.4 Đánh giá
Trước khi có hệ thống của Viola và Jones, hệ thống của Rowley được đánh giá là bộ nhận dạng có tốc độ nhanh nhất Hệ thống cua Rowley thuc chat cũng là một cấu trúc cascade với 2 mạng nơron: mạng nơron thứ nhất khá đơn giản nhằm mục đích chính là loại bỏ các hình background có độ khó thấp, mạng nơron thứ 2 phức tap hơn, đảm nhiệm việc nhận dạng các mẫu đi qua neural network thir nhất
Điều này chứng tỏ mô hình cascade đã giúp loại nhanh các mẫu có độ phức tạp thấp thực sự đây nhanh tốc độ của hệ thống
Ý tưởng của Viola và Jones khi đưa ra Mô hình boost cascade thật ra cũng tương tự vậy, nhưng nó mở rộng 2 tầng thành 38 tầng của cây cascade Hệ thống của Viola và Jones càng chứng tỏ khả năng tăng tốc của mô hình cascade khi đạt tốc độ nhanh hơn hệ thống của Rowley và hệ thống của Schneiderman- Kanade (vốn không hề sử dung cascade) lần lượt 15 lần và 600 lần
Trong bài báo cáo của mình, Viola và Jones cũng đã tiến hành so sánh hệ thống sử dụng mô hình boost cascade với một hệ thống chỉ có một bộ nhận dạng duy nhất xây dựng bằng AdaBoost với tổng số đặc trưng Haar-likes sử dụng là 200 Kết quả là hệ thống theo mô hình boost cascade nhanh hơn đến 10 lần Lý đo mà cấu trúc cascade đạt tốc độ nhận dạng nhanh chính là nhờ nó sớm loại bỏ được các
Trang 38mẫu background đơn giản (thường có số lượng lớn hơn nhiều so với các mẫu chứa đối tượng — các mẫu thực sự cần tiến hành nhận đạng)
Bên cạnh đó, hệ thống của Viola va Jones cũng đạt được độ chính xác cao tương đương các hệ thống khác là nhờ thuật toán cấu trúc cascade các bộ nhận dạng được huấn luyện bằng AdaBoost với đặc trưng đặc trưng Haar-like mô tả tốt thông tin đối tượng, cùng với cách tính Integral Image tính nhanh các đặc trưng , không làm giảm tốc độ nhận dang của hệ thống
Như vậy, mô hình mô hình boost cascade thật sự là một cách tiếp cận tốt cả về tốc độ lẫn khả năng nhận dạng Tuy nhiên, bài toán cũng đặt ra một số khó khăn về số lượng mẫu và thời gian huấn luyện AdaBoost đòi hỏi phải có số lượng mẫu rất lớn (tối thiểu phải lên đến hàng nghìn) để huấn luyện được bộ nhận dạng hiệu quả Hệ thống nhận dạng mặt người của Viola va Jones cần đến 4916 ảnh mặt người Việc thu thập đủ số lượng mẫu này là một trở ngại rất lớn Bên cạnh đó, do số lượng mẫu nhiều, đồng thời số lượng đặc trưng Haar-like xử lý lớn nên thời gian huấn luyện rất lâu Do đó, việc xây dựng toàn bộ hệ thống nhận dạng đối tượng sẽ tốn rất nhiều thời gian (phải kế cả việc trong quá trình thử nghiệm sẽ có những lần huấn luyện thất bại, buộc phải tiến hành huấn luyện lại)
2.2.4 Nhận dạng đối tượng băng thuật toán AdaBoost
2.2.4.1 Bộ nhận dạng dỗi tượng
Trang 392.2.4.2 Tập huắn luyện
Tập huấn luyện bao gồm các mẫu đương (đối tượng cần nhận dạng) và âm (mẫu không chứa đối tượng) Trong bộ nhận dạng, các mẫu dương là các hình chụp của đối tượng đó đã qua chuẩn hóa: kích thước và được chuyển về ảnh xám Các mẫu âm bao gồm tất cả các ảnh không chứa đối tượng cần nhận dạng (các hình background)
Không như các mẫu dương có kích thước cố định, các mẫu âm trong tập huấn luyện có thể có kích thước tùy ý nhưng phải lớn hơn kích thước mẫu dương Trong quá trình huấn luyện, các bộ phân loại yếu sẽ học từ các mẫu đương trong tập huấn luyện và các mẫu âm là các vùng ảnh trích ra từ các mẫu âm trong tập
Hình 2.9 Minh họa các mẫu đương dùng cho huấn luyện
huấn luyện
Trang 40
Ä x TAP HUAN LUYEN
TAP HUAN LUYEN CUA CAC BO HOC YEU
® | Pos || Pos || Pos
2 & | Pos Pos 5 _.¬ ———————— > 5 ư œ |Pos |[P@s || Pos & Pos ® Ne Ne œ || led Neg = g 9 > ot 5 > F— -—-——¬ yo = Neg | | Neg + Neg Ned Hình 2.10 Tập huấn luyện của các bộ học yếu 2.2.4.3 Đặc trưng để nhận dạng
Hệ thống đặc trưng dùng để nhận dạng bao gồm cả đặc trưng Haar-like co bản (1a, Ib, 2a, 2b, 2c, 2d, 3a, 1, 5) và các đặc trưng Haar-like mở rộng (xoay 45° - 1c, 1d, 2e, 2ƒ 2g, 2h, 3b) Các đặc trưng nay đều được tính toán nhanh nhờ vào khái niệm Integral Image
Luận văn sử dụng các đặc trưng Haar-like sau:
