Nội dung luận án đề xuất phương pháp nâng cao độ chính xác của các thuật toán đối sánh vân tay bằng cách cải tiến quá trình giai đoạn gia cố của các thuật toán mà không ảnh hưởng đến thời gian thực thi của các thuật toán. Thử nghiệm đã được tiến hành trên nhiều thuật toán đối sánh vân tay khác nhau như: K-plet, MCC, m-Triplets cho kết quả nâng cao độ chính xác của các thuật toán và không ảnh hưởng đến thời gian thi hành của các thuật toán gốc.
IH QU GI H N I TR ỜN N LÊ N N ỒNG HẢI ÊN ỨU NÂN AO Á KỸ THUẬT Ố SÁN TAY DỰA TRÊN Ặ TR N ỂM CH C VÂN huyên ngành: Hệ thống thông tin Mã số: 62.48.05.01 TĨM TẮT LU N ÁN TIẾN SĨ ƠNG NGHỆ THƠNG TIN Nội – 2018 ơng trình hồn thành tại: Trư ng ại h c ơng nghệ Quốc gi Hà N i ại h c Phản biện: Phản biện: Phản biện: Luận án bảo vệ trước H i đồng cấp ại h c Quốc gia chấm luận án tiến sĩ h p vào hồi gi ngày tháng năm ó thể tìm hiểu luận án tại: - Thư viện Quốc gia Việt Nam Trung tâm Thông tin - Thư viện ại h c Quốc gi Hà N i Ớ T U UN ộng lực nghiên cứu Vân t y đ c trưng sinh trắc h c s ng ph iến r ng rãi hoạt đ ng ân s c ng pháp M c ù sinh trắc h c đại s d ng nhiều đ c trưng ền vững cho cá nhân võng m c, DNA, gi ng nói việc thu thập mẫu đối sánh phức tạp giá thành c o Vân t y đ c trưng sinh trắc h c có vài trò qu n tr ng nh tính ất biến khác iệt vân t y đơn giản trình x mẫu Trong hệ thống nhận dạng vân t y t đ ng (AFIS) gi i đoạn đối sánh vân t y có v i trò qu n tr ng đ nh đến tốc đ đ xác củ hệ thống nhận ạng vân t y Với ứng d ng truy vấn vân t y đòi hỏi tốc đ th i gian th c c n đ nh nh tức vân t y đ u vào đòi hỏi hệ thống c n có khả đối sánh hàng triệu vân t y th i gi n đơn v giây Mục tiêu luận án ể hướng tới m c tiêu xây ng m t hệ thống FIS có hiệu c o ài toán đối sánh vân t y c n tr ng nghiên cứu giải ây đ ng c để chúng tơi ch n đề tài nghiên cứu: “Nghiên cứu nâng c o kỹ thuật đối sánh vân t y đ c trưng điểm chạc” uận án tiến sỹ C thể tr ng nâng cao đ xác thuật tốn đối sánh vân t y iểu i n điểm chạc, c ng nâng c o tốc đ củ trình đối sánh vân t y SDL vân t y ớn x đồ h GPU ác đóng góp luận án - Luận án đề xuất phương pháp nâng c o đ xác củ thuật tốn đối sánh vân t y ằng cách cải tiến trình gi i đoạn gi cố củ thuật tốn mà khơng ảnh hư ng đến th i gi n th c thi củ thuật toán Th nghiệm tiến hành nhiều thuật toán đối sánh vân t y khác nh u như: K-plet, MCC, m-Triplets cho kết nâng c o đ xác củ thuật tốn không ảnh hư ng đến th i gi n thi hành thuật toán gốc ác th nghiệm đánh giá liệu điểm chạc đươc trích xuất từ SDL vân t y FV 2002DB1 - iểm đơn củ ảnh vân t y giúp àm điểm để tăng tốc đ th c thi thuật toán đối sánh vân t y Luận án đề xuất phương pháp phát điểm đơn phương pháp h c máy s ng mạng n uron tích chập sâu onvo ution N ur N twork- NN Mạng NN có khả h c tr c tiếp đ c trưng tập ảnh ữ iệu đào tạo o oại ỏ ước thiết kế đ c trưng s ng cho mơ hình Kết th nghiệm phát điểm đơn SDL vân t y FV 2002 s ng mơ hình mạng NN cho kết tốt so với phương pháp truyền thống - Luận án đề xuất phương pháp đối sánh b x đồ h a GPU s ng iểu i n M Thuật toán M thiết kế ại để phù hợp với kiến trúc x song song củ GPU Kết đánh giá c r đồ h Nvdia GTX 680 cho thấy thuật tốn có khả đối sánh triệu vân t y giây khơng s ng q trình gi cố Kết phù hợp với kết tốt công ố n y Khi s ng trình gi cố thuật toán cho kết triệu vân t y giây Tính tốn GPU giúp triển kh i hệ thống truy vấn SDL hàng triệu vân t y tr nên khả thi với chi phí phù hợp Tổ chức luận án ấu trúc củ uận án t chức s u: Ph n m đ u giới thiệu chung đ ng ưc m c tiêu đóng góp luận án hương trình ày chi tiết ài tốn đối sánh vân t y điểm chạc m t số thuật toán đối sánh vân t y điểm chạc cho kết tốt hương trình ày đề xuất luận án cải tiến trình gi đoạn gia cố cho thuật tốn đối sánh hương trình ày ài toán phát điểm đơn vân t y đề xuất áp ng mạng NN vào nhận ạng điểm đơn từ ảnh vân tay hương mô tả kỹ thuật triển kh i thuật tốn đối sánh vân t y mơi trư ng tính tốn hiệu c o s ng b x GPU nhằm h trợ tăng tốc trình đ nh nh vân t y SDL vân t y ớn ề xuất củ uận án tùy iến thuật toán M phù hợp với kiến trúc x song song củ x GPU uối kết uận củ uận án hướng phát triển đ nh hương 1: K Á QUÁT VỀ ỂM Ố SÁN VÂN TAY DỰA TRÊN 1.1 Trích chọn thuộc tính từ ảnh vân tay ác thu c tính trích ch n từ vân t y s d ng hệ thống nhận dạng thư ng có đ c điểm n đ nh, bất biến theo th i gi n có tính phân oại giữ vân t y ác thuật tốn đối sánh vân t y khác nh u l a ch n đ c trưng khác nh u ho c kết hợp đ c trưng s d ng Dựa điểm chạc: cách tiếp cận ph biến kỹ thuật s d ng r ng rãi ác điểm chạc minuti điểm kết thúc ri g n ing ho c điểm rẽ nhánh ifurc tion củ đư ng vân t y 1.1.1 Nâng cao chất lư ng ảnh vân tay M c đích củ thuật toán nâng c o chất ượng ảnh àm tăng đ tương phản cấu trúc đư ng vân ác thuật toán nâng c o chất ượng ảnh t ng qu n không thật hữu ng với ảnh vân t y M t số cách tiếp cận s ng l c G or để nâng c o chất ượng ảnh phân tích Short Time Fourier Transform(STFT) 1.1.2 Tách đ c trưng điểm chạc ó nhiều phương pháp đề xuất cho q trình trích ch n điểm chạc từ ảnh vân t y nâng c o chất ượng ảnh ác phương pháp truyền thống thư ng bao gồm ước: ảnh nh phân (binarization), àm mảnh (thinning cuối phát điểm chạc Hiện kỹ thuật h c máy sâu cho kết c o trình phát điểm chạc 1.2 ánh giá kết hệ thống nhận dạng vân tay ể đánh giá đ xác m t hệ thống nhận dạng vân t y, m t số số đánh giá thư ng s d ng: - F s M tch R t FMR : tỷ lệ l i xác đ nh nh m m t ngón t y so sánh h i vân t y khác nh u - False Not Match Rate (FNMR): tỷ lệ l i xác đ nh h i vân t y củ m t ngón t y khơng phù hợp - Equal-Error R t EER : ùng để tỷ lệ l i tỷ lệ l i FMR cân ằng với tỷ lệ l i FNMR EER m t số thư ng s d ng để đánh giá đ xác m t hệ thống nhận dạng sinh trắc h c d vân t y 1.3 ối sánh dựa điểm chạc 1.3.1 Phát biểu tốn M i điểm chạc mơ tả b i thu c tính v trí điểm ảnh hướng củ điểm chạc kiểu củ điểm chạc đư ng kết thúc-ri g n ing h y đư ng rẽ nhánh-ridge bifurcation H u hết thuật toán đối sánh vân t y coi m i điểm chạc m gồm thông tin {x,y,θ}, với x y v trí củ điểm chạc góc hướng củ điểm chạc θ Bài tốn đối sánh điểm chạc tìm r phép đ t hai tập đ c trưng điểm chạc củ h i vân t y s o cho tối đ số ượng c p điểm chạc đối sánh Hình 1.1 minh h a kết đối sánh tập điểm chạc ảnh vân t y Hình 1: Đối sánh tập điểm chạc M t số khó khăn ài toán đối sánh tập điểm chạc: - ác điểm chạc đối sánh ằng cách ch xoay tập điểm chạc Tuy nhiên o thiếu thông tin điểm tham chiếu để àm phép chuyển ài toán đối sánh tr thành ài toán t hợp - Việc tìm thiếu ho c s i đ c trưng q trình trích ch n đ c trưng điểm chạc ph biến điều ẫn đến thêm khó khăn cho q trình đối sánh - Q trình ánh xạ 3D-2D bề m t vân t y ảnh dẫn tới hiệu ứng biến đ i phi tuyến tập điểm chạc 1.3.2 Tính tốn độ tương đồng ác hệ thống đối sánh t đ ng c n chuyển số ượng điểm chạc đối sánh giữ h i vân t y s ng m t giá tr đ tương đồng h i vân t y iều thư ng th c b i công thức sau: với k số ượng điểm chạc đối sánh m n số ượng điểm chạc tương ứng củ h i vân t y th m gi trình đối sánh 1.4 Phướng pháp đối sánh tồn cục Trong cách tiếp cận trình đối sánh tìm r phép chỉnh cho toàn điểm úc hàm chuyển đ i giả thiết toàn c c giống tất điểm củ vân t y Bài toán đối sánh tập điểm chạc coi m t trư ng hợp ài tốn đối sánh điểm ó thể giả thiết hai tập điểm có qu n hệ b i m t số biến đ i hình h c Tuy nhiên ài toán đối sánh vân t y điểm tương ứng giữ h i vân t y thư ng điều àm cho ài toán đối sánh vân t y tr thành ài tốn t hợp khó Phương pháp đối sánh toàn c c thư ng s d ng điểm chỉnh trước để àm cho phép ch chuyển xo y iểm chỉnh thư ng s d ng d điểm đơn củ vân t y Tuy nhiên q trình phát điểm đơn g p khó khăn chất ượng ảnh vân t y thấp, ho c m t số vân t y khơng có điểm đơn 1.5 Phương pháp đối sánh cục Phương pháp đối sánh c c b so sánh vân t y cấu trúc c c b củ điểm chạc ác cấu trúc c c b tạo d quan hệ củ điểm chạc điểm lận cận ác cấu trúc có thu c tính ất biến với phép iến đ i toàn c c ch chuyển phép toán xo y Lợi điểm củ đối sánh c c b đối sánh đơn giản đ phức tạp củ tính tốn thấp, ch u l i biến đ i méo củ vân t y so với kỹ thuật đối sánh toàn c c Tuy nhiên đối sánh cấu trúc c c b không đảm bảo đối sánh thỏ mãn mức c c b thỏa mãn mức tồn c c o s u gi i đoạn đối sánh c c b thư ng s d ng thêm gi i đoạn gia cố conso i tion st g để đảm bảo đối sánh c c b thỏ mãn mức tồn c c 1.5.1 Một số cấu trúc cục mơ tả điểm chạc ó nhiều cấu trúc c c b đề xuất b i tác giả khác ác cấu trúc c c b có thểđược chi thành m t số phương pháp a m t số tiêu chí phân loại như: -Dựa láng giềng gần nhất: s d ng mô tả gồm K điểm chạc g n với điểm chạc c n x m xét ể tránh nhi u phân ố đều, hikk rur c ng s đề xuất cấu trúc c c b (K-p t tạo b i K điểm chạc g n điểm chạc g n l a ch n s o cho phân ố vùng xung qu nh điểm chạc - Dựa bán kính cố định: giềng đ nh nghĩ i tất điểm chạc có khoảng cách với điểm chạc x m xét nhỏ R Mơ tả d án kính cố đ nh có đ ài khác nh u giữ điểm chạc, ph thu c vào mật đ điểm chạc xung qu nh điều dẫn đến đối sánh giữ c c b b phức tạp nhiên có khả ch u l i tốt tình phát sai ho c thiếu điểm chạc 1.5.2 iểu di n cục dựa m trụ M Hiện n y th o nghiên cứu khác nh u iểu di n cấu trúc c c b d Minutia Cylinder-Code (MCC) m t mơ tả d a điểm chạc xác Trong biểu di n MCC, m i điểm chạc thể thơng qu m t hình tr hình tr có tâm điểm chạc án kính cố đ nh R chiều cao 2π Không giống cách tiếp cận s d ng án kính cố đ nh truyền thống, MCC d vào mã hó có đ ài cố đ nh điều giúp việc tính tốn đ tương đồng c c b đơn giản, coi m i biểu di n m t vector 1.6 Kết chương N i ung hương trình ày tìm hiểu đánh giá m t số thuật tốn đối sánh vân t y điểm chạc N i ung chương đề cập tới giải pháp cải tiến trình gi cố giúp nâng c o đ xác củ thuật tốn đối sánh vân t y hương 2: Ả T ẾN A O N Ố SÁN VÂN TAY DỰA TRÊN A Ố ỂM ỦA T UẬT TOÁN Trong n i dung củ hương uận án đề xuất cải tiến ước gi cố thuật toán đối sánh vân t y điểm chạc Th nghiệm đánh giá cải tiến ước gi cố đề xuất với thuật toán K-p t thuật toán m-Trip ts SDL vân t y FV 2002DB1 cho kết nâng c o đ xác củ thuật tốn gốc khơng ảnh hư ng đến tốc đ thi hành củ thuật tốn Kết cơng ố LHH i1 LHH i4 2.1.1 Một số phương pháp gia cố truyền thống Bước đối sánh s d ng cấu trúc c c b m c trước nhằm tìm r điểm chạc có đ tương đồng cao Bước tiếp th o đối sánh c c b ước gia cố (consolidation) nhằm m c đích xác th c x m cấu trúc phù hợp c c b phù hợp mức tồn c c s u chỉnh Ví hình 2.1 điểm chạc phù hợp với điểm chạc điểm chạc phù hợp với điểm chạc s u so sánh cấu trúc c c b củ điểm chạc Tuy nhiên s u chỉnh tới v trí , khơng phù hợp với Hình 1: Bước gia cố liên quan đến biến đổi xoay dịch chuyển Quá trình gi cố iên qu n đến phép iến đ i xo y ch chuyển S u ước chỉnh, tất cấu trúc c c b xác đ nh lại xem liệu có thỏ mãn ràng u c sau: - Khoảng cách giữ h i điểm chạc s u chỉnh không vượt ngưỡng ts xác đ nh trước - S khác nh u giữ hướng củ h i điểm chạc s u chỉnh không vượt ngưỡng tθ Hai tham số ts tθ thể c a s ch u l i Ví , thuật tốn MTK ngưỡng khoảng cách ts= 12 ngưỡng góc tθ= π/6 cho kết tốt đối sánh vân t y ó nhiều kỹ thuật gia cố khác nh u đề xuất: hực hi n nhiều ph p biến h nh khác (Multiple transformations): m t số tác giả s d ng biến đ i d nhiều c p ứng c viên cho trình chỉnh Cuối ch n biến đ i có số ượng c p đối sánh mức toàn c c ớn d ng ph p biến h nh phức hợp (Complex transformation): để hạn chế tác đ ng tượng v n méo khơng tuyến tính củ vân t y l c ấn vân t y không đồng nhất, sau s d ng phép iến hình th o điểm chỉnh tác giả kết hợp tiếp với phép nắn chỉnh d ng tr nh gia cố tăng cường (Incremental consolidation): cách tiếp cận cấu trúc c c b xếp nối tiếp với đỉnh điểm chạc phù hợp tạo nên m t đồ th gồm điểm chạc đối sánh với 2.1.2 Chi tiết trình gia cố đư c đề xuất b i luận án N i dung m c đề cập tới cải tiến đề xuất luận án cho phương pháp gi cố gồm: gia cố d iến hình gi cố d a tăng cư ng ề xuất cho phương pháp gia cố dựa phép biến hình Tác giả đề xuất nâng cấp q trình với tư ng chính: th o cách truyền thống s u ước chỉnh phép gi cố phép iến hình c p điểm phù hợp c c b kiểm tra với c p điểm trung tâm ùng àm chỉnh, m c ù c p điểm phù hợp với c p điểm chỉnh khơng phù hợp với Ví c p điểm chạc (3,4) giữ vân t y không phù với nh u ù c p điểm chạc c p điểm chạc (1,3) giữ vân t y phù hợp với nh u iểm chạc số trung tâm củ phép chỉnh Hình 2.2) Do tác giả đề xuất s u chỉnh không kiểm tr phù hợp với c p điểm trung tâm mà kiểm tr x m có phù hợp với điểm chỉnh khác Ví , với điểm chạc số không kiểm tr phù hợp với điểm chạc s d ng àm phép chỉnh số mà kiểm tr x m có phù hợp với điểm chạc số số Hình 2: Đối sánh khơng xác s d ng gia cố truyền thống Mô tả thuật toán gia cố đề xuất sau: u tiên, xếp tất căp điểm chạc phù hợp c c b thỏ mãn s u q trình chỉnh với điểm chạc àm tâm th o giá tr đ tương đồng giảm d n s u loại bỏ c p điểm không phù hợp với điểm trước Chi tiết ước mô tả s u: M ={pi , qj} tập c p điểm chạc tìm r s u trình chỉnh với điểm tham chiếu SDL mẫu FV 2002 cho kết nhận ạng xác 96% với điểm đ c trưng cor 90% với điểm đ c trưng t Kết nghiên cứu công ố LHH i5 3.1 iểm đơn ảnh vân tay 3.1.1 Ứng dụng iểm đơn củ vân t y thư ng chi àm oại điểm: điểm cor điểm có s iến thiên đ t ng t hướng củ đư ng vân điểm t m giác t điểm h i t củ vùng vân có hướng khác ác vân t y thư ng phân vào m t lớp vân t y như: Vân hình cung t nt arch), Vân hình cung rch ,Vân hình qu i (Loop), Vân hình xốy whorl) Việc phân ớp giúp giảm bớt không gian mẫu vân t y c n so khớp Trong thu c tính s ng ài toàn phân ớp vân t y thu c tính điểm đơn thư ng xuyên s ng thuật toán phân ớp ác điểm đơn củ ảnh vân t y s ng àm để tăng tốc đ th c thi củ thuật toán đối sánh vân t y điểm chạc 3.1.2 Phát điểm đơn vân tay ác phương pháp truyền thống thư ng tìm r điểm đ c trưng ớp vân t y thư ng d m r ng thuật toán Pointc r , kết hợp với l c phức hợp để tìm r điểm đơn Trong phương pháp Pointc r m i điểm ảnh hướng (orientation map), số Poincare tính tốn t ng s khác hướng củ điểm điểm ân cận Tuy nhiên để nâng c o đ tin cậy ảnh ori nt tion ài tốn khó ảnh vân t y nhiều nhi u ho c chất ượng ảnh thấp Việc xác đ nh sai hướng dẫn đến phát điểm đơn s i ác kỹ thuật hậu x s d ng h uristic o thư ng áp ng Ví : S u q trình nâng c o chất ượng ảnh hikk rur c ng s s d ng b l c phức tạp d đề xuất Ni sson c ng s Kết nâng c o hiệu trình phát điểm đơn Zhou c ng s s d ng đ c trưng “Differences of the ORIentation values along a Circle” DORI để xác th c điểm đơn 3.2 ề xuất phát điểm đơn sử dụng mạng onvolution Neural Network 3.2.1 Học máy sâu (Deep Learning) Trong năm g n mạng nơ ron sâu p n ur n tworks đạt kết c o nhiều ĩnh v c h c máy tác v iên qu n đến th giác máy nhận ạng gi ng nói ch máy u hướng 12 qu n tâm đến D p L rning qu n tâm ớn th i gi n g n D p L rning trình t h c đ mức đ c trưng từ tập ữ iệu c n mơ hình hó Khác với mơ hình h c máy truyền thống mơ hình h c máy sâu h c thành nhiều mức đ c trưng mức c o kết hợp từ đ c trưng phí ưới Kiến trúc mạng NN áp ng thành công đạt kết cao nhiều ài toán ĩnh v c th giác máy 3.2.2 Mạng onvolution Neural Network ác mạng neuron truyền thống (MLP) s d ng kết nối đ y đủ (full connectivity) giữ nút điều ẫn đến khơng thích hợp với ảnh có đ phân giải c o kiến trúc MLP không xét đến trúc không gi n liệu x m xét điểm ảnh g n x với điểm ảnh c n đánh giá th o cách tương t CNN giải hạn chế kiến trúc MLP ằng cách kh i thác mối tương qu n đ phương không gi n 3.2.3 Kỹ thuật phát điểm đơn vân tay sử dụng mạng CNN ể huấn luyện m t mơ hình CNN, tác giả tiến hành cơng việc u tiên ước ch n mơ hình kiến trúc mạng ước thứ chuẩn b liệu để tiến hành huấn luyện mạng ối với mơ hình kiến trúc mạng, tác giả s d ng kiến trúc mạng CNN cung cấp b i Sermanet c ng s Kiến trúc gồm t ng đ c trưng kết hợp s d ng đ c trưng đ t ng ác đ c trưng phát từ t ng t ng đư vào t ng phân oại cuối củ mơ hình mạng Kiến trúc mạng CNN s d ng đ t ng đạt kết cao với đ xác 94.85% SDL số nhà SVHN ể chuẩn b liệu huấn luyện cho mơ hình tác giả s d ng CSDL vân t y FV 2002 DB t s ể tạo ảnh đơn s d ng huấn luyện, c n đánh dấu v trí điểm đơn tập ảnh huấn luyện Tập ảnh huấn luyện bao gồm 2738 điểm core ảnh 731 điểm delta ể nâng c o chất ượng ảnh tác giả s d ng b công c VeriFinger SDK để nâng c o chất ượng ảnh vân t y ác hình vng kích thước 32x32 pix s xung qu nh điểm cor t thủ công tách r từ ảnh vân t y ể tăng kích thước tập liệu huấn luyện tác giả tiến hành xo y ảnh theo chiều kim đồng hồ ngược chiều kim đồng hồ Hình thể m t số phát điểm đơn xác từ ảnh vân t y 13 Hình 1: Minh họa số phát hi n điểm đơn xác Bảng thể kết củ trình kiểm tr đánh giá mơ hình mạng NN huấn luyện s d ng b liệu đánh giá FV 2002 Db-b Bảng 2: Kết đánh giá tập li u đánh giá FVC 2002 Db-b Phương pháp luận án FVC 2002 DB-b Tỷ lệ phát 95.94% Cores Tỷ lệ phát sai 7.5% Tỷ lệ phát 90.36% Deltas Tỷ lệ phát sai 6.0% ác đánh giá tiến hành tập liệu kiểm tra gồm tập liệu với chất ượng c o không c o từ tập Db1, Db2, Db3, Db4 M t số kết tốt áo cáo kết tốt Zhou n hikk rur CSDL FVC 2002 DB2 iều mạng CNN àm việc tốt với ảnh chất ượng c o ảnh chất ượng thấp Phương pháp đề xuất luận án d tập liệu gán nhãn mà không c n tri thức đối tượng, với tập liệu lớn mơ hình đào tạo cho kết tốt Kết đánh giá cho thấy mơ hình mạng NN áp ng vào ài toán phát điểm đơn cho kết tốt, s d ng mơ hình mạng NN giảm thiểu ước c n tiến hành phương pháp truyền thống như: tìm r ản đồ hướng đư ng vân xây ng l c phát đ c trưng M t số hướng luận án để nâng c o đ xác củ mơ hình NN phát điểm đơn như: s d ng thêm ữ liệu đào tạo ho c s d ng kiến trúc mạng CNN với nhiều t ng 14 3.3 Kết chương N i ung chương đề cập m t số kỹ thuật c phân ớp vân t y đánh m c vân t y ác kỹ thuật c trước giúp oại ỏ nh nh vân t y không ứng viên trước tiến hành ước đối sánh chi tiết L c nh nh giúp tăng tốc đ trình đ nh nh vân t y SDL vân t y ớn Luận án đề xuất phương pháp xác đ nh điểm đơn củ vân t y điểm cor điểm t s ng mạng NN iểm đơn có v i trò qu n tr ng ài toán phân ớp vân t y Kết th nghiệm CSDL FVC 2002 DB, cho kết xác 96% 90% nhận dạng điểm cor điểm delta Tỷ lệ nhận dạng s i 5% 6% Mạng NN có khả t h c đ t ng đ c trưng từ đối tượng nhận dạng, giúp giảm thiểu tác v c n th c phương pháp h c máy truyền thống ác kết s d ng mạng CNN so sánh với kết cao cơng ố có s d ng kiến thức đối tượng nhận dạng hương 4: Ả T ẾN UN N N DAN VÂN TAY QUY M LỚN SỬ D N PU Trong cách tiếp cận giải pháp tận d ng tốc đ x đồ h GPU qu n tâm s ng n y nh hiệu tính tốn c o chi phí hợp Tác giả tập trung vào hướng nghiên cứu s ng GPU đối sánh vân t y Kết nghiên cứu công ố [LHHai2], [LHHai3], [LHHai6] 4.1 Một số kết đối sánh môi trường tính tốn hiệu n ng cao Bên cạnh s d ng cách tiếp cận l c trước để giảm bớt số ượng vân tay c n đối sánh chi tiết q trình đối sánh chi tiết tận d ng mơi trư ng tính tốn hiệu c o để tăng tốc trình đối sánh G n có m t số áo cáo s ng GPU thuật toán đối sánh vân t y Gutierrez (2014), Capelli (2015) H u hết tiếp cận s ng GPU m t ước c s u m t thuật tốn xác PU s ng để tính tốn cho ứng viên vân t y ại Từ đánh giá cho thấy, cách tiếp cận đối sánh vân t y s d ng b x đồ h GPU xu hướng qu n tâm nh hiệu c o giá thành ph n cứng hợp so với cách tiếp cận s d ng c m máy tính 4.2 Kiến trúc xử lý đồ họa GPU omput Unifi D vic rchit ctur UD m t tảng ph iến cho GPU 15 Hình 1: Chi tiết phân bố core multiprocessor Kiến trúc vật củ UD o gồm m t tập x Streaming Multiprocessors (SM), m i x o gồm 32 nhân SIMD Sing Instruction Mu ti D t Hình 4.1) ể tận ng đồng th i nhân ệnh c n giống nh u nhân GPU thư ng tận ng ài tốn tính tốn song song ví v tính tốn m trận ệnh thư ng giống nh u Trong mơ hình tính tốn UD m i tiến trình th c song song m t tập uồng thr s uồng t chức thành khối ác uồng thu c m t khối th c x SM chi s tài nguyên nhớ củ x 4.3 ề xuất đối sánh vân tay PU 4.3.1 Phương pháp đề xuất Thuận toán đối sánh vân t y GPU uận án s ng c ng iểu i n M Với nhận xét vân t y có số ượng điểm chạc khác nh u nên trình triển kh i thuật tốn đối sánh GPU thư ng phức tạp với m c đích tối đ uồng tiến hành song song tác giả đề xuất s d ng 32 điểm chạc cho m i vân t y trình đối sánh Với thống kê SDL FV 2002 số ượng điểm chạc trung ình m i vân t y 30 điểm chạc, số ượng đối sánh phù hợp coi đối sánh ảnh vân t y Do s d ng tất điểm chạc cho q trình tính tốn mơ tả M nên không ảnh hư ng đến mô tả củ 32 điểm chạc ch n Với việc ch n 32 điểm chạc cho m i vân t y giúp q trình triển kh i song song hó ài toán đ nh nh vân t y tr nên phù hợp với kiến trúc GPU mà h trợ 32 ệnh SIMD song song 16 Hình 2: Mỗi khối gồm 32 luồng, luồng tính tốn cột ma trận tương đồng hi tiết hoạt đ ng củ thuật toán đ nh nh vân t y SDL gồm N vân t y đề xuất i uận án s u: Tất m trận tương đồng có kích thước 32x32, tác giả s d ng khối GPU cho trình đối sánh giữ vân t y CSDL với vân t y c n truy vấn minh h hình 4.2 M i khối có số ượng luồng tính tốn 32 M i luồng khối tính tốn c t ma trận tương đồng tìm r giá tr tương đồng lớn c t minh h hình hi tiết giả mã mơ tả q trình tính tốn: Với đ u vào SDL }và vân t y c n truy vấn gồm N vân t y { thuật toán tìm r tập giá tr tương đồng { } { } { } [ [ ] ] 17 [ ∑ ] [ ] } Hình 3: Chi tiết thuật tốn đối sánh đề xuất GPU Kh i đ u chương trình tất điểm chạc với mơ tả hình tr củ điểm chạc củ tất vân t y SDL tải vào nhớ toàn c c củ GPU Khối GPU với số s ng để tính tốn đ tương đồng giữ vân t y củ SDL với vân t y truy vấn M i uồng với số củ khối s ng để tính tốn giá tr ớn c t củ m trận tương đồng tương đồng ( ) giữ mơ tả hình tr òng tính toán khoảng cách giữ v ctor Hàm 𝑦 𝑟 òng 11 đồng hó tất uồng khối S u đồng tất giá tr ớn m trận tương đồng sẵn sàng cho trình gi cố tương đồng giữ vân t y tính tốn giá tr trung ình củ 32 đối sánh có giá tr ớn từ 32 c t củ m trận tương đồng tính i uồng đ u tiên khối ây phương pháp ùng để tìm nh nh ứng viên cho trình đối sánh chi tiết s u 18 Thuật toán đề xuất phù hợp với kiến trúc tính tốn củ GPU m i khối số ượngluồng th c thi 32 s ng để đối sánh vân t y truy vấn m t vân t y SDL Bên cạnh phù hợp với kiến trúc x song song củ GPU c ng giúp thuật tốn d àng cài đ t 4.3.2 Kết thực nghiệm Nhằm m c đích đánh giá kết phương pháp đề xuất Tác giả s d ng SDL vân t y FVC 2002 DB1 cho th c nghiệm tiến hành ối với q trình trích ch n thu c tính xây ng đ c trưng MCC, tác giả s d ng công c cung cấp b i Pér z c ng s ác đ c trưng ưu đĩ để tiến hành th c nghiệm ể đánh giá đ xác thuật toán đề xuất s d ng 32 điểm đ c trưng kết thuật toán so sánh với đ xác thuật tốn gốc ung tồn đ c trưng Bảng thể kết đánh giá Bảng 3: Đánh giá độ xác thay đổi MCC C DL FVC 2002 Db1 Thuật toán EER FMR 100 FMR 1000 FMR Zero MCC gốc 1.64% 2.10% 3.89% 4.85% MCC s d ng 1.76% 2.29% 4.32% 5.46% 32 điểm chạc Thuật toán s d ng 32 điểm chạc đạt kết EER 1.76% so với ERR 1.64% thuật toán gốc S th y đ i nhỏ chấp nhận ứng d ng th c ể đánh giá tốc đ thi hành thuật toán đề xuất, tác giả th c th c nghiệm c r đồ h a NVIDIA GeForce GTX 680 với 1536 CUDA core, kiến trúc K p r nhớ 2GB CSDL FVC 2002 DB1 nhân ên kích thước khác nh u từ 10000 đến 200 000 vân t y để nghiên cứu thuật toán th c thi GPU với SDL có kích thước khác nh u 10 vân t y đ u vào l a ch n ngẫu nhiên để xác th c đ nh danh Bảng thể kết th c nghiệm với SDL có kích thước khác nh u Bảng 4: Thời gian thi hành 10 truy vấn với kích thước C DL khác Kích thước DB Th i gi n (ms) Số ượng đối sánh giây (KMPS) 10000 14 7142 19 50000 100000 150000 200000 61 119 850 1105 8196 8403 8474 8510 Tốc đ thi hành thuật toán đề xuất n đ nh với SDL có kích thước lớn, với khoảng 8.5 triệu đối sánh giây Kết củ luận án c o kết áo cáo trước có s d ng giai đoạn gia cố GPU đạt 55 7000 đối sánh giây th nghiệm tiến hành x đồ h GT 680 phù hợp với kết cao áo cáo i p i c ng s đạt 8.7 triệu đối sánh giây tác giả s d ng c r đồ h a Tesla C2075 GPU Kết luận án công ố ài áo LHHai2] 4.3.3 ia cố toàn cục PU H u hết tiếp cận s ng GPU m t ước c s u m t thuật tốn xác PU s ng để tính tốn cho ứng viên vân t y ại Luận án tiến hành th nghiệm tiến hành ước gi cố hoàn chỉnh tr c tiếp GPU bỏ qua khơng c n s ng PU cho q trình đối sánh s u ng tương t thuật toán đối sánh vân t y trình ày thuật tốn ph n trước hình 84 xung thêm trình gi cố b M c đích củ q trình gi cố tìm r 32 c p điểm đối sánh c c có giá tr ớn c t tìm r có o nhiêu c p thỏ mãn mức tồn c c Thuật toán c n ưu thêm v tr củ c p điểm chạc có giá tr ớn òng m i c t để s ng cho trình gi cố M i uồng khối tr c tiếp so sánh c p điểm tương đồng ớn tìm r c t với c p điểm tương đồng c t khác tìm r i uồng khác khối hi tiết thuật tốnđược trình ày hình ưới Thuật tốn thêm ước gi cố vào thuật tốn trình ày q trình gi cố xung từ òng 12 đoạn giả mã s u củ thuật toán: { } 20 { 𝑟 𝑟 𝑟 [ [ } 𝑟 ] ] //Local structure matching stage [ [ ] ] End If //Consolidation stage ( ( [ ] [ ]) 𝑟 Hình 4: Đối sánh s d ng bước gia cố GPU Hàm giúp tránh nhiều uồng khối cập nhật giá tr ớn m t th i điểm 21 Giá tr tương đồng òng 20 tính tốn từ giá tr ớn tìm r i uồng khối 4.3.4 Kết thực nghiệm gia cố PU Môi trư ng th c nghiệm tiến hành giống với th c nghiệm không s d ng q trình gi cố trước Bảng thể kết CSDL với kích thước khác nh u Bảng 5: Thời gian định danh 10 vân tay C DL với kích thước khác Kích cỡ CSDL Th i gian (ms) Số ượng đối sánh (KMPS) 10000 58 1724 50000 284 1760 100000 567 1763 150000 850 1764 200000 1105 1809 Tốc đ thi hành thuật toán đề xuất n đ nh với SDL có kích thước lớn, với khoảng 1.8 triệu đối sánh giây Kết luận án c o kết áo cáo trước có s d ng gi i đoạn gia cố GPU công ố b i Gutierrez c ng s , đạt 55.7000 đối sánh giây th nghiệm tiến hành x đồ h a GTX 680 Gutierrez c ng s s d ng SDL khác để tiến hành th c nghiệm, nhiên số ượng trung ình điểm chạc củ vân t y n đ nh Kết th nghiệm tiến hành gi cố GPU luận án công ố ài áo LHH i3 4.4 Mơ hình kiến trúc hệ thống nhận dạng SDL vân tay lớn d ch vụ web Hệ thống tính tốn GPU cho tốc đ c o đến hàng triệu vân t y giây Nhưng có điểm c n qu n tâm giới hạn ung ượng b nhớ củ GPU Ví c r đồ h a GPU GTX 680, với ung ượng b nhớ 2GB th nghiệm ưu trữ thông tin điểm chạc (v trí hướng với mơ tả hình tr MCC củ điểm trac M i vân t y s d ng 32 điểm chạc, số ượng tối đ vân t y ưu trữ b nhớ củ c r đồ h GT 680 200 000 vân t y Hướng phát triển hệ thống s d ng mơ hình ch v w giúp cung cấp d ch v đ nh danh tới ứng d ng khác nh u Với nhiều yêu c u g i đến server slave GPU m t th i điểm, o c n đư cơng việc vào hàng đợi để x công việc tu n t Các 22 công việc đư tu n t vào mo u tính tốn đối sánh s ng x GPU Hệ thống gồm máy tính M st r có nhiệm v nhận yêu c u g i tới hệ thống th c g i yêu c u tới máy S v s ng GPU cho trình đối sánh vân t y Quá trình đối sánh GPU s ng thuật toán đối sánh đề xuất củ uận án trình ày m c trước 4.5 Kết chương Luận án tìm hiểu m t số mơ hình tính tốn hiệu c o áp ng cho ài toán đối sánh vân t y tr ng đến thuật tốn đối sánh vân t y s ng GPU Luận án đư r phương pháp đối sánh GPU mô tả điểm chạc M Bằng cách s ng 32 điểm chạc cho m i vân t y trình đối sánh phương pháp phù hợp với kiến trúc x song song củ c r đồ h GPU khơng ảnh hư ng đến đ xác củ thuật toán gốc Thuật toán cho kết triệu phép đối sánh giây không s ng trình gi cố đối sánh giây s ng trình gi cố ác th c nghiệm tiến hành c r đồ h Nivi GT 680 Bên cạnh uận án c ng trình ày mơ hình m t hệ thống FIS ch v w hệ thống phân tán truy vấn tới s rv r th c trình đối sánh s ng GPU KẾT LUẬN V ỚN P ÁT TR ỂN Sau chi tiết kết luận án đ đạt đư c: - ề xuất cải tiến gi i đoạn gi cố trình đối sánh vân t y Trong gi i đoạn gi cố nhằm kiểm tr c p điểm đối sánh c c phù hợp mức tồn c c cách tiếp cận truyền thống thư ng kiểm tra c p điểm c c với c p điểm ch n àm c p th m chiếu x m có phù hợp h y khơng Ho c kiểm tra c p điểm thêm vào với c p điểm thêm vào ng y trước D đánh giá điểm c c ù thỏ mãn phù hợp với c p điểm th m chiếu khơng phù hợp với nh u uận án đề xuất cải tiến trình gi cố c p điểm phù hợp c c không kiểm tr với c p điểm th m chiếu mà kiểm tr với c p điểm c c phù hợp tìm r trước ề xuất áp ng th nghiệm cho m t số thuật toán đối sánh vân t y như: K-plet giảm sai số EER thuật toán từ 1.52% xuống 1.28%, th nghiệm thuật toán m-Triplets giảm sai số thuật tốn từ 1.71% xuống 52% đánh giá th c SDL 23 FVC 2002 DB1.Th i gian th c thi củ thuật toán sau cải tiến giai đoạn gia cố so với thuật tốn gốc khơng ảnh hư ng - ác phương pháp phát điểm đơn cor t thư ng s ng phương pháp Pointc r in x ảnh hướng đư ng vân ori nt tion m p phương pháp ảnh hư ng o ảnh nhi u ẫn tới hướng đư ng vân phát s i ác giải pháp c ại ho c s ng c phức tạp thư ng s ng để loại bỏ điểm phát sai Luận án đề xuất phương pháp phát điểm đơn phương pháp h c máy s ng mạng n uron tích chập sâu onvo ution N ur N twork- NN ác cấu trúc mạng NN áp ng thành công nhiều ài toán ĩnh v c th giác máy Kết th nghiệm phát điểm đơn SDL vân t y FV 2002 s ng mơ hình mạng NN đ đ c trưng đề xuất b i S m n t cho kết tốt so với phương pháp phát điểm đơn th o phương pháp truyền thống đòi hỏi c n s d ng đ c trưng đồ hướng củ vân t y thiết kế l c chuyên ng để phát điểm đơn trình c s u để loại bỏ điểm đơn sai Th nghiệm CSDL FVC2002, luận án đ t kết xác i (96%, 7.5%) cho q trình phát điểm cor (90%, 6%) cho trình phát điểm delta - Luận án đề xuất phương pháp song song hó q trình đ nh danh vân t y b x GPU s ng iểu i n M Thuật toán M thiết kế ại để phù hợp với kiến trúc x song song củ GPU thư ng thi hành th o wr ps gồm 32 luồng Luận án đề xuất s d ng 32 điểm chạc cho m i vân t y, việc s d ng 32 điểm chạc không ảnh hư ng đến đ xác củ thuật tốn Do trung ình m t vân t y thư ng có khoảng 30 điểm chạc đồng th i tất cá điểm chạc x d ng để tính tốn mơ tả MCC M i khối b x GPU s d ng để đối sánh m t vân t y CSDL với vân t y c n truy vấn M i khối gồm 32 luồng, m i luồng s d ng để tính tốn kết m t c t ma trận tương đồng Kết đánh giá c r đồ h Nv i GT 680 cho thấy thuật tốn có khả đối sánh triệu vân t y giây khơng s ng q trình gi cố Kết phù hợp với kết tốt công ố Khi kết hợp s ng trình gi cố cho thuật toán GPU thuật toán cho kết triệu vân t y giây Tính tốn GPU giúp triển kh i hệ thống truy vấn vân t y SDL hàng triệu vân t y tr nên khả thi với chi phí ph n cứng hợp 24 ạn chế luận án Do th i gian, nguồn l c hạn chế n y uận án tập trung chủ yếu vào gi i đoạn đối sánh vân t y ác ước tách đ c trưng điểm chạc nhằm tạo đ u vào tốt cho trình đối sánh chư th c ây c ng o ẫn đến việc chư gắn kết kết phát điểm đơn vào thuật toán đối sánh/phân ớp vân t y Ngoài r hệ thống đối sánh vân t y quy mô ớn dừng ước đề xuất đề xuất kết hợp nhiều máy tính s d ng b x đồ h a GPU chư thể triển kh i thành hệ thống đ nh nh vân t y hoàn chỉnh ướng phát triển ác điểm hạn chế nêu đ ng l c dẫn đến hướng nghiên cứu luận án Hướng nâng c o chất ượng ảnh vân t y trích ch n điểm chạc từ ảnh vân t y nhằm nâng c o kết củ trình đối sánh tác giả s d ng cách tiếp cận h c máy cho kết tốt g n cách tiếp cận củ S h sr u h c ng s , Ji ng c ng s Tích hợp điểm đơn vào thuật toán đối sánh vân t y điểm chạc nhằm nâng cao tốc đ đ xác củ thuật tốn Tích hợp thơng tin chất ượng điểm chạc vào thuật toán đối sánh giúp oại bỏ c p điểm chạc c n x m xét Phân ớp ảnh vân t y kỹ thuật h c máy sâu nhằm tìm nh nh ứng viên vân t y s d ng cách tiếp cận củ P r t c ng s Nghiên cứu miền đối tượng khác đối sánh vân t y trư ng đối sánh vân t y ảo vệ tính riêng tư củ vân t y ng hồn thiện, triển khai hệ thống đối sánh quy mơ ớn d ch v web, kết nối nhiều máy tính s d ng b x đồ h a GPU 25 DAN M Á N TR N K OA ỦA TÁ Ả L ÊN QUAN ẾN LUẬN ÁN [LHHai1] Hong Hai Le, Ngoc Hoa Nguyen, Toward an approach to improving the consolidation stage of fingerprint matching RIVF Addendum 2013, pp 27-30 [LHHai2] Hong Hai Le, Ngoc Hoa Nguyen, and Tri Thanh Nguyen, Exploiting GPU for Large Scale Fingerprint Identification, Intelligent Information and Database Systems (ACIIDS 2016), Volume 9621 of the series Lecture Notes in Computer Science, pp 688-697, 10.1007/978-3662-49381-6_66, 2016 (ISI Web of Science, Scopus) [LHHai3] Hong Hai Le, Ngoc Hoa Nguyen, and Tri Thanh Nguyen: A Complete Fingerprint Matching Algorithm on GPU for a Large Scale Identification System” Inform tion Science and Applications (ICISA), Volume 376 of the series Lecture Notes in Electrical Engineering, pp 679-688, 2016 (ISI Web of Science, Scopus) [LHHai4] Hong Hai Le, Ngoc Hoa Nguyen, Nâng cao thuật toán đối sánh mã tr MCC H i thảo SOIS pp 54-57, 2016 [LHHai5] Hong-Hai Le, Ngoc-Hoa Nguyen and Tri Thanh Nguyen, Automatic Detection of Singular Points in Fingerprint Images Using Convolution Neural Networks, Intelligent Information and Database Systems, ACIIDS 2017, Volume 10192 of the series Lecture Notes in Computer Science, pp.207-216 2017, 10.1007/978-3-319-54430-4, 2017 (ISI Web of Science, Scopus) [LHHai6] Hong Hai Le, Ngoc-Hoa Nguyen, Tri-Thanh Nguyen: Speeding up and enhancing a large-scale fingerprint identification system on GPU J Information Telecommunication 2(2): 147-162 (2018) (DBLP) 26 ... n đề tài nghiên cứu: Nghiên cứu nâng c o kỹ thuật đối sánh vân t y đ c trưng điểm chạc” uận án tiến sỹ C thể tr ng nâng cao đ xác thuật tốn đối sánh vân t y iểu i n điểm chạc, c ng nâng c o... trình đối sánh vân t y SDL vân t y ớn x đồ h GPU ác đóng góp luận án - Luận án đề xuất phương pháp nâng c o đ xác củ thuật toán đối sánh vân t y ằng cách cải tiến trình gi i đoạn gi cố củ thuật tốn... sánh vân t y điểm chạc m t số thuật toán đối sánh vân t y điểm chạc cho kết tốt hương trình ày đề xuất luận án cải tiến trình gi đoạn gia cố cho thuật toán đối sánh hương trình ày ài tốn phát điểm