Xác minh chữ ký dựa trên kỹ thuật học sâu

Bài viết Xác minh chữ ký dựa trên kỹ thuật học sâu xây dựng và so sánh các mô hình học sâu gần đây – thông qua nhiều kiến trúc khác nhau – đối với bài toán xác minh chữ ký. Kết quả cho thấy, việc tách biệt quá trình học thuộc tính của ảnh chữ ký với bộ phân loại mang lại hiệu quả xác minh cao nhất.

ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 20, NO 7, 2022 71 XÁC MINH CHỮ KÝ DỰA TRÊN KỸ THUẬT HỌC SÂU SIGNAGTURE VERIFICATION USING DEEP LEARNING Trần Minh Nhân, Trần Đại Gia Khánh, Hồ Phước Tiến* Trường Đại học Bách khoa - Đại học Đà Nẵng1 *Tác giả liên hệ: hptien@yahoo.com (Nhận bài: 18/4/2022; Chấp nhận đăng: 10/6/2022) Tóm tắt - Xác minh chữ ký viết tay có vai trị quan trọng việc bảo mật xác định danh tính người dùng liên quan đến hoạt động hành chính, cơng ty hay ngân hàng Sau giai đoạn đầu với phương pháp xác minh chữ ký theo cách tiếp cận truyền thống, gần số giải thuật dựa học sâu cho thấy nhiều kết hứa hẹn toán Tuy nhiên, có nghiên cứu nhằm tổng hợp so sánh mơ hình học sâu để từ giúp cải thiện xác minh chữ ký cách hiệu Bài báo xây dựng so sánh mơ hình học sâu gần – thông qua nhiều kiến trúc khác – toán xác minh chữ ký Kết cho thấy, việc tách biệt q trình học thuộc tính ảnh chữ ký với phân loại mang lại hiệu xác minh cao Ngoài ra, báo đề xuất sử dụng phân loại – XgBoost – nhằm cải thiện kết xác minh so với phương pháp trước Abstract - Verification of handwritten signatures plays a very important role in securing and determining user information concerning activities in administration, companies or banks Following early methods based on traditional approach, recent deep learning based algorithms have shown promising results for signature verification Yet, there are few studies which have been carried out to review and compare these models, and consequently help improve signature verification effectively This paper will build and compare several deep learning models – with various architectures – for signature verification The results shows that separating feature learning from classification can bring the highest verification efficiency Besides, the paper also proposes to use a new classifier – XgBoost – to improve the signature verification consequence compared with the previous method Từ khóa - Xác minh chữ ký; học sâu; mạng nơron tích chập; mạng Capsule; mạng Transformer Key words - Signature verification; deep learning; Convolution Neural Network; Capsule Network; Transformer Network Giới thiệu tốn xác minh chữ kí Chữ kí dấu hiệu phổ biến thường dùng để xác nhận danh tính cá nhân Chữ kí người có vai trị quan trọng hoạt động đời sống, liên quan đến tính xác thực văn bản, biểu mẫu hay giấy tờ ngân hàng Chính thế, việc xác minh chữ kí – nhằm xác định xem chữ kí có khớp với chữ kí mà ta biết hay khơng – thật có ý nghĩa lớn Thông thường, việc xác minh thực mắt người, tức làm thủ công Tuy nhiên, công việc phức tạp tốn nhiều thời gian Từ đặt tốn làm để tự động xác minh chữ kí cách nhanh chóng hiệu [1, 2, 3, 4] Dù vậy, nay, xác minh chữ kí chưa nghiên cứu cách rộng rãi, so với xác minh, nhận dạng đặc điểm sinh trắc học khác (như khuôn mặt, vân tay) Chữ kí người có đặc điểm làm cho việc xác minh thực thách thức Chữ kí đặc trưng nhiều yếu tố tinh tế nét nhỏ, độ cong, hướng [1] Chữ kí người, hai thời điểm khác nhau, khơng giống Ta hình dung chữ kí người phụ thuộc vào trạng thái tâm lý người kí tên Một hệ thống xác minh chữ kí hiệu phải có khả rút thuộc tính đặc trưng chữ kí người đó, phân biệt với chữ kí người khác hay chữ kí giả mạo Nhìn chung, có hai hệ thống xác minh chữ kí: Trực tuyến (online) ngoại tuyến (offline) [2] Hệ thống xác minh chữ kí trực tuyến có ưu điểm khai thác yếu tố thời gian chữ kí, hay lực tác động kí Trong đó, hệ thống xác minh chữ kí ngoại tuyến không khai thác thông tin này, mà dựa hình ảnh chữ kí Tuy nhiên, hệ thống ngoại tuyến lại phổ biến thực tế hơn, ví dụ ta chụp hay scan chữ kí để kiểm tra Bài báo quan tâm đến hệ thống xác minh chữ kí ngoại tuyến Một số nghiên cứu trước cố gắng giải tốn xác minh chữ kí ngoại tuyến, chia thành hai hướng sau: Cách tiếp cận truyền thống cách tiếp cận theo học sâu hay mạng neuron Với cách tiếp cận truyền thống, ảnh chữ kí trích thuộc tính thơng qua cơng cụ biến đổi Wavelet, Fourier, histogram [3, 4] Mục tiêu bước trích thuộc tính rút đặc điểm đặc thù chữ kí độ cong, góc, hướng Sau đó, ta dùng khoảng cách, ví dụ khoảng cách Euclidean, để so sánh hai vector thuộc tính, từ chữ kí thật từ chữ kí cần xác minh Nếu khoảng cách đủ nhỏ ta xem hai chữ kí người, ngược lại ta xem chữ kí giả mạo Ngồi ra, ta cịn có công cụ khác để xác định tương tự hai vector, áp dụng cho xác minh chữ kí, cosine similarity hay DTW (Dynamic Time Warping) [5] Bên cạnh đó, bước tiền xử lý thường thêm vào trước trích thuộc tính để việc xác minh đạt hiệu cao [2] Gần đây, với phát triển kĩ thuật học sâu, số nghiên cứu áp dụng mạng neuron tích chập (CNN) cho tốn xác minh chữ kí [1, 2, 6] Nhìn chung, với cách tiếp cận này, mơ hình học sâu cố gắng học phép đo khoảng cách phù hợp với việc xác minh chữ kí [1, 2] Tức là, với hai chữ kí giống mơ hình cho The University of Danang - Univeristy of Science and Technology (Tran Minh Nhan, Tran Dai Gia Khanh, Ho Phuoc Tien) 72 cho khoảng cách tương đối nhỏ; Ngược lại, với hai chữ kí khác mơ hình cho khoảng cách lớn Bên cạnh đó, mơ hình CNN khác (ví dụ cho tốn nhận dạng), mơ hình CNN cho xác minh chữ kí khai thác ưu điểm trích thuộc tính cách hiệu (so với cách tiếp cận truyền thống histogram hay biến đổi Wavelet) [1, 6] Sau đó, vector thuộc tính đưa vào phân loại hay so khớp cổ điển để xác minh chữ kí thật hay giả mạo Bài báo xây dựng so sánh số phương pháp học sâu tốn xác minh chữ kí Trong đó, số dựa kĩ thuật đề xuất gần cho kết tích cực lĩnh vực thị giác máy tính [7, 8] Mục đích việc so sánh nhằm đưa tranh tương đối tổng thể kĩ thuật học sâu dùng cho xác minh chữ kí, từ yếu tố cần thiết để xây dựng mơ hình xác minh chữ kí hiệu Bên cạnh đó, dựa kết so sánh từ mơ hình học sâu khác nhau, báo đề xuất cách cải thiện phương pháp xác minh chữ kí Một cách tiếp cận hiệu để phân biệt chữ kí tách riêng phần trích thuộc tính – thơng qua việc chiếu ảnh chữ kí vào khơng gian có số chiều tương đối lớn, mà chữ kí khác phân biệt cách dễ dàng – phần phân loại Bằng cách giữ lại khối trích thuộc tính huấn luyện hiệu quả, báo đề xuất cách phân loại (XgBoost) cho kết tốt phương pháp thường dùng trước Xây dựng mô hình xác minh chữ ký Phần trình bày cụ thể năm mơ hình học sâu dùng để xác minh chữ kí, mà thực so sánh phần thực nghiệm sau Những mơ hình tổng hợp từ phương pháp bật gần đây; Một số xuất phát từ toán xác minh chữ kí, có mơ hình đến từ toán khác cho kết ấn tượng Việc bổ sung phương pháp nhằm đánh giá khả chúng áp dụng vào tốn xác minh chữ kí Ngồi ra, đề xuất khác báo rõ 2.1 Mơ hình 1: Mạng song song Mơ hình mạng song song chứa hai mạng giống hệt nhau, xuất phát từ mơ hình SigNet [2] Hai mạng có kiến trúc giống có trọng số giống (Hình 1) Trong trình huấn luyện, việc cập nhập trọng số chép lúc cho hai mạng Mỗi mạng bao gồm lớp tích chập (với kernel có kích thước khác nhau), max pooling, FC (Fully Connected) Ngoài ra, mạng sử dụng lớp Local Response Normalization (LRN) Dropout để tăng tính tổng qt hóa Hàm kích hoạt Rectifield Linear Units (ReLU) sử dụng tồn mơ hình Đầu mạng vector 128 chiều Hai mạng kết nối với hàm tổn hao (contrastive loss), dựa hàm tính khoảng cách Euclidean hai vector đầu vào (Hình 1a) Trong q trình huấn luyện, mơ hình tìm cách tối thiểu hóa khoảng cách hai vector ứng với cặp chữ kí “thật-thật” tối đa hóa khoảng cách hai vector ứng với cặp chữ kí “thật-giả” Hàm tổn hao cho sau [2]: 𝐿(𝑠1 , 𝑠2 , 𝑦) = 𝛼(1 − 𝑦)𝐷𝑤2 + 𝛽𝑦max(0, 𝑚 − 𝐷𝑤 )2 (1) Trần Minh Nhân, Trần Đại Gia Khánh, Hồ Phước Tiến Trong đó, 𝑠1 𝑠2 hai ảnh chữ kí đầu vào 𝑦 nhãn cặp ảnh chữ kí đầu vào, 𝑦 = với hai ảnh “thật-thật” 𝑦 = với hai ảnh “thật-giả” 𝐷𝑤 khoảng cách Euclidean hai vector đầu hai mạng 𝛼 𝛽 hai hệ số điều chỉnh, 𝑚 ngưỡng (margin) để đảm bảo khoảng cách hai ảnh “thật-giả” phải đủ lớn Trong trình kiểm tra (testing), ta dùng ngưỡng (được chọn thông qua tập validation) để xác định chữ kí thật hay chữ kí giả, tùy theo khoảng cách chúng Hình 1c mơ tả q trình kiểm tra: Quá trình tương tự trình huấn luyện (Hình 1a), điểm khác biệt hàm tổn hao (khi huấn luyện) thay hàm tính khoảng cách phép lấy ngưỡng (a) (b) (c) Hình (a) Kiến trúc mạng song song huấn luyện, (b) Chi tiết khối FeatNet, (c) Kiến trúc mạng song song kiểm tra (“True” ứng với ảnh thật, “False” ứng với ảnh giả) 2.2 Mơ hình2: Mạng song song - phân loại nhị phân Mơ hình tương tự mơ hình mạng song song Mục 2.1 Tuy nhiên, để tránh phải chọn ngưỡng, ta thêm vào phân loại để mạng tự động phát hai chữ kí “thật-thật” hay “thật-giả” Cụ thể, hai vector đầu hai mạng ghép với nhau, tiếp tục qua số lớp FC, trước phân loại nhị phân Do đó, hàm tổn hao sử dụng Binary Cross Entropy (Hình 2) Quá trình kiểm tra thực tương tự trình huấn luyện Đầu phân loại nhị phân cho biết hai chữ kí đầu vào giống hay khác (thật/giả, ứng với True/False Hình 1c) Hình Kiến trúc mạng song song-phân loại nhị phân 2.3 Mơ hình3: CNN-Capsule Mơ hình có kiến trúc tổng thể giống mơ hình mạng song song Mục 2.1, tức có hai mạng chia sẻ trọng số chung, hàm tổn hao tính khoảng cách Tuy nhiên, khác biệt liên quan đến cấu trúc bên ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 20, NO 7, 2022 mạng (“FeatNet” Hình 1) Thay sử dụng lớp mạng CNN truyền thống, ta sử dụng thêm cấu trúc Capsule [9] Capsule có khả biểu diễn mối quan hệ cấu trúc tốt mạng CNN truyền thống, nhận dạng đối tượng cách ổn định hơn, có biến thiên đầu vào (ví dụ, góc nhìn thay đổi) Mơ hình CNN-Capsule mục mong đợi kết hợp ưu điểm CNN Capsule Các vector thuộc tính trích xuất từ lớp CNN (3 lớp tích chập) đưa vào mạng Capsule (cơ gồm lớp tích chập định tuyến - routing) Điều giúp làm giảm kích thước mạng tăng tốc độ tính tốn Do giới hạn số trang, báo không sâu vào chi tiết mạng Capsule; Phần tìm thấy dễ dàng tài liệu tham khảo liên quan Hàm tổn hao q trình kiểm tra mơ hình CNNCapsule tương tự mơ hình mạng song song (Mục 2.1) 2.4 Mơ hình 4: Mạng Embedding Mục tiêu mơ hình cố gắng biểu diễn cách tốt ảnh chữ kí cho trước [1] Do đó, đầu vào mơ hình cần ảnh chữ kí (Hình 3) Để huấn luyện mơ hình Embedding cho việc xác minh chữ kí, bên cạnh lớp CNN truyền thống, ta kết hợp hai hàm tổn hao đồng thời Hàm thứ dùng để phân loại người kí tên hàm thứ hai để phân loại chữ kí đưa vào thật hay giả [10, 1] Như vậy, liệu trình huấn luyện (X, y, f) Trong đó, X ảnh chữ kí, y định danh tác giả chữ kí (target user), f biến nhị phân cho biết X chữ kí thật hay giả mạo Trong mơ hình này, hàm Categorical Cross Entropy dùng để phân loại người kí tên Binary Cross Entropy để phân loại chữ kí thật – giả (a) 73 hiệu phân loại XgBoost, so sánh với SVM, toán xác minh chữ ký 2.5 Mơ hình5: Transformer Tương tự mơ hình mạng Embedding Mục 2.4, ta xây dựng mơ hình để biểu diễn ảnh chữ kí Tuy nhiên, khác với mơ hình Embedding vốn sử dụng lớp CNN truyền thống, mơ hình Transformer sử dụng cấu trúc Transformer [8] để trích thuộc tính từ ảnh chữ kí đầu vào Thời gian vừa qua, mạng Transformer gây tiếng vang lớn với toán xử lý ngôn ngữ tự nhiên trở thành công cụ ưu tiên lĩnh vực [8] Đặc điểm Transformer cho phép tập trung vào phần quan trọng đầu vào, để từ trình học thuộc tính hiệu Từ thành cơng vượt bậc đó, Transformer bắt đầu áp dụng vào tốn thị giác máy tính [12] Bài báo tiếp tục xem xét ưu điểm Transformer việc xác minh chữ kí [13] Khi áp dụng cho ảnh, Transformer thường xử lý sau Ảnh đầu vào chia thành ảnh (patch), đưa qua Patch Encoder để mã hóa ảnh thành word embedding Đồng thời, vị trí ảnh mã hóa thơng qua position embedding Hai embedding kết hợp lại, qua transformer layers, gồm lớp Normalization, Muti-head Attention, FC Đầu transformer layer tiếp tục qua số lớp FC để tạo thành embedding vector kích thước 512, biểu diễn ảnh chữ kí đầu vào Tương tự mơ hình Embedding, q trình huấn luyện, ta sử dụng hai hàm tổn hao: Phân loại người kí tên phân loại thật-giả Trong q trình kiểm tra, embedding vector hai ảnh chữ kí (ảnh tham chiếu ảnh cần xác minh) đưa qua phân loại SVM để xác định chữ kí thật hay giả (xem Hình 3b) Để dễ dàng theo dõi năm mơ hình học sâu đề cập, Bảng tóm tắt đặc điểm mơ hình Có thể hình dung mơ hình 1, 2, thuộc nhóm mạng song song (gồm hai nhánh giống nhau, so sánh hai ảnh đầu vào); Cịn mơ hình tập trung vào việc học thuộc tính ảnh có nhánh Bảng Tóm tắt mơ hình học sâu thực Mơ hình (b) Hình (a)Mơ hình mạng Embedding huấn luyện, (b) dùng thuộc tính trích từ mạng Embedding để xác minh chữ kí Trong q trình kiểm tra, để phân biệt chữ kí thật-giả, ta tính embedding vector hai ảnh cho trước (một tham chiếu ảnh cần xác minh), áp dụng phân loại nhị phân Trong báo này, ta sử dụng lại phân loại SVM [1], đồng thời đề xuất sử dụng phân loại XgBoost [11] XgBoost khai thác tập hợp định (decision tree) boosting, cho kết ấn tượng với toán phân loại, hồi quy, xếp hạng Nhìn chung, XgBoost có độ phức tạp cao phương pháp phân loại truyền thống khác (ví dụ SVM), thường cho kết tốt Lý thuyết định boosting tìm thấy nhiều tài liệu liên quan Trong phần thực nghiệm, ta xem xét cụ thể Kiến trúc mạng Hàm tổn hao Kiểm tra huấn luyện (huấn luyện) (testing) nhánh song Tính khoảng Contrastive song chia sẻ trọng cách & lấy Loss số, ảnh đầu vào ngưỡng Mơ hình 1: Mạng song song Mơ hình 2: nhánh song Mạng song song chia sẻ trọng song-phân loại số, ảnh đầu vào nhị phân nhánh song Mơ hình 3: song chia sẻ trọng CNN-Capsule số, ảnh đầu vào Mơ hình 4: Mạng nhánh, ảnh Embedding đầu vào (SVM) Mơ hình 5: Mạng Transformer nhánh, ảnh đầu vào Binary Cross Phân loại nhị Entropy phân Contrastive Loss Categorical Cross Entropy & Binary Cross Entropy Categorical Cross Entropy & Binary Cross Entropy Tính khoảng cách & lấy ngưỡng SVM SVM Trần Minh Nhân, Trần Đại Gia Khánh, Hồ Phước Tiến 74 Thực nghiệm kết 3.1 Dữ liệu Tập liệu chữ kí CEDAR (có thể tải từ địa http://www.cedar.buffalo.edu/NIJ/data/signatures.rar) bao gồm chữ kí ảnh xám 55 người dùng thuộc nhiều quốc gia nghề nghiệp khác [4] Mỗi người kí 24 chữ kí Đồng thời, người giao nhiệm vụ thực giả mạo chữ kí người tập liệu, giả mạo cho chữ kí; Tổng cộng có 24 chữ kí giả mạo Do đó, liệu chứa 1320 chữ kí thật 1320 chữ kí giả mạo Bộ liệu chia thành ba tập con: training-validation-testing ứng với 45-5-5 người Tuy nhiên, cách sử dụng tập training validation năm mơ hình có chút khác biệt sau Đối với mơ hình mạng song song (mơ hình 1, 3), ta dùng hai tập training (45 người) validation (5 người) cách tách biệt Với mơ hình trích thuộc tính (mơ hình 5), để phù hợp với phân loại người kí tên, ta gộp hai tập training validation ban đầu để tạo thành tập gồm 50 người, sau chia lại theo tỉ lệ 8:2 training validation Trong trình kiểm tra, ta sử dụng tập testing (5 người) để đảm bảo năm mơ hình đánh giá cách khách quan 3.2 Tiền xử lý liệu Đầu tiên, ảnh liệu gốc đưa kích thước cố định, phù hợp với đầu vào mơ hình, cách sử dụng nội suy song tuyến tính Sau đó, ảnh khử nhiễu lọc thông thấp Gaussian nhị phân hóa phương pháp lấy ngưỡng Otsu [14] Chữ kí dịch trung tâm ảnh, đảo giá trị pixel để có giá trị chữ kí có giá trị (Hình 4) Hình Minh họa tiền xử lý ảnh: Bên trái ảnh gốc, bên phải ảnh sau tiền xử lý, từ liệu CEDAR [4] 3.3 Huấn luyện Hình Minh họa hàm tổn hao trình huấn luyện mạng song song Các mơ hình huấn luyện dựa phương pháp Gradient Descent để cập nhật trọng số hội tụ Tốc độ học (learning rate) thay đổi theo thời gian (hay số epoch) Ví dụ, tốc độ học giảm theo tỉ lệ 0.1 tùy theo kết hàm tổn hao dựa tập validation (validation loss) Các mơ hình huấn luyện hội tụ Hình minh họa hàm tổn hao trình huấn luyện mạng song song (mơ hình 1) 3.4 Kết Mục trình bày kết xác minh chữ kí tập testing liệu CEDAR Lưu ý rằng, với lần xác minh ta có hai ảnh chữ kí: Ảnh tham chiếu (mà ta biết người kí) ảnh cần xác minh; cho kết “thật”/“giả” Chất lượng mơ hình đánh giá thông qua tỉ lệ xác minh đúng: Số lần xác minh Tỉ lệ xác minh = (2) Tổng số lần xác minh Một lần xác minh gọi ảnh cần xác minh chữ kí giả mơ hình cho kết “giả”; Hoặc ảnh cần xác minh chữ kí thật mơ hình cho kết “thật” 3.4.1 So sánh năm mơ hình xác minh Trong mục này, ta so sánh tỉ lệ xác minh năm mô hình mơ tả Mục Với mơ hình, ta thay đổi thơng số để có kết tốt Chú ý mơ hình có khác biệt liên quan đến kiến trúc, độ phức tạp tính tốn Ở đây, báo tập trung vào tỉ lệ xác minh chữ kí mơ hình Kết thể Bảng Bảng Tỉ lệ xác minh năm mơ hình Mơ hình Mơ hình 1: Mạng song song Mơ hình 2: Mạng song song-phân loại nhị phân Mơ hình 3: CNN-Capsule Mơ hình 4: Mạng Embedding (SVM) Mơ hình 5: Mạng Transformer Tỉ lệ xác minh 83,31% 84,16% 73,18% 94,09% 89,60% Theo kết Bảng ta thấy, phương pháp trích xuất thuộc tính từ ảnh chữ kí (mơ hình 5) kết hợp với phân loại riêng biệt (ở SVM) cho kết tốt so với mô hình mạng song song (mơ hình 1, 2, 3) Trong đó, mơ hình có tỉ lệ xác minh cao nhất, với 94,09% Có thể cách ép mơ hình học chữ kí thật giả từ người khác giúp cho việc biểu diễn chữ kí cách hiệu Hay nói cách khác, chữ kí sau qua mơ hình kiểu này, chiếu lên không gian, mà chữ kí khác tách rời Từ đó, việc sử dụng phân loại truyền thống (như SVM) để phân loại chữ kí cho kết xác minh tốt Tuy nhiên, ta lưu ý rằng, mơ hình trích thuộc tính (ví dụ mơ hình 4) phụ thuộc vào số lượng người, liên quan đến phân loại người kí tên trình huấn luyện Khi số lượng người thay đổi ta phải thay đổi kiến trúc huấn luyện lại từ đầu Trong đó, mơ hình mạng song song lại không gặp vấn đề này, chúng không phụ thuộc vào số lượng người Thực tế, đầu vào mạng song song cặp ảnh thật-thật thật-giả Một mục tiêu báo đánh giá khả xác minh chữ kí mạng Capsule Transformer, vốn thành công toán khác Kết thực nghiệm ISSN 1859-1531 - TẠP CHÍ KHOA HỌC VÀ CƠNG NGHỆ - ĐẠI HỌC ĐÀ NẴNG, VOL 20, NO 7, 2022 cho thấy, mơ hình CNN tốt Capsule hay Transformer (Transformer mơ hình cho kết tương đối cao, đóng góp kiến trúc trích thuộc tính tách biệt) Có thể ảnh chữ kí khơng có đặc điểm (ví dụ tính cấu trúc) phù hợp với mạnh mạng Capsule hay Transformer Tuy nhiên, ta nên xem thử nghiệm bước đầu, cần có nghiên cứu chi tiết để đánh giá thêm khả hai loại mạng Bên cạnh đó, ta lưu ý rằng, việc xác nhận chữ kí thơng qua hình ảnh có nhiều vấn đề phức tạp Ví dụ, người kí tên mình, thời điểm khác cho chữ kí khác Điều gây khó khăn cho việc kiểm tra mắt người, tất nhiên máy tính Hình minh họa trường hợp chữ kí thật bị mơ hình nhận nhầm thành giả Ngược lại, có chữ kí giả, xét đường nét riêng lẻ lại giống chữ kí thật (Hình 7) Do đó, mơ hình xác minh tốt cần có khả nhận đường nét chi tiết hình dáng tổng thể chữ kí Thật sự, điều khơng phải lúc dễ dàng 75 dụng mạng CNN) phân loại XgBoost giải pháp tốt cho tốn xác minh chữ kí Kết luận Bài báo trình bày tốn xác minh chữ kí, vấn đề có ý nghĩa quan trọng chữ kí điện tử hay hoạt động ngân hàng Ta xem xét năm mơ hình học sâu khác nhau, từ mạng CNN truyền thống mạng đề xuất gần Capsule Transformer, từ kiến trúc mạng song song đến mạng trích thuộc tính, phân tích ưu, nhược điểm chúng Kết thực nghiệm cho thấy, mạng trích thuộc tính kết hợp với phân loại riêng biệt cho tỉ lệ xác minh cao Đồng thời, báo đề xuất sử dụng XgBoost cho việc phân loại Khi kết hợp với thuộc tính trích từ mạng CNN, XgBoost cho phép cải thiện rõ rệt khả xác minh chữ kí Bên cạnh đó, mạng Capsule Transformer tiếp tục phân tích cải thiện để đánh giá khả chúng tốn xác minh chữ kí Một hướng khác sử dụng Graph Neural Network (GNN), cách tiếp cận đầy hứa hẹn với toán đặc điểm chữ kí phù hợp với dạng đồ thị (graph) TÀI LIỆU THAM KHẢO Hình Hai chữ kí thật người mơ hình cho hai chữ kí khác Hình Chữ kí giả (bên phải) mơ hình cho giống chữ kí thật (bên trái) 3.4.2 So sánh SVM XgBoost Kết thực nghiệm từ Bảng cho thấy, mơ hình Embedding cho kết xác minh tốt Ở đây, ta dựa mơ hình để cải thiện tỉ lệ xác minh Lưu ý xác minh chữ kí theo mạng Embedding gồm hai bước: Trích thuộc tính phân loại Do phần trích thuộc tính phức tạp hơn, cần thời gian huấn luyện lâu hơn, tạo vector thuộc tính tương đối hiệu (ứng với liệu cho trước), nên ta tập trung cải thiện phân loại Cụ thể, ta so sánh SVM (đã dùng [1]) XgBoost (dựa tập hợp định), mà gần trở thành cơng cụ hiệu cho tốn phân loại hay hồi quy Bảng Tỉ lệ xác minh mơ hình mạng Embedding Mơ hình 4-Mạng Embedding SVM XgBoost 94,09% 94,92% Bảng cho thấy, ưu điểm phân loại XgBoost so với SVM: Khi kết hợp với thuộc tính trích từ mạng Embedding, XgBoost làm tăng tỉ lệ xác minh lên 94,92% Kết cho thấy, hiệu XgBoost việc phân loại, việc kết hợp trích thuộc tính (sử [1] L G Hafemann, R Sabourin, and L S Oliveira, “Learning Features for Offline Handwritten Signature Verification using Deep Convolutional Neural Networks”, Pattern Recognition, 70, 2017, 163-176 [2] S Dey, A Dutta, J I Toledo, S K Ghosh, J Llados, and U Pal, "SigNet: Convolutional Siamese Network for Writer Independent Offline Signature Verification", arXiv:1707.02131, 2017 [3] M B Yilmaz and B Yanikoglu, “Score level fusion of classifiers in offline signature verification”, Information Fusion, 32 (Part B), 2016, 109–119 [4] M K Kalera, S N Srihari, and A Xu, “Offline signature verification and identification using distance statistics”, International Journal of Pattern Recognition and Artificial Intelligence, 18 (7), 2004, 1339–1360 [5] G Omer and S Micha, "Dynamic Time Warping and Geometric Edit Distance: Breaking the Quadratic Barrier", Association for Computing Machinery, 14 (4), 2018, 1-17 [6] L G Hafemann, L S Oliveira, and R Sabourin, “Analyzing features learned for offline signature verification using Deep CNNs”, 23rd International Conference on Pattern Recognition, 2016, 2989-2994 [7] S Sabour, N Frosst, and G E Hinton, "Dynamic routing between capsules”, Neural Information Processing Systems, 2017, 3859–3869 [8] A Vaswani, N Shazeer, N Parmar, J Uszkoreit, L Jones, A N Gomez, L Kaiser, and I Polosukhin, "Attention is All you Need”, Neural Information Processing Systems, 2017, 6000–6010 [9] E Parcham, M Ilbeygi, and M Amini, “CBCapsNet: A novel writerindependent offline signature verification model using a CNN-based architecture and capsule neural networks”, Expert Systems with Applications, 185, 2021, 115649 [10] O Sener and V Koltun, “Multi-task learning as multi-objective optimization”, Neural Information Processing Systems, 2018, 525–536 [11] T Chen and C Guestrin, "XGBoost: A Scalable Tree Boosting System", Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2016, 785–794 [12] A Dosovitskiy et al., “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale”, arXiv:2010.11929, 2020 [13] X Lu, L Huang, and F Yin, “Cut and Compare: End-to-end Offline Signature Verification Network”, 25th International Conference on Pattern Recognition, 2021, 3589-3596 [14] N Otsu, “A threshold selection method from gray-level histograms”, IEEE Transactions on Systems, Man, and Cybernetics, (1), 1979, 62–66  ... thông qua tỉ lệ xác minh đúng: Số lần xác minh Tỉ lệ xác minh = (2) Tổng số lần xác minh Một lần xác minh gọi ảnh cần xác minh chữ kí giả mơ hình cho kết “giả”; Hoặc ảnh cần xác minh chữ kí thật... tranh tương đối tổng thể kĩ thuật học sâu dùng cho xác minh chữ kí, từ yếu tố cần thiết để xây dựng mơ hình xác minh chữ kí hiệu Bên cạnh đó, dựa kết so sánh từ mơ hình học sâu khác nhau, báo đề xuất... vào phân loại hay so khớp cổ điển để xác minh chữ kí thật hay giả mạo Bài báo xây dựng so sánh số phương pháp học sâu tốn xác minh chữ kí Trong đó, số dựa kĩ thuật đề xuất gần cho kết tích cực