Nhận dạng chữ ký trực tuyến

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG CƠ SỞ TẠI THÀNH PHỐ HỒ CHÍ MINH TIỂU LUẬN MƠN HỌC XỬ LÝ ẢNH ĐỀ TÀI : NHẬN DẠNG CHỮ KÝ TRỰC TUYẾN Giảng viên: PGS.TS Lê Hoàng Thái MỤC LỤC ĐỀ TÀI: “NHẬN DIỆN CHỮ KÝ ” Error! Bookmark not defined I GIỚI THIỆU VỀ SINH TRẮC HỌC CHỮ KÝ TRỰC TUYẾN Giới thiệu chữ ký trực tuyến Các bước tiến hành Các ứng dụng áp dụng vào sống II.CHỨNG MINH TÍNH HIỆU QUẢ THUẬT TỐN PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG Harris Corner Detector(HCD) A.Giới Thiệu: B.Cơng Thức Tính Tốn C.Code Thực Thi: D.Ưu Và Nhược Điểm 12 Scale-Invariant Feature Transform (SIFT) 12 A.Giới Thiệu 12 B.Cơng Thức Tính Tốn 13 C Code Thực Thi 18 D Ưu Và Nhược Điểm 18 II Mơ Hình Tổng Qt 18 Tiền Xử Lý 18 Kết hợp đặc trưng để nhận diện 21 Nhận Dạng Và Huấn Luyện 21 A.Nhận Dạng 21 B.Huấn Luyện 23 I GIƯỚI THIỆU VỀ SINH TRẮC HỌC CHỮ KÝ TRỰC TUYẾN Giới thiệu Xác minh chữ ký tự động lĩnh vực nghiên cứu quan trọng chấp nhận xã hội luật pháp việc sử dụng rộng rãi chữ ký viết tay phương pháp xác thực cá nhân Một ưu điểm khác chữ ký viết tay phương thức sinh trắc học dễ dàng có bút mực tờ giấy phương tiện điện tử với số thiết bị dựa trỏ có (ví dụ: bút máy tính bảng, PDA, Máy tính bảng, hình cảm ứng, v.v.) Phương pháp xác minh chữ ký phân loại theo thông tin chữ ký đầu vào thành hai lớp: trực tuyến off- trực tuyến Trực tuyến đề cập đến việc sử dụng chức thời gian q trình ký động (ví dụ: vị trí quỹ đạo, áp suất so với thời gian), thu cách sử dụng thiết bị thu nhận hình cảm ứng máy tính bảng số hóa Dịng O đề cập đến việc sử dụng hình ảnh tĩnh chữ ký Chương đề cập đến việc xác minh chữ ký trực tuyến Cũng lưu ý số vấn đề trực tuyến giải phương pháp trực tuyến , số thơng tin động ước tính từ ảnh tĩnh ngược lại, ảnh tĩnh dễ dàng tạo từ thông tin động CÁC BƯỚC TIẾN HÀNH 2.1 Thu thập tiền xử lý liệu Việc thu nhận trực tuyến chức thời gian chữ ký viết tay thường thực cách sử dụng thiết bị máy tính bảng số hóa hình cảm ứng, chẳng hạn thiết bị có Máy tính bảng PDA Các thiết bị thu nhận cung cấp thơng tin tọa độ (ví dụ, vị trí bút ngang x dọc y ) số trường hợp, áp lực bút góc đặt bút so với thời gian Các thiết bị thu thập chữ ký trực tuyến khác bút chuyên dụng có gắn phần cứng chuyên dụng để cung cấp số liệu chữ ký trực tuyến thông tin tọa độ vận tốc 2.2 Trích xuất tính Phương pháp có chia thành hai lớp: dựa đặc trưng , biểu diễn vectơ tổng thể bao gồm tập hợp đặc trưng toàn cục bắt nguồn từ quỹ đạo ký hiệu dựa hàm , thời gian trình tự mơ tả thuộc tính cục chữ ký sử dụng để nhận dạng Cách tiếp cận thứ hai cho phù hợp với vấn đề xác minh chữ ký ,chủ yếu khác biệt lớn nội dung thông tin phức tạp người ký Tuy nhiên, cách tiếp cận dành riêng cho người dùng gặp phải thách thức khan liệu đào tạo 2.3 Enrollment Đăng ký dựa tham chiếu thích hợp đăng ký dựa mơ hình tập hợp chữ ký đào tạo nhỏ Điều mô hình thống kê sử dụng để xác minh chữ ký yêu cầu đến chữ ký đào tạo để hoạt động tốt cách hợp lý Một thách thức lớn liên quan đến giai đoạn thu thập thay đổi thời gian chữ ký 10.2.4 Similarity Computation Pre-Alignment Giai đoạn đối sánh thường đặt trước chỉnh trước chữ ký đưa vào mẫu / mơ hình đăng ký Trong trường hợp đăng ký dựa tham chiếu, việc chỉnh trước thường tiến hành trước trích xuất đối tượng địa lý dựa hình dạng chữ ký Khi khơng sử dụng chỉnh trước, chỉnh nhúng vào quy trình đối sánh khung cố định sử dụng q trình thu thập để có chữ ký chỉnh trước Matching Trong phương pháp tiếp cận dựa đặc điểm với đăng ký dựa tham chiếu, điểm phù hợp thường thu cách sử dụng số loại thước đo khoảng cách vectơ đặc trưng đầu vào chữ ký mẫu phân loại đào tạo.Các thước đo khoảng cách sử dụng để xác minh chữ ký bao gồm khoảng cách Euclid, khoảng cách Euclid có trọng số khoảng cách Mahalanobis Trong trường hợp phương pháp tiếp cận dựa tính với đăng ký dựa mơ hình, mơ hình thống kê ước tính mật độ phi tham số dựa Parzen Windows sử dụng Các cách tiếp cận dựa chức phân loại thành địa phương khu vực tùy thuộc vào chiến lược phù hợp 10.2.5 Score Normalization Điểm phù hợp thu cách so sánh chữ ký đầu vào với tem-plate mơ hình đăng ký thường chuẩn hóa thành phạm vi phổ biến trước so sánh chúng với ngưỡng định, sử dụng hàm map-ping khác Bước chuẩn hóa điểm số quan trọng kết hợp trình so khớp khác phương pháp đa sinh trắc học Sự khác biệt đáng kể đối tượng phân bố điểm số phụ thuộc vào người dùng quan sát xác minh chữ ký có liên quan đến độ phức tạp chữ ký khả chống lại công giả mạo, mối quan hệ chưa hiểu đầy đủ CÁC ỨNG DỤNG THỰC TẾ Các ứng dụng quan trọng sinh trắc học chữ ký trực tuyến lĩnh vực pháp lý (xác thực tài liệu), y tế (bảo vệ hồ sơ) ngân hàng (xử lý séc thẻ tín dụng) Các ứng dụng bao gồm: Pháp y chữ ký Đây ứng dụng lâu đời chữ ký viết tay , thường áp dụng cho hình ảnh dịng chữ chữ ký viết tay Các phương pháp tiếp cận pháp y để đánh giá chứng chữ ký trực tuyến phát triển Xác thực chữ ký Loại ứng dụng bao gồm đăng nhập hệ thống dựa chữ ký, mã hóa tài liệu, truy cập web, v.v Có thể tìm thấy ví dụ cho Máy tính bảng Giám sát chữ ký Việc so sánh tự động chữ ký trực tuyến sử dụng để theo dõi phát người ký (ví dụ: danh sách đen cá nhân) sử dụng để cảnh báo người điều hành điểm bán hàng dịch vụ dựa thẻ tín dụng khác Quản lý quyền kỹ thuật số dựa chữ ký Các công nghệ kiểm soát truy cập để hạn chế việc sử dụng phần cứng quyền tác phẩm có quyền.Cơng nghệ DRM cố gắng kiểm soát việc sử dụng, sửa đổi phân phối tác phẩm có quyền (chẳng hạn phần mềm nội dung đa phương tiện), hệ thống thiết bị thực thi sách ࿿Hệ thống mật mã sinh trắc học dựa chữ ký Những phát triển chứng minh tính khả thi việc tạo khóa mật mã dựa hàm thời gian chữ ký trực tuyến II.GIỚI THIỆU PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG Harris Corner Detector(HCD) A.Giới Thiệu: ° Được giới thiệu Chris Harris and Mike Stephens vào năm 1988 ° Ý tưởng Harris ông dựa vào biến đổi cường độ sáng vùng lân cận ° Một vùng nhỏ xung quanh đặc trưng có thay đổi lớn cường độ sáng window dịch chuyển đoạn (u,v) từ điểm (x,y) theo hướng B.Cơng Thức Tính Tốn ° Cơng thức tính cường độ sáng: E(u,v)=∑x,yw(x,y)[I(x+u,y+v)−I(x,y)]2 ° W: Cửa sổ w coi = đơn giản việc tính tốn để chuẩn xác cho kết đầu ta coi mặt nạ Gauss(3x3, 5x5, ) ° I(x, y): Cường độ sáng điểm x, y ° I(x + u, y + v): Cường độ sáng sau dịch chuyển cửa sổ đến điểm (x + u, y + v) C.Code Thực Thi: D.Ưu Và Nhược Điểm -Ưu điểm : ° Thuật toán harris bất biến với phép quay (rotation) Với vị trí góc xoay, hình ellipse xoay theo độ lớn trục (hai trị riêng λmax λmin khơng đổi) ° Thuật tốn harris bất biến với phép tịnh tiến (translation) Dễ hiểu với góc di chuyển tịnh tiến góc ° Thay đổi cường độ ảnh (intensity) hiểu việc phân phần tử ảnh II với số thực αα, I=αII=αI Vì tất điểm ảnh thay đổi nên không ảnh hướng đến việc phát góc Tuy nhiên αα bé số góc khơng cịn phân biệt rõ (tất điểm ảnh gần 0) Đó lý Harris bất biến phần với thay đổi cường độ -Nhược Điểm : ° Nhược điểm Harris không bất biến với phép tỷ lệ (scale) Nhược điểm harris phát góc dựa cửa sổ Ví dụ bên cho thấy, phóng to góc, kích thước cửa sổ cũ khơng cịn phát góc Scale-Invariant Feature Transform (SIFT) A.Giới Thiệu ° SIFT phát minh đăng kí quyền David G Lowe, cấp sáng chế Canada Đại học British Columbia, muốn dùng cho mục đích thương mại phải xin phép ° Ý tưởng: ° Từ ảnh tìm điểm ảnh đặc biệt, gọi feature point hay keypoint Đầu vào đầu phép biến đổi SIFT: ảnh -> SIFT -> keypoint ° Để phân biệt keypoint với keypoint khác cần tìm tham số đó, gọi descriptor keypoint khác phải descriptor khác Thường descriptor chuỗi số gồm 128 số (vector 128 chiều) ° Sau áp dụng biến đổi SIFT, ứng với keypoint, thu (1) toạ độ keypoint (2) scale orientation keypoint (3) descriptor ° Điểm hấp dẫn (Interest Point (Keypoint)): Là vị trí (điểm ảnh) "hấp dẫn" ảnh ° "Hấp dẫn" có nghĩa điểm có đặc trưng bất biến với việc quay ảnh, co giãn ảnh hay thay đổi cường độ chiếu sáng ảnh B.Cơng Thức Tính Tốn ° Phương pháp trích rút đặc trưng bất biến SIFT tiếp cận theo phương pháp thác lọc, theo phương pháp thực theo bước sau: ° Phát điểm cực trị Scale-Space (Scale-Space extrema detection): Bước tiến hành tìm kiếm điểm hấp dẫn tất tỉ lệ vị trí ảnh Nó sử dụng hàm different-ofGaussian để xác định tất điểm hấp dẫn tiềm mà bất biến với quy mô hướng ảnh ° Các điểm hấp dẫn xác định cực đại cực tiểu ảnh DoG qua tỉ lệ Mỗi điểm ảnh DoG so sánh với điểm ảnh láng giềng tỉ lệ láng giềng kề tỉ lệ trước sau Nếu điểm ảnh đạt giá trị cực tiểu cực đại chọn làm điểm hấp dẫn ứng viên ° Về thông số khác nhau, số liệu thực nghiệm tóm tắt là, số quãng tám = 4, số mức tỷ lệ = 5, ban đầu σ= 1.6, k =√2 v…v… giá trị tối ưu ° Định vị điểm hấp dẫn (keypoint localization): Một hàm kiểm tra đưa để định xem điểm hấp dẫn tiềm có lựa chọn hay khơng? ° Loại bỏ điểm hấp dẫn có độ tương phản thấp ° Một số điểm hấp dẫn dọc theo cạnh khơng giữ tính ổn định ảnh bị nhiễu bị loại bỏ ° Bằng cách tương tự phương pháp dị góc (ngưỡng ) ° Ngưỡng chọn 0.03 ° Xác định hướng cho điểm hấp dẫn (Orientation assignment): Xác định hướng cho điểm hấp dẫn chọn ° Để xác định hướng cho điểm hấp dẫn, người ta tính tốn biểu đồ hướng Gradient vùng láng giềng điểm hấp dẫn Độ lớn hướng điểm hấp dẫn xác định theo công thức: ° Mô tả điểm hấp dẫn (Keypoint descriptor): Các điểm hấp dẫn sau xác định hướng mô tả dạng vector đặc trưng 128 chiều C Code Thực Thi D Ưu Và Nhược Điểm -Ưu Điểm : ° Bất biến với độ sáng, xoay, thu phóng, ° Keypoint phụ thuộc vào cường độ sáng, nhiễu, che khuất (một phần ảnh bị che), góc xoay (ảnh bị xoay mặt phẳng 2D), thay đổi tư (pose thay đổi không gian 3D) ° Nhanh, tốc độ xử lí gần thời gian thực (realtime) -Nhược Điểm : ° Tốc độ trích xuất keypoint chi phí cho đối sánh cịn lớn II Mơ Hình Tổng Qt Tiền Xử Lý - Giai đoạn góp phần làm tăng độ xác hệ thống nhận dạng, nhiên làm cho tốc độ nhận dạng hệ thống chậm lại, khối tiền xử lý bao gồm số chức : Nhị phân hóa ảnh,làm trơn ảnh,lọc nhiễu, lọc cạnh,cắt khoảng trắng ° Nhị phân hóa ảnh : nhị phân hóa ảnh kỹ thuật chuyển ảnh đa cấp xám sang ảnh nhị phân.Trong toán phân tích nâng cao chất lượng hình ảnh nào, cần thiết để xác định đối tượng quan trọng Nhị phân hóa ảnh chia ảnh thành phần : Phần phần chữ ° Lọc Nhiễu : Nhiễu tập điểm sáng thừa ảnh Khử nhiễu vấn đề thường gặp nhận dạng,nhiễu có nhiều loại(nhiễu muối tiêu ….) Để khử nhiễu muối tiêu ta sử dụng phương pháp lọc trung vị ° Làm Trơn Ảnh : chất lượng quét ảnh xấu nên đường biên chữ ký khơng cịn giữ trơn tru ban đầu mà hình thành nên đường cưa, nên ta sử dụng thuật toán làm trơn để khắc phục ° Đóng mở ảnh : - Đóng ảnh : hữu ích cho việc loại bỏ nhiễu nhỏ - Trong trường hợp muốn loại bỏ nhiễu nhỏ sau đóng ảnh ta mở ảnh , đóng ảnh loại bỏ nhiễu nhỏ thu nhỏ đối tượng mở nó, nhiễu biến sau đóng nên mở không trở lại -Trong trường hợp nối nét đứt ta mở ảnh đóng ảnh : ° Cắt Khoảng Trắng : Trong trường hợp hình ảnh nhận dạng bị dư khoảng trắng không cần thiết ta cắt cho sát chữ để tối ưu Hình đưa vào Sau cắt Kết hợp đặc trưng để nhận diện -Từ đặc trưng để hiệu tối ưu ta kết hợp chúng lại với qua bước sau: ° Ta tìm kiếm chùm điểm góc lọc điểm góc gần chọn điểm góc ° Tại điểm góc ảnh(1 điểm góc góc) ta chọn keypoint gần cho keypoint chưa sử dụng điểm góc khác Nhận Dạng Và Huấn Luyện A.Nhận Dạng B1: Trước tiên chuyển đổi hình ảnh vào thang độ xám trước làm điều thêm chút làm mờ để làm điều sử dụng chức làm mờ cv2.GaussianBlur() chuyển đổi chuyển đổi ảnh vào thang độ xám cách sử dụng thang độ xám BGR B2:Chuyển đổi hình ảnh sang thang độ xám để sử dụng máy dò cạnh canny để phát cạnh ảnh cách sử dụng máy dị cạnh canny có hai ngưỡng.Máy dò di chuyển xung quang ta nhận giá trị phù hợp B3: Khởi tạo mảng 5*5 mảng numpy sau gọi hàm cv2.dilate() chuyền vào mảng khởi tạo để giản nở hình ảnh B4: Sau qua bước xử lý ảnh ta gọi đến hàm getContours: +Tìm lưu tất thơng tin đường viền hàm findContours() +Duyệt qua tất đường viền tìm tính chu vi loại bớt đối tượng không đạt ngưỡng đặt 500 dùng phương pháp Poly để lấy đường biên xấp xỉ đường biên có số điểm định dựa vào điểm xác định hình dạng đối tượng chuyển hình chữ nhật thông số x,y,w,h Phần chủ yếu là: +Trường hợp 1:Tìm đối tượng nằm hồn tồn khung đối tượng tự động bỏ qua đối tượng nhỏ +Trường hợp 2: Cịn bị đè phần chữ nhật biến rộng để bao Khi đối tượng khoang vùng gọi đến hàm dropImage() để cắt đối tượng lưu vào thư mục crop B.Huấn Luyện -Mơ hình SVM (Support Vector Machine): ° SVM gì? : - SVM khái niệm thống kê khoa học máy tính cho tập hợp phương pháp học có giám sát liên quan đến để phân loại phân tích hồi quy - SVM thuật toán phân loại nhị phân, SVM nhận liệu vào phân loại chúng vào hai lớp khác Với ví dụ train thuộc hai đối tượng cho trước, thuật toán train SVM xây dựng mơ hình SVM để phân loại ví dụ khác vào hai đối tượng ° Ứng dụng SVM? : - Nhận diện khuôn mặt, Phân loại văn siêu văn bản, Phân loại hình ảnh, Tin sinh học, Nhận dạng chữ viết tay, Điều khiển dự báo tổng quát (GPC)… ° Train SVM nào? : - Đầu tiên cần chọn loại SVM: Chọn C_SVC C_SVC C-Support Vector Classification Phân loại n lớp (n≥ 2), cho phép phân loại lớp khơng hồn hảo với hệ số nhân C cho ngoại lệ NU_SVC ν-Support Vector Classification Phân loại n lớp với tách biệt khơng hồn hảo Tham số ν (trong phạm vi 0->1, giá trị lớn, ranh giới định mượt mà) sử dụng thay cho C ONE_CLASS EPS_SVR NU_SVR Distribution Estimation (One-class SVM) Tất liệu đào tạo từ lớp, SVM xây dựng ranh giới ngăn cách lớp với phần cịn lại khơng gian tính ϵ-Support Vector Regression Dùng để phân tích hồi quy ν-Support Vector Regression Dùng để phân tích hồi quy - Chọn loại nhân mơ hình phân loại: Chọn Inter CUSTOM LINEAR POLY RBF Được trả SVM :: getKernelType trường hợp kernel tùy chỉnh đặt Nhân tuyến tính Khơng có ánh xạ thực hiện, phân biệt tuyến tính (hoặc hồi quy) thực khơng gian tính ban đầu Đây lựa chọn nhanh K(xi , xj ) = x𝑖𝑇 xj Hạt nhân đa thức: K(xi , xj ) = (γx𝑇 𝑖 xj + coef0) degree , γ > Hàm sở xuyên tâm (RBF), lựa chọn tốt hầu hết trường hợp K(xi , xj ) = e−γ||x −x || , γ > i j SIGMOID CHI2 Hạt nhân Sigmoid: K(xi , xj ) = tanh(γx𝑖𝑇 xj + coef0) Hạt nhân Chi2 theo cấp số nhân, tương tự hạt nhân RBF: K(xi , xj ) = INTER e−γχ (x ,x ) , χ2(xi , xj ) = (xi − xj )2 /(xi + xj ), γ > Biểu đồ giao điểm nhân Một hạt nhân nhanh chóng K(xi , xj ) = min(xi , xj ) i j - Thiết lập thông số phù hợp với kiểu hạt nhân: C = 100 C Hệ số C thiết lập ngoại lệ cho lớp khơng hồn hảo Gamma Coef0 Degree SVM::POLY, SVM::RBF, SVM::SIGMOID SVM::CHI2 SVM::POLY SVM::SIGMOID SVM::POLY ° Code train: - - Ý tưởng chính: Chia hình ảnh thành 10 phần theo chiều dọc phần áp dụng lần phân loại tất keypoint Lí do: Vì chữ ký thơng thường người Việt viết theo chiều ngang, để giảm nhiễu số liệu trình phân loại – keypoint chữ ảnh hưởng đến keypoint chữ khác, từ đơn nhiều ký tự tiếng Việt nghiêng – chữ nên 10 phần hạn chế ảnh hưởng không mong muốn chữ chữ khác - Thông số C thiết lập mức 100 chữ ký khơng bất biến, ln có sai khác định - Kiểm tra trường hợp ngoại lệ tồn đối tượng chữ ký mà phần khơng có keypoint nào, khiến cho mơ hình phân loại khơng sử dụng có đối tượng  ... y chữ ký Đây ứng dụng lâu đời chữ ký viết tay , thường áp dụng cho hình ảnh dịng chữ chữ ký viết tay Các phương pháp tiếp cận pháp y để đánh giá chứng chữ ký trực tuyến phát triển Xác thực chữ. .. v.v.) Phương pháp xác minh chữ ký phân loại theo thông tin chữ ký đầu vào thành hai lớp: trực tuyến off- trực tuyến Trực tuyến đề cập đến việc sử dụng chức thời gian q trình ký động (ví dụ: vị trí...MỤC LỤC ĐỀ TÀI: “NHẬN DIỆN CHỮ KÝ ” Error! Bookmark not defined I GIỚI THIỆU VỀ SINH TRẮC HỌC CHỮ KÝ TRỰC TUYẾN Giới thiệu chữ ký trực tuyến Các bước tiến hành Các ứng dụng