Nhận dạng chữ ký viết tay sử dụng mạng neural

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH _ NGUYỄN PHÚ QUỐC NHẬN DẠNG CHỮ KÝ VIẾT TAY SỬ DỤNG MẠNG NEURAL LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Nghệ An, 2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC VINH _ NGUYỄN PHÚ QUỐC NHẬN DẠNG CHỮ KÝ VIẾT TAY SỬ DỤNG MẠNG NEURAL Chuyên ngành: CÔNG NGHỆ THÔNG TIN Mã ngành: 60.48.02.01 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: TS HOÀNG HỮU VIỆT Nghệ An, 2017 LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Nhận dạng chữ ký viế t tay sử dụng mạng neural” cơng trình nghiên cứu riêng tơi Các số liệu sử dụng luận văn trung thực Các kết nghiên cứu trình bày luận văn chưa cơng bố cơng trình khác Tác giả Nguyễn Phú Quố c Nguyễn Phú Quố c K23 - CNTT - Long An LỜI CẢM ƠN Lời đầ u tiên, xin cảm ơn Khoa Công Nghệ Thông Tin Trường Đại Học Vinh mở lớp liên kết giảng dạy Long An để tơi có hội tham gia khóa học Bên ca ̣nh đó cũng xin cảm ơn Trường Đại học Kinh tế - Công nghiệp Long An phối hợp với Trường Đại học Vinh để tạo điều kiện sở vật chất tốt để hỗ trợ chúng tơi hồn thành khóa học cao học (2015-2017) Tơi xin gửi lời cảm ơn chân thành đến quý thầy cô tham gia giảng dạy mơn suốt khóa học em Nhấ t là, xin gửi lời cảm ơn chân thành biết ơn sâu sắc đến thầy Tiến sĩ Hoàng Hữu Viê ̣t nhiệt tình hướng dẫn, góp ý nhận xét, động viên dành nhiều thời gian, tâm huyết để nghiên cứu giúp đỡ em hồn thành luận văn cao học Sau cùng, xin gửi lời cảm ơn đến gia đình, bạn bè đồng nghiệp ln giúp đỡ tạo điều kiện cho có đủ thời gian hồn thành luận văn cao học Trong sự chân thành và đầ y biế t ơn, tơi kính chúc: - Q thầy Khoa Cơng Nghệ Thơng Tin, - Q thầy Phịng Sau Đại học trường Đại học Vinh - Quý thầy cô Khoa liên kết đào tạo Trường Đại học Kinh tế - Công nghiệp Long An Luôn ma ̣nh khỏe, thành cơng cơng viêc̣ sắ p tới,hồn thành tốt công tác chuyên môn công tác khác nghiệp giáo dục quý thầy cô Khi thực luận văn này, có quá triǹ h nghiên cứu không dài hỗ trợ nhiều từ Tiến sĩ Hoàng Hữu Viêṭ cũng đã hoàn thành luâ ̣n văn kip̣ tiế n đô ̣ Nhưng khơng tránh khỏi thiếu sót hạn chế kiến thức nên hy vọng quý thầy cô sau tham khảo luận văn có góp ý nhận xét gửi đến tơi để em chỉnh sửa kịp thời hoàn thiện luận văn thời gian tới Tơi xin chân thành cảm ơn! Tân An, ngày 24 tháng 03 năm 2017 Học viên Nguyễn Phú Quố c Nguyễn Phú Quố c K23 - CNTT - Long An MỤC LỤC Trang LỜI CAM ĐOAN LỜICẢM ƠN MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH LỜI NÓI ĐẦU CHƯƠNG TỔNG QUAN 1.1 Đặt vấn đề 1.2 Tổng quan hệ thống nhận dạng mẫu 1.2.1 Phân lớp toán nhận dạng 1.2.2 Chu trình thiết kế hệ thống nhận dạng mẫu 1.2.3 Thiết kế hệ thống nhận dạng chữ ký viế t tay .9 1.3 Tình hình nghiên cứu tốn nhận chữ ký viế t tay 11 1.3.1 Tình hình nghiên cứu nước 11 1.3.2 Tình hình nghiên cứu ngồi nước 11 CHƯƠNG TRÍCH RÚT ĐẶC TRƯNG BẰNG PHƯƠNG PHÁP PHÂN TÍCH THÀNH PHẦN CHÍNH 13 2.1 Giới thiêụ 13 2.2 Thuật toán PCA cho nhận dạng chữ ký viế t tay 15 2.3 Ví dụ bước thuật tốn 20 CHƯƠNG MẠNG NEURAL NHÂN TẠO 30 3.1 Giới thiệu mạng neural 30 3.1.1 Lịch sử phát triển 30 3.1.2 Các ứng dụng mạng neural 31 3.2 Mô hin ̀ h mạng neural 32 3.3 Mô hin ̀ h ma ̣ng neural nhân ta ̣o 35 3.3.1 Mô hin ̀ h neural mo ̣t đầ u vào .35 3.3.2 Mô hin ̀ h neural nhiề u đầ u vào .37 Nguyễn Phú Quố c K23 - CNTT - Long An 3.4 Mạng neural mô ̣t lớp 39 3.4.1 Kiến trúc mạng Perceptron 39 3.4.2 Luâ ̣t ho ̣c cho ma ̣ng .42 3.4.3 Ha ̣n chế của ma ̣ng 45 3.5 Mạng Perceptron nhiề u lớp 45 3.5.1 Kiến trúc mạng Perceptron nhiề u lớp 45 3.5.2 Thuâ ̣t toán lan truyề n ngươ ̣c 46 CHƯƠNG THIẾT KẾ HỆ THỐNG NHẬN DẠNG CHỮ KÝ VIẾT TAY 48 4.1 Cơ sở liệu cho thử nghiệm 48 4.2 Tiề n xử lý 49 4.3 Nhận dạng với phương pháp phân tích thành phần (PCA) 49 4.4 Nhận dạng với MLP sử dụng đặc trưng PCA 51 4.4.1 Thử nghiệm với mạng MLP tầng .52 4.4.2 Thử nghiệm với mạng MLP tầng .54 4.5 Một số nhận xét đề xuất 56 KẾT LUẬN 57 TÀI LIỆU THAM KHẢO 59 Nguyễn Phú Quố c K23 - CNTT - Long An DANH MỤC CÁC TỪ VIẾT TẮT CSDL: Cơ sở liệu MLP (Multilayer Perceptron): Mạng Perceptron nhiều lớp LDA (Linear Discriminant Analysis): Phương pháp phân tách tuyến tính LMS (Least Mean Square): Phương pháp bình phương trung bình tối thiểu PCA (Principal Components Analysis): Phương pháp phân tích thành phần MDP (Markov decision process): Markov trạng thái hữu hạn ANN (Artificial Neural Network): Ma ̣ng neural nhân ta ̣o Nguyễn Phú Quố c K23 - CNTT - Long An DANH MỤC CÁC BẢNG Trang Bảng 2.1 Biểu diễn ảnh ma trận số liệu 4x6 20 Bảng 2.2 Biểu diển vector cột mặt ảnh giá trị trung bình 21 Bảng 2.3 Biểu diển vector cột mặt ảnh giá trị trung bình 22 Bảng 2.4 Ma trân hiệp phương sai C 23 Bảng 2.5 Ma trận vector riêng C 23 Bảng 2.6 Ma trận giá trị riêng C 24 Bảng 2.7 Ma trận vector riêng C theo thứ tự giảm dần 244 Bảng 2.8 Ma trận giá trị riêng theo thứ tự giảm dần 24 Bảng 2.9 Ma trận vector riêng ui 25 Bảng 2.10 Các vector đặc trưng (eiggent face) ảnh 26 Bảng 2.11 Lấy vector đặc trưng ảnh 26 Bảng 2.12 Biểu diễn ma trận ảnh I7 27 Bảng 2.13 Biểu diễn vector I7 thành cột trờ ảnh trung bình 27 Bảng 2.14 Biểu diễn vetor riêng I7 28 Bảng 2.15 Khoảng cách I7với I1, I2, I3, I4, I5, I6: 29 Bảng 2.16 Khoảng cách I7 với ảnh tập huấn luyện 29 Bảng 3.1 Một số hàm truyền mạng neural 36 Bảng 4.1 Tỷ lệ thời gian nhận dạng phương pháp phân tích thành phầ n 40 Bảng 4.2 Các chữ ký bị nhận dang sai với K = 30 41 Bảng 4.3 Kết thử nghiệm với mạng neural tầng 43 Bảng 4.4 Kết của thử nghiệm với mạng neural tầng 55 Nguyễn Phú Quố c K23 - CNTT - Long An DANH MỤC CÁC HÌNH Trang Hình 1.1 Chu trình hệ thống nhận dạng mẫu Hình 1.2 Hệ thống nhận dạng chữ kýcơ 10 Hình 2.1 Biể u diễn vector của ảnh chữ ký .15 Hình 2.2 Da ̣ng của vector đươ ̣c ta ̣o từ ảnh chữ ký viế t tay 15 Hình 3.1 Cấu tạo tế bào neural sinh học 33 Hình 3.2 Mơ hình neural nhân tạo 34 Hình 3.3 Mơ hình mạng neural đầu vào 36 Hình 3.4 Mơ hình neural nhiều đầu vào 37 Hình 3.5 Mơ hình neural nhiều đầu vào 38 Hình 3.6 Kiến trúc mạng neural lớp 39 Hình 3.7 Ma ̣ng Perceptron mô ̣t neural hai đầ u vào 41 Hình 3.8 Mạng neural nhiề u đầ u vào 42 Hình 3.9 Đường biên định 44 Hình 4.1 Một số ảnh chữ ký sở liệu 48 Hình 4.2 Một số ảnh chữ ký sau chuẩn hóa 51 Hình 4.3 Mạng MLP tầng cho trường hợp K = 10 53 Hình 4.4 Ma ̣ng MLP tầng với trường hơ ̣p K = 10 55 Nguyễn Phú Quố c K23 - CNTT - Long An LỜI NÓI ĐẦU Lý chọn đề tài Chữ ký viết tay phương tiện sử dụng rộng rãi lĩnh vực sống nhiều môi trường khác công sở, ủy ban, ngân hàng, tòa án, điều tra… Chữ ký viết tay chấp nhận chứng tin cậy để xác thực cá nhân Tuy nhiên, hầu hết nhân viên làm việc vị trí lại khơng đào tạo để phát chữ ký giả mạo, họ đơn xác thực tính đắn chữ ký dựa vào kinh nghiệm quan sát thu đối sánh với chữ ký gốc Thực tế dẫn đến hậu nghiêm trọng chữ ký tạo chuyên gia giả mạo chữ ký Trong tình đó, việc xác thực tính hợp lệ chữ ký gặp nhiều khó khăn, với chuyên gia phân tích chữ ký giả mạo Thậm chí, chuyên gia xử lý hết số lượng chữ ký cần xác thực hàng ngày đơn vị Từ thực tế đó, chúng tơi hướng tới việc nghiên cứu để xây dựng hệ thống xác thực chữ ký viết tay nhằm xác thực tính hợp lệ chữ ký Xử lý ảnh lĩnh vực ngày phổ biến đời sống xã hội Không dừng lại việc xử lý vết nhòe, tái chế phục hồi ảnh cũ, ngày kỹ phương pháp xử lý ảnh mang lại tiến vượt bậc nhận dạng vân tay, nhận dạng khuôn mặt, nhận dạng đối tượng kết hợp với lĩnh vực trí tuệ nhân tạo Mặt khác vấn đề an ninh bảo mật yêu cầu khắc khe quốc gia giới Các hệ thống xác định nhận dạng người đời với độ tin cậy cao Một toàn nhận dạng người quan tâm nhận dạng qua chữ ký viế t tay cá nhân 45 viết dạng ma trận: WNew = WOld + epT bNew = bOld + e (3.17) 3.4.3 Hạn chế mạng Luật học Perceptron bảo đảm hội tụ sau số bước hữu hạn Nhưng hạn chế luật học Perception cho phép giải toán mà miền phân chia không gian vào khả tách tuyến tính (linear separability) Ví dụ tốn đơn giản sau mà miền phân chia không khả tách tuyến tính mạng Perceptron lớp khơng thể giải Năm 1970 Rosenblatt nghiên cứu mạng phức tạp để giải hạn chế mạng Perceptron nhiều lớp ông đưa luật học đủ mạnh để huấn luyện mạng Cho đến năm 1980 David Rumelhart, Geoffrey Hinton Ronald Williams đưa thuật toán lan truyền ngược để huấn luyện mạng Perceptron nhiều lớp 3.5 Mạng Perceptron nhiều lớp Với mạng neural truyền thẳng lớp trên, phân tích tốn phức tạp gặp nhiều khó khăn, để khắc phục vấn đề người ta đưa mơ hình mạng neural truyền thẳng nhiều lớp việc kết hợp số lớp neural lại với Lớp nhận tín hiệu vào gọi lớp vào, lớp đưa tín hiệu mạng gọi lớp Các lớp lớp vào lớp gọi lớp ẩn Trong mạng truyền thẳng (feedforward network) khơng có nút mà đầu đầu vào nút khác lớp với lớp trước 3.5.1 Kiến trúc mạng Perceptron nhiều lớp Mạng perceptron nhiều lớp (Multilayer Perceptron-MLP) gọi mạng truyền thẳng nhiều lớp mở rộng mơ hình mạng Perceptron với bổ sung thêm lớp ẩn neural lớp ẩn có hàm chuyển (hàm kích hoạt) dạng phi tuyến Mạng MLP có lớp ẩn mạng 46 neural nhân tạo sử dụng phổ biến nhất, xấp xỉ hàm liên tục định nghĩa miền có giới hạn hàm tập hợp hữu hạn điểm rời rạc Kiến trúc mạng Perceptron nhiều lớp mơ tả hình 3.9 Đầu lớp thứ đầu vào lớp thứ hai, đầu lớp thứ hai đầu vào lớp thứ ba Mỗi lớp có số neuralkhác hàm truyền khác Chúng ta dùng số để ký hiệu lớp Đầu mạng lớp 1:a1 = f1(W1+ b1) Đầu mạng lớp 2: a2 = f2(W2a1 + b2) = f2(W2 f2(W1p + b1) + b2) Đầu mạng lớp M: aM = fM(WMam + bM) Hình 3.9 Mạng Perceptron lớp 3.5.2 Thuật tốn lan truyền ngược (back-propagation) Cần có phân biệt kiến trúc mạng thuật toán học nó, mơ tả mục mục đích nhằm làm rõ yếu tố kiến trúc mạng cách mà mạng tính tốn đầu từ tập đầu vào Sau mô tả thuật toán học sử dụng để điều chỉnh hiệu mạng cho mạng có khả sinh kết mong muốn 47 Như nêu, có hai dạng thuật tốn để luyện mạng: học có hướng dẫn học khơng có hướng dẫn Các mạng neural truyền thẳng nhiều lớp luyện phương pháp học có hướng dẫn Phương pháp dựa việc yêu cầu mạng thực chức sau trả lại kết quả, kết hợp kết với đầu mong muốn để điều chỉnh tham số mạng, nghĩa mạng học thông qua sai sót Về bản, thuật tốn lan truyền ngược dạng tổng quát thuật toán trung bình bình phương tối thiểu (Least Mean Square-LMS) Thuật tốn thuộc dạng thuật tốn xấp xỉ để tìm điểm mà hiệu mạng tối ưu Chỉ số tối ưu thường xác định hàm số ma trận trọng số đầu vào mà q trình tìm hiểu toán đặt Chi tiết thuật toán mô tả 48 CHƯƠNG THIẾT KẾ HỆ THỐNG NHẬN DẠNG CHỮ KÝ VIẾT TAY Chương mô tả hệ thống nhận dạng chữ ký viết tay sử dụng phương pháp phân tích thành phần sử dụng mạng Perceptron đa tầng với vector đặc trưng thành phần 4.1 Cơ sở liệu cho thử nghiệm Trong luận văn này, sử dụng sở liệu SigComp2009 công bố [1] để làm liệu thử nghiệm Cơ sở liệu gồm 940 ảnh chữ ký 79 người Người nhiều có 12 chữ ký người có chữ ký Các chữ ký gán nhãn phân lớp theo tên tệp, ví dụ tệp NFI0010100, NFI-00102001, , NFI-00112001 chữ ký người thuộc lớp (được mã 03 ký tự cuối tên tệp) Các ảnh chữ ký có kích thước khác nói chung kích thước lớn (khoảng 1300x500 điểm ảnh) Hình 4.1 mơ tả số chữ ký sở liệu SigComp2009 Hình 4.1 Một số ảnh chữ ký sở liệu 49 4.2.Tiền xử lý Quá trình tiền xử lý thực cách chuẩn hóa ảnh kích thước 160x60, đổi lại tên tệp để phân chữ ký lớp liệu đơn giản (cụ thể 1-01,1-02, ,1-12 cho chữ ký người thứ nhất, ) chia tập liệu thành tập tập huấn luyện tập nhận dạng Tập huấn luyện lưu thư mục với 861 ảnh chữ ký tập nhận dạng lưu thư mục khác với 79 chữ ký tương ứng với chữ ký 79 người Hình 4.2 số chữ ký tập huấn luyện sau chuẩn hóa kích thước tên tệp Hình 4.2 Một số ảnh chữ ký sau chuẩn hóa 4.3 Nhận dạng với phương pháp phân tích thành phần Đầu tiên thực nhận dạng với phương pháp phân tích thành phần (PCA) nhằm để so sánh với phương pháp sử dụng mạng neural Ý tưởng phương pháp trích chọn đặc trưng ảnh dựa vector riêng tập liệu huấn luyện Quá trình nhận dạng 50 thực cách so sánh khoảng cách vector riêng ảnh nhận dạng với vector riêng tập liệu huấn luyện chọn vector gần Thuật toán thử nghiệm PCA thực Matlab Sự ảnh hưởng tới độ xác thử nghiệm thuật toán PCA số chiều K vector đặc trưng, thực thay đổi giá trị K để đánh giá tới xác thuật tốn Bảng 4.1 kết của thử nghiệm liệu Thời gian thực thuật toán thay đổi K cho lần thử nghiệm khác không đáng kể, điều giá trị vector riêng xác định trước chọn giá trị K cho chiều dài vector đặc trưng Ngoài ra, tỷ lệ nhận dạng tốt K = 30, điều có nghĩa việc chọn chiều dài vector đặc trưng có ảnh hưởng quan trọng đến độ xác nhận dạng Nếu K chọn nhỏ lớn, tỷ lệ nhận dạng xác thấp Bảng 4.2 ảnh ký nhận dạng bị lỗi tương ứng với K = 30 là tố t nhấ t Giá trị K Tỷ lệ nhận dạng (%) Thời gian (giây) K = 10 84.81 22.368556 K = 20 84.81 24.158954 K = 30 88.61 21.997898 K = 50 83.54 22.055033 K = 100 82.28 22.303153 K = 150 81.01 22.197120 Bảng 4.1 Tỷ lệ thời gian nhận dạng phương pháp phân tích thành phầ n 51 input signature:85-12.png result signature:91-01.png input signature:70-12.png result signature:45-02.png input signature:69-12.png result signature:58-08.png input signature:58-12.png result signature:26-04.png input signature:56-12.png result signature:18-04.png input signature:54-12.png result signature:88-01.png input signature:28-12.png result signature:88-02.png input signature:45-12.png input signature:21-12.png result signature:72-03.png result signature:49-03.png Bảng 4.2 Các chữ ký bị nhận dang sai với K = 30 Chữ ký bên trái hình chữ ký cần nhận dạng chữ ký bên phải chữ ký nhận dạng 4.4 Nhận dạng với mạng Perceptron đa tầng sử dụng đặc trưng PCA Trong thuật toán PCA, nhận dạng thực độ đo khoảng cách Trong phần thử nghiệm nhận dạng với mạng Perceptron đa tầng (Multi-Layer Perceptron, MLP), đầu vào mạng đặc trưng PCA Chúng thay đổi giá trị K, số tầng mạng neural số neural tầng ẩn để đánh giá ảnh hưởng tới tỷ lệ nhận dạng xác thuật toán 52 4.4.1 Thử nghiệm với mạng MLP tầng Bảng 4.3 Chỉ kết của thử nghiệm với mạng neural tầng Với K thay đổ i và số neural tầ ng ẩ n thay đổ i ta thấ y thời gian nhâ ̣n da ̣ng cũng tỷ lê ̣ nhâ ̣n da ̣ng thay đổ i theo với tỷ lê ̣ thay đổ i theo số tầ ng ẩ n Ở ta nhâ ̣n thấ y với giá tri ̣K thích hơ ̣p và tầ ng ẩ n thích hơ ̣p ta sẽ có tỷ lê ̣ nhâ ̣n da ̣ng và thời gian nhâ ̣n da ̣ng tố i ưu Nó không tỷ lê ̣ nghich ̣ hay tỷ lê ̣ thuâ ̣n với K lớn hay nhỏ và số neural tầ ng ẩ n lớn hay nhỏ là tố t Và thực nghiê ̣m ở ta thấ y đươ ̣c với K = 20 và số neural tầ ng ẩ n là 50 ta sẽ có tỷ lê ̣ nhâ ̣n da ̣ng là tố i ưu với thờ gian thay đổ i là không đáng kể Giá trị K Số neural tầng ẩn K = 10 K = 20 K = 30 K = 50 Tỷ lệ nhận dạng Thời gian (giây) 10 63.29 39.126480 20 63.29 37.818431 30 67.09 37.334672 50 74.68 37.179838 10 44.30 37.908551 20 54.43 37.460684 30 68.35 37.645741 50 72.15 37.676650 10 32,91 38.809196 20 51.90 38.280553 30 51.90 38.244604 50 54.43 37.684525 10 24.05 39.177263 20 31,65 37.845551 30 39.24 37.681187 50 45.57 37.422450 53 K = 100 K = 150 10 7.59 38.383969 20 15.19 38.285507 30 15.19 37.988658 50 20.25 37.960520 10 6.33 38.329074 20 11.39 38.003313 30 11.39 37.685928 50 22.78 37.724888 Bảng 4.3 Kết của thử nghiệm với mạng neural tầng với K = 20 số tầ ng ẩ n bằ ng 50 sẽ đươ ̣c tỷ lê ̣ nhâ ̣n da ̣ng cao nhấ t Hình 4.3 Mạng MLP tầng cho trường hợp K = 10 54 4.4.2 Thử nghiệm với mạng MLP tầng Bảng 4.4 kết của thử nghiệm với mạng neural tầng Có thể nhâ ̣n thấ y rằ ng với ma ̣ng MLP tầ ng tỷ lê ̣ nhâ ̣n da ̣ng thấ p hình ảnh thấ p ma ̣ng MLP tầ ng Với phương án tố i ưu có thể nhâ ̣n thấ y đó là với K=10 và số neural tầ ng ẩ n là (50,15) thì tỷ lê ̣ nhâ ̣n da ̣ng chỉ có 63.29% Điề u này chứng tỏ không phải với số neural đa tầ ng ẩ n cao là sẽ cho đươ ̣c kế t quả tố t nhấ t Tỷ lê ̣ nhâ ̣n da ̣ng ảnh không phu ̣ thuô ̣c vào số neural của đa tầ ng ẩ n mà phu ̣ thuô ̣c vào cách cho ̣n K cho phù hơ ̣p với số neural tầ ng ẩ n thích hơ ̣p Giá trị K K = 10 K = 20 K = 30 K = 50 Thời gian (giây) Số neural tầng ẩn Tỷ lệ nhận dạng 10, 10 49.37 37.641879 20, 15 50.63 33.754072 30, 15 62.03 33.162805 50, 15 63.29 32.077059 10, 10 27.85 36.227747 20, 15 29.11 35.266987 30, 15 37.97 33.768611 50, 15 50.63 33.196424 10, 10 16.46 34.883492 20, 15 31.65 35.937229 30, 15 36.71 33.963401 50, 15 35.44 34.286340 10, 10 16.46 34.364319 20, 15 16.46 34.025511 30, 15 18.99 33.844867 50, 15 24.05 32.787705 55 K = 100 K = 150 10, 10 6.33 34.555319 20, 15 12.66 36.170263 30, 15 12.66 33.726338 50, 15 12.66 31.942385 10, 10 3.80 37.307687 20, 15 7.59 37.058349 30, 15 12.66 33.726774 50, 15 7.59 33.058351 Bảng 4.4 Với ma ̣ng MLP tầ ng với K = 10 và số tầ ng ẩ n là (50,15) thì tỷ lê ̣ nhâ ̣n da ̣ng là lớn nhấ t và thời gian tương đớ i nhấ t Hình 4.4 Ma ̣ng MLP tầng với trường hơ ̣p K = 10 56 4.5 Một số nhận xét đề xuất a) Nhận xét - Từ thử nghiệm tập liệu trên, sử dụng phương pháp trích chọn đặc trưng PCA dễ thấy số mẫu huấn luyện nhiều, tỷ lệ nhận dạng cho kết tốt - Mạng tầng cho kết nhận dạng tốt mạng tầng Điều mạng tầng thường có sai số lỗi lớn q trình huấn luyện thường phù hợp với liệu có thuộc tính phân chia không tốt - Mạng tầng huấn luyện nhận dạng chậm mạng tầng, cần phải thực tính tốn nhiều b) Đề xuất Từ thử nghiệm trên, nói phương pháp nhận dạng nghiên cứu cho kết tốt Tuy nhiên để đạt tỷ lệ cao mà ứng dụng cho tốn thực tế cịn nhiều vấn đề cần phải nghiên cứu cẩn thận xem xét số chiều K vector đặc trưng, lựa chọn tham số mạng nghiên cứu để kết hợp thêm đặc trưng khác chữ ký như: nhiề u kiể u ký của mô ̣t người, chữ ký tắ t của mô ̣t người Đây hướng nghiên cứu cho tương lai gầ n nhằm nâng cao tỉ lệ xác toán nhận dạng chữ ký viế t tay 57 KẾT LUẬN Mục đích luận văn sử dụng phương pháp PCA mạng neural để nghiên cứu toán nhận dạng chữ ký viế t tay Phương pháp PCA trích chọn đặc trưng chữ ký giúp hệ thống có thơng tin đặc trưng tương đối đầy đủ chữ ký người đưa vào để phục vụ cho việc nhận dạng Đối với phương pháp phân tích thành phần chính, sau trích chọn đặc trưng sử dụng độ đo khoảng cách để tìm khoảng cách chữ ký cần nhận dạng với chữ ký tập huấn luyện để chọn khoảng cách gần Đối với nhận dạng mạng neural, kế thừa phương pháp sau trích chọn đặc trưng chuyển tới mạng neural đa tầng để huấn luyện Các tham số trình huấn luyện số đặc trưng trích chọn, số neural ẩn mạng, dạng hàm kích hoạt mạng lựa chọn sau nhiều thử nghiệm để có giá trị phù hợp hệ thống thời gian tính tốn độ xác Khi thực nhận dạng ảnh đầu vào trích chọn đặc trưng, đặc trưng đưa vào mạng neural tương ứng với phương pháp phân tích Đầu mạng người tương ứng với ảnh cần nhận dạng Do luận văn sâu nghiên cứu lý thuyết PCA mạng neural thực nghiệm để xây dựng hệ thống nhận dạng chữ ký phương pháp Luận văn đạt số kết sau:  Tìm hiểu tổng quan lý thuyết toán nhận dạng mẫu quy trình thiết kế hệ thống nhận chữ ký viế t tay  Tìm hiểu thuật tốn phân tích thành phần vận dụng thuật tốn tốn nhận dạng chữ ký viế t tay 58  Tìm hiểu mơ hình cấu trúc mạng neural nhân tạo, phương pháp huấn luyện mạng, ví dụ phân lớp mạng  Thực nghiệm thành công chương trình thử nghiệm nhận dạng chữ ký phương pháp PCA mạng neural Mặc dù kết nhận dạng đạt độ xác cao, nhiên cịn tỉ lệ nhỏ chưa xác q trình trích chọn đặc trưng chữ ký trình huấn luyện mạng Trong nghiên cứu tiếp theo, nhằm phát triển hồn thiện chương trình nhân dạng, khắc phục hạn chế nhằm nâng cao kết nhận dạng tốt 59 TÀI LIỆU THAM KHẢO [1] Richard O.Duda, Peter E Hart, David G.Stock Pattern Classification, 2nd, Wiley, 2001 [2] Chris Bishop Pattern Recognition and Machine Learning Springer, 2006 [3] Martin T Hagan, Howard B Demuth, Mark Hudson Beale Neural Network Design, 2nd [4] Timothy A Davis, Kermit Sigmon MATLAB® Primer 2005 by Chapman & Hall/CRC [5] Ishfaq Gull, Shabnam A Review on Enhanced Offline Signature Recognition Using Neural Network and MDA International Journal of Innovative Research in Computer and Communication Engineering Vol 3, Issue 7, July 2015 Pp 6582 – 6587 [6] Deepti Yadav, Chavi Singhal Offline Signature Recognition Using PCANN Method and GLDM Feature Extraction International Journal of Advanced Research in Computer Science and Software Engineering Volume 5, Issue 9, September 2015 Pp 258 – 262 [7] Arunalatha J S., Prashanth C R., Tejaswi V., Shaila K., K B Raja1, Dinesh Anvekar, Venugopal K R., S S Iyengar, L M Patnaik, Arun C., Pawan K S OSPCV: Off-line Signature Verification using Principal Component Variances Volume 17, Issue 1, PP 08-23 [8] Handwritten Signature Verification using Neural Network - Ashwini Pansare Assistant Professor in Computer Engineering Department, Mumbai University, India Shalini Bhatia Associate Professor in Computer Engineering Department, Mumbai University, India ... ký Nhận dạng chữ ký dùng PCA kết hợp với mạng neural phương pháp mang lại hiệu nhận dạng cao phát huy ưu điểm PCA mạng neural Với nhận thức trên, chọn đề tài: ? ?Nhận dạng chữ ký viế t tay. .. toán PCA nhận dạng ảnh chữ ký ví dụ thể bước thuật toán Chương 3: Mạng Neural nhân tạo Giới thiệu sở lý thuyết mạng Neural: lịch sử phát triễn mạng, ứng dụng mạng loại kiến trúc mạng Neural Chương... mạng neural thơng dụng Đã có nhiều nghiên cứu sử dụng mạng neural truyền thẳng nhiều lớp toán nhận dạng chứng tỏ hướng tiếp cận hiệu Chương mô tả mạng neural truyền thẳng nhiều lớp ứng dụng tốn nhận