Nghiên cứu mạng nơ ron nhân tạo ứng dụng nhận dạng chữ viết tay online (tt)

HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - CAO XUÂN TRƢỜNG NGHIÊN CỨU MẠNG NƠ-RON NHÂN TẠO ỨNG DỤNG NHẬN DẠNG CHỮ VIẾT TAY ONLINE CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT HÀ NỘI - 2019 i Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: GS TS Từ Minh Phương (Ghi rõ học hàm, học vị) Phản biện 1: PGS TS Nguyễn Mạnh Hùng Phản biện 2: PGS TS Nguyễn Hà Nam Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thơng Vào lúc: 10 00 ngày 11 tháng 01 năm 2020 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU Ngành cơng nghệ thông tin ngành khoa học đà phát triển mạnh ứng dụng rộng rãi nhiều lĩnh vực Trong nhận dạng chữ viết lĩnh vực đem đến nhiều lợi ích thiết thực cho người Bài tốn nhận dạng chữ viết khơng dừng lại việc nhận dạng chữ giấy mà phát triển mở rộng thành toán nhận dạng chữ viết từ thiết bị điện tử hay gọi nhận dạng chữ viết tay online Con người từ viết trực tiếp thiết bị điện tử smartphone, máy tính bảng hay máy tính xách tay mà khơng cịn phải viết giấy trước Hiện nay, có nhiều phương pháp khác đươc áp dụng vào tốn nhận dạng Trong việc sử dụng mạng nơ-ron nhân tạo phương pháp nhận dạng hiệu quả, có độ xác cao Mạng nơ-ron nhân tạo đời xuất phát từ ý tưởng mô hoạt động não người Kể từ đời, mạng nơ-ron nhân tạo ứng dụng rộng rãi giải toán phân loại, dự đoán nhận dạng khả học Từ đặc điểm trên, tơi chọn để tài “Nghiên cứu mạng nơ-ron nhân tạo ứng dụng nhận dạng chữ viết tay online” Luận văn tập trung tìm hiểu phương pháp sử dụng mạng nơ ron nhân tạo để huấn luyện nhận dạng chữ viết tay online 2 Chương TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG CHỮ VIẾT TAY ONLINE 1.1 Giới thiệu toán nhận dạng chữ viết tay online 1.1.1 Nhận dạng chữ viết tay online nhận dạng chữ viết tay offline Bài toán nhận dạng chữ viết tay offline đặt để nhận dạng văn viết tay giấy bút Với đặc trưng liệu đầu vào hình ảnh văn viết tay quét chụp lại Sau đó, thuật tốn nhận dạng chữ viết tay xây dựng dựa hình ảnh Các ứng dụng nhận dạng chữ viết tay offline thường quan tâm tới độ xác việc tối ưu thời gian Bài toán nhận dạng chữ viết tay online toán nhận dạng chữ viết tay thu từ thiết bị điện tử Với đặc trưng liệu đầu vào dãy điểm thu nhận trình người thực viết bề mặt thiết bị điện tử Yêu cầu cần có thiết bị chuyên dụng hình cảm ứng hay bảng điện tử để ghi lại trình di chuyển nét bút bao gồm yếu tố điểm bắt đầu, điểm kết thúc, điểm mặt phẳng mà nét bút qua 1.1.2 Các thuộc tính chữ viết tay online Chữ viết tay online thu từ thiết bị điện tử có số thuộc tính đặc trưng sau [14]: Pen-up/ pen-down: pen-up thuộc tính nét bút nhấc lên khỏi hình kết thúc nét, pen-down trạng thái bút chạm hình bắt đầu nét viết Speed: Tốc độ viết X-coordinate: Tọa độ x Y-coordinate : Tọa độ y Writing direction: Hướng viết 1.1.3 Phương pháp thu thập chữ viết tay online *Phương tiện thu thập: Việc thu thập liệu chữ viết tay online phải cần thiết bị chuyên dụng có khả ghi nhận trạng thái bút pen up, pen down tập hợp điểm mà bút di chuyển qua Các thiết bị khác PDA sử dụng hình cảm ứng để ghi nhận di chuyển bút hay tay người dùng Khi viết, việc nhận ghi liệu thu thập theo hai cách khác Với cách thứ nhất, quỹ đạo bút chuyển đổi thành hình ảnh điểm ảnh xử lý với nhận diện ký tự in (OCR) nhận diện nhận dạng off-line Trong cách thứ hai, quỹ đạo bút sử dụng trình tự điểm toạ độ (x, y) 1.1.4 Một số vấn đề nhận dạng chữ viết tay online Những khó khăn việc nhận dạng số yếu tố sau [1]: - Hạn chế số lượng người viết - Hạn chế cách viết - Khó khăn ngơn ngữ - Tồn nhiều cặp ký tự có hình dạng tương tự, gây khó khăn để nhận biết - Tồn nét trễ 1.2 Phƣơng pháp nhận dạng chữ viết tay online - Over-segment and classify: Phương pháp phân đoạn phân loại - Time-sequence interpretation: Sự biểu diễn trình tự thời gian 1.3 Quy trình phân đoạn chữ viết tay online Trong hệ thống nhận dạng chữ viết tay hoàn chỉnh, yêu cầu đặt nhận dạng trang văn hoàn chỉnh Tuy vậy, thực tế, yêu cầu thách thức chưa có thuật tốn tối ưu để nhận dạng trang văn làm đầu vào Trước thực tế vậy, địi hỏi q trình nhận dạng phải trải qua bước phân đoạn Cụ thể phân tách dòng với trang văn bản, tách từ dịng phân tích ký tự riêng biệt từ 4 Quá trình tách dịng: Phân đoạn dịng bước tiền đề cần thiết gần hầu hết hệ thống nhận dạng cho văn viết tay Do liệu online chuyển đổi dễ dàng sang định dạng offline, phương thức nhận dạng offline sử dụng để nhận dạng liệu online Tuy nhiên để phân đoạn liệu online nên sử dụng thêm thông tin online thu thập Cách tiếp cận hiệu dựa việc tìm đường tối ưu hai dịng văn liên tiếp Đường dẫn tối ưu hai dòng tìm thấy cách sử dụng lập trình động Dữ liệu đầu vào cho thuật toán đề xuất bao gồm liệu online, tính đến thơng tin offline bổ sung Hầu hết bước thực phiên offline liệu Hình 1.3 Quy trình tách dịng Tiền xử lý: Ở bước tách dịng, tiền xử lý liệu thu bước quan trọng hệ thống nhận dạng chữ viết tay người viết có phong cách viết khác độ nghiêng, độ xiên, chiều cao, chiều rộng ký tự Phương pháp thường dùng bước tiền xử lý số hệ thống nhận dạng sau: - Tiền xử lý trực tiếp: - Chuẩn hóa qua bước: + Các phần hiệu chỉnh đưa độ nghiêng chúng + Bước chuẩn hóa độ xiên thực dựa vào việc sử dụng lược đồ xám + Bước tính đường sở đường corpus + Bước cuối việc chuẩn hóa chuẩn hóa độ rộng ký tự 1.4 Hƣớng tiếp cận toán nhận dạng chữ viết tay online Đối với toán nhận dạng chữ viết tay online tiếp cận theo hai hướng: Cách tiếp cận thứ nhất: Sử dụng mơ hình học máy để huấn luyện phân lớp cho tồn từ từ điển Tuy nhiên cách tiếp cận áp dụng với từ điển có số lượng từ nhỏ (khoảng 100-200) Đối với từ điển có số lượng từ lớn việc thu thập liệu gặp khó khăn đa dạng cách thể từ Cách tiếp cận thứ hai: Tiến hành phân đoạn từ sử dụng phân lớp mức ký tự để tìm kết cuối Ở cách tiếp cận áp dụng đặt ràng buộc định có khoảng cách rõ ràng ký tự từ, v.v 1.5 Ứng dụng toán nhận dạng chữ viết tay online Trong bối cảnh thiết bị cảm ứng Smartphone, Ipad, v.v ngày trở nên phổ biến, tốn nhận dạng chữ viết online trở nên đặc biệt quan tâm Con người viết trực tiếp hình tinh thể lỏng (LCD) hiển thị với bút điện tử hay đơn giản ngón tay Màn hình ma trận nhạy cảm ghi lại chuyển động đầu bút bề mặt Quỹ đạo bút xuất gần hình Từ đó, tốn nhận dạng chữ viết tay online đóng vai trị quan trọng, cho phép máy tính hiểu người viết muốn thực thao tác gì, lệnh gì, v.v 6 Ngày kể tới số ứng dụng cụ thể nhận dạng chữ viết tay online như: - Hệ thống nhận dạng chữ viết tay rời rạc online trạm làm việc IBM H.S.M.Beigi, C.C.Tapert, M.Ukeison C.G.Wolf phòng thực hành Watson IBM cài đặt - Google tích hợp vào dịch vụ Google Translate - Bên cạnh đó, Google cịn tung sản phẩm nhận dạng chữ viết tay xác ứng dụng Handwritng Input 1.6 Kết luận chƣơng Chương trình bày tốn nhận dạng chữ viết tay, đặc trưng toán nhận dạng chữ viết tay online, thuộc tính chữ viết online, số phương pháp thu thập số vấn đề khó khăn gặp phải nhận dạng chữ viết tay online Bài toán nhận dạng chữ viết tay online phải trải qua bước phân đoạn phân đoạn dòng, từ ký tự, luận văn tập trung nghiên cứu nhận dạng ký tự Ngồi ra, nội dung chương trình bày ứng dụng phổ biến toán nhận dạng chữ viết tay online Chương trình bày tổng quan số phương pháp nhận dạng chữ viết online quan tâm nghiên cứu nay, mơ hình mạng nơ ron nhân tạo kết hợp với kỹ thuật học sâu đối tượng nghiên cứu chương công cụ nhận dạng chương luận văn 7 Chương ỨNG DỤNG MẠNG NƠ RON NHÂN TẠO VÀO BÀI TOÁN NHẬN DẠNG CHỮ VIẾT TAY ONLINE 2.1 Mạng nơ ron nhân tạo 2.1.1 Các khái niệm Mạng nơ ron nhân tạo (Artificaial Nơ ron Network) gọi tắt mạng nơ ron (neural network), mơ hình xử lý thông tin theo cách thức xử lý thông tin hệ nơ ron sinh học não người Nó tạo nên từ số lượng lớn phần tử (gọi phần tử xử lý hay nơ ron) kết nối với thông qua liên kết (gọi trọng số liên kết) làm việc thể thống để giải vấn đề cụ thể 2.1.2 Đặc trưng mạng nơ ron Một số đặc trưng mạng nơ ron thu từ việc mô trực tiếp não người sau: - Tính chất phi tuyến: - Tính chất thích nghi: - Tính chất đưa lời giải có chứng: - Tính chất chấp nhận sai sót: - Tình chất đồng dạng phân tích thiết kế 2.1.3 Kiến trúc mạng nơ ron nhân tạo Từ định nghĩa cho thấy đơn vị hình thành nên mạng nơ ron nơ ron Chức mạng nơ ron nhân tạo tương tự chức đơn giản nơ ron sinh học tích lũy (ghi nhớ) tri thức học vật để nhận biết, phân biệt chúng gặp lại Chức thực thơng qua chuỗi liên tiếp q trình xử lý thông tin nơ ron mạng Sơ đồ 2.1 mơ hình cấu trúc nơ ron nhân tạo: Hình 2.1 Mơ hình phi tuyến nơ ron Hình 2.2 Mơ hình phi tuyến thứ hai nơ ron 2.1.4 Phân loại mạng nơ ron nhân tạo 2.1.4.1 Mạng truyền thẳng Dòng liệu từ đơn vị đầu vào đến đơn vị đầu truyền thẳng Việc xử lý liệu mở rộng nhiều lớp, khơng có liên kết phản hồi Hình 2.3 Mạng nơ ron truyền thẳng nhiều lớp 2.1.4.2 Mạng hồi quy Mạng hồi quy kiểu kiến trúc mạng không truyền liệu theo chiều, mà truyền liệu từ bước sau ngược trở lại bước trước Hình 2.4 Mơ hình mạng hồi quy 2.1.5 Hàm kích hoạt Hàm kích hoạt, ký hiệu (v), dùng để xác định đầu mạng nơ ron Các hàm kích hoạt phải có đặc điểm sau: + Hàm bị chặn chặn + Hàm có tính đơn điệu + Hàm phải có tính liên tục Dưới số kiểu hàm kích hoạt thường sử dụng: Hình 2.5 Các hàm kích hoạt tiêu biểu 10 2.1.6 Phương pháp huấn luyện mạng nơ ron 2.1.6.1 Học có giám sát Với phương pháp này, cần đưa vào liệu huấn luyện kết đầu mong muốn tương ứng Thuật toán tiến hành tính tốn trọng số để vector đầu vào có kết đầu với kết đầu mong muốn Q trình học có giám sát cụ thể sau: 2.1.6.2 Học khơng có giám sát Học khơng có giám sát học với tập liệu huấn luyện ban đầu hoàn toàn chưa gán nhãn Đây phương pháp học sử dụng cho lớp tốn phân cụm Q trình huấn luyện phương pháp học khơng có giám sát có đặc điểm sau: + Sử dụng liệu huấn luyện chưa gán nhãn (khơng có thơng tin giá trị đầu mong muốn) + Lựa chọn thuật toán học khơng có giám sát để huấn luyện + Sử dụng phương pháp thử nghiệm để đánh giá chất lượng 2.1.6.3 Học tăng cường Trong luật học có giám sát, giá trị đầu biết xác đầu vào Tuy nhiên, thực tế có số trường hợp biết thơng tin chi tiết, chẳng hạn mạng biết giá trị đầu thực cao hay mạng có thơng tin phản hồi báo đầu hay sai Thuật học dựa thông tin đánh giá gọi thuật học củng cố hay học tăng cường, thông tin phản hồi gọi tín hiệu tăng cường 2.1.7 Mạng nơ ron truyền thẳng lớp ẩn thuật toán lan truyền ngược 2.1.7.1 Mạng nơ ron truyền thẳng lớp ẩn Mạng nơ ron truyền thẳng lớp ẩn mạng nơ ron truyền thẳng gồm lớp, có lớp đầu vào, lớp ẩn lớp đầu Các nơ ron lớp liên kết với nơ ron lớp theo chiều từ lớp đầu vào đến lớp ẩn đến nơ ron lớp đầu ra, khơng có liên kết ngược lại liên kết nơ ron lớp 11 2.1.7.2 Thuật toán lan truyền ngược Phương pháp huấn luyện phổ biến cho mạng nơ ron truyền thẳng lớp ẩn thuật toán lan truyền ngược Thuật toán lan truyền ngược dạng tổng qt thuật tốn trung bình phương tối thiểu (Least Means Square –LMS) Huấn luyện mạng nơ ron sử dụng thuật toán Lan truyền ngược gồm hai q trình: Q trình truyền tuyến tính q trình truyền ngược: 2.2 Ứng dụng mạng nơ ron vào toán nhận dạng chữ viết tay online 2.2.1 Thu thập liệu Chương trình thực nghiệm liệu UNIPEN *Một số đặc điểm sở liệu UNIPEN [16]: Định dạng UNIPEN định dạng ASCII thiết kế đặc biệt cho liệu thu thập với thiết bị cảm ứng nhạy cảm, điện trở hay điện từ cung cấp thông tin quỹ đạo viết bút điện từ Người dùng chuyển đổi định dạng riêng họ sang từ định dạng UNIPEN thu thập liệu trực tiếp từ định dạng Chương trình thực nghiệm xây dựng với sở liệu có 50000 mẫu sử dụng, có 70% dùng cho Train 30% cho Test, bao gồm nhiều mẫu viết nhiều người khác giới lựa chọn ngẫu nhiên để đưa vào huấn luyện 2.2.2 Mơ hình tốn nhận dạng chữ viết tay online sử dụng mạng nơ ron nhân tạo Mơ hình tổng qt hệ thống nhận dạng chữ viết tay online sử dụng mạng nơ ron nhân tạo chia thành hai giai đoạn: Giai đoạn huấn luyện giai đoạn nhận dạng - Giai đoạn huấn luyện gồm bước chính: Lựa chọn sở liệu huấn luyện Với file sở liệu tiến hành trích chọn đặc trưng đưa vào mạng nơ ron để huấn luyện 12 - Giai đoạn nhận dạng: vẽ/viết ký tự lên hình thiết bị nhận dạng, sau tiến hành trích chọn đặc trưng Những đặc trưng đưa vào mạng nơ ron huấn luyện để tiến hành nhận dạng 2.2.3 Trích chọn đặc trưng xây dựng vector đầu vào Trích chọn đặc trưng q trình tìm thơng tin hữu ích đặc trưng cho mẫu đầu vào để sử dụng cho trình huấn luyện nhận dạng Với luận văn, việc trích chọn đặc trưng mẫu đưa vào thực dựa việc đếm số điểm đen mặt phẳng nơi nét bút qua, từ mạng nơ ron lưu lại đặc trưng cho lần trích chọn đặc trưng khác mẫu khác với ký tự nhận dạng ký tự khác Bảng 2.1 Kết thực nghiệm với vector đầu vào khác m Số phần tử vector đầu vào Kết (m*n m*n+1) nhận dạng n 40% 45% 10 58% 11 82% 13 76% 12 73% 15 64% 14 62% 4 17 54% 4 16 53% 17 49% 16 45% 2.2.4 Các tham số mạng nơ ron 2.2.4.1 Số phần tử lớp - Lớp đầu vào: Số lượng node lựa chọn 11 13 - Lớp ẩn: Số lượng node tầng ẩn lựa chọn ngẫu nhiên thỏa mãn điều kiện: - Lớp đầu ra: Số lượng node lớp đầu tương ứng với số lượng ký tự khác đưa vào huấn luyện 2.2.4.2 Hệ số học (Learning Rate) Learning rate hay hệ số học thông số mà điều chỉnh để mạng nơ ron học nhanh huấn luyện hiệu 2.2.4.3 Bước đà (Momentum) Việc sử dụng Momentum (bước đà) có tác dụng giảm hậu hạn chế từ việc sử dụng hệ số học không muốn Về chất, phần đầu q trình huấn luyện, bước đà có tác dụng giúp q trình trở nên nhanh Sau trình huấn luyện gần đạt tới hội tụ Nhược điểm bước đà giá trị ngẫu nhiên phải sử dụng thử sai để tìm giá trị tốt 2.2.5 Huấn luyện mạng nơ ron Mạng nơ ron sử dụng báo cáo luận văn mạng nơ ron truyền thẳng lớp ẩn Trong lớp đầu vào lớp ẩn có số lượng nodes cho phép tùy chỉnh được, để sau q trình kiểm tra độ xác mạng nơ ron xác định cấu hình mạng tốt Ở bước huấn luyện, mạng nơ ron sử dụng thuật toán lan truyền ngược backpropagation 2.2.6 Nhận dạng chữ viết tay online sử dụng mạng nơ ron Trong giai đoạn nhận dạng, liệu chữ viết tay thu trích chọn đặc trưng Những đặc trưng sau đưa vào mạng nơ ron trải qua trình huấn luyện để tiến hành nhận dạng chữ Kết bước nhận dạng ký tự sử dụng để đánh giá hiệu mạng nơ ron nhận dạng chữ viết tay online 14 2.3 Kết luận chƣơng Chương trình bày khái quát mạng nơ ron nhân tạo, đặc trưng, kiến trúc, phương pháp huấn luyện mạng đặc biệt tìm hiểu mạng nơ ron truyền thẳng lớp ẩn thuật toán lan truyền ngược Tiếp đó, trình bày 02 mơ hình nhận dạng trình huấn luyện trình nhận dạng chữ Sau trình bày q trình trích chọn đặc trưng chữ viết tham số đặc trưng trình huấn luyện nhận dạng Q trình trích chọn đặc trưng khai thác tọa độ (x,y) mặt phẳng mà nét bút qua, đồng thời có thêm thơng tin số nét bút Luận văn xây dựng tiến hành thực nghiệm cho kết số lượng tham số đầu vào hợp lý Cuối cùng, đưa nhìn khái quát trình huấn luyện nhận dạng chữ viết online sử dụng mạng nơ ron nhân tạo Nội dung chương chương tiền đề cho việc xây dựng chương trình thực nghiệm nhận dạng chữ viết tay online mức độ nhận dạng ký tự trình bày chương luận văn 15 Chương CÀI ĐẶT THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 3.1 Cài đặt thực nghiệm 3.1.1 Ngơn ngữ lập trình Chương trình thực nghiệm nhận dạng chữ viết tay online sử dụng mạng nơ ron lập trình ngơn ngữ lập trình C# Visual Studio 2013 3.1.2 Cấu hình máy Bộ vi xử lý: Intel(R) Core(TM) i3-3120M; CPU: 2.50GHz; RAM: 6GB Hệ điều hành: Windows Ultimate 3.1.3 Cấu hình mạng nơ ron - Số node input: 11 - Các tham số lại gồm: Số node tầng ẩn, số lượng vòng lặp, ngưỡng MSE, momentum (alpha) learning rate (beta) cho phép tùy chỉnh thay đổi để tìm cấu hình mạng tốt - Alpha (momentum): Nằm phạm vi ≤∝