BÁO CÁO CUỐI KỲ MÔN HỌC TRÍ TUỆ NHÂN TẠO TÌM HIỂU MẠNG NEURAL VÀ ỨNG DỤNG TRONG NHẬN DẠNG CHỮ VIẾT TAY TIẾNG VIỆT - UET Báo cáo đạt A+ môn Trí tuệ nhân tạo UET
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ - - BÁO CÁO CUỐI KỲ MƠN HỌC TRÍ TUỆ NHÂN TẠO TÌM HIỂU MẠNG NEURAL VÀ ỨNG DỤNG TRONG NHẬN DẠNG CHỮ VIẾT TAY TIẾNG VIỆT Giảng viên: GS.TS Nguyễn Thanh Thuỷ Sinh viên thực hành: Nguyễn Quyết Thắng Mã sinh viên: 19020441 Lớp môn học: INT3401 HÀ NỘI – 2021 LỜI CẢM ƠN Trí tuệ nhân tạo (Artificial Intelligence – viết tắt AI) ngành thuộc lĩnh vực Khoa học máy tính (Computer Science), khoa học nghiên cứu hành vi thông minh nhằm giải vấn đề đặt chương trình máy tính Đây môn học lạ quan trọng sinh viên Công nghệ thông tin chúng em, môn học giúp cung cấp kiến thức cần thiết trí thơng minh hệ thống máy tính Và để có kiến thức đó, em xin chân thành gửi lời cảm ơn đến GS.TS Nguyễn Thanh Thuỷ - Giảng viên mơn học Trí tuệ nhân tạo lớp môn học INT3401 1, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội dạy, hướng dẫn tận tình, đưa chúng em đến gần với lĩnh vực hồn tồn mới, giúp em có thêm kiến thức tảng để hồn thiện báo cáo cuối kỳ quan trọng phát triển tiếp tương lai Em xin chân thành cảm ơn! Hồ Bình, ngày 27 tháng 11 năm 2021 Sinh viên Nguyễn Quyết Thắng ii TÓM TẮT Mặc dù vấn đề nhận dạng đời từ năm 1960 nhiều nhà khoa học giới quan tâm nghiên cứu Đặc biệt năm gần đây, với tốc độ tin học hóa lĩnh vực đời sống xã hội, nhận dạng khơng cịn lĩnh vực nghiên cứu lý thuyết mà ứng dụng rộng rãi thực tế Các vấn đề nhận dạng nghiên cứu nhiều bao gồm nhận dạng mẫu hình học (dấu vân tay, khn mặt, hình dạng, v.v.), nhận dạng giọng nói nhận dạng chữ viết tay Được sử dụng nhiều lĩnh vực y học, an ninh, dự báo thời tiết, dự báo cháy rừng, v.v Trong toán nhận dạng này, nhận dạng chữ viết toán ứng dụng phổ biến Nhận dạng chữ viết bao gồm hai kiểu nhận dạng chữ in nhận dạng chữ viết tay Vấn đề đặt người có kiểu chữ viết tay khác nhau: cỡ chữ, kiểu chữ, độ thanh, đầm chữ nên việc nhận diện chữ viết cho máy tính hiểu độ xác cao phức tạp yêu cầu tốn thời gian Nó thách thức nhà nghiên cứu, toán chưa giải trọn vẹn cịn phụ thuộc q nhiều vào người viết biến đổi đa dạng cách viết trạng thái tinh thần người viết Trong khuôn khổ báo cáo này, em xin trình bày phương pháp nhận diện chữ viết tay sử dụng mạng neural nhân tạo Em lựa chọn mô hình mạng neural nhân tạo tiêu chuẩn, mạng Perceptron, mạng neural Kohonen để thực tác vụ nhận dạng chữ viết tay Tiếng Việt Tìm hiểu thành phần kiểu kiến trúc mạng neural, phân biệt số loại mạng neural Vận dụng mạng Perceptron, mạng Kohonen để nhận dạng ký tự viết tay tiếng Việt rời rạc trực tuyến iii MỤC LỤC CHƯƠNG I TỔNG QUAN VỀ MẠNG NEURAL 1.1 Khái niệm mạng neural 1.1.1 Neural 1.1.2 Lịch sử mạng neural 1.1.3 Neural nhân tạo 1.1.4 Mạng neural nhân tạo 1.2 Đặc tính mạng neural[5] 1.2.1 Tính phi tuyến 1.2.2 Tính chất tương ứng đầu vào, đầu 1.2.3 Tính chất thích nghi 1.2.4 Tính chất đưa lời giải có chứng 1.2.5 Tính chất chấp nhận sai sót 1.2.6 Khả tích hợp VLSI (Very-Large-Scale-Intergrated) .8 1.2.7 Tính chất tương tự phân tích thiết kế 1.3 Phân loại mạng neural 1.3.1 Phân loại theo kiểu liên kết neural 1.3.2 Một số loại mạng neural điển hình[12] 1.4 Xây dựng mạng neural[9] 12 1.5 Huấn luyện mạng neural 13 1.5.1 Phương pháp học 13 1.5.2 Thuật toán học 15 1.6 Thu thập liệu cho mạng neural 15 1.7 Biểu diễn tri thức cho mạng neural 16 1.8 Ứng dụng mạng neural 17 iv CHƯƠNG II ỨNG DỤNG MẠNG NEURAL TRONG NHẬN DẠNG CHỮ VIẾT TAY TIẾNG VIỆT 2.1 Giới thiệu tốn nhận dạng kí tự 19 2.1.1 Giới thiệu sơ lược nhận dạng 19 2.1.2 Giới thiệu nhận dạng chữ viết tay 20 2.1.3 Nhận dạng chữ viết tay mạng neural[5] 22 2.1.4 Phát biểu toán 22 2.1.5 Các bước giải toán sử dụng mạng neural nhận dạng ký tự .23 2.2 Mạng Perceptron nhận dạng ký tự 23 2.2.1 Giới thiệu mạng neural Perceptron .23 2.2.2 Cấu trúc mạng neural Perceptron .23 2.2.3 Thực thi mạng neural Perceptron 24 2.2.4 Nhận xét 27 2.3 Mạng Kohonen nhận dạng ký tự 28 2.3.1 Giới thiệu mạng neural Kohonen 28 2.3.2 Cấu trúc mạng neural Kohonen[10] 29 2.3.3 Thực thi mạng neural Kohonen[10] 29 2.3.3 Nhận xét 32 CHƯƠNG III KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Những kết mà báo cáo thực 33 Hướng phát triển 33 TÀI LIỆU THAM KHẢO v CHƯƠNG I TỔNG QUAN VỀ MẠNG NEURAL 1.1 Khái niệm mạng neural 1.1.1 Neural Neural tế bào thần kinh có khả cảm ứng, phát sinh xung thần kinh dẫn truyền xung điện Neural đơn vị cấu tạo hệ thần kinh hầu hết loài động vật thành phần quan trọng bậc não Các tế bào thần kinh khác kích thước, hình dạng cấu trúc tùy thuộc vào vai trị vị trí chúng Tuy nhiên, gần tất tế bào thần kinh có ba phần thiết yếu: Thân tế bào, sợi trục đuôi gai: - Thân tế bào: Còn gọi soma, thân tế bào lõi tế bào thần kinh Cơ thể tế bào mang thông tin di truyền, trì cấu trúc tế bào thần kinh cung cấp lượng để thúc đẩy hoạt động - Sợi trục: Sợi trục cấu trúc dài, giống đuôi, kết hợp với thể tế bào điểm nối chuyên biệt gọi đồi sợi trục Nhiều sợi trục cách ly chất béo gọi myelin - Sợi nhánh: Sợi nhánh rễ sợi phân nhánh khỏi thân tế bào Tế bào thần kinh có nhiều gai, gọi gai Nhìn chung chúng có tùy thuộc vào vai trị chúng Hình 1.1: Sơ đồ neural sinh học 1.1.2 Lịch sử mạng neural Nghiên cứu não người thực từ hàng nghìn năm trước Với phát triển khoa học kỹ thuật, đặc biệt với tiến điện tử đại, khơng có ngạc nhiên người nghiên cứu tế bào thần kinh nhân tạo Sự kiện đánh dấu đời mạng neural nhân tạo xảy vào năm 1943, nhà thần kinh học Warren McCulloch nhà toán học Walter Pitts lúc người phân tích tế bào thần kinh nhân tạo đơn giản hố cách chúng thực phép tính logic Về bản, mơ hình neuron nhân tạo McCullough Pitts dùng ngày nay, gồm có hai thành phần: thành phần thực phép tính tổng tuyến tính đầu vào với hệ số tỷ trọng đó, cịn thành phần thứ hai hàm số nhận tổng làm biến số Họ sử dụng mạch điện để xây dựng mạng neural đơn giản mạch điện [8] Sự phát triển máy tính vào đầu năm 1950 giúp cho việc mơ hình hóa ngun lý lý thuyết liên quan tới cách thức người suy nghĩ trở thành thực Nathanial Rochester sau nhiều năm làm việc phịng thí nghiệm nghiên cứu IBM có nỗ lực để mơ mạng neural Năm 1956 dự án Dartmouth nghiên cứu trí tuệ nhân tạo (Artificial Intelligence) mở thời kỳ phát triển lĩnh vực trí tuệ nhân tạo lẫn mạng neural Tác động tích cực thúc đẩy quan tâm nhà khoa học trí tuệ nhân tạo trình xử lý mức đơn giản mạng neural não người Trong năm dự án Dartmouth, nhà sinh học chuyên nghiên cứu neural Frank Rosenblatt bắt đầu nghiên cứu Perceptron năm 1958 Sau thời gian nghiên cứu Perceptron cài đặt phần cứng máy tính xem mạng neural lâu đời sử dụng đến ngày Perceptron tầng hữu ích việc phân loại tập đầu vào có giá trị liên tục vào hai lớp Hình 1.2: Mạng Perceptron – Nền tảng Deep Learning Năm 1959, Bernard Widrow Marcian Hoff thuộc trường đại học Stanford xây dựng mô hình ADALINE (ADAptive LINear Elements) MADALINE (Multiple ADAptive LINear Elements) Các mơ hình sử dụng quy tắc học LMS (Least-Mean-Squares) MADALINE mạng neural áp dụng để giải tốn thực tế Nó lọc thích ứng có khả loại bỏ tín hiệu dội lại đường dây điện thoại Ngày mạng neural sử dụng ứng dụng thương mại Năm 1973 Von der Marlsburg: đưa trình học cạnh tranh self – organization Năm 1974 Paul Werbos phát triển ứng dụng phương pháp học lan truyền ngược (back-propagation) Tuy nhiên phải vài năm phương pháp trở lên phổ biến Các mạng lan truyền ngược biết đến nhiều áp dụng rộng rãi nhất ngày Khoảng đầu thập niên 80, đóng góp lớn cho mạng neural giai đoạn phải kể đến như: Kohonen mạng SOM (Self Organizing Map), Grossberg mạng ART (Adaptive Resonance Theory) Trong đóng góp lớn Hopfield gồm hai mạng phản hồi: Mạng rời rạc năm 1982 mạng liên tục năm 1984 Đặc biệt, ông dự kiến nhiều khả tính tốn lớn mạng mà neural khơng có khả Cống hiến Hopfield không giá trị nghiên cứu khoa học mà thúc đẩy trở lại nghiên cứu mạng neural Năm 1987, hội thảo quốc tế mạng neural Viện kỹ sư điện điện tử IEEE (Institute of Electrical and Electronic Engineer) thu hút 1800 người tham gia Tính từ năm 1987 đến nay, hàng năm giới mở hội nghị toàn cầu chuyên ngành neural IJCNN (International Joit Conference on Neural Networks) Ngày nay, không dừng lại mức nghiên cứu lý thuyết, nghiên cứu ứng dụng mạng neural để giải toán thực tế diễn khắp nơi Các ứng dụng mạng neural đời ngày nhiều ngày hồn thiện Điển hình ứng dụng: xử lý ngôn ngữ, nhận dạng ký tự, nhận dạng tiếng nói, nhận dạng mẫu, xử lý tín hiệu, lọc liệu, … 1.1.3 Neural nhân tạo Một neural nhân tạo đơn vị tính tốn có nhiều đầu vào đầu Mỗi đầu vào lấy từ liên kết Hàm neural hàm kích hoạt phi tuyến chuyển đổi tổ hợp tuyến tính tất tín hiệu đầu vào thành tín hiệu đầu Hàm kích hoạt đảm bảo tính phi tuyến tính mạng Hình 1.3: Mơ hình neural nhân tạo [6] Các thành phần neural nhân tạo bao gồm: + Tập liên kết: Đây thành phần quan trọng ANN, thể mức độ quan trọng (độ mạnh) liệu đầu vào trình xử lý thơng tin (q trình chuyển đổi liệu từ Layer sang layer khác) Quá trình học (Learning Processing) ANN thực trình điều chỉnh trọng số (Weight) input data để có kết mong muốn + Bộ tổng (Summing function): Tính tổng trọng số tất input đưa vào Neural (phần tử xử lý PE) + Hàm truyền (Transfer function): Hàm tổng neural cho biết khả kích hoạt (Activation) neural cịn gọi kích hoạt bên (internal activation) Các Neural sinh output khơng ANN Mối quan hệ Internal Activation kết (output) thể hàm chuyển đổi (Transfer Function) + Ngưỡng (còn gọi độ lệch -bias): Ngưỡng thường đưa vào thành phần hàm truyền Hệ số điều chỉnh b có tác dụng tăng lên giảm đầu vào thực hàm truyền tùy theo hàm truyền dương hay âm + Tập đầu vào: Là tín hiệu vào (input signals) neural, tín hiệu thường đưa vào dạng vector N chiều + Đầu ra: Là tín hiệu đầu neural, với neural có tối đa đầu Kết ANN giải pháp cho vấn đề (câu hỏi) ta cần biết (hay trả lời) Điển hình cơng nghệ Google, hệ tìm kiếm thơng tin Web, mà dùng thường xun - Trích chọn thơng tin (information extraction): từ nguồn nhiều tệp văn hay tiếng nói, tìm “đoạn bên trong” số tệp liên quan đến vấn đề (câu hỏi) ta cần biết hay trả lời Một hệ trích chọn thơng tin “lần” vào trang Web liên quan, phân tích bên trích thông tin cần thiết - Phát tri thức khai phá liệu văn (knowledge discovery and text data mining): Từ nguồn nhiều văn chí khơng có quan hệ với nhau, tìm tri thức trước chưa biết Ngồi ra, cịn nhiều tốn cơng nghệ xử lý ngôn ngữ khác, giao diện người máy ngôn ngữ tự nhiên, hệ hỏi đáp, hệ sinh ngôn ngữ … 2.1.2 Giới thiệu nhận dạng chữ viết tay Nhận dạng chữ viết bao gồm hai kiểu nhận dạng chữ in nhận dạng chữ viết tay Cho đến toán nhận dạng chữ in giải trọn vẹn với đời nhiều hệ thống nhận dạng đạt tới độ xác gần tuyệt đối Trên giới có nhiều chương trình nhận dạng chữ viết (chữ in viết tay) thứ tiếng Anh, Nga… hệ OMNIPAGE, READ-WRITE, WORD-SCAN, Tiêu biểu có hệ nhận dạng chữ in dựa mơ hình mạng neural bốn lớp J Wang J.S.N Jean đạt tới tỷ lệ xác 99.75% [12] Ở Việt Nam có sản phẩm VNDOCR Viện Công nghệ thông tin nhận dạng chữ in tiếng Việt với độ xác tới 99%, có khả nhận dạng trực tiếp loại tài liệu quét qua máy quét, không cần lưu trữ dạng tệp ảnh trung gian Các trang tài liệu quét lưu trữ dạng tệp tin nhiều trang Kết nhận dạng lưu trữ sang định dạng Microsoft Word, Excel phục vụ tốt nhu cầu số hóa liệu Hệ WORC cơng ty 3C, VIET-IN công ty SEATIC, Image Scon Trung Tâm Tự động hoá thiết kế 20