Nhận dạng chữ viết tay tiếng việt sử dụng mạng nơron

21 LỜI CẢM ƠN LỜI CAM ĐOAN Xin xin châncam thành cảmđềơn PGS.TS Bá Dũng tậnnhận tình Tôi đoan tàiThầy luận giáo, văn “Sử dụngLê mạng noron cho dạy, hướng dẫn suốt thời gian nghiên cứu thực luận văn dạng ký tự tiếng Việt” công trình nghiên cứu thân Các số liệu, kết nghiên cúu nêu luận văn trung thực không chép y Tôi xin chân thành cảm ơn Thầy giáo Viện Công nghệ Thông nguyên từ công trình khác Tôi xin chịu trách nhiệm luận văn tin Thầy giáo Truông Đại học sư phạm Hà Nội giảng dạy, giúp đờ suốt thời gian học tập Xin cảm ơn tất anh chị học viên Cao học khóa 15 - Khoa học máy tính, cảm ơn cán công chức, giảng viên Trường Đại học sư phạm Hà Nội tạo điều kiện tốt cho suốt hai năm học qua Hà Nội, tháng 11/2013 Xin cảm ơn bạn bè, đồng nghiệp, gia đình tạo điều kiện Hà Nội, tháng 11/2013 Nguyễn Đửc Thịnh Nguyễn Đức Thịnh MỤC LỤC Trang LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC DANH MỤC CÁC TỪ TIẾNG ANH VIẾT TẮT DANH MỤC CÁC HÌNH LỜI NÓI ĐÀU CHƯƠNG MỘT SÓ VÁN ĐÈ VÈ MẠNG NƠRON .10 1.1 .Mạng Nơron sinh học 10 1.2 Mạn g No-ron nhân tạo 11 1.2.1 Nơ-ron nhân tạo 11 1.2.2 Mạng nơ-ron nhân tạo 17 1.2.2.1 Mạng truyền thẳng 18 1.2.2.2 Mạng hồi quy (Recurrent Neutral Network) 20 1.3 .Đặc trưng mạng noron 21 1.4 Mạng KOHONEN 24 1.4.1 Giới thiệu mạng Nơron Kohonen 24 1.4.2 Cấu trúc mạng noron Kohonen 25 1.4.3 Thực mạng nơron Kohonen .27 1.4.3.1 Chuẩn hóa đầu vào .27 1.4.3.2 Tín h toán đầu cho nơron .28 1.4.3.3 Chọn nơron chiến thắng 28 1.4.3.4 Quá trình học mạng nơron Kohonen 29 1.4.4 Kết luận 33 CHƯƠNG MỘT SỐ VÁN ĐỀ NHẬN DẠNG KÝ TỤ sử DỤNG MẠNG NƠRON .35 2.1 N hận dạng ký tự .35 2.1.1 Giói thiệu nhận dạng ký tự 35 2.1.2 Mô hình tong quát hệ nhận dạng ký tự 38 2.2 Mộ t số phương pháp nhận dạng ký tự 38 2.2.1 Đ ấi sánh mẫu .38 2.2.2 P hương pháp tiếp cận cấu trúc 39 2.2.3 Mô hình Markov ẩn (HMM - Hidden Markov Model) 40 2.2.4 Máy véc tơ tựa (SVM) .40 2.2.5 Mạng nơron 41 2.2.5.1 Những toán thích họp 41 2.2.5.2 Các lĩnh vực ứng dụng mạng nơron 41 CHƯƠNG ỦNG DỤNG MẠNG KOHONEN CHO NHẬN DẠNG KÝ Tự 43 3.1 .Bài toán 43 3.1.1 Phát biếu toán 43 3.1.2 Ỷ tưởng toán 43 3.2 Xá c định tham số mạng cho nhận dạng ký tự 43 3.2.1 Các bước giải toán sử dụng mạng nơron Kohonen 43 3.2.1.1 Xây dựng giao diện vẽ 44 3.2.1.2 Xây dựng mạng nơron Kohonen 44 3.2.1.3 X lý liệu (phân tích ảnh) .45 3.2.1.4 Huấn luyện mạng nơron Kohonen 46 3.2.1.5 Nhận dạng mạng noTon Kohonen 48 3.2.1.6 Kết luận 48 3.2.2 Giao diện chương trình .49 3.2.3 Quá trình nhận dạng 50 65 3.3 .Tí DANH MỤC CÁC TỪ TIẾNG ANH VIẾT TẮT nh toán huấn luyện mạng Noron 50 3.3.1 Tính toán đầu mạng KOHONEN 50 3.3.2 Huấn luyện mạng noronKohonen 52 3.4 .Kết chuơng trinh 54 3.5 .Kế t đạt được, hướng phát triển 56 3.5.1 Kết .56 3.5.2 Hướng phát triển 56 KẾT LUẬN 57 TÀI LIỆU THAM KHẢO 58 DANH MỤC CÁC HÌNH • Hình 1.1 Mô hình noTơn sinh học Hình 1.2 Mô hình nơron Hình 1.3 Mạng truyền thẳng lóp Hình 1.4 Mạng truyền thẳng nhiều lớp Hình 1.5 Mạng lớp có nối nguợc Hình 1.6 Mạng nhiều lóp có nối ngược Hình 1.7 Cấu trúc mạng Kohonen PHÀN MỞ ĐẦU Công nghệ thông tin trở lên quan trọng sống hàng ngày Trong công nghệ thông tin, trí tuệ nhân tạo quan tâm nhiều xã hội Nó giải pháp mang đến hy vọng mô phong não người Nghiên cứu mô trí não, cụ tế bào thần kinh (Neural) ước muốn từ lâu nhân loại Với khoảng 15 tỷ Neural não người, Neural nhận hàng vạn tín hiệu từ khớp thần kinh coi chế sinh vật phức tạp Bộ não người có khả giải nhiều vấn đề như: nghe, nhìn, nói, hồi ức thông tin, phân biệt, phân tích mẫu dựa số thông tin có Neural thần kinh yếu tố giúp làm nhũng công việc Bộ não phân công công việc xủ lí cho hàng tỉ Neural có liên quan, điều khiển mối liên hệ Neural Neural không ngừng nhận truyền thông tin lẫn Cơ chế hoạt động Neural [1] bao gồm: liên kết (association), tống quát hóa (generation), tự tố chức (Self Orgazation) Các Nơron tự liên kết với thành mạng xử lý Mỗi mạng gồm hàng vạn phần tử Nơron khác Mỗi phần tử Noron có khả liên kết với hàng nghìn Nơron khác Hiện nay, mạng Nơron đưa vào ứng dụng rộng rãi nhiều lĩnh vực Và toán nhận dạng toán sử dụng tính mạng Nơron nhiều Bài toán nhận dạng với trợ giúp mạng Nơron ngày không dừng mức độ nghiên cứu mà trở thành lĩnh vực đế áp dụng vào thực tế Các toán nhận dạng nghiên cứu nhiều tập trung vào nhận dạng mẫu hình học (vân tay, mặt người, hình khối ), nhận dạng tiếng nói nhận dạng chữ viết Chúng ứng dụng lĩnh vực tự động hóa điều khiển rô-bốt, điều khiến thiết bị giọng nói, Trong số toán nhận dạng này, nhận dạng chữ viết ứng dụng phố biến Nhận dạng chữ viết ứng dụng trình tự động hóa công việc văn phòng nhập liệu, lưu trữ văn bản, sách báo, phân loại thư tín, , công việc nhàm chán đòi hỏi nhiều thời gian người Nhận dạng mạng Nơron úng dụng hàng loạt lĩnh vực quan trọng sống, phục vụ lợi ích trực tiếp thiết thực cho công việc người Mục đích luận văn là: Trình bày kết nghiên cứu lý thuyết phục vụ cho chủ đề: “Nhận dạng chữ viết tay Tiếng Việt sử dụng mạng Nơron” Tuy nhiên, hạn chế mặt thời gian độ phức tạp 10 CHƯƠNG MỘT SỎ VÁN ĐỀ VÈ MẠNG NƠRON 1.1 Mạng Nơron sinh học Bộ não người có khoảng 1010 tế bào thần kinh liên kết chặt chẽ với gọi no-ron Mỗi nơ-ron gồm có ba phần: Thân nơ-ron với nhân bên (soma), đầu sợi trục thần kinh (axon) hệ thống tế bào hình (dendrite) Te bào hình có nhiệm vụ mang tín hiệu điện tới tế bào thân, tế bào thân thực gộp (Sum) phân ngưỡng (Thresholds) tín hiệu đến Sợi trục thần kinh làm nhiệm vụ đưa tín hiệu thân Trong thực tế có nhiều dây thần kinh vào chúng bao phủ diện tích lớn (0.25 mm2) đế nhận tín hiệu từ nơ-ron khác Đầu thần kinh rẽ nhánh nhằm chuyến giao tín hiệu từ thân nơ-ron tới nơ-ron khác Các nhánh đầu thần kinh nối với khóp thần kinh (synapse) Các khớp thần kinh nối với thần kinh vào nơ-ron khác Sự xếp nơ-ron mức độ mạnh yếu khóp thần kinh định trình hóa học phức tạp, thiết lập chức mạng nơ-ron, nơ-ron sửa đối tín hiệu khóp, nơ-ron nhân tạo gọi trọng số 11 giải thích nhừng nghiên cứu khoa học mạng nơ-ron nhân tạo có điều kiện phát triến với phát triến kỹ thuật công nghệ phần cứng máy tính Có nhiều loại nơ-ron khác kích thước khả thu phát tín Hình 1.1 Mô hình nơ-ron sinh học Hoạt động nơ-ron sinh học mô tả tóm tắt sau: Mỗi nơ-ron nhận tín hiệu vào tù’ tế bào thần kinh khác Chúng tích họp tín hiệu vào, tống tín hiệu vượt ngưỡng chúng tạo tín hiệu gửi tín hiệu tới nơ-ron khác thông qua dây thần kinh Các nơ-ron liên kết với thành mạng Mức độ bền vững liên kết net i-ị 12 nơ-ron nhân tạo kết nối chúng (kết nối gọi weights) Nơ-ron đơn vị tính toán có nhiều đầu vào đầu ra, đầu vào đến từ khớp nối thần kinh (synapse) Đặc trưng nơ-ron hàm kích hoạt phi tuyến chuyến đối tố họp tuyến tính tất tín hiệu đầu vào thành tín hiệu đầu Một nơ-ron nhân tạo đon vị tính toán hay đon vị xử lý thông tin sở cho hoạt động mạng nơ-ron Các thành phần mô hình nơ-ron.[ 1] - Trọng số tống tín hiệu đầu vào: N (1.1) N (ii) Dạng toàn phưong: (1.2) (iii) Dạng mặt câu: (1.3) Trong đó: p w j = \,N tâm bán kính mặt cầu 41 (SV - Support Vector), sv lọc tù’ tập mẫu huấn luyện cách giải toán tối 1ra lồi Theo phương pháp phân lóp SVM Công việc thực theo hai bước sau đây: Bước 1: Xảy dựng mô hình huấn luyện Bước 2: Phân lớp nhận dạng 2.2.5 2.2.5.1 Mạng nơron Những toán thích hợp Mạng nơron coi hộp đen biến đối véc-tơ đầu vào m biến thành véctơ đầu n biến Tín hiệu tham số thực, (tốt nằm khoảng [0, 1], [-1, 1]), số nhị phân 0, 1, hay số lưỡng cực -1, +1 số biến véc-tơ vào không bị hạn chế xong ảnh hưởng tới thời gian tính tải liệu máy tính Nói chung, lớp toán áp dụng cho nơ-ron phân chia thành bốn loại: - Phân lớp (classiíĩcation) - Mô hình hoá (modeling) - Biến đối, thực ánh xạ từ không gian đa biến vào không gian kê là: đa biến khác tưong úng (transformation and mapping) 42 - Xử lý tín hiệu: Phân tích tín hiệu địa chấn hình thái học - Nhận dạng mẫu: Gồm việc tách nét đặc biệt mẫu, phân loại phân tích tín hiệu đa, nhận dạng hiểu tiếng nói, nhận dạng vân tay, ký tự, chữ viết, - Y học: Phân tích hiếu tín hiệu điện tâm đồ, chuẩn đoán bệnh, xử lý ảnh y học - Các hệ thống quân sự: Phát thủy lôi, phân loại luồng đa, nhận dạng người nói - Giải trí: Hoạt hình, hiệu ứng đặc biệt, dự báo thị trường - Các hệ tài chính: Gồm phân tích thị trường chứng khoán, định giá bất động sản, cho vay, kiếm tra tài sản cầm cố, đánh giá mức độ họp tác, phân tích đường tín dụng, cấp phát thẻ tín dụng, dự báo tỷ giá tiền tệ thương mại an toàn - Trí tuệ nhân tạo: Gồm hệ chuyên gia, 43 CHƯƠNG ỨNG DỤNG MẠNG KOHONEN CHO NHẬN DẠNG KÝ Tự 3.1 3.1.1 Bài toán Phát biếu toán Cho toán nhận dạng kí tự với đầu vào ký tự tiếng Việt vẽ giao diện sử dụng chuột Yêu cầu xây dựng chương trình nhận dạng với đầu vào giao diện cho phép người sử dụng vẽ ký tự lên, đế có đầu ký tự tương ứng với ký tự vẽ vào Chương trình sử dụng công cụ mạng nơron, cụ thể luận văn dùng mạng nơron Kohonen 3.1.2 Ý tưởng toán - Tạo giao diện đế vẽ ký tự - Chuyền đổi ảnh ký tự sang ma trận điềm ảnh - Chuyến thành véctơ tuyến tính đưa vào mạng nơron - Dựa vào mạng nơron huấn luyện mạng với tập ký tự cần nhận dạng 44 45 ảnh ký tự’ thành ma kích thước 3.2.1.1 Xâytrận dựngcógiao diện vẽ lớn ký tự biếu diễn cách chi tiết Tuy nhiên, việc dẫn đến chi phí xử lý ma trận lớn Ngược lại, ta dùng ma trận kích thước nhỏ để biểu diễn ảnh ký tự dẫn - Xây dựng giao diện đồ họa, cho phép người sử dụng dùng chuột đến việc mát thông tin Đe cho cân hợp lý, ta chuấn hóa cỡ vẽ ký tự cần nhận dạng ma trận 10*10, tức ảnh biểu diễn 100 phần tử Lớp đầu vào gồm 100 noron nhận giá trị từ 100 thành phần tương ứng véctơ đầu vào Dữ liệu đầu vào có từ việc véctơ hóa từ ma trận điếm ảnh ký tự phương pháp chia lưới Lớp đầu có số nơron với số mẫu nhập vào 3.2.1.3 Xử lý liệu (phân tích ảnh) Hình 3.1: Quá trình tìm giói hạn ký tự Quá trình phân tích ảnh trình tìm đặc tính ký tự Các điểm Hình 3.3: Quá trình ánh xạ từ ma trận điểm sang ma trận giá trị Hình 3.2: Quá trình lấy mẫu xuống 46 3.2.1.4 Huấn luyện mạng noTon Kohonen.[2] Một mạng nơron xây dựng phải huấn luyện không gian đầu vào chuẩn bị trước Khi hoạt động, mạng nơron đọc giá trị huấn luyện Sự phức tạp tham số cho việc huấn luyện mạng: Việc chọn giá trị cho tham số (tốc độ học, số lần lặp cần thiết, giá trị ngưõng lỗi ) dựa vào kinh nghiệm qua lần tiến hành thực nghiệm Mục đích trình huấn luyện hiệu chỉnh trọng số w cho giống với véctơ đầu vào Thực hiệu chỉnh véctơ trọng số ứng với tùng ký tự mẫu Ket thu ma trận trọng số w giống với tập véctơ đầu vào Huấn luyện bao gồm bước: 47 Hình 3.4: Quá trinh huấn luyện mạng nơron Kohonen 48 3.2.1.5 Nhận dạng mạng nơron Kohonen.[2] Quá trình nhận dạng diễn theo bước sau: Bước 1: Người sử dụng vẽ ký tự cần nhận dạng Bước 2: Ký tự lấy mẫu xuống lưới kích thước 10*10 Ta ma trận hai chiều kích thước 10* 10 có giá trị tưcmg ứng với giá trị diêm ảnh Bước 3: Chuyển ma trận điểm ảnh thành véctơ đầu vào có kích thước 10* 10 bao gồm giá trị 0.5, - 0.5 Bước 4\ Vécto đầu vào đưa vào mạng nơron đế tìm noron chiến thắng Bước 5: Thiết lập mảng chứa ký tự tập mẫu, với số mạng tương úng với số noTon đầu Bước 6: Ánh xạ nơron chiến thắng vào mảng đế tìm ký tự tương ứng với nơron chiến thắng 49 Ngoài yếu tố đầu vào đầu có kết nối noron Các trọng số không tất kết nối Mỗi kết nối đuợc định trọng số Trọng số yếu tố xác định đầu mạng nơron ứng với mẫu đầu vào Đe xác định tống số kết nối phải nhân số nơron đầu vào với số nơron đầu Mạng có kết nối đầy đủ nghĩa đầu vào kết nối với tất đầu Quá trình đào tạo trình tìm giá trị xác cho trọng số Hình 3.5: Giao diện chương trình mô Một số chức chương trình - Vẽ chữ: Vùng đế vẽ ký tự lên 50 - Học: Huấn luyện mạng - Xóa mẫu: Xóa ký tự mẫu chọn - Thêm ký tự: Dùng đế thêm ký tự vào tập mẫu - Nhận dạng: Nhận dạng ký tụ’ vẽ vào - Xóa chữ: Xóa ký tự vẽ vùng vẽ chữ - Ma trận: Hiển thị ảnh ký tự lên lưới 3.2.3 Quá trình nhận dạng [2] Chú v: Mỗi lần ký tự vẽ đế huấn luyện hay đế nhận dạng, phải lấy mẫu xuống Chúng ta tải tập huấn luyện từ fíle tạo sẵn sample.xls cách nhấn nút "Mau " tự nhập mẫu đế huấn luyện cách vẽ ký tự vào vùng vẽ ký tự nhấn "Thêm ký tự", có hộp thoại xuất hiện, nhắc bạn đánh vào ký tự tương ứng đế nhận dạng ký tự tương ứng với ký tự vừa vẽ 51 đến véctơ đầu vào mà dùng để đưa vào mạng Mạng nơron yêu cầu làm điếm đầu vào Vì gán giá trị 0.5 -0.5 cho điểm ảnh Một mảng 100 giá trị đưa vào đầu vào Điều thực cách gửi mảng đầu vào đến phương thức "winner" mạng Kohonen Nó trả lại nơron chiến thắng 100 đầu vào lưu số nguyên "best" Nơron chiến thắng hữu ích, không cho bạn thấy ký tự thực nhận dạng Đe xếp noTon với ký tự nhận dạng được, hình ảnh ký tự mà mạng đào tạo phải đưa vào mạng nơron chiến thắng xác định Ví dụ, muốn đưa hình ảnh huấn luyện cho ký tự Ô vào mạng, nơron chiến thắng nơron #4, phải biết nơron #4 nơron học đế nhận dạng mẫu ký tự Điều thực cách gọi phương thức "mapNeurons" Phương thức "mapNeurons" trả lại mảng ký tự Chỉ số phần tử mảng tương ứng với nơron nhận dạng ký tự Phần lớn công việc thực tế thực mạng nơron thực phương thức "winner" Đầu tiên phương thức thực chuấn hóa đầu vào, tính giá trị đầu cho nơron Nơron có giá trị lớn chọn nơron chiến thắng Đầu tiên biến "biggest" thiết lập giá trị nhỏ đế chưa có nơron chiến thắng 52 Ta thấy tính kết từ mạng nơron trình nhanh Trên thực tế, xác định trọng số nơron phần phức tạp trình 3.3.2 Huấn luyện mạng noron Kohonen Học trình lựa chọn ma trận trọng số nơron nhận mẫu đầu vào Một mạng Kohonen học cách liên tục đánh giá tối ưu hóa ma trận trọng số Đe làm điều này, ma trận trọng số khởi tạo phải định Nó chọn giá trị ngẫu nhiên Khi ma trận trọng số khởi tạo ngẫu nhiên trình huấn luyện bắt đầu Đầu tiên, đánh giá ma trận trọng số đế xác định mức lỗi hành Lỗi xác định trình ánh xạ đầu vào huấn luyện đến đầu tốt Lỗi tính toán phương thức "evaĩuateErrors" lớp KohonenNetwork Neu mức lỗi nhỏ, nhỏ 10%, trình hoàn thành Quá trình huấn luyện bắt đầu người sử dụng nhấn vào nút: "Học” Quá trình tính số nơron đầu vào đầu Đầu tiên số nơron đầu vào định từ kích thước hình ảnh lấy mẫu xuống 100 Còn số đầu tưong ứng với số ký tự mẫu 54 53 Phương thức học lặp với số vòng lặp không xác định Nhung lẽ) 23 chắn ràng nhiềuquả lần lặp Khi số mẫu huấn luyện phù hợp 3.4 Kết Ô VẼ CHỮ chương trình với nơron đầu ra, huấn luyện xảy nhanh Hi H MA TRẬN LƯỚI Một thủ tục có tên "evaluateErrors" gọi đế đánh giá trọng số làm việc tốt Điều xác định cách nhìn vào liệu huấn luyện đến nơron đầu raMẦU tốt nhưXÓAthế Neu có nhiều nơron đầu THÊM CHỮ NHẠN DẠNG nhận dạng kích hoạt cho mộtKý tựmẫu huấn luyện tập trọng số không tốt tự nhậntập dạng huấn được: N luyện truyền đến noTon đầu Một tỷ lệ lỗi tính toán dựaKýtrên tốt Một lổi xác định, phải xem có mức lỗi tốt từ trước đến không Neu thỏa mãn lỗi đưa vào mức MẪUKÝTự Ô VẼ CHỮ lỗi tốt trọng số nơron trì cách chép đế lưu lại Tống số noron chiến thắng sau tính toán Điều cho phép ta MATRẠNLƯỚI xác định trường hợp nơron đầu kích hoạt Ngoài ra, tỷ lệ lỗi mức chấp nhận (10%) trình huấn luyện dừng Neu nơron chiến thắng nơron buộc phải trở thành nơron chiến thắng Ký tự nhận dạng Ký tự nhận dạng được: ô 55 Hình 3.8: Nhận dạng ký tự Á 56 3.5 3.5.2 Kết đạt được, hướng phát triển Kết đạt Nắm kiến thức mạng nơron nhân tạo mạng nơron Kohonen Nắm đượcquy trình chung việc xây dựng hệ thống nhận dạng chữ viết Sử dụng phương pháp tính tích vô hướng hai vector đế tìm nơron thắng Đưa phương pháp trích chọn đặc trưng cho nhận dạng ký tự quang (cụ thê chừ viết tay chuột) Phát triển thành công phần mềm nhận dạng ký tự quang (cụ thể chữ viết tay chuột) Chương trình ứng dụng bước đầu thử nghiệm, độ xác tập mẫu (150 mẫu) khoảng 85% Hướng phát triển Bên cạnh kết đạt được, có nhừng vấn đề chưa đề cập, giải luận văn Trong thời gian tới, tiếp tục nghiên 57 KÉT LUẬN Hiện nay, nước thực nghiên cún khoa học chuyến dần sang hướng xây dựng hệ thống thông minh, mạng nơron nối lên giải pháp đầy hứa hẹn Nó nhũng un diêm nối bật so với hệ thống khác khả mềm dẻo, linh hoạt tính toán thô, nhũng điếm khác biệt quan trọng óc người với máy thông minh nhân tạo Nhưng mà đòi hỏi độ phức tạp cao thiết kế cài đặt hệ thống ứng dụng đế đạt tính tốt Khả cải thiện không ngừng tưong lai vói phát triển mạch tích hợp phần cứng cỡ lớn nhớ ngày lớn cho phần mềm máy tính Một điều dễ nhận thấy mạng nơron mô trực tiếp não người mặt cấu trúc mục tiêu trình học nhung quy tắc học đưa túy mang tính toán học chưa thực sự bắt chước mặt thần kinh sinh học trình học xảy não người Trong trình nghiên cứu ban đầu mức mô rời rạc, độ xác 85 % nên cần chỉnh sửa nâng cấp nghiên cứu Hướng phát triến sử dụng nhận dạng cho văn không dừng lại mức ký tự đề tài [...]... ta đã thấy được các đặc điếm giống và 34 Mạng nơron Kohonen được sử dụng trong rất nhiều úng dụng, thông thường trong việc gom cụm hoặc mô hình hóa dữ liệu đa chiều thành các lưới có hai hoặc ba chiều Có thế kế đến là nhận dạng tiếng nói (Kohonen, 1989), 35 CHƯƠNG 2 MỘT SÓ VÁN ĐÈ NHẬN DẠNG KÝ Tự sử DỤNG MẠNG NƠRON 2.1 Nhận dạng ký tự 2.1.1 Giới thiệu về nhận dạng ký tự Từ thập niên 60 của thế kỷ trước... của mạng noTon Kohonen Đầu ra của mạng nơron Kohonen thường là chỉ số của nơron chiến thắng, ví dụ Nơron «23 Hình 1.8: Mạng noron Kohonen điển hình 1.4.3 Thực hiện mạng nơron Kohonen 1.4.3.1 Chuẩn hóa đầu vào Mạng Kohonen yêu cầu đầu vào được chuẩn hóa Dữ liệu đầu vào nên có giá trị nằm trong khoảng -1 đến 1 Neu một hoặc nhiều hơn nơron đầu vào sử dụng các giá trị chỉ nằm trong khoảng từ 0 đến 1 thì mạng. .. không có chức năng xử lý gì trên đấy Đối với mạng nơron Kohonen yêu cầu đầu vào được chuấn hóa có giá trị trong phạm vi từ -1 đến +1 Đầu ra của mạng Kohonen không bao gồm đầu ra của một số nơron Đối với mạng nơron truyền thắng, nếu có năm nơron đầu vào thì một đầu ra bao gồm năm giá trị Còn mạng nơron Kohonen khi có một mẫu được đưa vào mạng thì chỉ có một nơron đầu ra được lựa chọn gọi là noTon chiến... Delta cho mạng nhiều lóp Đối với mạng truyền thắng thường sử dụng luật truyền ngược để chỉnh trọng với tín hiệu chỉ đạo tù’ bên ngoài và người ta gọi mạng này là mạng lan truyền ngược + Học không có tín hiệu chỉ đạo: Luật học này sử dụng đầu ra của mạng làm cơ sở đế hiệu chỉnh các trọng số liên kết Hay trong luật này chính là tín hiệu ra của mạng Điển hình là luật Hebb (1949) thường dùng cho các mạng tự... cách huấn luyện và cách nó nhớ lại một mô hình Mạng Kohonen không sử dụng một loại hàm kích hoạt nào Xa hon là nó không sử dụng loại trọng số bias nào Đầu ra của mạng Kohonen không bao gồm đầu ra của một số nơron Khi có một mẫu được đưa vào mạng thì chỉ có một nơron đầu ra được lựa chọn gọi là noxon chiến thắng Nơron chiến thắng này chính là đầu ra của mạng Kohonen Thông thường thì các noron chiến thắng... nhóm dữ liệu đưa vào mạng Kohonen Điếm khác biệt quan trọng nhất giữa mạng Kohonen va mạng nơron truyền thẳng lan truyền ngược là mạng nơron Kohonen học theo phương pháp học không giám sát, có nghĩa là mạng noxon Kohonen thao tác với dữ liệu 27 26 Input trom txternal Hìnhnơron 1.8 dưới mộtEnviror^ment mạng Kohonen điểndữhình Các đầuđây vàolà chỉ đon giản cung cấp liệu vào cho mạng chứ không có chức... của mạng mà không cần tín hiệu chỉ đạo từ bên ngoài Hopíleld cũng cải tiến luật Hebb cho các mạng tự liên kết thành 16 dạng khác nhau theo kiếu luật Hebb, luật đối Hebb, luật Hopíìeld Nhu vậy, ứng với mỗi nhóm mạng thường áp dụng một luật học nhất định Neu tồn tại hàng chục loại mạng khác nhau thì các luật học dùng trong mạng no-ron có thế tăng lên rất nhiều lần Đối với mạng phản hồi thuờng sử dụng. .. có giám sát (tự học) Các bài toán nhận dạng tiêu biểu được nghiên cúu nhiều nhất hiện nay bao gồm: - Nhận dạng chữ viết (Optical character recognition - OCR): Từ một văn bản in hoặc viết tay trên giấy, nhận biết từng ký tự và chuyến chúng thành một tệp văn bản trên máy tính 36 - Tìm kiếm thông tin (Information retrieval): Từ một nguồn gồm rất nhiều tệp văn bản hay tiếng nói, tìm ra những tệp có nội... có Tại Việt Nam, các kỹ sư của công ty TOSY đã nghiên cứu và sáng tạo ra 1 con robot đánh bóng bàn (có tên là Topio) tại International Robot Exhibition 2007 - triến lãm robot lớn nhất thế giới khai mạc ngày 29/11, tại Tokyo Trong đó có sử dụng công nghệ nhận dạng bóng đế di chuyển và lập chiến thuật đánh trả Bên cạnh sự phát triến và ứng dụng rộng rãi đó là các phương pháp nhận dạng đã được sử dụng, ... trúc: Tìm kiếm các tham số của cấu trúc mạng để tìm ra một cấu trúc mạng hoạt động tốt nhất Trong thực tế, việc học cấu trúc là tìm ra số lóp ấn và tìm ra số nơ-ron trên mỗi lóp đó Giải thuật di truyền thường được sử dụng trong các cấu trúc nhưng thường chạy rất lâu, thậm chí ngay cả đối với mạng có kích thước trung bình Ngoài ra kỹ thuật gọt tỉa mạng hay mạng 25 Mạng Nơron Kohonen (hay còn gọi là SOM (Self-Organizing ... thuyết phục vụ cho chủ đề: Nhận dạng chữ viết tay Tiếng Việt sử dụng mạng Nơron Tuy nhiên, hạn chế mặt thời gian độ phức tạp 10 CHƯƠNG MỘT SỎ VÁN ĐỀ VÈ MẠNG NƠRON 1.1 Mạng Nơron sinh học Bộ não người... thành lưới có hai ba chiều Có nhận dạng tiếng nói (Kohonen, 1989), 35 CHƯƠNG MỘT SÓ VÁN ĐÈ NHẬN DẠNG KÝ Tự sử DỤNG MẠNG NƠRON 2.1 Nhận dạng ký tự 2.1.1 Giới thiệu nhận dạng ký tự Từ thập niên 60... khiển rô-bốt, điều khiến thiết bị giọng nói, Trong số toán nhận dạng này, nhận dạng chữ viết ứng dụng phố biến Nhận dạng chữ viết ứng dụng trình tự động hóa công việc văn phòng nhập liệu, lưu