Nhận dạng chữ viết tay tiếng việt sử dụng mạng nơ ron

i LỜI CẢM ƠN Xin chân thành cảm ơn Thầy giáo, PGS.TS Lê Bá Dũng tận tình dạy, hướng dẫn suốt thời gian nghiên cứu thực luận văn Tôi xin chân thành cảm ơn Thầy giáo Viện Công nghệ Thông tin Thầy giáo Trường Công nghệ thông tin Truyền thông - ĐH Thái Nguyên giảng dạy, giúp đỡ suốt thời gian học tập Xin cảm ơn tất anh chị học viên Cao học khóa 9, cảm ơn cán công chức, giảng viên Trường Công nghệ thông tin Truyền thông - ĐH Thái Nguyên tạo điều kiện tốt cho suốt hai năm học qua Xin cảm ơn bạn bè, đồng nghiệp tạo diều kiện bảo nhiều thời gian thực luận văn Cuối cùng, xin chân thành cảm ơn gia đình động viên tạo điều kiện thuận lợi để có kết ngày hôm Thái Nguyên, tháng 06/2012 Người viết luận văn Trịnh Thị Phương Thảo ii LỜI CAM ĐOAN Tôi xin cam đoan đề tài luận văn “Nhận dạng chữ viết tay Tiếng Việt sử dụng mạng Nơron” công trình nghiên cứu thân Các số liệu, kết nghiên cứu nêu luận văn trung thực không chép y nguyên từ công trình khác Tôi xin chịu trách nhiệm luận văn Thái Nguyên, tháng 06/2012 Người viết luận văn Trịnh Thị Phương Thảo iii MỤC LỤC Trang TRANG PHỤ BÌA CHƯƠNG I TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO VÀ MẠNG NƠRON KOHONEN 1.1 Giới thiệu mạng nơron nhân tạo 1.1.1 Lịch sử phát triển .3 1.1.2 Mô hình mạng nơ-ron nhân tạo 1.2 Phạm vị ứng dụng mang nơron nhân tạo 20 1.2.1 Những toán thích hợp 20 1.2.2 Các lĩnh vực ứng dụng mạng nơron 24 1.3.Mạng KOHONEN 25 iv DANH MỤC CÁC TỪ TIẾNG ANH VIẾT TẮT STT Từ viết tắt Từ viết tường minh HMM Hiden Markov Model LVQ Learning Vector Quantization MLP Multi Layer Perception OCR Optical Character Recognation PDA Personal Digital Assistant RFID Radio Frequency Identification SOM Self Organizing Maps SVM Support Vector Machine v DANH MỤC CÁC HÌNH Hình 1.1 Mô hình nơ-ron sinh học .6 Đồ thị hàm đồng (Identity function) Đồ thị hàm bước nhị phân (Binary step function) Đồ thị hàm sigmoid 10 Đồ thị hàm sigmoid lưỡng cực 10 Hình 1.2 Mô hình nơ-ron 11 Hình 1.3 Mạng truyền thẳng lớp .14 Hình 1.4 Mạng truyền thẳng nhiều lớp 15 Hình 1.5 Mạng lớp có phản hồi 16 Hình 1.6 Mạng nhiều lớp có phản hồi .16 Hình 1.7: Cấu trúc mạng Kohonen .27 Hình 1.8 mạng Kohonen điển hình 27 Hình 1.8: Mạng nơron Kohonen điển hình .28 Hình 1.9: Huấn luyện mạng Kohonen (SOM) 30 Hình 2.1: Mô hình chung nhận dạng chữ viết 42 Hình 2.2: Quá trình tìm giới hạn ký tự .45 Hình 2.3: Quá trình lấy mẫu xuống 46 Hình 2.4 Quá trình ánh xạ từ ma trận điểm sang ma trận giá trị 48 Hình 2.5 Quá trình huấn luyện mạng nơron Kohonen 50 Hình 3.1 Giao diện chương trình mô .65 Hình 3.2 Nhận dạng ký tự Ơ .67 Hình 3.3 Nhận dạng ký tự Ô .68 Hình 3.4 Nhận dạng ký tự Ư .68 PHẦN MỞ ĐẦU Trong ngành công nghệ thông tin nay, trí tuệ nhân tạo đại quan tâm lớn Các máy tính công nghệ vi điện tử đại hy vọng phương pháp chìa khóa mở hệ máy tính thông minh mô não người Nghiên cứu mô trí não, cụ thể tế bào thần kinh (Neural) ước muốn từ lâu nhân loại Với khoảng 15 tỷ Neural não người, Neural nhận hàng vạn tín hiệu từ khớp thần kinh coi chế sinh vật phức tạp Não người có khả giải vấn đề như: nghe, nhìn, nói, hồi ức thông tin, phân biệt mẫu kiện có bị méo mó, hay thiếu hụt Não thực nhiệm vụ nhờ phần tử tính toán (Neural thần kinh) Não phân bố việc xủ lí cho hàng tỉ Neural có liên quan, điều khiển mối liên hệ Neural Neural không ngừng nhận truyền thông tin lẫn Cơ chế hoạt động Neural [1] bao gồm: liên kết (association), tổng quát hóa (generation), tự tổ chức (Self Orgazation) Các Nơron tự liên kết với thành mạng xử lý Mỗi mạng gồm hàng vạn phần tử Nơron khác Mỗi phần tử Nơron có khả liên kết với hàng nghìn Nơron khác Hiện nay, mạng Nơron đưa vào ứng dụng rộng rãi nhiều lĩnh vực Và toán nhận dạng toán sử dụng tính mạng Nơron nhiều Bài toán nhận dạng với trợ giúp mạng Nơron ngày không dừng mức độ nghiên cứu mà trở thành lĩnh vực để áp dụng vào thực tế Các toán nhận dạng nghiên cứu nhiều tập trung vào nhận dạng mẫu hình học (vân tay, mặt người, hình khối …), nhận dạng tiếng nói nhận dạng chữ viết Chúng ứng dụng nhiều lĩnh vực y học, dự báo thời tiết, dự báo cháy rừng, …, lĩnh vực tự động hóa điều khiển rô-bốt, điều khiển thiết bị giọng nói,… Trong số toán nhận dạng này, nhận dạng chữ viết ứng dụng phổ biến Nhận dạng chữ viết ứng dụng trình tự động hóa công việc văn phòng nhập liệu, lưu trữ văn bản, sách báo, phân loại thư tín,…, công việc nhàm chán đòi hỏi nhiều thời gian người Nhận dạng mạng Nơron ứng dụng hàng loạt lĩnh vực quan trọng sống, phục vụ lợi ích trực tiếp thiết thực cho công việc người Mục đích luận văn là: Trình bày kết nghiên cứu lý thuyết phục vụ cho chủ đề: “Nhận dạng chữ viết tay Tiếng Việt sử dụng mạng Nơron” Tuy nhiên, hạn chế mặt thời gian độ phức tạp toán mà khuôn khổ, thời lượng luận văn, sâu nghiên cứu đưa chương trình mô nhận dạng ký tự viết tay Tiếng Việt rời rạc trực tuyến sử dụng mạng Nơron Kohonen CHƯƠNG I TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO VÀ MẠNG NƠRON KOHONEN 1.1 Giới thiệu mạng nơron nhân tạo 1.1.1 Lịch sử phát triển Khái niệm mạng nơ-ron bắt đầu vào cuối kỷ 19, đầu kỷ 20 có tham gia ba ngành Vật lý học, Tâm lý học Thần kinh học Các nhà khoa học Hermann Von Hemholtz, Earnst Mach, Ivan Pavlov với công trình nghiên cứu sâu vào lý thuyết tổng quát mô tả hoạt động trí tuệ người như: Học, nhìn, lập luận, không đưa mô hình toán học cụ thể mô tả hoạt động nơ-ron Về lịch sử, trình nghiên cứu phát triển mạng nơ-ron nhân tạo chia thành bốn giai đoạn sau: + Giai đoạn một: Từ nghiên cứu William (1890) tâm lý học với liên kết nơ-ron thần kinh Năm 1943, nhà thần kinh học Warren MeCulloch nhà logic học Walter Pitts rằng:về nguyên tắc mạng nơ-ron nhân tạo mô hình hoá thiết bị ngưỡng (giới hạn) để thực tính toán hàm số học hay phép tính logic Tiếp theo hai ông Donald Hebb với giải thuật huấn luyện mạng đời năm 1949 + Giai đoạn hai: Vào khoảng năm 1960, số mô hình nơ-ron hoàn thiện có tính ứng dụng thực tiễn đưa như: mô hình Perceptron Frank Rosenblatt (1958), mô hình Adaline Bernard Widrow (1962) Trong mô hình Perceptron quan tâm nguyên lý đơn giản, có hạn chế Marvin Minsky Seymour Papert MIT (Massachurehs Insritute of Technology) phát chứng minh không dùng cho hàm logic phức (1969) Còn Adaline mô hình tuyến tính, tự chỉnh, dùng rộng rãi điều khiển thích nghi, tách nhiễu phát triển + Giai đoạn ba: Vào khoảng đầu thập niên 80, việc nghiên cứu mạng nơron diễn mạnh mẽ với đời máy tính cá nhân PC Những đóng góp lớn cho mạng nơ-ron giai đoạn phải kể đến Stephen Grossberg, Teuvo Kohonen, Rumelhart John Hopfield Trong đóng góp lớn nhà vật lý học người Mỹ John Hopfield gồm hai mạng phản hồi: Mạng rời rạc năm 1982 mạng liên tục năm 1984 Đặc biệt, ông dự kiến nhiều khả tính toán lớn mạng mà nơ-ron khả Cảm nhận Hopfield Rumelhart, Hinton Williams đề xuất thuật toán sai số truyền ngược (back –propagation) tiếng để huấn luyện mạng nơ-ron nhiều lớp nhằm giải toán mà mạng khác không thực Nhiều ứng dụng mạnh mẽ mạng nơ-ron đời với mạng theo kiểu máy Boltzmann mạng Neocognition Fukushima + Giai đoạn bốn: từ năm 1987 - đến nay, hàng năm giới mở hội nghị toàn cầu chuyên ngành nơ-ron IJCNN (International Joint Conference on Neural Networks) Rất nhiều công trình nghiên cứu để ứng dụng mạng nơron vào lĩnh vực sống, ví dụ như: Kỹ thuật tính, tối ưu, sinh học, y học, thống kê, giao thông, hoá học… Cho đến nay, mạng nơ-ron tìm khẳng định vị trí nhiều ứng dụng khác 1.1.2 Mô hình mạng nơ-ron nhân tạo 1.1.2.1 Nơ-ron sinh học Bộ não người có khoảng 1010 tế bào thần kinh liên kết chặt chẽ với gọi nơ-ron Mỗi nơ-ron gồm có ba phần: Thân nơ-ron với nhân bên (soma), đầu sợi trục thần kinh (axon) hệ thống tế bào hình (dendrite) Tế bào hình có nhiệm vụ mang tín hiệu điện tới tế bào thân, tế bào thân thực gộp (Sum) phân ngưỡng ( Thresholds) tín hiệu đến Sợi trục thần kinh làm nhiệm vụ đưa tín hiệu thân Trong thực tế có nhiều dây thần kinh vào chúng bao phủ diện tích lớn (0.25 mm2) để nhận tín hiệu từ nơ-ron khác Đầu thần kinh rẽ nhánh nhằm chuyển giao tín hiệu từ thân nơ-ron tới nơ-ron khác Các nhánh đầu thần kinh nối với khớp thần kinh (synapse) Các khớp thần kinh nối với thần kinh vào nơ-ron khác Sự xếp nơ-ron mức độ mạnh yếu khớp thần kinh định trình hóa học phức tạp, thiết lập chức mạng nơ-ron, nơ-ron sửa đổi tín hiệu khớp, nơ-ron nhân tạo gọi trọng số Có thể nói, mạng nơ-ron sinh học hoạt động chậm nhiều so với linh kiện điện tử (10-3 giây so với 10-9 giây), não thực nhiều công việc nhanh nhiều so với máy tính thông thường Do cấu trúc song song mạng nơ-ron sinh học thể toàn nơ-ron thực đồng thời thời điểm Mạng nơ-ron nhân tạo có đặc điểm Các mạng nơ-ron nhân tạo chủ yếu thực nghiệm máy tính mạnh có vi mạch tích hợp lớn, thiết bị quang, xử lý song song Điều giải thích nghiên cứu khoa học mạng nơ-ron nhân tạo có điều kiện phát triển với phát triển kỹ thuật công nghệ phần cứng máy tính Có nhiều loại nơ-ron khác kích thước khả thu phát tín hiệu Tuy nhiên, chúng có cấu trúc nguyên lý hoạt động chung 62 vào, tính giá trị đầu cho nơron Nơron có giá trị lớn chọn nơron chiến thắng Đầu tiên biến "biggest" thiết lập giá trị nhỏ để chưa có nơron chiến thắng Trọng số nơron đầu tính cách lấy tích vô hướng trọng số nơron đầu đến nơron đầu vào Tích vô hướng tính cách nhân giá trị đầu vào với trọng số nơron đầu vào đầu Những trọng số định trình huấn luyện Đầu giữ giá trị lớn thiết lập nơron chiến thắng Ta thấy tính kết từ mạng nơron trình nhanh Trên thực tế, xác định trọng số nơron phần phức tạp trình 3.2.6.2 Huấn luyện mạng nơron Kohonen Học trình lựa chọn ma trận trọng số nơron nhận mẫu đầu vào Một mạng Kohonen học cách liên tục đánh giá tối ưu hóa ma trận trọng số Để làm điều này, ma trận trọng số khởi tạo phải định Nó chọn giá trị ngẫu nhiên Khi ma trận trọng số khởi tạo ngẫu nhiên trình huấn luyện bắt đầu Đầu tiên, đánh giá ma trận trọng số để xác định mức lỗi hành Lỗi xác định trình ánh xạ đầu vào huấn luyện đến đầu tốt Lỗi tính toán phương thức "evaluateErrors" lớp KohonenNetwork Nếu mức lỗi nhỏ, nhỏ 10%, trình hoàn thành Quá trình huấn luyện bắt đầu người sử dụng nhấn vào nút: "Học" Quá trình tính số nơron đầu vào đầu Đầu tiên số nơron đầu vào 63 định từ kích thước hình ảnh lấy mẫu xuống 100 Còn số đầu tương ứng với số ký tự mẫu Bây kích thước mạng nơron xác định, tập huấn luyện mạng nơron phải cấu trúc Tập huấn luyện cấu trúc để giữ số lượng xác số mẫu Với chương trình 89 ký tự cung cấp Tiếp theo, hình ảnh đầu vào lấy mẫu xuống chép đến tập huấn luyện Đây vòng lặp cho tất mẫu đầu vào Cuối mạng cấu trúc tập huấn luyện đưa vào Với tập huấn luyện giao, phương thức "learn" gọi Nó điều chỉnh ma trận trọng số mạng huấn luyện Phương thức học lặp với số vòng lặp không xác định Nhưng chắn ràng nhiều lần lặp Khi số mẫu huấn luyện phù hợp với nơron đầu ra, huấn luyện xảy nhanh Một thủ tục có tên "evaluateErrors" gọi để đánh giá trọng số làm việc tốt Điều xác định cách nhìn vào liệu huấn luyện đến nơron đầu tốt Nếu có nhiều nơron đầu kích hoạt cho mẫu huấn luyện tập trọng số không tốt Một tỷ lệ lỗi tính toán dựa tập huấn luyện truyền đến nơron đầu tốt Một lỗi xác định, phải xem có mức lỗi tốt từ trước đến không Nếu thỏa mãn lỗi đưa vào mức lỗi tốt trọng số nơron trì cách chép để lưu lại 64 Tổng số nơron chiến thắng sau tính toán Điều cho phép ta xác định trường hợp nơron đầu kích hoạt Ngoài ra, tỷ lệ lỗi mức chấp nhận (10%) trình huấn luyện dừng Nếu nơron chiến thắng nơron buộc phải trở thành nơron chiến thắng Bây ma trận trọng số đánh giá, điều chỉnh dựa lỗi Các giá trị điều chỉnh tính toán lỗi xác định Quá trình hiệu chỉnh ma trận trọng số gồm hai bước tính toán lỗi điều chỉnh ma trận trọng số lỗi 10% Trên phương pháp huấn luyện mạng nơron Phương pháp điều chỉnh tính toán lỗi tập tin "KohonenNetwork.java" 65 3.3 Chương trình mô 3.3.1 Các chức chương trình Hình 3.1 Giao diện chương trình mô ♦ Vẽ chữ: vùng để vẽ ký tự lên ♦ Tập mẫu: Chứa ký tự mẫu dùng để huấn luyện ♦ Mẫu: Tải tập ký tự mẫu tạo sẵn file: sample.dat ♦ Ghi: Ghi lại tập ký tự mẫu vào file: sample.dat ♦ Học: Huấn luyện mạng ♦ Xóa mẫu: Xóa ký tự mẫu chọn 66 ♦ Thêm ký tự: Dùng để thêm ký tự vào tập mẫu ♦ Nhận dạng: Nhận dạng ký tự vẽ vào ♦ Xóa chữ: Xóa ký tự vẽ vùng vẽ chữ ♦ Ma trận: Hiển thị ảnh ký tự lên lưới Chúng ta tải tập huấn luyện từ file tạo sẵn sample.dat cách nhấn nút "Mẫu" tự nhập mẫu để huấn luyện cách vẽ ký tự vào vùng vẽ ký tự nhấn "Thêm ký tự", có hộp thoại xuất hiện, nhắc bạn đánh vào ký tự tương ứng để nhận dạng ký tự tương ứng với ký tự vừa vẽ Sau nhập xong tập mẫu nhấn nút "Học" để huấn luyện cho mạng nơron Kohonen Quá trình huấn luyện hoàn thành, thực nhận dạng ký tự cách vẽ ký tự nhấn nút "Nhận dạng" Khi ký tự hiển thị lưới kích thước 10*10 Có thể xóa ký tự cách nhấn nút "Xóa ký tự", xóa mẫu tập mẫu cách chọn ký tự cần xóa nhấn nút "Xóa" Có thể ghi lại tập mẫu cách nhấn nút "Ghi", tập mẫu tạo lưu vào file sample.dat 3.3.2 Kết nhận dạng - Để nhận dạng ký tự, ta vẽ ký tự cần nhận dạng vào vùng vẽ chữ - Nhấn nút nhận dạng - Ký tự hiển thị lưới kích thước 10* 10 - Đồng thời đưa ký tự nhận dạng tương ứng với ký tự vẽ 67 Một số kết minh họa Hình 3.2 Nhận dạng ký tự Ơ 68 Hình 3.3 Nhận dạng ký tự Ô Hình 3.4 Nhận dạng ký tự Ư 3.3.3 Kết luận Chương trình nhận dạng với độ xác cao Nếu ký tự nhận dạng chưa xác, ta thêm mẫu huấn luyện lại cho ký tự đến nhận dạng ký tự xác Nếu ký tự gần giống nhau, nhận dạng dễ lẫn sang huấn luyện ta thêm mẫu tương ứng với ký tự đến đạt tỷ lệ nhận dạng cao Chương trình nhận dạng xác hơn, với ký tự không dấu độ xác 90%, ký tự có dấu độ xác khoảng 80% Đối với ký tự có dấu độ xác thấp so với trường hợp dấu trường 69 hợp này, ký tự khác ít, nên số lượng mẫu huấn luyện cho ký tự có dấu cần nhiều Để nhận dạng nhiều kiểu viết khác tập mẫu huấn luyện cho ký tự phải có nhiều dạng phong phú, tương ứng với cách viết mà người sử dụng viết Quá trình huấn luyện giải khía cạnh phức tạp toán nhận dạng chữ viết tay, đa dạng chữ viết tay, đặc biệt chữ viết tay tiếng Việt Như chương trình mô nhận dạng ký tự viết tay tiếng Việt trực tuyến đạt mục tiêu toán phức tạp đặt Hiện nay, nghiên cứu mạng nơron hướng nghiên cứu mẻ nhiều hứa hẹn Áp dụng hướng tiếp cận để giải toán nhận dạng ký tự viết tay tiếng Việt trực tuyến vốn phức tạp đặc điểm: Ký tự viết tay trực tuyến phải thêm vào xử lý phần tạo giao diện để vẽ ký tự, so với việc nhập đầu vào file ảnh ký tự viết tay Ký tự viết tay hình dạng ký tự phong phú đa dạng, phụ thuộc nhiều vào người viết, người có cách viết khác Ký tự viết tay tiếng Việt có số lượng lớn, lớn nhiều so với ký tự theo chuẩn khác Ví dụ: chuẩn tiếng Anh gồm 26 ký tự không dấu, chuẩn tiếng Việt có 89 ký tự gồm ký tự không dấu có dấu Mặt khác, ký tự lại giống nên dễ nhầm lẫn trình nhận dạng Như vậy, giải toán phải đáp ứng yêu cầu: Giải phức tạp việc xử lý liệu đầu vào 70 Giải việc xử lý khối lượng liệu lớn Giải độ chuẩn xác trình nhận dạng Giải mức độ tổng quát, đa dạng, phong phú trình xây dựng huấn luyện mạng để đạt độ xác cao nhận dạng 71 CHƯƠNG IV KẾT LUẬN Mặc dù nghiên cứu phôi thai lý thuyết mạng nơron năm 40 kỷ XX, vài thập niên trở lại thực có ứng dụng quan trọng mang đến nhiều hứa hẹn hệ máy thông minh Chính vậy, riêng cá nhân tôi, điều mẻ - môn lý thuyết tương lai Điều thúc đẩy vừa thực nghiên cứu lý thuyết vừa cố gắng cài đặt phần mềm thử nghiệm với hy vọng nắm gọi khoảng thời gian thực luận văn Theo gợi ý thầy giáo hướng dẫn, lựa chọn đề tài: "Nhận dạng chữ viết tay Tiếng Việt sử dụng mạng nơron " Sau thời gian nghiên cứu, kết mà đạt chưa đạt (kết hướng tới) tổng kết lại sau: 4.1 Các kết đạt 4.1.1 Về mặt lý thuyết ♦ Nắm khái niệm thành phần kiểu kiến trúc mạng nơron, phân biệt số loại mạng nơron ♦ Nắm ý nghĩa việc học hay tích lũy, có vai trò to lớn 72 quy tắc học, mô hình học thuật toán học nhiều khả ứng dụng khác ♦ Tìm hiểu ứng dụng mạng nơron thực tế ♦ Nắm kiến thức mô hình mạng nơron Kohonen cách xây dựng mô hình mạng nơron thực tế ♦ Nắm quy trình chung xây dựng hệ thống nhận dạng ký tự viết tay tiếng Việt trực tuyến ♦ Vận dụng mạng nơron Kohonen để xây dựng mô nhận dạng ký tự viết tay tiếng Việt rời rạc trực tuyến Ngoài ra, việc xây dựng phần mềm thử nghiệm cho phép tôi: ♦ Kiểm nghiệm kiến thức lý thuyết thu nhận ♦ Có nhìn rõ nét kỹ thuật ứng dụng lý thuyết vào thực tế ♦ Bên cạnh đó, nâng cao kỹ phân tích, thiết kế lập trình việc giải toán cụ thể 4.1.2 Về mặt thực tiễn Đưa phương pháp xử lý với ký tự viết tay tiếng Việt rời rạc, xây dựng thành công hệ thống nhận dạng ký tự viết tay tiếng Việt rời rạc sử dụng mô hình mạng nơron Kohonen Góp phần giải toán dang dở Tuy biết điều thu nhận phần nhỏ nghành nghiên cứu lớn, song tự nhận thấy gặt hái thành công định giai đoạn nghiên cứu 73 4.2 Hướng phát triển tiếp tbeo Bên cạnh kết đạt được, có vấn đề chưa đề cập, giải luận văn Trong thời gian tới, tiếp tục nghiên cứu hoàn thiện đề tài với mục tiêu đặt sau: ♦ Nâng cao hiệu độ xác hệ thống nhận dạng ký tự viết tay rời rạc tiếng Việt trực tuyến ♦ Xây dựng hệ thống nhận dạng chữ viết tay tiếng Việt sử dụng mạng nơron 4.3 Một vài suy nghĩ sau nghiên cứu Trong bối cảnh nay, mà nghiên cứu chuyển sang hướng xây dựng hệ thống thông minh, mạng nơron lên giải pháp đầy hứa hẹn Nó thể ưu điểm bật so với hệ thống khác khả mềm dẻo, linh hoạt tính toán thô, điểm khác biệt quan trọng óc người với máy thông minh nhân tạo Nhưng mà đòi hỏi độ phức tạp cao thiết kế cài đặt hệ thống ứng dụng để đạt tính tốt Khả cải thiện không ngừng tương lai với phát triển mạch tích hợp phần cứng cỡ lớn nhớ ngày lớn cho phần mềm máy tính Chính mà mạng nơron coi "kỹ thuật kỷ 21" Các nhà khoa học tìm cách khám phá quy tắc học thuật toán học hiệu Một điều dễ nhận thấy mạng nơron mô trực tiếp não người mặt cấu trúc mục tiêu trình học (điều chỉnh trọng số synnapse) quy tắc học đưa 74 túy mang tính toán học chưa thực sự bắt chước mặt thần kinh sinh học trình học xảy não người Tóm lại, khẳng định điều mục tiêu tiến gần tới hoàn hảo máy nhận thức người thách thức lớn, song môn lý thuyết Lý thuyết mạng nơron, mà chất tương tự thần kinh sinh hoc cấu trúc cho "tia hy vọng" đáng lạc quan 75 TÀI LIỆU THAM KHẢO Tài liệu tham khảo tiếng Việt Lương Mạnh Bá, Nguyễn Thanh Thuỷ (1999), Nhập môn xử lý ảnh số, Nhà xuất Khoa học kỹ thuật, Hà Nội Lê Bá Dũng (2011), Bài giảng Môn Mạng Nơron nhân tạo, Lớp Cao học KHMT K9A, Trường Đại học Công nghệ thông tin Truyền thông, ĐHTN Nguyễn Thị Thanh Tân (2005), Nhận dạng chữ viết tay hạn chế dựa mô hình mạng neuron kết hợp với thống kê ngữ cảnh, Luận văn thạc sỹ, ĐHQGHN Tài liệu tham khảo tiếng Anh Artificial neural network – From Wikimedia, the free encyclopedia http://en.wikimedia.org/wiki/Artificial_neural_network Anand Venkataraman, The Backpropagation Algorithm http://www.speech.sri.com/people/anand/771/html/node37.html Christos Stergiou and Dimitrios Siganos, Neural Network http://www.doc.ic.ac.uk/~nd/surprise_96/journal/vol4/cs11/report.html Daniel T.Larose (2004), Discovering Knowledge in Data An Introduction to Data Mining, Wiley Interscience, United States of America Dave Anderson and George McNeill (1992), Artificial Neural Networks Technology Prepared by Rome Laboratory RL/C3C Griffiss AFB, NY 76 13441-5700, Kaman Sciences Corporation 258 Genesse Street Utica, New York 13502-4627 Jeff Heaton (2005), Introduction to Neural Networks with Java, Heaton Research, Inc, United States of America 10.Neural Network – From Wikimedia, the free encyclopedia http://en.wikimedia.org/wiki/Neural_network 11.Nikola K.kasabov (1998), Foundations of Neural Networks, Fuzzy Systems, and Knowledge Engineering, Massachusetts Institute of Technology, The MIT Press, United States of America 12 R.M.Hristev (1998), The ANN Book, GNU public license 13 Simon Haykin (1998), Neural Networks Comprehensive Foundation, Second edition, Prentice Hall, Indian by Sai PrintoPack Pvt Ltd 14.Wang J., Jean J.S.N (1993), Multi-Resolution Neural Network for Omnifont Charater Recognition, IEEE International Conference on Neural Network 15 http://vi.wikimedia.org/wiki/Nhận_dạng_ký_tự_quang_học [...]... hiệu vào tại nơ- ron i Vi : là tín hiệu ra tại n ron i Wij : là trọng số liền kề từ nơ- ron j đến nơ- ron i (1.8) (1.9) 12 θi : là ngưỡng (đầu vào ngoài) kích hoạt nơ- ron i fi : là hàm kích hoạt của nơ- ron i 1.1.2.3 Mạng nơ- ron nhân tạo Mạng nơ- ron nhân tạo (gọi tắt là mạng nơ- ron) là mô hình toán học hay mô hình tính toán được xây dựng dựa trên các mạng nơ- ron sinh học Nó gồm có một nhóm các nơ- ron nhân... chọn gọi là n ron chiến thắng N ron chiến thắng này chính là đầu ra của mạng n ron Kohonen Đầu ra của mạng n ron Kohonen thường là chỉ số của n ron chiến thắng, ví dụ N ron #5 Thông thường thì các n ron chiến thắng này đại diện cho các nhóm dữ liệu đưa vào mạng Kohonen Cấu trúc của một mạng n ron Kohonen được cho như hình 1.7: Hình 1.7: Cấu trúc của mạng Kohonen Hình 1.8 dưới đây là một mạng Kohonen... không được chỉ định trước Sử dụng mạng n ron Kohonen, dữ liệu có thể được phân thành các nhóm Mạng n ron Kohonen được sử dụng bởi vì nó là một mạng tương đối đơn giản về cấu trúc, và có thể huấn luyện rất nhanh 1.3.2 Cấu trúc của mạng n ron Kohonen [9] Thông thường, mạng n ron Kohonen gồm một lớp đầu vào và một lớp đầu ra Đầu tiên chúng ta xét về đầu vào và đầu ra của mạng Các n ron đầu vào chỉ đơn giản... thì chỉ có một n ron đầu ra được lựa chọn gọi là n ron chiến thắng N ron chiến thắng này chính là đầu ra của mạng Kohonen Thông thường thì các n ron chiến thắng này đại diện cho các nhóm dữ liệu đưa vào mạng Kohonen Điểm khác biệt quan trọng nhất giữa mạng Kohonen va mạng n ron truyền thẳng lan truyền ngược là mạng n ron Kohonen học theo phương pháp học không giám sát, có nghĩa là mạng n ron Kohonen thao... liệu vào cho mạng chứ không có chức năng xử lý gì trên đấy Đối với mạng n ron Kohonen yêu cầu đầu vào được chuẩn hóa có giá trị trong phạm vi từ -1 đến +1 27 Đầu ra của mạng Kohonen không bao gồm đầu ra của một số n ron Đối với mạng n ron truyền thẳng, nếu có năm n ron đầu vào thì một đầu ra bao gồm năm giá trị Còn mạng n ron Kohonen khi có một mẫu được đưa vào mạng thì chỉ có một n ron đầu ra được... f i : Là hàm kích hoạt nơ- ron thứ i θi : Là ngưỡng của nơ- ron thứ i Ngay từ khi mạng Perceptron được đề xuất nó được sử dụng để giải quyết bài toán phân lớp Một đối tượng sẽ được nơ- ron i phân vào lớp A nếu : Tổng thông tin đầu vào ∑w ij x j > θi Trong trường hợp trái lại nơ- ron sẽ được phân vào lớp B 15 - Mạng truyền thẳng nhiều lớp (Multilayer Perceptron –MLP) Với mạng nơ- ron truyền thẳng một lớp... vào trong mạng ♦ Nút bias: Là một nút thêm vào nhằm tăng khả năng thích nghi của mạng nơ- ron trong quá trình học Trong các mạng nơ- ron có sử dụng bias, mỗi nơ- ron có thể có một trọng số tương ứng với bias Trọng số này luôn có giá trị là 1 Mô hình của một nút xử lý (nút thứ i): Vi Vj Wi1 Wij Ui= ∑ WiN Vi=fi(Ui) Vi VN Hình 1.2 Mô hình một nơ- ron N U i = ∑ Wij Vj + θ i j =1 j #i Vi = f i (U i ) Trong... luyện mạng để góp phần tìm nghiệm cho nhiều lớp bài toán tối ưu toàn cục Tóm lại, mạng nơ- ron nhân tạo được xem là một cách tiếp cận đầy tiềm năng để giải quyết các bài toán có tính phi tuyến, phức tạp và đặc biệt trong tình hình các dữ liệu đầu vào không tường minh 1.3 Mạng KOHONEN 1.3.1 Giới thiệu về mạng N ron Kohonen Trong phần trước chúng ta đã nghiên cứu một số loại mạng n ron Trong khi mạng n ron. .. xuất của mạng nơ- ron, t là giá trị ra mong muốn, e là sai lệch giữa hai giá trị này.: e=t-y Mạng nơ- ron có một số ưu điểm so với máy tính truyền thống Cấu trúc song song của mạng nơ- ron rất thích hợp cho những ứng dụng đòi hỏi tốc độ nhanh theo thời gian thực Khả năng huấn luyện của mạng nơ- ron có thể khai thác để phát triển hệ thống thích nghi Mặt khác, với khả năng tổng quát hóa của mạng nơ- ron, nó... dưới đây là một mạng Kohonen điển hình 28 Hình 1.8: Mạng n ron Kohonen điển hình 1.3.3 Thực hiện mạng n ron Kohonen [9] 1.3.3.1 Chuẩn hóa đầu vào Mạng Kohonen yêu cầu đầu vào được chuẩn hóa Dữ liệu đầu vào nên có giá trị nằm trong khoảng -1 đến 1 Nếu một hoặc nhiều hơn n ron đầu vào sử dụng các giá trị chỉ nằm trong khoảng từ 0 đến 1 thì mạng n ron hoạt động không đảm bảo chất lượng, Để chuẩn hóa ... tự viết tay Tiếng Việt rời rạc trực tuyến sử dụng mạng N ron Kohonen 3 CHƯƠNG I TỔNG QUAN VỀ MẠNG N RON NHÂN TẠO VÀ MẠNG N RON KOHONEN 1.1 Giới thiệu mạng n ron nhân tạo 1.1.1 Lịch sử phát triển... 1.3 Mạng KOHONEN 1.3.1 Giới thiệu mạng N ron Kohonen Trong phần trước nghiên cứu số loại mạng n ron Trong mạng n ron truyền thẳng phổ biến cấu trúc mạng khác phổ biến mạng Kohonen Mạng N ron. .. trước Sử dụng mạng n ron Kohonen, liệu phân thành nhóm Mạng n ron Kohonen sử dụng mạng tương đối đơn giản cấu trúc, huấn luyện nhanh 1.3.2 Cấu trúc mạng n ron Kohonen [9] Thông thường, mạng nơron