Tìm hiểu mạng nơ-tron ứng dụng trong nhận dạng chữ viết

Header Page of 126 ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN TP HỒ CHÍ MINH KHOA KHOA HỌC MÁY TÍNH BỘ MÔN MÁY HỌC NÂNG CAO BÁO CÁO TÌM HIỂU ĐỀ TÀI : Nhóm sinh viên thực : Nguyễn Thế Luân 08520216 Nguyễn Anh Hùng 08520549 Nguyễn Huỳnh Trường Khang 08520172 HỌC KÌ I NĂM HỌC 2011-2012 Footer Page of 126 Header Page of 126 Việc viết chữ giấy hành động bình thường người chúng ta, người sở hữu nét chữ khác nhau, không giống Những chữ viết tay người thường khiến người khác khó khăn đọc chúng, chúng không theo khuôn dạng rõ ràng khác người với người khác Cũng có trường hợp người viết không đọc chữ Vì vậy, người không đọc chữ viết liệu máy tính có đọc không?Từ đây, câu hỏi đặt : có cách để máy tính “giải mã” chữ viết tay người giúp cho người hiểu ý nghĩa mà chúng hiển thị Việc phân tích chữ viết tay máy tính nhằm tìm lời giải cho vấn đề thú vị tiền đề kỹ thuật nhận dạng chữ viết tay Nhận dạng chữ viết tay lĩnh vực nghiên cứu sôi phần quan trọng thú vị ứng dụng khoa học máy tính Nhận dạng chữ viết ngày trở nên quan trọng nhiều lý do, có việc bất tiện sử dụng bàn phím máy tính để nhập liệu Một tình đưa ra: sở hữu số lượng lớn đầu sách, tài liệu cổ lâu năm viết tay Những sách bị hư hại thời gian, môi trường ảnh hưởng,… chữ viết tay người nên khó đọc Làm thể để máy tính đọc ta số hóa trang này? Đây tình cụ thể mà ta gặp thời đại giới số Ngoài ra, có nhiều tình nan giải khác Ngày nay, máy tính ngày sử dụng cách rộng rãi Dựa kỹ thuật xử lý hình ảnh máy tính, công nghệ nhận dạng chữ viết tay giúp ta giải vấn đề Với chương trình nhận dạng chữ viết tay, ta chuyển hàng ngàn đầu sách viết tay thành văn điện tử thời gian ngắn.Ngoài ra,việc nhận dạng chữ viết người có ứng dụng khoa học hình sự, bảo mật thông tin lĩnh vực khác … Để giải toán nhận dạng, người ta đưa vào cách tiếp cận khác Mỗi phương pháp tiếp cận toán cụ thể có ưu, nhược điểm riêng… phương pháp có tỉ lệ nhận biết thành công định Một phương pháp nhận dạng chữ viết sử dụng rộng rãi sử dụng mô hình mạng nơ tron nhân tạo Nội dung báo cáo vào tìm hiểu tổng quan mạng nơ tron, xem xét nghiên cứu cấu trúc mạng nơ tron, giới thiệu phương pháp huấn luyện mạng nơ tron cuối tìm hiểu vấn đề nhận dạng ký tự viết tay- ứng dụng phổ biến mạng nơ tron Footer Page of 126 Header Page of 126 I GIỚI THIỆU VỀ MẠNG NƠ TRON NHÂN TẠO Mạng nơ tron sinh học: Những nghiên cứu y học phát rằng: Bộ não hình thành từ 10 tỉ tế bào gọi nơ tron Loại tế bào khác tế bào khác chỗ có khả nhận, xử lý truyền tín hiệu điện hóa đường kết nối tế bào, đường tạo nên hệ thống giao tiếp não Từ đó, nơ tron liên kết với nhau, tạo thành mạng nơ tron Mạng nơ tron sinh học mạng (plexus) nơ tron có kết nối có liên quan mặt chức trực thuộc hệ thần kinh ngoại biên (peripheral nervous system) hay hệ thần kinh trung ương (central nervous system) Thông thường, mạng nơ tron bao gồm nhiều nhóm nơ tron kết nối vật lý với có liên quan với chức Một nơ tron đơn nối với nhiều nơ tron khác tổng số nơ tron kết nối mạng giá trị lớn Các kết nối, gọi khớp thần kinh (synapses), thường nối từ axon tới tế bào tua gai thần kinh (dendrite), có vi mạch dendrodentritic kết nối khác Ngoài tín hiệu điện, có dạng tín hiệu khác phát sinh từ việc khuyếch tán chất dẫn truyền xung động thần kinh (neurotransmitter) Chúng có ảnh hưởng tín hiệu điện Do vậy, mạng sinh học khác, mạng nơ tron vô phức tạp Trong nay, dù chưa đạt mô tả chi tiết hệ thần kinh , người ta ngày hiểu rõ chế Mạng nơ tron não người Footer Page of 126 Với mục đích xây dựng mô hình có khả xử lý liệu mạnh mẽ não Header Page of 126 người, dựa mô hình mạng nơ tron sinh học, ngày người xây dựng đề mô hình mạng nơ tron nhân tạo Mạng nơ tron nhân tạo : Mạng nơ tron nhân tạo mô hình xây dựng dựa việc bắt chước cấu trúc chức mạng nơ tron sinh học Thành phần cấu tạo mạng tế bào nơ tron nhân tạo Các nơ tron này, chất, dựa mô hình tế bào nơ tron sinh học Một mô hình tế bào nơ tron nhân tạo gồm có ba quy tắc : nhân, tổng hợp kích hoạt lối vào (input) mô hình, giá trị đầu vào nhân với trọng số cá nhân (weight) Các lối vào có trọng số riêng Thông thường, trọng số khởi tạo cách ngẫu nhiên thời điểm khởi tạo mạng cập nhật liên tục trình học mạng Lối vào có trọng số lớn đồng nghĩa với tín hiệu truyền qua lớn Bên thân tế bào tổng hợp giá trị đầu vào ngưỡng (bias) Ở lối (output) tế bào, hàm truyền (Transfer function) có tác dụng giới hạn phạm vi output tế bào, nhận vào giá trị tổng hợp, xử lý định giá trị đầu tế bào, thường Các hàm truyền đa dạng, hàm tuyến tính phi tuyến Việc lựa chọn hàm truyền tuỳ thuộc vào toán cụ thể Có thể viết mô hình dạng toán học sau :  Tổng hợp input với trọng số N u= w x i i với x,w giá trị đầu vào trọng số đường truyền input thứ I i 0  (trong tổng số N đường input) Output  N  y = f(u-t) = f   wi xi  t  với f hàm truyền, y giá trị đầu (output) t  i0  ngưỡng Mô hình tế bào nơ tron Với cấu trúc cách thức hoạt động trên, khả xử lý tế bào nơ tron nhân tạo có giới hạn Tuy nhiên, sức mạnh tính toán xử lý chúng phát huy ta kết nối tế bào lại với thành kiến trúc đồng nhất, tạo thành mạng nơ tron Mô hình mạng nơ tron có khả xử lý tình vấn đề, toán phức tạp hơn, toán Footer Page of 126 phi tuyến phân tích, dự doán, nhận dạng tiếng nói, vân tay hay ứng dụng nhận dạng khác, … Header Page of 126 Khả dựa ba tham số: kiểu tế bào, kiến trúc kết nối thuật toán học cho mạng Về mặt toán học, mạng nơ tron xem hàm ánh xạ F: X->Y, X không gian trạng thái đầu vào (input state space) Y không gian trạng thái đầu (output state space) mạng Các mạng đơn giản làm nhiệm vụ ánh xạ vector đầu vào x ∈ X sang vector đầu y ∈ Y thông qua “bộ lọc” (filter) trọng số Tức y = F(x) = s(W, x), W ma trận trọng số liên kết Khác với ứng dụng máy tính truyền thống, thường thực theo giải thuậtmột tập luật có thứ tự đề cách rõ ràng, mô hình mạng nơ tron có cách xử lý thông tin giống với hoạt động não người Một mô hình mạng nơ tron gần giống đối tượng tư Mạng tạo nên từ số lượng lớn phần tử xử lý kết nối với làm việc song song để giải vấn đề cụ thể Mạng nơ tron mô gần hàm mục tiêu với số biến nhập xuất tuỳ ý Ngoài ra, mạng nơ tron có ưu điểm tuyệt vời khác, khả học Khả học mạng chủ yếu dựa kỹ thuật lan truyền ngược mạng nơ tron lan truyền hàm phi tuyến xấp xỉ gần đúng, hàm đích cho qua số mẫu tập mẫu có sẵn Mỗi có kiến thức ta lại đưa cho mạng nơ tron Khả mạng nơ tron cần thiết cho vấn đề có liệu thay đổi Lịch sử phát triển mạng nơ tron nhân tạo Sự kiện đánh dấu đời mạng nơ tron nhân tạo diễn vào năm 1943 nhà thần kinh học Warren McCulloch nhà toán học Walter Pitts viết báo mô tả cách thức nơ tron hoạt động Họ tiến hành xây dựng mạng nơ tron đơn giản mạch điện Các nơ tron họ xem thiết bị nhị phân với ngưỡng cố định Kết mô hình hàm logic đơn giản chẳng hạn “ a OR b” hay “a AND b” Tiếp bước nghiên cứu này, năm 1949 Donald Hebb cho xuất sách Organization of Behavior Cuốn sách nơ tron nhân tạo trở lên hiệu sau lần chúng sử dụng Những tiến máy tính đầu năm 1950 giúp cho việc mô hình hóa nguyên lý lý thuyết liên quan tới cách thức người suy nghĩ trở thành thực Nathanial Rochester sau nhiều năm làm việc phòng thí nghiệm nghiên cứu IBM có nỗ lực để mô mạng nơ tron Trong thời kì tính toán truyền thống đạt thành công rực rỡ nghiên cứu nơ tron giai đoạn sơ khai Mặc dù người ủng hộ triết lý “thinking machines” (các máy biết suy nghĩ) tiếp tục bảo vệ cho lập trường Năm 1956 dự án Dartmouth nghiên cứu trí tuệ nhân tạo ( Artificial Intelligence) mở thời kỳ phát triển lĩnh vực trí tuệ nhân tạo lẫn mạng nơ tron Tác động tích cực thúc đẩy quan tâm nhà khoa học trí tuệ nhân tạo trình xử lý mức đơn giản mạng nơ tron não người Những năm dự án Dartmouth, John von Neumann đề xuất việc mô nơ tron đơn giản cách sử dụng rơle điện áp đèn chân không Nhà sinh học chuyên nghiên cứu nơ tron Frank Rosenblatt bắt đầu nghiên cứu Perceptron Sau thời gian nghiên cứu Perceptron cài đặt phần cứng máy tính xem mạng nơ Footer Page of 126 tron lâu đời sử dụng đến ngày Perceptron tầng hữu ích việc phân Header Page of 126 loại tập đầu vào có giá trị liên tục vào hai lớp Perceptron tính tổng có trọng số đầu vào, trừ tổng cho ngưỡng cho hai giá trị mong muốn Tuy nhiên Perceptron nhiều hạn chế, hạn chế sách Perceptron Marvin Minsky Seymour Papert viết năm 1969 Năm 1959, Bernard Widrow Marcian Hoff thuộc trường đại học Stanford xây dựng mô hình ADALINE ( ADAptive LINear Elements) MADALINE ( Multiple ADAptive LINear Elements) Các mô hình sử dụng quy tắc học Least-Mean-Squares ( LMS : Tối thiểu bình phương trung bình) MADALINE mạng nơ tron áp dụng để giải toán thực tế Nó lọc thích ứng có khả loại bỏ tín hiệu dội lại đường dây điện thoại Ngày mạng nơ tron sử dụng ứng dụng thương mại Năm 1974 Paul Werbos phát triển ứng dụng phương pháp học lan truyền ngược ( backpropagation) Tuy nhiên phải vài năm phương pháp trở lên phổ biến Các mạng lan truyền ngược biết đến nhiều áp dụng rộng dãi nhất ngày Năm 1982 báo gửi tới viện khoa học quốc gia, John Hopfield phân tích toán học rõ ràng, mạch lạc, ông cách thức mạng nơ tron làm việc công việc chúng thực Cống hiến Hopfield không giá trị nghiên cứu khoa học mà thúc đẩy trở lại nghiên cứu mạng nơ tron Cũng thời gian này, hội nghị với tham gia Hoa Kỳ Nhật Bản bàn việc hợp tác/cạnh tranh lĩnh vực mạng nơ tron tổ chức Kyoto, Nhật Bản Sau hội nghị, Nhật Bản công bố nỗ lực họ việc tạo máy tính hệ thứ Tiếp nhận điều đó, tạp chí định kỳ Hoa Kỳ bày tỏ lo lắngrằng nước nhà bị tụt hậu lĩnh vực Vì thế, sau đó, Hoa Kỳ nhanh chóng huy động quĩ tài trợ cho nghiên cứu ứng dụng mạng nơ tron Năm 1985, viện vật lý Hoa Kỳ bắt đầu tổ chức họp hàng năm mạng nơ tron ứng dụng tin học (Neural Networks for Computing) Năm 1987, hội thảo quốc tế mạng nơ tron Viện kỹ sư điện điện tử IEEE (Institute of Electrical and Electronic Engineer) thu hút 1800 người tham gia Ngày nay, không dừng lại mức nghiên cứu lý thuyết, nghiên cứu ứng dụng mạng nơ tron để giải toán thực tế diễn khắp nơi Các ứng dụng mạng nơ tron đời ngày nhiều ngày hoàn thiện Hàm truyền (Transfer Function) Một yếu tố xây dựng mạng nơ tron hàm truyền Hàm truyền định nghĩa thuộc tính mạng nơ tron hàm toán học Có nhiều loại hàm truyền Việc lựa chọn hàm dựa sở vấn đề toán cần giải thường nằm ba loại hàm sau:  Step Function : hàm nhị phân có giá trị output (0,1) Nếu giá trị đầu vào đáp ứng giá trị ngưỡng cụ thể (lớn hơn) output vào ngược lại Footer Page of 126 Header Page of 126  Linear function : hàm tuyến tính, có tác dụng làm biến đổi đơn giản trọng số đầu vào ngưỡng  Non-linear (Sigmoid) function : hàm không tuyến tính Hàm thường sử dụng thông dụng Với cách tính đạo hàm, hàm dùng ta cần cập nhật lại trọng số mạng nơ tron Footer Page of 126 Header Page of 126 Các mô hình mạng nơ tron Khi kết hợp hai nhiều tế bào nơ tron nhân tạo lại, nhận mạng nơ tron nhân tạo Nếu tế bào thần kinh nhân tạo tính hữu dụng việc giải vấn đề thực tế ngược lại, mạng thần kinh nhân tạo làm nhiều điều Trong thực tế, mạng nơ tron nhân tạo có khả giải phức tạp thực tế vấn đề xử lý thông tin khối liệu phức tạp cách phi tuyến tính, phân phối, song song cục Cách thức mà tế bào nơ tron kết nối với gọi cấu trúc liên kết, kiến trúc mạng nơ tron nhân tạo.Cấu trúc đóng vai trò định khả thực mạng Trong thực tế có nhiều cách kết nối, cách thực mạng mang lại kết khác Nhìn chung, cấu trúc liên kết chia thành hai loại bản: Truyền thẳng (Feed forward) : cấu trúc mà luồng thông tin từ đầu vào đến đầu theo hướng Mạng nơ tron nhân tạo có điều kiện : thông tin phải chảy từ đầu vào đến đầu có hướng vòng trở lại Không có giới hạn số lượng lớp, loại chức chuyển giao sử dụng tế bào thần kinh nhân tạo cá nhân, số lượng kết nối tế bào thần kinh nhân tạo cá nhân Các nguồn cung cấp liệu chuyển tiếp mạng nơ tron nhân tạo đơn giản perceptron có khả học tập vấn đề tuyến tính tách riêng Mạng nơ tron truyền thẳng (mạng MLP) Hồi quy (recurrent) : cấu trúc liên kết hồi quy đường truyền (vòng bán đồ thị), nơi số dòng chảy thông tin không theo hướng từ đầu vào đến đầu mà chiều ngược lại Nó tương tự mạng truyền thẳng giới hạn phía sau vòng lặp Những trường hợp thông tin không truyền theo hướng, truyền ngược trở lại Điều tạo trạng thái nội mạng cho phép động, hành vi thể tạm thời Các mạng nơ tron nhân tạo sử dụng nhớ chúng để xử lý chuỗi liệu, yếu tố đầu vào Mạng lưu lại trạng thái trước đó, trạng thái không phụ thuộc vào tín hiệu đầu vào mà phụ thuộc vào trạng thái trước mạng Các mạng thần kinh nhân tạo thường xuyên Hopfield, Elman, Jordan mạng khác trường hợp đặc biệt mạng thần kinh nơ tron nhân tạo lặp lại Footer Page of 126 Header Page of 126 Mạng nơ tron hồi quy (Mạng Hopfield) a) Khả thể mạng (được thể cấu trúc mạng)  Các mạng lớp ẩn có khả giải toán khả phân tuyến tính  Các mạng nơ tron với lớp ẩn xấp xỉ tốt ánh xạ hàm từ không gian hữu hạn chiều sang không gian khác  Các mạng nơ tron với lớp ẩn có khả thể đường phân chia hay xấp xỉ ánh xạ mịn tới độ xác Mạng nơ tron gồm lớp :đầu vào (input), ẩn(hidden) đầu (output) Footer Page of 126 Header Page 10 of b) 126.Mạng Perceptron Perceptron mạng nơ tron truyền thẳng đơn giản nhất, gồm tế bào nơ tron, nhận đầu vào liệu đầu vào đầu hai giá trị +1 -1 Đầu mạng xác định sau: mạng lấy tổng có trọng số giá trị đầu vào, kết ngưỡng đưa vào hàm truyền kết hàm truyền đầu mạng Perceptron cho phép phân loại xác trường hợp liệu phân chia tuyến tính (các mẫu nằm hai mặt đối diện siêu phẳng) Nó phân loại đầu hàm AND, OR hàm có dạng n m đầu vào (n ≤ m) Nó phân loại đầu hàm XOR c) Mạng Perceptron nhiều tầng (MLP: Multi Layer Perceptron) Đây mô hình mạng nơ tron sử dụng rộng rãi Một mạng MLP tổng quát mạng có n (n≥2) tầng (thông thường tầng đầu vào không tính đến): gồm tầng đầu (tầng thứ n) (n-1) tầng ẩn Kiến trúc mạng MLP tổng quát mô tả sau:  Đầu vào vector (x1, x2, , xp) không gian p chiều, đầu vector (y1,y2, , yq) không gian q chiều Đối với toán phân loại, p kích thước mẫu đầu vào, q số lớp cần phân loại  Mỗi nơ tron thuộc tầng sau liên kết với tất nơ tron thuộc tầng liền trước  Đầu nơ tron tầng trước đầu vào nơ tron thuộc tầng liền sau Hoạt động mạng MLP sau: tầng đầu vào nơ tron nhận tín hiệu vào xử lý (tính tổng trọng số, gửi tới hàm truyền) cho kết (là kết hàm truyền); kết truyền tới nơ tron thuộc tầng ẩn thứ nhất; nơ tron tiếp nhận tín hiệu đầu vào, xử lý gửi kết đến tầng ẩn thứ 2;…; trình tiếp tục nơ tron thuộc tầng cho kết Một số kết chứng minh:  Bất kì hàm Boolean biểu diễn mạng MLP tầng nơ tron sử dụng hàm truyền sigmoid  Tất hàm liên tục xấp xỉ mạng MLP tầng sử dụng hàm truyền sigmoid cho nơ tron tầng ẩn hàm truyền tuyến tính cho nơ tron tầng với sai số nhỏ tùy ý  Mọi hàm xấp xỉ mạng MLP tầng sử dụng hàm truyền sigmoid cho nơ tron tầng ẩn hàm truyền tuyến tính cho nơ tron tầng d) Mạng Hopfield Một Hopfield mạng nơ tron nhân tạo loại mạng thần kinh nhân tạo hồi quy, sử dụng để lưu trữ nhiều target vector Các vetor cung cấp để lưu trữ vector liệu đầu vào mà mạng nhận Mạng sử dụng hai giá trị nhị phân (0,1) xác định trạng thái tổng hợp giá trị đầu vào có vượt ngưỡng cho phép không Các yêu cầu trọng số cần phải đối xứng sử dụng, phải đảm bảo hàm cần giảm đơn điệu theo quy tắc kích hoạt Nếu trọng số không đối xứng sử dụng mạng thể số hành vi tuần hoàn hỗn loạn Việc huấn luyện mạng Hopfield có liên quan đến việc giảm thiểu trạng thái mà mạng nơ tron nhân tạo nên nhớ 10 Footer Page 10 of 126 i Chuyển Điểm đầu (0,y) cuối (width,y) thành điểm đầu (0,y) cuối (20,y) ma Header Page 26 of 126 trận ii Điểm giửa (width/2,y) -> điễm thứ 10th ma trận b) Đối với chiều cao ( khởi tạo 30 điểm) i Điểm đầu ( x,0) cuối (x,height) thành điểm đầu(x,0) cuối (x,30) ma trận ii Điểm giửa (x,height/2) -> điểm 15th iii Có thể chia nhỏ cho phù hợp c) Giảm ma trận thành 10x15 phía dài rộng kí tự d) Mạng nơ tron nhận dạng ký tự (Phần trình bày trình huấn luyện mạng) e) Hậu xử lý liệu Giai đoạn làm nhiệm vụ chuyển đổi giá trị Unicode sang dạng ký tự tương ứng xếp lại ký tự dạng text theo dạng ảnh văn ban đầu Quá trình huấn luyện mạng Quá trình huấn luyện trình học với tập mẫu (X , T ) , s = 1, N để điều chỉnh tập trọng số liên kết Giải thuật huấn luyện áp dụng thiết kế chương trình nhận dạng ký tự giải thuật lan truyền ngược sai số Back Propagation Bước 1: Lan truyền xuôi đầu vào X ={x , x , …, x } qua mạng: * Đầu nơ tron j lớp ẩn: y = g∑ w .x − θ (1) * Đầu nơ tron k lớp ra: y = g(∑ y w ) = g( w g( w x − θ ) − θ ) (2) Bước 2: Lan truyền ngược sai số: So sánh phần tử vectơ đầu thực Y với phần tử tương ứng vectơ đầu mẫu T để tính sai lệch: e = t − y bình phương sai số mạng ứng với mẫu học (X , T ): 26 Footer Page 26 of 126 = 27 of 126 (y − t ) Header EPage p số phần tử vectơ Y T Thông tin sai số lan truyền ngược qua mạng để điều chỉnh lại giá trị trọng số vòng lặp thứ 1: * Với liên kết nơ tron ẩn nơ tron ra: ∆w = ȵ δ (l) y (l) với hệ số học, y tính theo công thức δ (l) = e (l) g (y (l)) w (l + 1) = w (l) + ∆w * Với liên kết nơ tron vào nơ tron ẩn: ∆w = ȵ δ (l) x δ (l ) = g y δ (l) w (l + 1) w (l + 1) = w (l) + ∆w Sau hiệu chỉnh trọng số, mẫu X tiếp tục đưa vào mạng lần thứ (l+1) tiếp tục thuật toán hiệu chỉnh trọng số E< cho trước số vòng lặp đạt đến mức định trước Mẫu đưa vào mạng trình huấn luyện lặp lại mạng học thuộc tất mẫu Lưu cấu hình mạng lại để sẵn sàng đưa vào sử dụng Hàm kích hoạt sử dụng mạng Perceptron nhiều lớp hàm sigmoid lưỡng cực: g(x)= 1  e x   hàm sigmoid đơn cực : g(x)=  e x   đạo hàm : g’(x) = g(x) (1- g(x)) Mạng nơ tron nhận dạng ký tự : Mạng sau huấn luyện sử dụng bảng tra Các ảnh ký tự sau bước tiền xử lý đưa vào đầu vào mạng, đầu mạng vectơ Y với phần tử Y tính theo công thức (1) (2) Như đầu mạng giá trị Unicode ký tự Một số vấn đề cần giải huấn luyện là: -Sự lộn xộn không gian đầu vào : Một đầu vào lộn xộn ngẫu nhiên khác phạm vi mà lưu lượng dự đoán số thành phần khác -Độ phức tạp cửa mô hình mà huấn luyện? Mô hình phức tạp thường đặc trưng tính chồng chéo lên kích thước liệu cao Những ta sử dụng giá trị của:  Learning_rate  Độ nghiên Xích- ma  Trọng số ngưỡng  Số chu kỳ -Lỗi giá trị ngưỡng phải sử dụng để so sánh để sớm ngăn chặn lặp lại? 27 Footer Page 27 of 126 dụ:28 of 126 Header Ví Page Sự phức tạp mô hình liệu vấn đề việc huấn luyện nói riêng nhận dạng ký tự nói chung Mỗi ký hiệu có số lượng lớn tính chất riêng biệt mà cần phải biết đến để xác nhận Xoá bỏ số tính dẫn đến mô hình chồng lên số lượng tối thiểu liệu cần thiết làm cho lớp phức tạp không gian đầu vào nhận dạng đề cập, thông số số khác mạng xác định thời gian thực Chúng khác nhiều dựa theo số lượng ký hiệu đầu vào cấu trúc liên kết mạng Ta sử dụng thông số sau : Learning_rate = 150 độ chênh lệch Sigma = 0,014 Trọng số ngưỡng = 30 (xác định cách thử lỗi) số chu kỳ = 300-600 (tùy thuộc vào phức tạp loại font) giá trị ngưỡng lỗi = 0.0002 (xác định cách thử lỗi) Kiểm tra (testing) kết thực nghiệm Các giai đoạn thử nghiệm thực đơn giản dễ hiểu Chương trình diễn giải thành phần mô đun phương thức sử dụng để tải, phân tích tính toán thông số mạng vector đầu vào giai đoạn đào tạo tái sử dụng giai đoạn thử nghiệm Việc kiểm tra đầu vào cho ký tự tóm tắt sau :  Tải tập tin ảnh  Phân tích hình ảnh cho dòng ký tự  Cho dòng ký tự phát biểu tượng ký tự liên tiếp  Phân tích xử lý hình ảnh biểu tượng cho đồ thành vector đầu vào tính toán đầu  Chuyển đổi kết xuất Unicode nhị phân thành ký tự tương ứng làm cho hộp văn Các bước chuẩn bị cần thiết cho việc thử nghiệm chuỗi hình ảnh ký hiệu đầu vào tập tin hình ảnh (* bmp mở rộng [bitmap]), nhập ký tự tương ứng tập tin văn (*.cts [ký tự huấn luyện đặt] mở rộng ) lưu hai thư mục (cả hai đềuphải có tên file ngoại trừ phần mở rộng họ) Các ứng dụng cung cấp dialog (hộp thoại) mở tập tin cho người sử dụng để xác định vị trí file * cts văn sẽtải tập tin hình ảnh tương ứng Mặc dù kết liệt kê bảng từ việc huấn luyện, trình thử nghiệm hình ảnh biểu tượng tạo với 72pt kích thước phông chữ sử dụng kích thước khác chuyển thẳng cách chuẩn bị đầu vào / đầu mong muốn thiết lập giải thích Demo hoạt động với hình ảnh biểu tượng nhỏ kích thước font 20pt Do việc khởi tạo giá trị ngẫu nhiên giá trị trọng lượng kết liệt kê tiêu biểu đại diện cho mạng hoạt động sinh sản không xác thu với thử nghiệm khác Quá trình thử nghiệm việc huấn luyện mạng tiến hành với tập mẫu loại font: Latinh Arial, Latinh Tahoma, Latinh Times Roman 28 Footer Page 28 of 126 Header Page 29 of a) 126.Kết với số chu kỳ khác Số ký tự=90, learning_rate=150, độ chênh lệch xích-ma=0.014 Font Type Latin Arial Latin Tahoma Latin Times Roman 300 № of wrong characters 600 № of wrong % Error characters 4.44 1.11 0 800 № of wrong % Error characters 3.33 0 % Error 1.11 1.11 b) Kết với số lượng ký tự đầu vào khác Số chu kỳ =100, learning_rate =150, độ chênh lệch xích-ma=0.014 20 50 Font Type № of wrong № of wrong % Error % Error characters characters Latin Arial 0 12 Latin Tahoma 0 Latin Times Roman 0 90 № of wrong characters 11 % Error 12.22 8.89 10 c) Kết với tham số learning_rate khác Số ký tự đầu vào =100, Learning_rate =150, độ chênh lệch xích-ma=0.014 50 100 120 Font Type № of wrong № of wrong № of wrong % Error % Error characters characters characters Latin Arial 82 91.11 18 20 Latin Tahoma 56 62.22 11 12.22 Latin Times Roman 77 85.56 15 16.67 % Error 3.33 1.11 d) Đánh giá ảnh hưởng thay đổi thông số Tăng số vòng lặp tổng quát tỉ lệ thuận hiệu suất mạng Nhưng đến mức gây tượng học vẹt (over learning), bỏ qua trạng thái tối ưu Kích thước đầu vào nhân tố ảnh hưởng trực tiếp đến hiệu suất mạng Thực tế số đầu vào nhiều mạng yêu cầu huấn luyện nhiều để nhận bắt lỗi tốt Sự thay đổi tham số learning_rate ảnh hưởng hiệu suất mạng số vòng lặp xác định Giá trị tham số nhỏ mạng hiệu chỉnh trọng số chậm Nhưng muốn đạt đến trạng thái tối ưu ta phải tăng số vòng lặp nhiều 29 Footer Page 29 of 126 III MÔ HÌNH NHẬN DẠNG CHỮ VIẾT ONLINE Header Page 30 of 126 Mô hình Nhận dạng chữ viết tay trực tiếp (On-line handwritten character recognition) mô hình nhận dạng chữ viết với liệu đầu vào chữ viết trực tiếp người sử dụng Mô hình nhận dạng sử dụng phổ biến công nghệ cảm ứng, tablet PC, PDA, Hệ thống dựa chuỗi tọa độ không gian thời gian, quét ghi nhận lại đặc trưng để làm sở cho việc nhận dạng Trong mô hình này, nhận dạng trực tiếp chữ viết tay người sử dụng Đây điểm đặc biệt mô hình Việc dẫn tới vấn đề khó khăn nhận dạng chữ viết thời gian thực: áp đặp hạn chế thời gian cho phép để hoàn thành công việc nhận dạng tốc độ viết người sử dụng Ưu điểm mô hình thuật toán truy cập thông tin trình tự thời gian số nét chữ, hướng tốc độ viết chữ Thông thường, ảnh hưởng nhiều yếu tố thời gian thực mẫu liệu, kết nhận dạng xác khoảng 70% Giới thiệu Encog Framework Trong báo cáo này, đề cập đến mô hình nhận dạng chữ viết Online thông qua Demo viết Java xây dựng tảng framework Encog Encog tảng framework AI hỗ trợ cho Java Net việc lập trình mạng nơ tron Nền tảng cung cấp công cụ để tạo sử dụng nhiều loại mạng nơ tron khác ( mạng truyền thẳng, mạng hồi quy) dạng code cấp thấp Ở dạng này, Encog kết hợp, mở rộng thêm nhiều kiến trúc mạng khác nhau, tùy ý người sử dụng Trong Encog, mạng nơ tron xây dựng liệu liên quan chúng, lưu trữ tập tin có đuôi EG Những tập tin chỉnh sửa công cụ GUI editor (chỉnh sửa trực quan) cung cấp kèm với Encog Công cụ Encog Workbench cho phép xây dựng, chỉnh sửa, huấn luyện mạng nơ tron cách trực quan Nó hỗ trợ cho ngôn ngữ Java, VB C# Chúng ta download trực tiếp từ địa http://www.encog.org/ Encog phát hành theo giấy phép GNU Lesser Public (LGPL) Tất nguồn mã cho Encog cung cấp kho lưu trữ mã nguồnđược cung cấp dự án code Google Encog hỗ trợ sẵn cho tảng Microsoft Net Mạng Kohonen Mạng Kohonen (hay gọi Self Organizing Feature Map (SOFM) – mạng có tính tự tổ chức) mạng sử dụng hoàn toàn khác với mạng khác Trong tất mạng khác thiết kế cho nhiệm vụ giám sát học tập, mạng Kohonen thiết kế chủ yếu cho việc học giám sát Thoạt nhìn điều kỳ lạ Nếu đầu ra, mạng học hỏi gì? Câu trả lời mạng Kohonen cố gắng để tìm hiểu cấu trúc liệu Vì thế, ta sử dụng mạng thăm dò phân tích liệu Mạng Kohonen có lợi ích việc phát đặc điểm lạ Mạng Kohonen học cách nhận biết cụm liệu đào tạo đáp ứng với Nếu liệu mới, không giống trường hợp trước đó,bắt gặp, mạng không nhận điều cho biết lạ 30 Footer Page 30 of 126 Mạng nơ tron Kohonen bao gồm lớp liệu đầu vào lớp liệu đầu Header Page 31 of 126 nơ tron không chứa lớp ẩn Lớp liệu đầu vào mạng nơ tron Kohonen nơ tron đầu vào Các nơ tron đầu vào tạo thành mẫu liệu đầu vào mạng Đối với mạng nơ tron Kohonen, ta nên chọn liệu đầu vào chuẩn hóa khoảng -1 Khi thực thi mẫu liệu đầu vào, mạng tạo nơ tron đầu Lớp đầu mạng nơ tron Kohonen khác với lớp đầu mạng nơ tron truyền thẳng Đối với mạng truyền thẳng, có mạng nơ tron với nơ tron đầu ra, chúng cho kết bao gồm giá trị Còn mạng nơ tron Kohonen có nơ tron đầu cho giá trị Giá trị sai Dữ liệu đầu từ mạng nơ tron Kohonen thường số nơ tron (Ví dụ nơ tron số 5,…) Một mô hình mạng Kohonen Trong Demo này, ta sử dụng mạng Kohonen làm mạng nơ tron nhận dạng cho hệ thống Quá trình nhận dạng - Các đầu vào cho hệ thống chuỗi ký tự viết tay trực tiếp người sử dụng Sau nhận đầu vào từ thiết bị input (màn hình cảm ứng) tọa độ biên trái, phải, tính toán Sau đó, ký tự đưa vào lưới hệ thống kiểm tra pixel ô lưới, ký tựu số hóa thành chuỗi nhị phân Chuỗi nhị phân đầu vào mạng việc huấn luyện nhận dạng - Quá trình nhận dạng hệ thống diễn tả theo sơ đồ sau : 31 Footer Page 31 of 126 Header Page 32 of 126 Luồng liệu trình huấn luyện thể đường mũi tên nét đứt, luồng liệu trình nhận dạng thể đường mũi tên liền - Các tiền xử lý liệu đầu vào : a) Phát ký tự Trong mô hình nhận dạng này, người sử dụng viết chữ trực tiếp ( hình cảm ứngPDA, tablet PC) nên thuật toán để phát ký tự đơn giản Hệ thống cần tìm kiếm từ trái sang phải điểm ảnh màu trắng trái góc khu vực quy định cho chữ viết Một dấu vết pixel màu trắng dấu hiệu diện ký tự b) Tính toán ranh giới ký tự Sau phát ký tự, bước tính toán ranh giới Các thuật toán kiểm tra từ trái sang phải xuống phía cho ranh giới bên trái, bên trên, bên phải ký tự Trong lúc từ trái sang phải, pixel trắng ranh giới bên trái pixel màu trắng cuối biên bên phải ký tự Tương tự, từ xuống dưới, pixel màu trắng ranh giới pixel màu trắng cuối phía ranh giới ký tự Nếu có khoảng cách dọc hai phần ký tự, ví dụ như, 'H', sau thuật toán kiểm tra từ xuống cho khu vực cụ thể Các diện pixel màu trắng loại bỏ nghi ngờ khoảng cách thật Kiểm tra tương tự sử dụng cho khoảng trống nằm ngang hai phần ký tự 32 Footer Page 32 of 126 tương tự 'S' 'F' Bằng cách ranh giới ký tự hàng tính Header Page 33 of 126 toán lưu trữ sở liệu c) Trích xuất đặc trưng Trong mô hình nhận dạng này, việc trích xuất bao gồm ba bước sau: đo đạc tọa độ cực, đưa ký tự vào lưới, số hóa ký tự Các ký tự viết tay ghi chép lại tọa độ cực từ trái / phải / chia thành lưới hình chữ nhật hàng cột cụ thể Thuật toán tự động điều chỉnh kích thước lưới thành phần theo kích thước ký tự Sau tìm kiếm diện pixel ký tự ô lưới Các ô tìm thấy với điểm ảnh ký tự coi "on" phần lại đánh dấu "off" Một chuỗi nhị phân ký tự hình thành từ việc định vị "on" "off" ô làm đầu vào cho mạng Tổng số ô lưới đại diện cho số lượng đầu vào nhị phân - Mạng nơ tron nhận dạng : dựa huấn luyện từ trước, mạng tính toán trả lời liệu mẫu đầu vào ký tự - Quá trình hậu xử lý: trình xử lý kết cho phù hợp với ứng dụng cụ thể Quá trình huấn luyện mạng Mạng Kohonen huấn luyện chế độ giám sát Toàn trình huấn luyện cho mạng nơ tron Kohonen cần phải lặp lại qua vài công đoạn Nếu sai số tính toán mạng nơ tron Kohonen mức thấp mức chấp nhận hoàn tất trình huấn luyện Để tính toán tỉ lệ sai số cho mạng nơ tron Kohonen, ta điều chỉnh trọng số cho công đoạn Quá trình huấn luyện cho mạng nơ tron Kohonen huấn luyện cạnh tranh nên tập huấn luyện có nơ tron thắng Nơ tron thắng có trọng số điều chỉnh cho tác động trở lại mạnh mẽ liệu đầu vào lần Sự khác nơ tron thắng dẫn tới khác mẫu đầu vào Quá trình huấn luyện mạng diễn sau : 33 Footer Page 33 of 126 Header Page 34 of 126 Bắt đầu Đã số chu kỳ xác định? Khởi tạo ngẫu nhiên ma trận trọng số No Tính toán sai số Gán ma trận trọng số thành ma trận trọng số tốt Kiểm tra sai số xem có mức chấp nhận ? Yes No No Thực huấn luyện, điều chỉnh trọng số dựa vào nơron thắng Nếu có ma trận trọng số tốt ma trận trọng số tốt nhất? Yes No Tính toán lại tỉ lệ sai số, ghi lại giá trị cải thiện Yes Ma trận trọng số tốt chưa? Yes Yes Cải thiện tỉ lệ sai số tầm thường? No Dừng Mạng nơ tron Kohonen huấn luyện công đoạn tuần hoàn hai vấn đề sau xảy : - Nếu tính toán sai số mức thấp mức chấp nhận nhiệm vụ chu kỳ hoàn thành trình huấn luyện - Nếu tất tỉ lệ sai số thay đổi đa số cận biên, chu kỳ riêng lẻ bị loại trọng số lại khởi tạo lại với giá trị ngẫu nhiên, đông thời chu kỳ huấn luyện lại bắt đầu Chu kỳ huấn luyện tiếp tục chu kỳ huấn luyện trước 34 Footer Page 34 of 126 phân tích công đoạn để đưa kết quả; chu kỳ bị loại bỏ tạo Header Page 35 of 126 tập trọng số mà có mức sai số chấp nhận - Các vấn đề việc huấn luyện mạng Kohonen : a) Chuẩn hóa liệu đầu vào Mạng nơ tron Kohonen đòi hỏi liệu đầu vào phải chuẩn hóa Yêu cầu mạng nơ tron Kohonen liệu đầu vào phải phân hoạch miền xác định -1 Mỗi liệu đầu vào nên sử dụng hoàn toàn miền xác định, nơ tron đầu vào sử dụng số 1, thành mạng nơ tron không cao (bị tổn thất) Để chuẩn hóa liệu đầu vào, tính toán độ dài vector (vector length) liệu đầu vào, vector đầu vào Ví dụ : Chúng ta xém xét mạng nơ tron Kohonen đơn giản Mạng có nơ tron đầu vào, nơ tron đầu Dữ liệu đầu vào gồm nơ tron trọng số kết nối nơ tron liệt kê sau : Các nơ tron đầu vào Trọng số kết nối nơ tron Trong trường hợp độ dài vector là: (0.5 * 0.5) + (0.75 * 0.75) = 0.8125 Vậy trường hợp có độ dài vector 0.8125 Sử dụng độ dài này, xác định hệ số chuẩn hóa Hệ số chuẩn hóa số nghịch đảo bậc hai độ dài vector đầu vào Trong trường hợp hệ số chuẩn hóa là: 0.8125 Tính toán giá trị cho kết hệ số chuẩn hóa 1.1094 Hệ số chuẩn hóa sử dụng cho việc tính toán liệu đầu cho nơ tron b) Tính toán liệu đầu Để tính toán liệu đầu ra, vector liệu đầu vào trọng số kế nối nơ tron phải xem xét Thứ nhất, tính tích vô hướng hai vector: vector đầu vào vector trọng số liên kết Để tính toán tích vô hướng hai vector này, ta thực sau Ta bắt đầu tính toán cho nơ tron thức Thuật toán Kohonen cho việc lấy tích vô hướng hai vector vector đầu vào vector trọng số tính sau: |0.5 0.75| |0.1 0.2| = (0.5 * 0.75)+ (0.1 * 0.2)= 0.395 Tính toán thực cho nơ tron đầu đầu tiên, nơ tron đầu 35 Footer Page 35 of 126 Bây giờ, liệu đầu phải chuẩn hóa nhân kết (0.395) với hệ số Header Page 36 of 126 chuẩn hóa 1.1094, cho kết 0.438213 c) Ánh xạ lưỡng cực Khi tạo ánh xạ lưỡng cực, số -1, số lại Tức tạo đồ lưỡng cực từ [-1,1] tới [0,1] Ví dụ, để biến đổi chuỗi 0101 số lưỡng cực ta làm sau: 0=-1 1=1 Do liệu đầu vào chuẩn hóa khoảng [-1,1] nên ta phải thực chuẩn hóa tương tự nơron đầu Để lập đồ, ta cộng thêm vào kết lấy ½ kết Theo kết có kết đầu 0.438213, kết liệu đầu cuối : (0.438213+1)/2 = 0.7191065 Giá trị 0.7191065 liệu đầu nơron Giá trị so sánh với liệu đầu nơron khác Bằng cách so sánh giá trị này, xác định nơron “ thắng” d) Chọn nơ tron thắng Nếu muốn xác định nơ tron đầu thắng, phải tính toán giá trị cho nơ tron đầu thứ hai Bây giờ, xem nhanh trình tính toán cho nơ tron đầu thứ hai Nơ tron liệu đầu thứ hai sử dụng hệ số chuẩn hóa giống sử dụng để tính toán cho nơ tron đầu Theo ta có hệ số chuẩn hóa 1.1094 Chúng ta áp dụng phương pháp tính tích vô hướng cho trọng số nơ tron đầu thứ hai vector liệu đầu vào, nhận giá trị : |0.5 0.75|*|0.3 0.4| = (0.5*0.75)+(0.3*0.4) = 0.45 Giá trị nhân với hệ số chuẩn hóa 1.1094, nhận kết 0.49923 Bây có giá trị đầu cho nơ tron Nơ tron có giá trị đầu 0.7191065 nơ tron thứ hai có giá trị đầu 0.49923 Để chọn nơ tron thắng, chọn giá trị liệu đầu lớn Trong trường hợp nơ tron thắng nơ tron đầu với giá trị đầu 0.7191065 Như ta xác định giá trị đầu mạng nơ tron Kohonen Ta thấy trọng số nơ tron đầu vào nơ tron đầu xác định liệu đầu e) Điều chỉnh trọng số Một công đoạn xuất liệu huấn luyện đưa vào mạng nơ tron Kohonen, trọng số điều chỉnh dựa kết liệu huấn luyện Sự điều chỉnh trọng số làm cho mạng có thuận lợi sau đưa trở lại mạng Ma trận trọng số cuối sử dụng ma trận tốt xác định từ chu kỳ Bây giờ, xem xét trọng số thay đổi Phương pháp cho việc tính toán thay đổi trọng số sử dụng phương trình sau: w t 1  w t   ( x  wt ) 36 Footer Page 36 of 126 Biến x vector huấn luyện đưa vào mạng Biến wt trọng số nơ tron thắng, biến Header Page 37 of 126 wt+1 trọng số mới, α hệ số học f) Tính toán sai số Khi mạng huấn luyện không giám sát có sai số, khác kết mong đợi kết thực tế mạng nơ tron Sai số mà tính toán mà không kết mong đợi kết thực tế ej = ||x-wj|| Mục đích mạng nơ tron Kohonen phân loại liệu đầu vào vào tập khác nhau, sai số mạng nơ tron Kohonen phải đo lường Sai số tính toán trình huấn luyện mạng Kiểm tra (testing) kết thực nghiệm Trong ứng dụng demo, mặc định chương trình huấn luyện 24 chữ viết hoa Khi muốn nhận dạng ký tự, ta sử dụng nút " Recognize " Vẽ ký tự khu vực input nhấn vào nút "Recognize" Kết trả hiển thị dòng màu đỏ, cho ta biết hệ thống nhận dạng ký tự chữ Để thêm chữ cho hệ thống tập huấn luyện, ta nhập vào ký tự muốn huấn luyện cho hệ thống Tiếp theo, ta vẽ chữ khu vực đầu vào input Sau vẽ xong, ta nhấn vào nút "Add" Khi thực xong thao tác trên, ký tự thêm vào tập mẫu huấn luyện cho mạng Nếu xuất trường hợp trùng (ký tự huấn luyện trước cho mạng), hệ thống yêu cầu ta xóa bỏ liệu ban đầu rùi thực thao tác thêm Để xóa chữ mà tập huấn luyện có liệt kê mà ta chọn chữ nhấn nút "Delete" ứng dụng Demo Tỉ lệ thành công mẫu thêm vào khoảng 80-90% Đối với mẫu ban đầu, tỉ lệ thành công vào khoảng 70% Đây kết tương đối chấp nhận Tùy nhiên, trường hợp cụ thể, kết lại khả quan ( trường hợp nhận dạng chữ ký người, ) 37 Footer Page 37 of 126 Header Page 38 of 126 - Nhận dạng lĩnh vực đóng vai trò quan trọng khoa học kỹ thuật Trong hầu hết vấn đề kỹ thuật ngày nay, ta phải xác định, nhận dạng mô hình đối tượng liên quan, để từ tìm giải pháp Trong báo cáo này, tìm hiểu phương pháp nhận mạng mô hình mạng nơ tron Mô hình ứng dụng mạng nơ tron nhận dạng cách tiếp cận đại Nó công cụ mạnh mẽ để giải toán lĩnh vực - Trong tương lai, để cải thiện kết thu nhận từ mô hình, cần để mẫu thích hợp, phương pháp rút trích đặc điểm đặc trưng mẫu giải pháp phát ký tự trường hợp phát sinh ( ký tự bị nghiêng, nét, ) - Từ kết đạt từ việc nghiên cứu phương pháp này, mở rộng vấn đề lĩnh vực nhận dạng : nhận dạng câu, nhận dạng chữ ký, , góp phần giải trường hợp cụ thể vấn đề nhận dạng./ HẾT Footer Page 38 of 126 38 Header Page 39 of 126 A ĐẶT VẤN ĐỀ B TỔNG QUAN VỀ MẠNG NƠ TRON I GIỚI THIỆU VỀ MẠNG NƠ TRON NHÂN TẠO MẠNG NƠ TRON SINH HỌC MẠNG NƠ TRON NHÂN TẠO LỊCH SỬ PHÁT TRIỂN CỦA MẠNG NƠ TRON HÀM TRUYỀN CÁC MÔ HÌNH MẠNG NƠ TRON ỨNG DỤNG CỦA MẠNG NƠ TRON II HUẤN LUYỆN MẠNG NƠ TRON CÁC PHƯƠNG PHÁP HỌC HUẤN LUYỆN MẠNG NƠ TRON THUẬT TOÁN TRONG HUẤN LUYỆN MẠNG NƠ TRON III CÁC VẤN ĐỀ KHÁC KHUYẾT ĐIỂM CỦA MẠNG NƠ TRON KÍCH THƯỚC CỦA DỮ LIỆU KÍCH CỠ CỦA LỚP ẨN MỘT SỐ HƯỚNG DẪN KHI SỬ DỤNG MẠNG NƠ TRON C NHẬN DẠNG CHỮ VIẾT BẰNG MẠNG NƠ TRON I GIỚI THIỆU BÀI TOÁN NHẬN DẠNG CHỮ VIẾT TAY TÌM HIỂU VỀ KÝ TỰ VÀ CHỮ VIẾT BÀI TOÁN NHẬN DẠNG CHỮ VIẾT TAY TRÍCH CHỌN ĐẶC TRƯNG II MÔ HÌNH NHẬN DẠNG CHỮ VIẾT OFFLINE MÔ HÌNH MẠNG MLP CƠ SỞ DỮ LIỆU QUÁ TRÌNH NHẬN DẠNG QUÁ TRÌNH HUẤN LUYỆN MẠNG KIỂM TRA (TESTING) VÀ KẾT QUẢ THỰC NGHIỆM III MÔ HÌNH NHẬN DẠNG CHỮ VIẾT ONLINE MÔ HÌNH GIỚI THIỆU VỀ ENCOG FRAMEWORK MẠNG KOHONEN QUÁ TRÌNH NHẬN DẠNG QUÁ TRÌNH HUẤN LUYỆN MẠNG D NHẬN XÉT KIỂM TRA (TESTING) VÀ KẾT QUẢ THỰC NGHIỆM 3 11 12 12 13 15 17 17 18 18 18 19 19 19 19 20 21 21 21 22 23 26 28 30 30 30 30 31 33 37 38 39 Footer Page 39 of 126 Header Page 40 of 126 TÀI LIỆU THAM KHẢO : INTECH INTRODUCTION TO THE ARTIFICIAL NEURAL NETWORKS - Andrej Krenker, Janez Bes ter and Andrej Kos (2011) HANDWRITING RECOGNITION SYSTEMS: AN OVERVIEW - Avi Drissman (1997) Neural Networks for Handwritten English Alphabet Recognition - Yusuf Perwej, Ashish Chaturvedi (2011) DEMO : DEMO ONLINE : HTTP://WWW.HEATONRESEARCH.COM DEMO OFFLINE: HTTP://WWW.CODEPROJECT.COM 40 Footer Page 40 of 126 ... hai dạng : nhận dạng trực tiếp (Online) nhận dạng gián tiếp (Offline), nghĩa chữ viết trực tiếp chữ viết dạng hình ảnh 19 Footer Page 19 of 126 Thông thường, nhận dạng Online có ưu điểm nhận dạng. .. HÌNH NHẬN DẠNG CHỮ VIẾT ONLINE Header Page 30 of 126 Mô hình Nhận dạng chữ viết tay trực tiếp (On-line handwritten character recognition) mô hình nhận dạng chữ viết với liệu đầu vào chữ viết. .. phân tích chữ viết tay máy tính nhằm tìm lời giải cho vấn đề thú vị tiền đề kỹ thuật nhận dạng chữ viết tay Nhận dạng chữ viết tay lĩnh vực nghiên cứu sôi phần quan trọng thú vị ứng dụng khoa