Ứng dụng mạng neural trong nhận dạng kí tự 1

Tiểu luận: Trí tuệ nhân tạo GVHD: Th.S Lưu Minh Tuấn MỤC LỤC LỜI NÓI ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO 1.1 Khái niệm mạng neural 1.1.1 Tìm hiểu Neural 1.1.2 Mạng neural nhân tạo .5 1.2 Đặc trưng mạng neural 1.2.1 Tính phi tuyến 1.2.2 Tính chất tương ướng đầu vào đầu 1.2.3 Tính chất thích nghi 1.2.4 Tính chất đưa lời giải có chứng 1.2.5 Tính chất chấp nhận sai xót 1.2.6 Khả cài đặt VLSI(Very-large-scale-intergrated) .8 1.2.7 Tính chất đồng dạng phân tích thiết kế 1.3 Phân loại mạng neural nhân tạo 1.3.1 Phân loại theo kiểu liên kết neural 1.3.2 Một số loại mạng neural 1.4 Xây dựng mạng neural 11 1.5 Huấn luyện mạng neural 13 1.5.1 Phương pháp học 13 1.5.2 Thuật toán học 14 1.6 Thu thập liệu cho mạng neural 19 1.7 Biểu diễn chi thức cho mạng neural 21 1.8 Một số vấn đề mạng neural 1.9 Ứng dụng mạng neural 24 23 CHƯƠNG 2: ỨNG DỤNG MẠNG NEURAL NHẬN DẠNG KÍ TỰ 25 2.1 Giới thiệu 25 SV: Hoàng Văn Tuấn Lớp: CNTT Tiểu luận: Trí tuệ nhân tạo GVHD: Th.S Lưu Minh Tuấn 2.2 Phát biểu toán 25 2.3 Các bước giải giải toán 26 2.3.1 Xây dựng mạng neural 26 2.3.2 Xử lý liệu (phân tích ảnh) 27 2.3.3 Huấn luyện mạng neural 32 2.3.4 Nhận dạng ảnh kí tự .36 KẾT LUẬN 38 TÀI LIỆU THAM KHẢO 39 SV: Hồng Văn Tuấn Lớp: CNTT Tiểu luận: Trí tuệ nhân tạo GVHD: Th.S Lưu Minh Tuấn LỜI NÓI ĐẦU Ngày khơng phủ nhận vai trị quan trọng máy tính nghiên cứu khoa học kỹ thuật đời sống Máy tính làm điều kỳ diệu giải vấn đề tưởng chừng nan giải Càng ngày có nhiều người tự hỏi, liệu máy tính có khả suy nghĩ người hay chưa? Chúng ta không trả lời câu hỏi Thay vào đó, nêu khác biệt chủ yếu cách làm việc máy tính óc người Một máy tính, dự cú mạnh đến đâu nữa, phải làm việc theo chương trình xác hoạch định trước chun gia Bài tốn phức tạp việc lập trình cơng phu Trong người làm việc cách học tập rèn luyện, làm việc người có khả liên tưởng, kết nối việc với việc khác, quan trọng hết, họ sáng tạo Do có khả liên tưởng, người dễ dàng làm nhiều điều mà việc lập trình cho máy tính địi hỏi nhiều cơng sức Chẳng hạn việc nhận dạng hay trị chơi chữ Một em bé tự học hỏi để nhận dạng phân loại đồ vật chung quanh mình, biết thức ăn, đồ chơi Một người bình thường đốn vài chữ chữ Nhưng thật khó mà dạy cho máy tính làm việc Từ lâu nhà khoa học nhận thấy ưu điểm óc người tìm cách bắt chước để thực máy tính, tạo cho có khả học tập, nhận dạng phân loại Các mạng neural nhân tạo đời từ nỗ lực đú Nú thực ý nhanh chóng trở thành hướng nghiên cứu đầy triển vọng mục đích xây dựng cỏc mỏy thơng minh tiến gần tới trí tuệ người Đặc biệt lĩnh vực nhận dạng Trong đồ án trình bày “Ứng dụng mạng neural nhận dạng kí tự” Nội dung báo cáo gồm chương sau: Chương 1:Tổng quan mạng neural nhân tạo Chương 2: Ứng dụng mạng neural nhận dạng kí tự SV: Hồng Văn Tuấn Lớp: CNTT Tiểu luận: Trí tuệ nhân tạo GVHD: Th.S Lưu Minh Tuấn CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO 1.1 Khái niệm mạng neural 1.1.1 Tìm hiểu Neural 1.1.1.1 Neural sinh học: Một neural cấu gồm thành phần sau: Dendrite, Soma, Synapse, Axon hình 1.1 Hình 1.1: Mơ hình neural sinh học Soma thân neural Các dendrites cỏc dõy mảnh, dài, gắn liền với soma, chúng truyền liệu (dưới dạng xung điện thế) đến cho soma xử lý Bên soma liệu tổng hợp lại, xem gần tổng hợp phép lấy tổng tất liệu mà neural nhận Một loại dây dẫn tín hiệu khác gắn với soma axon Khác với dendrites, axons có khả phỏt cỏc xung điện thế, chúng dây dẫn tín hiệu từ neural nơi khác Chỉ điện soma vượt q giá trị ngưỡng axon phát xung điện thế, cịn khơng trạng thái nghỉ Axon nối với dendrites neural khác thông qua mối nối đặc biệt gọi synapse Khi điện synapse tăng lên xung phát từ SV: Hoàng Văn Tuấn Lớp: CNTT Tiểu luận: Trí tuệ nhân tạo GVHD: Th.S Lưu Minh Tuấn axon synapse nhả số chất hoá học (neurotransmitters); chất mở "cửa" dendrites ions truyền qua Chớnh dũng ions làm thay đổi điện dendrites, tạo xung liệu lan truyền tới neural khác Có thể tóm tắt hoạt động neural sau: neural lấy tổng tất điện vào mà nhận được, phát xung điện tổng lớn ngưỡng Các neural nối với synapses Synapse gọi mạch cho phép truyền dẫn dễ dàng tín hiệu qua neural khác Ngược lại, synapse yếu truyền dẫn tín hiệu khó khăn Các synapses đóng vai trị quan trọng học tập Khi học tập hoạt động synapses tăng cường, tạo nên nhiều liên kết mạnh neural Có thể nói người học giỏi có nhiều synapses synapses mạnh mẽ, hay nói cách khác, liên kết neural nhiều, nhạy bén 1.1.1.2 Neural nhân tạo: Neural nhân tạo đơn vị tính tốn có nhiều đầu vào đầu ra, đầu vào đến từ liên kết Đặc trưng neural hàm kích hoạt phi tuyến chuyển đổi tổ hợp tuyến tính tất tín hiệu đầu vào thành tín hiệu đầu Hàm kích hoạt đảm bảo tính chất phi tuyến cho tính tốn mạng neural y1 y2 w1 f w2 a wk yk Đầu vào b0 Đầu a=f( w’y+b) Hình1.2: Mơ hình neural nhân tạo SV: Hoàng Văn Tuấn Lớp: CNTT Tiểu luận: Trí tuệ nhân tạo GVHD: Th.S Lưu Minh Tuấn Một neural cầu tạo gồm thành phần : liên kết neural, cộng , hàm kích hoạt Liên kết neural thành phần mạng neural nhận tạo để liên kết neural, nối đầu neural lớp với đầu vào neural lớp khác Đặc trưng thành phần liên kết trọng số mà tín hiệu qua nhân với trọng số Các trọng số liên kết tham số tự mạng neuron, thay đổi nhằm thích nghi với mơi trường xung quanh Bộ cộng dùng để tính tổng tín hiệu đầu vào neural, nhân với trọng số liên kết tương ứng phép tốn mơ tả tạo nên hợp tuyến tính Hàm kích hoạt hay cịn gọi hàm kích hoạt phi tuyến, chuyển đổi tổ hợp tuyến tính tất tín hiệu đầu vào thành tín hiệu đầu Hàm kích hoạt đảm bảo tính chất phi tuyến cho tính tốn mạng neural Nó xem hàm giới hạn, giới hạn phạm vi biên độ cho phép tín hiệu đầu khoảng giá trị hữu hạn Mơ hình neural hình 1.2 cịn bao gồm hệ số điều chỉnh b tác động từ bên ngồi Hệ số điều chỉnh b có tác dụng tăng lên giảm đầu vào thực hàm kích hoạt, tùy theo dương hay âm SV: Hồng Văn Tuấn Lớp: CNTT Tiểu luận: Trí tuệ nhân tạo GVHD: Th.S Lưu Minh Tuấn Bảng 1.1 : Một số hàm kích hoạt mạng neural: Tên hàm Công thức hardlim a0 a=1 hardlims với n < với n  a  -1 a=1 với n < với n  purelin a=n Satlin a=0 với n < a=n với  n  a=1 với n > satlins a = -1 với n < a=n với  n  a=1 với n > tansig en  e n a  e n poslin a  với n < a=n compet với n  a = với neural có n lớn a = với neural lại logsig a  e n 1.1.2 Mạng neural nhân tạo Là hệ thống bao gồm nhiều phần tử xử lý đơn giản (hay gọi neural) tựa neural thần kinh não người, hoạt động song song nối với liên kết neural Mỗi liên kết kèm theo trọng số đó, đặc trưng cho tính kích hoạt ức chế neural SV: Hoàng Văn Tuấn Lớp: CNTT Tiểu luận: Trí tuệ nhân tạo GVHD: Th.S Lưu Minh Tuấn Có thể xem trọng số phương tiện để lưu trữ thông tin dài hạn mạng neural nhiệm vụ trình huấn luyện mạng cập nhật trọng số cú thờm thông tin mẫu học Hay nói cách khỏc, cỏc trọng số điều chỉnh cho dáng điệu vào mạng mơ hồn tồn phù hợp với mơi trường xem xét Mơ hình mạng neural Hình 1.3: Sơ đồ đơn giản mạng neural nhân tạo Mơ hình mạng neural gồm lớp: lớp nhập (input), lớp ẩn(hidden) lớp xuất (output) Mỗi nút lớp nhập nhận giá trị biến độc lập chuyển vào mạng Dữ liệu từ tất cỏc nỳt lớp nhập tích hợp – ta gọi tổng trọng số – chuyển kết cho cỏc nỳt lớp ẩn Gọi “ẩn” vỡ cỏc nỳt lớp liên lạc với cỏc nỳt lớp nhập lớp xuất, có người thiết kế mạng biết lớp (người sử dụng lớp này) Cỏc nút lớp xuất nhận tín hiệu tổng trọng hóa từ cỏc nỳt lớp ẩn Mỗi nút lớp xuất tương ứng với biến phụ thuộc SV: Hoàng Văn Tuấn Lớp: CNTT Tiểu luận: Trí tuệ nhân tạo 1.2 GVHD: Th.S Lưu Minh Tuấn Đặc trưng mạng neural 1.2.1 Tính phi tuyến Một neural tính tốn cách tuyến tính hay phi tuyến Một mạng neural, cấu thành kết nối neural phi tuyến tự có tính phi tuyến Hơn nữa, điều đặc biệt tính phi tuyến phân tán tồn mạng Tính phi tuyến thuộc tính quan trọng, chế vật lý sinh tín hiệu đầu vào (ví dụ tín hiệu tiếng nói) vốn phi tuyến 1.2.2 Tính chất tương ướng đầu vào đầu Mặc dù khái niệm “học” hay “huấn luyện” chưa bàn đến để hiểu mối quan hệ đầu vào-đầu mạng neural, đề cập sơ qua khái niệm Một mơ hình học phổ biến gọi học với người dạy hay học có giám sát liên quan đến việc thay đổi trọng số liên kết mạng neural việc áp dụng tập hợp mẫu tích luỹ hay ví dụ tích luỹ Mỗi ví dụ bao gồm tín hiệu đầu vào đầu mong muốn tương ứng Mạng neural nhận ví dụ lấy cách ngẫu nhiên từ tập hợp nói đầu vào nó, trọng số liên kết mạng biến đổi cho cực tiểu hoá sai khác đầu mong muốn đầu thực mạng theo tiêu chuẩn thống kê thích hợp Sự tích luỹ mạng lặp lại với nhiều ví dụ tập hợp mạng đạt tới trạng thái ổn định mà khơng có thay đổi đáng kể trọng số liên kết Các ví dụ tích luỹ áp dụng trước áp dụng lại thời gian phiờn tớch luỹ theo thứ tự khác Như mạng neural học từ ví dụ cách xây dựng nên tương ứng đầu vào-đầu cho vấn đề cần giải 1.2.3 Tính chất thích nghi Các mạng neural có khả mặc định biến đổi trọng số liên kết tuỳ theo thay đổi môi trường xung quanh Đặc biệt, mạng neural tích luỹ để hoạt động mơi trường xác định tích luỹ lại cách dễ dàng có thay đổi nhỏ điều kiện môi trường hoạt động SV: Hồng Văn Tuấn Lớp: CNTT Tiểu luận: Trí tuệ nhân tạo GVHD: Th.S Lưu Minh Tuấn 1.2.4 Tính chất đưa lời giải có chứng Trong ngữ cảnh phân loại mẫu, mạng neural thiết kế để đưa thông tin không mẫu phân loại, mà tin cậy định thực Thơng tin sử dụng để loại bỏ mẫu mơ hồ hay nhập nhằng 1.2.5 Tính chất chấp nhận sai xót Một mạng neural, cài đặt dạng phần cứng, vốn có khả chấp nhận lỗi, hay khả tính tốn thơ, với ý nghĩa tính thoỏi hố có điều kiện hoạt động bất lợi Ví dụ, neural hay liên kết kết nối bị hỏng, việc nhận dạng lại mẫu lưu trữ suy giảm chất lượng 1.2.6 Khả cài đặt VLSI(Very-large-scale-intergrated) Bản chất song song đồ sộ mạng neural làm cho nhanh tính tốn số cơng việc Đặc tính tạo cho mạng neural khả phù hợp cho việc cài đặt sử dụng kỹ thuật Very-large-scaleintergrated (VLSI) Kỹ thuật cho phép xây dựng mạch cứng tính tốn song song quy mơ lớn Chính mà ưu điểm bật VLSI mang lại phương tiện hữu hiệu để xử lý hành vi có độ phức tạp cao 1.2.7 Tính chất đồng dạng phân tích thiết kế Về bản, mạng neural có tính chất chung xử lý thông tin Chúng ta nêu điều với ý nghĩa cho tất lĩnh vực có liên quan tới việc ứng dụng mạng neural Đặc tính thể số điểm sau: Các neural, dạng dạng khác, biểu diễn thành phần chung cho tất mạng neural Tính thống đem lại khả chia sẻ lý thuyết thuật toán học nhiều ứng dụng khác mạng neural Các mạng tổ hợp (modular) xây dựng thơng qua tích hợp mơ hình khác SV: Hoàng Văn Tuấn Lớp: CNTT