báo cáo đề tài tìm hiểu về mạng nơ tron

LOGO TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN Đặt Vấn Đề 1 Tổng quan về mạng nơ tron 2 Nhận dạng chữ viết tay 3 Giới thiệu chung “ Làm thế nào máy tính có thể nhận dạng chữ viết tay của một người ?” Dùng mạng nơ tron Bài toán thuộc dạng phân lớp các mẫu : đưa các mẫu đầu vào các lớp cho trước. Giới thiệu chung  Xây dựng cấu trúc mạng  Phương pháp huấn luyện  Kết quả chấp nhận được.  Ta có thể bổ sung các lớp mà không làm ảnh hưởng đến cấu trúc mạng  Thường được dùng cho các bài toán phân lớp Vấn đề Giới thiệu chung Dựa trên nguồn dữ liệu đầu vào, chúng ta chia bài toán thành hai dạng cơ bản : Nhận dạng trực tiếp (Online) Nhận dạng gián tiếp (Offline) dựa trên nguồn dữ liệu đầu vào, chúng ta chia bài toán thành hai dạng cơ bản : nhận dạng trực tiếp (Online) và nhận dạng gián tiếp (Offline) Giới thiệu chung  Chọn ra những đặc điểm cơ bản, đặc trưng riêng của đối tượng để nhận dạng.Tùy bài toán mà ta có cách chọn đặc trưng riêng.  Các đặc điểm đặc trưng trên sẽ là vector đầu vào cho mạng nơ tron.  Có ảnh hưởng đến tốc độ cũng như kết quả nhận dạng của mạng nơ tron. dựa trên nguồn dữ liệu đầu vào, chúng ta chia bài toán thành hai dạng cơ bản : nhận dạng trực tiếp (Online) và nhận dạng gián tiếp (Offline) Giới thiệu 1 Nhận dạng Offline 2 Nhận dạng Online 3 NHẬN DẠNG CHỮ VIẾT OFFLINE Là mô hình nhận dạng chữ viết với dữ liệu đầu vào ở dạng hình ảnh của các ký tự Hệ thống sẽ quét và nhận dạng tĩnh dựa trên các hình ảnh của các ký tự Thông thường, kết quả nhận được từ mô hình này chính xác hơn 90% NHẬN DẠNG CHỮ VIẾT OFFLINE  Gồm có 3 lớp: một lớp đầu vào , một lớp ẩn và một lớp xuất ra.  Lớp đầu vào được cấu thành từ 150 tế bào nơ tron tiếp nhận dữ liệu điểm ảnh nhị phân từ một điểm ảnh biểu tượng ma trận 10x15 .  Các lớp ẩn được cấu tạo từ 250 tế bào nơ tron có số lượng được quyết định trên cơ sở kết quả tối ưu trên một cơ sở thử nghiệm và báo lỗi.  Lớp xuất ra gồm có 16 tế bào nơ tron tương ứng với 16-bit của mã Unicode. Mô hình mạng nơ tron xây dựng cho bài toán Hàm truyền : Trong Demo này, mạng được sử dụng là mạng MLP NHẬN DẠNG CHỮ VIẾT OFFLINE Đặc trưng nhận dạng : thông tin chiều ngang, chiều dọc, số lượng các lỗ rỗng bên trong, xác định số nét [...]...  Nơ tron thắng này sẽ có trọng số được điều chỉnh sao cho ngay lập tức nó sẽ tác động trở lại mạnh mẽ hơn trong dữ liệu đầu vào ở lần tiếp theo  Sự khác nhau giữa các nơ tron thắng sẽ dẫn tới sự khác nhau giữa các mẫu đầu vào tiếp theo NHẬN DẠNG CHỮ VIẾT ONLINE VD :Các một mạng nơ tron Kohonen gồm : 2 nơ tron đầu vào, và 2 nơ Xét vấn đề trong việc huấn luyện có tron  Chuẩn hóa dữ liệu đầu vào tron. .. tron và các trọng số kết nối giữa đầu ra Dữ liệu đầu vào gồm 2 nơ các nơ Ánh liệt lưỡng cực :  tron xạ kê như sau  Tính toán dữ liệu đầu ra  Chọn nơ tron thắng  Điều chỉnh trọng số  Tính toán sai số NHẬN DẠNG CHỮ VIẾT ONLINE A- Chuẩn hóa dữ liệu đầu vào  Mạng nơ tron Kohonen đòi hỏi dữ liệu đầu vào phải được chuẩn hóa Yêu cầu của mạng nơ tron Kohonen là dữ liệu đầu vào của nó phải được phân hoạch... dùng  Thông thường, kết quả nhận được từ mô hình này chính xác hơn 70% NHẬN DẠNG CHỮ VIẾT ONLINE Trong Demo này, mạng được sử dụng là mạng Kohonen  Mạng Kohonen được thiết kế chủ yếu cho việc học không có giám sát  Mạng nơ tron Kohonen bao gồm một lớp dữ liệu đầu vào và một lớp dữ liệu đầu ra của các nơ tron và nó không chứa lớp ẩn NHẬN DẠNG CHỮ VIẾT ONLINE Đặc trưng nhận dạng : thông tin thứ tự nét... đầu vào được chuẩn hóa trong khoảng [-1,1] nên ta phải thực hiện chuẩn hóa tương tự đối với nơron đầu ra Để thực hiện, ta cộng thêm 1 vào kết quả rồi lấy ½ kết quả đầu ra (0.438213+1)/2 = 0.7191065  Đây là giá trị đầu ra của nơ tron đầu tiên Bằng cách so sánh các giá trị này, chúng ta có thể xác định được nơron “ thắng” NHẬN DẠNG CHỮ VIẾT ONLINE D- Chọn nơ tron thắng Để chọn nơ tron thắng, chúng ta... ra là lớn nhất giữa các nơ tron NHẬN DẠNG CHỮ VIẾT ONLINE E- Điều chỉnh trọng số Phương pháp cho việc tính toán thay đổi các trọng số sử dụng phương trình sau: 𝑤 𝑡+1 = 𝑤 𝑡 + ∝ (𝑥 − 𝑤 𝑡 ) Trong đó, biến x là vector huấn luyện được đưa vào mạng Biến wt là trọng số của nơ tron thắng, và biến wt+1 là trọng số mới, α là hệ số học NHẬN DẠNG CHỮ VIẾT ONLINE E- Tính toán sai số Khi mạng huấn luyện không giám... cho mạng xử Phát hiện dữ liệu đầu vào này Giai đoạn này được gọi là giai đoạn tiền  lý những ký tự xử Tính toán đầu vào của ký tự  lý dữ liệu ranh giới  Trích xuất đặc trưng : gồm các bước đo đạc tọa độ cực, đưa ký tự vào lưới, và số hóa (ánh xạ) ký tự NHẬN DẠNG CHỮ VIẾT ONLINE  Quá trình huấn luyện cho mạng nơ tron Kohonen là quá trình huấn luyện cạnh tranh nên mỗi tập huấn luyện sẽ có một nơ tron. .. huấn luyện không giám sát bao giờ cũng có sai số, đó là sự khác nhau giữa kết quả mong đợi và kết quả thực tế của mạng nơ tron Sai số mà chúng ta tính toán là những cái mà không đúng giữa kết quả mong đợi và kết quả thực tế ej = ||x-wj|| Sai số này sẽ được tính toán trong quá trình huấn luyện mạng NHẬN DẠNG CHỮ VIẾT ONLINE DEMO NHẬN DẠNG CHỮ VIẾT ONLINE  Tỉ lệ thành công đối với bộ mẫu do chính mình... tỉ lệ thuận hiệu suất của mạng Nhưng đến một mức nào đó nó sẽ gây ra hiện tượng học vẹt (over learning), sẽ bỏ qua trạng thái tối ưu  Kích thước đầu vào cũng là một nhân tố ảnh hưởng trực tiếp đến hiệu suất của mạng Thực tế số đầu vào càng nhiều mạng yêu cầu được huấn luyện nhiều hơn để có thể nhận bắt lỗi tốt  Sự thay đổi tham số learning_rate cũng ảnh hưởng hiệu suất của mạng đối với số vòng lặp... Phân tích ảnh để lấy ký tự : gồm hai việc : tách dòng ký tự khỏi ảnh và tách từ riêng biệt ra khỏi dòng  Ánh xạ ký tự thành thành ma trận Ma trận này sẽ là dữ liệu đầu vào cho mạng Kích thước của ma trận tương ứng với số nơ tron đầu vào NHẬN DẠNG CHỮ VIẾT OFFLINE Tách dòng ký tự Tách từng ký tự ra khỏi dòng Ánh xạ ký tự thành ma trận NHẬN DẠNG CHỮ VIẾT OFFLINE A- Tách dòng ký tự 1 Bắt đầu từ pixel... 0.5) + (0.75 * 0.75) = 0.8125 1 => Hệ số chuẩn hóa : √0.8125 = 1.1094 NHẬN DẠNG CHỮ VIẾT ONLINE B- Tính toán dữ liệu đầu ra Để tính toán dữ liệu đầu ra, vector dữ liệu đầu vào và các trọng số kế nối nơ tron đều phải được xem xét: Đầu tiên, tính tích vô hướng của hai vector vector đầu vào và vector các trọng số liên kết |0.5 0.75| |0.1 0.2| = (0.5 * 0.75)+ (0.1 * 0.2)= 0.395 Sau đó,dữ liệu đầu ra này . nghiệm và báo lỗi.  Lớp xuất ra gồm có 16 tế bào nơ tron tương ứng với 16-bit của mã Unicode. Mô hình mạng nơ tron xây dựng cho bài toán Hàm truyền : Trong Demo này, mạng được sử dụng là mạng. TIN Đặt Vấn Đề 1 Tổng quan về mạng nơ tron 2 Nhận dạng chữ viết tay 3 Giới thiệu chung “ Làm thế nào máy tính có thể nhận dạng chữ viết tay của một người ?” Dùng mạng nơ tron Bài toán. Các đặc điểm đặc trưng trên sẽ là vector đầu vào cho mạng nơ tron.  Có ảnh hưởng đến tốc độ cũng như kết quả nhận dạng của mạng nơ tron. dựa trên nguồn dữ liệu đầu vào, chúng ta chia bài