CHƯƠNG 2 THIẾT KẾ NEURAL NETWORK VỚI MATLAB
2.2. Huấn luyện trên Matlab
2.2.2. Tiền xử lý huấn luyện
Mục tiêu của tiền xử lý huấn luyện là biến đổi 60000 bức ảnh trong tập huấn luyện MNIST thành đầu vào phù hợp với Neural Network. Quá trình tiền xử lý gồm các bước sau:
Bước 1: Xếp ảnh từ ma trận 28x28 thành một vector 784x1. Bước 2: Chia mỗi phần tử trong vector cho 255.
Bước 3: Mapminmax để chuẩn hóa. Bước 4: Loại bỏ các hàng hằng số.
Ta cần có Bước 1 là để đưa ảnh từ một ma trận vuông thành một vector, phù hợp với đầu vào tại lớp đầu vào của Neural Network.
Vì ảnh là ảnh xám (grayscale) 8 bit nên giá trị các điểm ảnh ban đầu là các số nguyên không nhỏ hơn 0 và không vượt quá 255. Sau khi thực hiện Bước 2 thì giá trị các điểm ảnh là các số thực không nhỏ hơn 0 và không vượt quá 1. Thực nghiệm cho
21
thấy nếu không chuẩn hóa thì giá trị các tham số weight và bias sau huấn luyện sẽ rất nhỏ, gây khó khăn cho việc biểu diễn dữ liệu trên FPGA.
Tại Bước 3, mapminmax là việc biến đổi một vector vector Y =[y1, y2, … , yN ] y i− y max phần tử nhỏ nhất của X
nằm trong khoảng từ -1 đến 1. Như vậy sau Bước 3 thì 60000 vector ảnh huấn luyện đều được chuẩn hóa trong khoảng từ -1 đến 1.
Tại Bước 4, ta ghép 60000 vector lại thành một ma trận cỡ 784x60000 rồi tìm kiếm trong các hàng của ma trận đó có hàng nào mà giá trị không thay đổi thì bỏ hàng đó đi. Các điểm nằm trên cùng một hàng của ma trận chính là các điểm có cùng tọa độ trên các ảnh, nếu chúng giống nhau thì các điểm đó không có ý nghĩa phân biệt các bức ảnh. Việc này là để loại bỏ bớt dữ liệu không có tác dụng cho việc nhận dạng, làm cho neural network giảm kích thước. Sau khi thực hiện loại bỏ các hàng hằng số thì ma trận giảm kích thước xuống còn 717x60000, hay nói cách khác là tuy ảnh có 784 điểm ảnh nhưng chỉ có 717 điểm ảnh có tác dụng nhận dạng.
Kết quả khi thực hiện 4 bước trên là:
- Ma trận I cỡ 717x60000, mỗi cột là một đầu vào của neural network.
- Vector C lưu số thứ tự các hàng bị loại bỏ tại bước loại bỏ các hàng hằng số. Ma trận I sẽ được dùng cho việc huấn luyện Neural Network, còn vector C sẽ được dùng cho quá trình tiền xử lý ảnh khi kiểm tra.