Một số vấn đề về chọn lọc thị giác máy tính nghiên cứu về mạng neural convolutional,

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN MỘT SỐ VẤN ĐỀ VỀ CHỌN LỌC THỊ GIÁC MÁY TÍNH NGHIÊN CỨU VỀ MẠNG NEURAL CONVOLUTIONAL, Sinh viên thực : Phạm Xuân Thường - 19000492 Hoàng Nghĩa Phong - 19000460 Đinh Trọng Phúc - 19000462 Hà Nội - 2022 LỜI MỞ ĐẦU Deep Learning thuật toán dựa số ý tưởng từ não tới việc tiếp thu nhiều tầng biểu đạt, cụ thể lẫn trừu tượng, qua làm rõ nghĩa loại liệu Deep Learning ứng dụng nhận diện hình ảnh, nhận diện giọng nói, xử lý ngôn ngữ tự nhiên Hiện nhiều toán nhận dạng sử dụng deep learning để giải deep learning giải tốn với số lƣợng lớn, kích thước đầu vào lớn với hiệu độ xác vượt trội so với phương pháp phân lớp truyền thống Những năm gần đây, ta chứng kiến nhiều thành tựu vượt bậc ngành Thị giác máy tính (Computer Vision) Các hệ thống xử lý ảnh lớn Facebook, Google hay Amazon đưa vào sản phẩm chức thơng minh nhận diện khuôn mặt người dùng, phát triển xe tự lái hay drone giao hàng tự động Convolutional Neural Network (CNNs – Mạng nơ-ron tích chập) mơ hình Deep Learning tiên tiến giúp cho xây dựng hệ thống thơng minh với độ xác cao nay.Bài báo cáo , chúng em vào nghiên cứu mạng neural mạng Convolution (tích chập) ý tưởng mơ hình Nội dung báo cáo bao gồm chương  Chương 1: Mạng neural mạng neural tích chập  Chương 2: Tổng quan nhận dạng biển số xe  Chương 3: Áp dụng mạng neural tích chập nhận dạng ký CHƯƠNG TỔNG QUAN VỀ MẠNG NƠ RON VÀ GIỚI THIỆU VỀ MẠNG NƠ RON TÍCH CHẬP 1.1 Nơ ron nhân tạo 1.1.1 Lịch sử nơ ron nhân tạo Vào năm 1943, nhà thần kinh học Warren McCulloch nhà toán học Walter Pitts viết sách cách mạng thần kinh hoạt động Và họ thực mô mạng thần kinh đơn giản mạch điện [9] Vào năm 1949, Donald Hebb viết sách Organization of Behavior Điểm nhấn mạng thần kinh sử dụng nhiều tăng cường Vào năm 1959, David Hubel Torsten Wiesel xuất sách Receptive fields of single neurons in the cat’s striate cortex, miêu tả phản ứng tế bào thần kinh thị giác loài mèo, cách loài mèo ghi nhớ nhận diện hình dạng kiến trúc vỏ não Hình 1.1 Hình ảnh thí nghiệm David Hubel Torsten Wiesel mèo [10] Vào năm 1989, Yann LeCun áp dụng thuật toán học cho mạng nơ ron theo kiểu lan truyền ngược vào kiến trúc mạng nơ ron tích chập Fukushima Sau vài năm, LeCun cơng bố LeNet-5 [13] Có thể nói, LeNet-5 mạng nơ ron tích chập sơ khai nhất, nhiên dấu ấn tồn tới ngày nay, thấy thông qua số thành phần thiết yếu mà mạng nơ ron tích chập ngày sử dụng 1.1.2 Cấu tạo trình xử lý nơ ron sinh học Hình 1.2: Hình ảnh nơ ron sinh học [14] Một nơ ron gồm có: thân nơ ron, tua gai thần kinh, sợi trục thần kinh, đó:  Thân nơ ron: nơi xử lý tín hiệu đưa vào;  Tua gai thần kinh: nơi nhận xung điện vào nơ ron;  Sợi trục thần kinh: nơi đưa tín hiệu ngồi sau xử lý nơ ron;  Khớp thần kinh: vị trí nằm tua gai thần kinh sợi trục thần kinh, điểm liên kết đầu nơ ron với đầu vào nơ ron khác 1.1.3 Cấu tạo trình xử lý nơ ron nhân tạo Dựa vào cấu tạo nơ ron sinh học, nhà khoa học nghiên cứu lập trình đưa kiến trúc nơ ron nhân tạo: Hình 1.3: Cơng thức nơ ron nhân tạo [41] Mạng nơ ron nhân tạo mơ tả đơn giản lại sau: Hình 1.4: Hình ảnh nơ ron nhân tạo Trong đó:  Danh sách đầu vào: Là thuộc tính đầu vào nơ ron Số lượng thuộc tính đầu vào thường nhiều một, liệu thô đầu vào thường vector nhiều chiều, nhiều nơ ron tầng trước kết nối tới nơ ron tầng sau  Trọng số liên kết: Các liên kết thể độ mạnh yếu qua giá trị gọi trọng số liên kết Kết hơp với đầu truyền, tín hiệu đến nơ ron nhân tạo khác tính ; Hình 1.5: Hình ảnh vị trí thiên lệch thêm vào thực tế  Hàm tổng: Tổng tích đầu vào với trọng số liên kết mô khớp kết nối Sau qua hàm tính tổng để tính giá trị trước đưa vào hàm truyền;  Thiên lệch (b): Độ lệch đưa vào sau khi tính tốn xong hàm tổng, tạo giá trị cuối trước đưa vào hàm truyền Mục đích việc thêm vào thiên lệch nhằm dịch chuyển chức hàm kích hoạt sang trái phải, giúp ích mạng huấn luyện Hình ảnh vị trí thiên lệch thêm vào mạng nơ ron thực tế Hình ảnh huấn luyện có khơng có thiên lệch: Hình 1.6: Kết hàm sigmoid với trọng số đầu vào khác khơng có thiên lệch Hình 1.7: Kết hàm sigmoid với trọng số thiên lệch khác Hàm kích hoạt (Activation functions): Hàm sử dụng để tính tốn giá trị đầu dựa vào giá trị hàm Tổng 1.1.4 Các mơ hình hàm kích hoạt mạng nơ ron nhân tạo 1.1.4.1 Hàm Sigmod  Biểu diễn hàm:  Đạo hàm hàm: Hàm Sigmoid sử dụng ngưỡng nằm khoảng (0, 1) Do đó, hàm sử dụng nhiều cho mơ hình dự đốn xác suất đầu ra, tức kết tồn khoảng từ đến 1: đầu vào số dương lớn, đầu hàm sigmoid gần Khi nhỏ 0, đầu gần Tuy nhiên, việc tối ưu hàm khó khăn, nguyên nhân giá trị đầu vào hàm số lớn, đầu hàm đầu xấp xỉ 0, nên tốc độ hội tụ chậm Hình 1.8: Đồ thị hàm Sigmoid 1.1.4.2 Hàm TanH  Biểu diễn hàm:  Đạo hàm hàm: Hàm TanH sử dụng đầu hàm nằm khoảng , thích hợp với mơ hình đầu có ba giá trị: âm, trung tính (0) dương Chúng ta thấy rõ điều hình minh họa Hình 1.9: Đồ thị hàm TanH 1.1.4.3 Hàm tuyến tính  Biểu diễn hàm:  Đạo hàm hàm: Hàm tuyến tính áp dụng thao tác nhận dạng liệu với liệu đầu tỷ lệ thuận với liệu đầu vào Hình 1.10: Đồ thị hàm tuyến tính 1.1.4.4 Hàm RELU  Biểu diễn hàm:  Đạo hàm hàm: Hàm RELU áp dụng với trường hợp cần đầu nằm khoảng (0, +∞) Hàm RELU có tốc độ tính tốn nhanh, gán giá trị âm trở thành lập tức, phù hợp cho việc huấn luyện từ liệu chuẩn Tuy nhiên, điều khiến hàm RELU không ánh xạ giá trị âm cách thích hợp Hình 1.11: Đồ thị hàm RELU 1.1.4.5 Hàm ELU  Biểu diễn hàm:  Đạo hàm hàm: Hàm ELU biến thể hàm RELU Hàm thường sử dụng ngưỡng đầu nằm khoảng (-1, +∞) Hàm ELU khắc phục hạn chế ánh xạ giá trị âm hàm RELU Hình 1.12: Đồ thị hàm ELU Đối với tầng đầu nút k: Đối với tầng ẩn nút j: , đó: , đó: Áp dụng quy trình tương tự Ví dụ, Tính đạo hàm riêng cho độ lệch nút k lớp cuối Bởi thu được: nên Phương trình cập nhật thành: Cơng thức áp dụng với đầu Vì vậy, độ dốc hàm chi phí so với độ lệch là: Rút từ công thức trên, giải thuật loan truyền ngược mô tả sau: Bước 1: Chạy mạng tính tốn với liệu đầu vào để có đầu mạng Bước 2: Đối với nút đầu ra, ta thực phép tính: Bước 3: Đối với nút tầng ẩn, ta thực phép tính: Bước 4: Cập nhật trọng số thiên lệch sau: Giả thiết: Áp dụng: Tham số thuật toán gọi tốc độ học tập Thuật toán lặp lại đạt sai số tối thiểu ngưỡng chấp nhận để hoàn thành q trình huấn luyện 1.3 Mạng nơ ron tích chập 1.3.1 Khái niệm mạng nơ ron tích chập Mạng nơ ron tích chập mạng truyền thẳng đặc biệt Mạng nơ ron tích chập mơ hình học sâu phổ biến tiên tiến Hầu hết hệ thống nhận diện xử lý ảnh sử dụng mạng nơ ron tích chập tốc độ xử lý nhanh độ xác cao Trong mạng nơ ron truyền thống, tầng coi chiều, mạng nơ ron tích chập, tầng coi chiều, gồm: chiều cao, chiều rộng chiều sâu (Hình 1.11) Mạng nơ ron tích chập có hai khái niệm quan trọng: kết nối cục chia sẻ tham số Những khái niệm góp phần giảm số lượng trọng số cần huấn luyện, tăng nhanh tốc độ tính tốn Hình 1.16: Các tầng (layer) CNN chiều Hình 1.17: Hình minh họa ví dụ sử dụng CNN để phân lớp đồ vật [20] 1.3.2 Mơ hình mạng nơ ron tích chập Có ba tầng để xây dựng kiến trúc cho mạng nơ ron tích chập: Tầng tích chập; Tầng gộp (pooling layer); Tầng kết nối đầy đủ (fully-connected) Tầng kết nối đầy đủ giống mạng nơ ron thông thường, tầng chập thực tích chập nhiều lần tầng trước Tầng gộp làm giảm kích thước mẫu khối 2x2 tầng trước Ở mạng nơ ron tích chập, kiến trúc mạng thường chồng ba tầng để xây dựng kiến trúc đầy đủ Ví dụ minh họa kiến trúc mạng nơ ron tích chập đầy đủ: Hình 1.18: Ví dụ minh họa cấu trúc CNNs – LeNet – 5[19] 1.3.2 Xây dựng mạng nơ ron tích chập 1.3.2.1 Mạng kết nối cục Trong xử lý hình ảnh, thơng tin hình ảnh điểm ảnh (pixel) Nếu sử dụng mạng kết nối đầy đủ, có nhiều tham số Ví dụ, hình ảnh RGB có kích thước 512x512 pixel có 786432 (= 512 x 512 x 3) tham số đầu vào Vì vậy, sử dụng kiến trúc mạng nơ ron hình sau: Hình 1.19: Hình ảnh mạng nơ ron kết nối đầy đủ Hình cho thấy áp dụng mạng nơ ron kết nối đầy đủ, tồn kiến trúc mạng cần tính tốn triệu nơ ron Số lượng lớn nơ ron làm cho tồn q trình học chậm dẫn đến tải so với khả tính tốn máy tính Qua vài nghiên cứu xử lý ảnh, nhà nghiên cứu nhận thấy tính hình ảnh thường cục bộ, nhà nghiên cứu ý đến tính cấp thấp xử lý ảnh Vì vậy, kiến trúc mạng chuyển mạng kết nối đầy đủ sang mạng kết nối cục bộ, nhằm làm giảm độ phức tạp tính tốn Đây ý tưởng CNN Chúng ta thấy rõ qua hình sau: Hình 1.20: Tích chập ma trận nhỏ để tạo liệu đầu vào cho nơ ron tầng ẩn Giống xử lý hình ảnh thơng thường, kết nối cục khối vng ma trận với nơ ron Kích thước khối thông thường 3x3, 5x5, 7x7 Ý nghĩa vật lý khối giống cửa sổ trượt (cửa sổ trượt phương pháp xử lý ảnh) Bằng cách đó, số lượng tham số giảm xuống nhỏ không gây giảm thơng tin, hình ảnh thơng thường thường có tính lặp khơng gian Để trích xuất nhiều thơng tin hơn, mạng nơ ron kết nối khối với nơ ron khác Độ sâu tầng số lần kết nối khu vực với nơ ron khác Ví dụ, mạng kết nối khu vực với nơ ron khác Vì vậy, độ sâu năm tầng Chúng ta thấy rõ qua hình sau: Hình 1.21: Ví dụ lớp tích chập Trong thực tế, kết nối tất thơng tin độ sâu (ví dụ: kênh RGB) với nơ ron kết nối cục khơng gian có chiều sâu đầy đủ Tuy nhiên ví dụ kết nối thông tin cục chiều cao chiều rộng Vì vậy, có tham số hình cho nơ ron sau lớp màu xanh sử dụng cửa sổ Biến thứ thứ hai chiều cao chiều rộng kích thước cửa sổ biến thứ ba độ sâu lớp Ví dụ di chuyển cửa sổ bên hình ảnh làm cho tầng có chiều cao chiều rộng, hai chiều Ví dụ: di chuyển cửa sổ pixel lần, gọi bước nhảy 1, hình ảnh có kích thước cửa sổ nơ ron tầng Có thể thấy rằng, kích thước giảm từ 32 xuống 28 Vì vậy, để bảo tồn kích thước, thêm phần trống vào đường viền Quay lại ví dụ trên, đệm với pixel, có nơ ron lớp để giữ kích thước chiều cao chiều rộng Như ví dụ trên, sử dụng kích thước cửa sổ w, có vùng tích chập với kích cỡ cửa sổ pixel Thông tin đường viền không ảnh hưởng nhiều giá trị sử dụng lần Phần chi tiết bước nhảy cửa sổ trượt, tức khoảng cách thay đổi cửa sổ lần Ví dụ: giả sử bước nhảy cửa sổ trượt bao phủ vùng Sau đó, cửa sổ thứ hai bao phủ vùng cửa sổ thứ bao phủ vùng Ví dụ, sử dụng bước nhảy kích thước cửa sổ ảnh khơng sử dụng bù viền (pad-zero), hình có nơ ron lớp Nếu thay đổi bước nhảy thành bước nhảy tham số khác giữ nguyên, có có nơ ron lớp Chúng ta kết luận sử dụng bước nhảy s, kích thước cửa sổ ảnh , có nơ ron lớp Khi sử dụng bước nhảy tham số khác giữ nguyên nhận Vì kết khơng phải số ngun, nên bước nhảy khơng thể dùng khơng thể có khối hồn chỉnh mạng nơ ron 1.3.2.2 Chia sẻ tham số Trong ví dụ minh họa mục 1.3.2.1, ta có số lượng nơ ron tầng có bước nhảy 1, kích thước cửa sổ x khơng có đệm, với độ sâu Mỗi nơ ron có tham số Vì vậy, tầng có tham số Ở đây, chia sẻ tham số theo độ sâu, nơ ron tầng ẩn sử dụng tham số giống , tổng tham số sử dụng cho tầng Điều làm số lượng tham số giảm cách đáng kể Tương tự, nơ ron độ sâu tầng áp dụng tích chập cho tầng trước Và q trình học tập giống học lõi (core) tích chập Đây lý mà mạng nơ ron gọi mạng nơ ron tích chập 1.3.2.3 Hàm kích hoạt Trong mơ hình nơ ron truyền thống, mạng thường sử dụng hàm sigmoid cho hàm kích hoạt Tuy nhiên Krizhevsky [21] thử với hàm kích hoạt RELU Sau so sánh hiệu hàm kích hoạt RELU hàm kích hoạt sigmoid CNNs Họ thấy mơ hình với RELU cần thời gian lặp đạt tỷ lệ lỗi huấn luyện tương đương Chúng ta thấy kết hình sau: Hình 1.22: So sánh ReLU Sigmoid Như hình trên, đường liền nét mơ hình sử dụng RELU đường đứt nét sử dụng hàm Sigmoid Có thể dễ dàng thấy rằng, RELU cần vịng lặp để đạt tỉ lệ lỗi chấp nhận Do đó, ngày đa số mơ hình CNN gần sử dụng RELU để làm hàm kích hoạt 1.3.2.4 Tầng gộp Tầng gộp giảm kích cỡ hình ảnh sau thực tích chập, giúp giữ lại đặc điểm, tính chất bật ảnh Điều cho phép giảm mức độ tính tốn hình ảnh có kích thước q lớn, đồng thời khơng làm đặc điểm quan trọng ảnh Tuy sử dụng mạng kết nối cục chia sẻ tham số, nhiên số lượng tham số mang nơ ron lớn So với tập liệu tương đối nhỏ, gây tình trạng khớp (overfitting) Vì vậy, mạng nơ ron nhân tạo thường chèn tầng gộp vào mạng Tầng gộp xử lý để giảm dần số lượng tham số nhằm cải thiện thời gian tính tốn mạng nơ ron Tầng gộp áp dụng lấy mẫu xuống cho tầng trước cách sử dụng hàm max Tầng gộp hoạt động độc lập tầng trước Ngồi ra, đặt lượng pixel di chuyển cửa sổ trượt bước nhảy, làm với tầng tích chập Ví dụ, hình sau: Hình 1.23: Ví dụ minh họa đơn giản tầng gộp Ở ví dụ trên, kích thước cửa sổ trượt bước nhảy lần trượt Tại cửa sổ, hàm max lấy giá trị tối đa để đại diện cho giá trị tầng Có hai loại tầng gộp: Nếu kích thước cửa sổ trượt bước nhảy, gộp chung (traditional pooling) Nếu kích thước cửa sổ trượt lớn bước nhảy, gộp nhóm (overlapping pooling) Trong thực tế, mạng nơ ron thường sử dụng kích thước cửa sổ kích thước bước nhảy gộp chung sử dụng kích thước cửa sổ kích thước bước nhảy gộp nhóm, tăng kích cỡ cửa sổ dễ làm đặc tính liệu Ngồi việc gộp sử dụng hàm max, người ta sử dụng hàm khác Ví dụ người ta sử dụng hàm tính trung bình cửa sổ trượt để tính toán giá trị cho tầng tiếp theo, gọi gộp trung bình 1.3.2.5 Tầng kết nối đầy đủ Tầng thứ ba tầng kết nối đầy đủ Tầng giống mạng nơ ron truyền thống: nơ ron tầng trước kết nối với nơ ron tầng tầng cuối đầu Để đưa hình ảnh từ tầng trước vào, ta phải dàn phẳng liệu thành véc tơ nhiều chiều Cuối sử dụng hàm softmax để thực phân loại đối tượng Hình 1.24: Một ví dụ lớp kết nối đầy đủ 1.3.2.6 Mơ hình q khớp Cấu trúc mạng CNN lớn, mạng có nhiều nơ ron, kết nối, có nhiều trọng số cần thiết để huấn luyện Nhưng lượng liệu huấn luyện thường khơng đủ để huấn luyện hồn thiện cho mạng nơ ron lớn Nó gây số vấn đề khớp, khiến cho huấn luyện có kết cao, áp dụng thực tế gây sai số lớn Có số kỹ thuật để cải thiện điều Hình 1.25: Ví dụ trường hợp khớp (bên trái) trường hợp chuẩn (bên phải) Một phương pháp là giảm trọng số lúc huấn luyện Dropout kỹ thuật tiếng phổ biển để khắc phục vấn đề Dropout đặt đầu nơ ron ẩn thành với xác suất 0,5 Vì vậy, nơ ron khơng đóng góp vào lan truyền tiến, khơng tham gia vào lan truyền ngược Thông thường, đầu vào khác nhau, mạng nơ ron xử lý dropout theo cấu trúc khác Một cách khác để cải thiện việc việc khớp tăng lượng liệu Chúng ta phản chiếu hình ảnh, lộn ngược hình ảnh, lấy mẫu hình ảnh, v.v Những cách tăng số lượng liệu huấn luyện Vì vậy, có khả ngăn chặn khớp Với ví dụ thực tế, vài dự án, ảnh sử dụng để huấn luyện xử lý thêm bước xoay, với lần từ 15 đến 20 độ áp dụng thêm phương pháp phản chiếu ảnh Kết quả, hệ thống AI phát cải thiện đáng kể việc nhận diện 1.3.2.7 Một số mạng tích chập tiếng Có số kiến trúc mạng nơ ron tích chập tiếng Một số thử nghiệm cho thấy chúng có hiệu suất tốt Vì vậy, đơi nhiều người sử dụng mạng thiết kế sẵn thay tự thiết kế mạng Ở phần sau luận văn giới thiệu vài mạng tích chập tiếng thơng dụng AlexNet Hình 1.26: Cấu trúc AlexNet Alex phát triển mạng vào năm 2012 Cho tới thời điểm tại, AlexNet sử dụng phổ biến rộng rãi Mạng AlexNet có năm lớp chập ba lớp kết nối đầy đủ Cấu trúc AlexNet chia thành hai khối Nguyên nhân tác giả sử dụng hai GPU để huấn luyện liệu song song Mạng sử dụng phân loại đối tượng quy mơ lớn Lớp đầu có nghìn nơ ron Đó kiến trúc ban đầu thiết kế để phân loại nghìn nhãn Thơng thường, người áp dụng kiến trúc mạng nơ ron AlexNet thay lớp cuối cùng, phụ thuộc vào mục đích họ Tác giả mạng làm nhiều thử nghiệm để mơ hình có kết tốt Vì vậy, hiệu suất cấu trúc ổn định mạng sử dụng rộng rãi nhiều ứng dụng VGGNet VGGNet [10] phát triển vào năm 2014 giành chiến thắng thi ILSVRC-2014 Mạng mạnh mạng AlexNet sâu Mạng có 16 đến 19 tầng (Hình 1.21) Mạng thiết kế với cấu trúc Sau số thí nghiệm, D E cấu trúc tốt Hiệu suất E tốt chút so với B Nhưng tham số E lớn D Vì vậy, người sử dụng chọn số cấu trúc mạng dựa họ cần Đặc điểm VGGNet việc áp dụng nhiều lớp chập với kích thước cửa sổ nhỏ thay lớp chập với kích thước cửa sổ lớn, sau lớp gộp Nó làm cho mạng linh hoạt Hình 1.27: Cấu trúc VGGNet 1.5 Kết luận Mạng nơ ron nhân tạo chuỗi thuật toán sử dụng để tìm mối quan hệ tập liệu thông qua chế vận hành não sinh học Mạng nơ ron nhân tạo thường huấn luyện qua tập liệu chuẩn cho trước, từ đúc rút kiến thức từ tập liệu huấn luyện, áp dụng với tập liệu khác với độ xác cao Các phương pháp sử dụng để huấn luyện mạng nơ ron nhân tạo ngày tối ưu mặt tính tốn phục vụ cho nhiều mục đích khác Hiện nay, kiến trúc mạng nơ ron ngày hoàn thiện cho nhiều nhiệm vụ, mạng nơ ron tích chập ý nhiều tính hiệu thị giác máy tính Mạng nơ ron tích chập với cải tiến góp phần giảm thời gian tính tốn tăng độ xác hứa hẹn phương pháp áp dụng nhiều vào thực tế tương lai 1.4 Khảo sát đánh giá hoạt động 1.4.1 Mơ hình sở liệu 1.4.1.1 Mơ hình mạng CNN Với mục tiêu đánh giá vai trò tham số tác động đến kết đầu ra, nhóm nghiên cứu thực đánh giá dựa mơ hình CNN (mơ hình Lenet-5) thực thay đổi thơng số, thay đổi mơ hình cách chèn khối theo yêu cầu khảo sát cụ thể Mô hình mơ tả hình : Mơ hình mạng CNN sử dụng nghiên cứu đánh giá 1.4.1.2 Bộ sở liệu MNIST Tập sở liệu MNIST sở liệu lớn gồm chữ số viết tay, thường sử dụng để đào tạo hệ thống học máy nhằm xử lý hình ảnh khác Cơ sở liệu sử dụng rộng rãi để đào tạo thử nghiệm lĩnh vực học máy Tập MNIST gồm 70000 liệu chia thành phần: 60000 hình ảnh sử dụng cho huấn luyện 10000 hình ảnh dùng cho mục đích kiểm tra Một số hình ảnh ví dụ trích xuất từ sở liệu MNIST [8] 1.4.2 Đánh giá vai trò tham số mơ hình Tỉ lệ nhận dạng tập huấn luyện kiểm tra sử dụng làm tiêu chí để đánh giá mức độ hiệu xác mơ hình