TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ======***====== BÀI TẬP LỚN TRÍ TUỆ NHÂN TẠO Đề tài Tìm hiểu về mạng CNN và ứng dụng nhận dạng dấu vân tay Hà Nội,2023 LỜI CẢM ƠN Em xin gửi[.]
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI KHOA CÔNG NGHỆ THƠNG TIN ======***====== BÀI TẬP LỚN: TRÍ TUỆ NHÂN TẠO Đề tài: Tìm hiểu mạng CNN ứng dụng nhận dạng dấu vân tay Hà Nội,2023 LỜI CẢM ƠN Em xin gửi lời cảm ơn chân thành tới thầy cô tận tâm giảng dạy hướng dẫn em suốt trình thực đề tài tìm hiểu mạng cnn ứng dụng nhận dạng dấu vân tay Em học hỏi nhiều kiến thức bổ ích từ thầy cơ, đặc biệt kiến thức mạng CNN ứng dụng nhận dạng dấu vân tay Em hiểu cách thức hoạt động mạng CNN cách sử dụng mạng CNN để xây dựng mơ hình nhận dạng dấu vân tay.Em thực hành xây dựng mơ hình nhận dạng dấu vân tay tập liệu riêng Em xin cảm ơn thầy cô tạo điều kiện cho em học tập nghiên cứu Em hy vọng kiến thức mà em học giúp ích cho em tương lai Xin trân trọng cảm ơn! MỤC LỤC CHƯƠNG TỔNG QUAN VỀ MẠNG NƠ RON VÀ GIỚI THIỆU VỀ MẠNG NƠ RON TÍCH CHẬP 1.1 Nơ ron nhân tạo .1 1.1.1 Lịch sử nơ ron nhân tạo 1.1.2 Cấu tạo trình xử lý nơ ron sinh học 1.1.3 Cấu tạo trình xử lý nơ ron nhân tạo 1.1.4 Các mơ hình hàm kích hoạt mạng nơ ron nhân tạo 1.2 Mạng nơ ron tích chập 1.2.1 Khái niệm mạng nơ ron tích chập 1.2.2 Mơ hình mạng nơ ron tích chập 1.2.3 Xây dựng mạng nơ ron tích chập 10 1.3 Tìm hiểu thư viện TensorFlow 17 1.3.1 Giới thiệu thư viện TensorFlow 17 1.3.2 Các Option tải liệu vào TensorFlow 18 1.4 Tìm hiểu thư viện Keras 19 CHƯƠNG ỨNG DỤNG NHẬN DẠNG DẤU VÂN TAY .23 2.1.Tạo tập liệu .23 2.2 Các bước thực .24 2.2.1.Kết nối Google Colaboratory với drive .24 2.2.2 Import thư viện cần thiết cho trình training tạo model CNN 24 2.2.3 Lấy liệu thông qua đường dẫn file 24 2.2.4 Xuất hình dạng tất liệu để xác nhận công việc trước 25 2.2.5 Xác định/xây dựng mơ hình 25 2.2.6 Train tập liệu 30 2.2.7 Lưu ảnh vào X nhãn vào y 30 2.2.8 Lấy ngẫu nhiên ảnh từ liệu test dự đoán .31 TÀI LIỆU THAM KHẢO 32 DANH MỤC HÌNH ẢNH Hình 1.1 Hình ảnh thí nghiệm David Hubel Torsten Wiesel mèo [10] Hình Hình ảnh nơ ron sinh học [14] Hình 1.3 Cơng thức nơ ron nhân tạo [41] Hình 1.4 Hình ảnh nơ ron nhân tạo Hình 1.5 Hình ảnh vị trí thiên lệch thêm vào thực tế Hình 1.6 Kết hàm sigmoid với trọng số đầu vào khác khơng có thiên lệch Hình 1.7 Kết hàm sigmoid với trọng số thiên lệch khác Hình 1.8 Đồ thị hàm Sigmoid Hình 1.9 Đồ thị hàm TanH Hình 1.10 Đồ thị hàm tuyến tính Hình 1.11 Đồ thị hàm RELU Hình 1.12 Đồ thị hàm ELU Hình 1.13 Các tầng (layer) CNN chiều Hình 1.14 Hình minh họa ví dụ sử dụng CNN để phân lớp đồ vật [20] Hình 1.15 Ví dụ minh họa cấu trúc CNNs – LeNet – 5[19] Hình 1.16 Hình ảnh mạng nơ ron kết nối đầy đủ Hình 1.17 Tích chập ma trận nhỏ để tạo liệu đầu vào cho nơ ron tầng ẩn Hình 1.18 Ví dụ lớp tích chập Hình 1.19 So sánh ReLU Sigmoid Hình 1.20 Ví dụ minh họa đơn giản tầng gộp Hình 1.21 Một ví dụ lớp kết nối đầy đủ Hình 1.22 Ví dụ trường hợp khớp (bên trái) trường hợp chuẩn (bên phải) Hình 1.23 Cấu trúc AlexNet CHƯƠNG TỔNG QUAN VỀ MẠNG NƠ RON VÀ GIỚI THIỆU VỀ MẠNG NƠ RON TÍCH CHẬP 1.1 Nơ ron nhân tạo 1.1.1 Lịch sử nơ ron nhân tạo Vào năm 1943, nhà thần kinh học Warren McCulloch nhà toán học Walter Pitts viết sách cách mạng thần kinh hoạt động Và họ thực mô mạng thần kinh đơn giản mạch điện [9] Vào năm 1949, Donald Hebb viết sách Organization of Behavior Điểm nhấn mạng thần kinh sử dụng nhiều tăng cường 3 4 6 7 9 10 10 11 11 13 14 15 15 16 Vào năm 1959, David Hubel Torsten Wiesel xuất sách Receptive fields of single neurons in the cat’s striate cortex, miêu tả phản ứng tế bào thần kinh thị giác loài mèo, cách loài mèo ghi nhớ nhận diện hình dạng kiến trúc vỏ não H Hình 1.1 Hình ảnh thí nghiệm David Hubel Torsten Wiesel mèo [10] Vào năm 1989, Yann LeCun áp dụng thuật toán học cho mạng nơ ron theo kiểu lan truyền ngược vào kiến trúc mạng nơ ron tích chập Fukushima Sau vài năm, LeCun cơng bố LeNet-5 [13] Có thể nói, LeNet-5 mạng nơ ron tích chập sơ khai nhất, nhiên dấu ấn tồn tới ngày nay, thấy thông qua số thành phần thiết yếu mà mạng nơ ron tích chập ngày sử dụng 1.1.2 Cấu tạo trình xử lý nơ ron sinh học H Hình 1.2: Hình ảnh nơ ron sinh học [14] Một nơ ron gồm có: thân nơ ron, tua gai thần kinh, sợi trục thần kinh, đó: ● Thân nơ ron: nơi xử lý tín hiệu đưa vào; ● Tua gai thần kinh: nơi nhận xung điện vào nơ ron; ● Sợi trục thần kinh: nơi đưa tín hiệu ngồi sau xử lý nơ ron; ● Khớp thần kinh: vị trí nằm tua gai thần kinh sợi trục thần kinh, điểm liên kết đầu nơ ron với đầu vào nơ ron khác 1.1.3 Cấu tạo trình xử lý nơ ron nhân tạo Dựa vào cấu tạo nơ ron sinh học, nhà khoa học nghiên cứu lập trình đưa kiến trúc nơ ron nhân tạo: H Hình 1.3: Cơng thức nơ ron nhân tạo [41] Mạng nơ ron nhân tạo mơ tả đơn giản lại sau: H Trong đó: ● Danh sách đầu vào: Là thuộc tính đầu vào nơ ron Số lượng thuộc tính đầu vào thường nhiều một, liệu thô đầu vào thường vector nhiều chiều, nhiều nơ ron tầng trước kết nối tới nơ ron tầng sau ● Trọng số liên kết: Các liên kết thể độ mạnh yếu qua giá trị gọi trọng số liên kết Kết hơp với đầu truyền, tín hiệu đến nơ ron nhân tạo khác tính ; H ● Hàm tổng: Tổng tích đầu vào với trọng số liên kết mô khớp kết nối Sau qua hàm tính tổng để tính giá trị trước đưa vào hàm truyền; ● Thiên lệch (b): Độ lệch đưa vào sau khi tính tốn xong hàm tổng, tạo giá trị cuối trước đưa vào hàm truyền Mục đích việc thêm vào thiên lệch nhằm dịch chuyển chức hàm kích hoạt sang trái phải, giúp ích mạng huấn luyện Hình ảnh vị trí thiên lệch thêm vào mạng nơ ron thực tế Hình ảnh huấn luyện có khơng có thiên lệch: H H Hàm kích hoạt (Activation functions): Hàm sử dụng để tính tốn giá trị đầu dựa vào giá trị hàm Tổng 1.1.4 Các mơ hình hàm kích hoạt mạng nơ ron nhân tạo 1.1.4.1 Hàm Sigmod ● Biểu diễn hàm: ● Đạo hàm hàm: Hàm Sigmoid sử dụng ngưỡng nằm khoảng (0, 1) Do đó, hàm sử dụng nhiều cho mơ hình dự đốn xác suất đầu ra, tức kết tồn khoảng từ đến 1: đầu vào số dương lớn, đầu hàm sigmoid gần Khi nhỏ 0, đầu gần Tuy nhiên, việc tối ưu hàm khó khăn, ngun nhân giá trị đầu vào hàm số lớn, đầu hàm đầu xấp xỉ 0, nên tốc độ hội tụ chậm 1.1.4.2 Hàm TanH ● Biểu diễn hàm: ● Đạo hàm hàm: Hàm TanH sử dụng đầu hàm nằm khoảng , thích hợp với mơ hình đầu có ba giá trị: âm, trung tính (0) dương Chúng ta thấy rõ điều hình minh họa Hình 1.9 Đồ thị hàm TanH 1.1.4.3 Hàm tuyến tính ● Biểu diễn hàm: ● Đạo hàm hàm: Hàm tuyến tính áp dụng thao tác nhận dạng liệu với liệu đầu tỷ lệ thuận với liệu đầu vào H