BÁO CÁO MÔN HỌC HỆ THỐNG NHÚNG ĐỀ TÀI Essembling neuron network

TRƯỜNG ĐẠI HỌC SƯ PHẠM KĨ THUẬT TP.HCM KHOA ĐÀO TẠO CHẤT LƯỢNG CAO BÁO CÁO MÔN HỌC HỆ THỐNG NHÚNG TÊN ĐỀ TÀI Essembling neuron network Giảng viên hướng dẫn: PGS.TS Võ Minh Huân Sinh viên: Đỗ Hồ Xuân Long MSSV: 20161223 Lý Gia Huy MSSV: 2016120 TP HỒ CHÍ MINH - Tháng 11 năm 2022 CỘNG HOA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** Tp Hồ Chí Minh, tháng 11 năm 2022 NHIỆM VỤ BÁO CÁO MÔN HỌC Họ tên sinh viên: Đỗ Hồ Xuân Long MSSV: 20161223 Lý Gia Huy 20161205 Ngành: CNKT Điện tử - Viễn thông Lớp: 20161CLC2B Giảng viên hướng dẫn: PGS.TS Võ Minh Huân Tên đề tài: Xây dựng cấu trúc mạng nơ-ron phân biệt 10 chữ số từ đến qua hình ảnh Các số liệu, tài liệu ban đầu: - Kiến thức phương pháp xây dựng cấu trúc mạng nơ-ron Kiến thức hiểu biết ngôn ngữ Python Nội dung thực hiện đề tài: - Tìm hiểu cách xây dựng cấu trúc mạng nơ-ron Viết chương trình xây dựng cấu trúc mạng nơ-ron, phân biệt 10 chữ số từ đến qua hình ảnh Viết báo cáo chuẩn bị thuyết trình Kết quả: xây dựng cấu trúc mạng nơ-ron phân biệt 10 chữ số từ đến qua hình ảnh CỘNG HOA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** Tp Hồ Chí Minh, tháng 11 năm 2022 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên sinh viên: Đỗ Hồ Xuân Long Lý Gia Huy Ngành: CNKT Điện tử - Viễn thông Giảng viên hướng dẫn: PGS.TS Võ Minh Huân MSSV: 20161223 20161205 Lớp: 20161CLC2B NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Điểm: ……………….(Bằng chữ: ) Tp Hồ Chí Minh, tháng 11 năm 2022 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) LỜI CẢM ƠN Trước tiên, sinh viên thực báo cáo xin chân thành cảm ơn giảng viên khoa Điện - Điện tử, khoa Đào tạo chất lượng cao nói chung giảng viên môn Điện tử - Viễn thông nói riêng tạo điều kiện cho sinh viên đầy đủ kiến thức hoàn thành báo cáo Đặc biệt xin chân thành cảm ơn giảng viên hướng dẫn, PGS.TS Võ Minh Huân nhiệt tình hướng dẫn, giúp đỡ định hướng giúp sinh viên hoàn thành báo cáo cách tốt thời gian cho phép Trong thời gian thực báo cáo, sinh viên khơng gặp sai sót hạn chế nên mong thầy thơng cảm Đồng thời sinh viên mong muốn nhận đóng góp ý kiến từ quý từ thầy để rút kinh nghiệm trau dồi thêm kiến thức, kinh nghiệm quý báu lĩnh vực Cuối cùng, chúc thầy mạnh khỏe gặt hái thêm thật nhiều thành công nghiệp giảng dạy, đào tạo thêm thật nhiều kỹ sư lành nghề tương lai Xin chân thành cảm ơn! Tp Hồ Chí Minh, tháng 11 năm 2022 Sinh viên thực Đỗ Hồ Xuân Long – Lý Gia Huy TÓM TẮT Những năm gần đây, AI - Artificial Intelligence (Trí Tuệ Nhân Tạo), cụ thể Machine Learning (Học Máy Máy Học) lên chứng cách mạng công nghiệp lần thứ tư (1 - động nước, - lượng điện, - cơng nghệ thơng tin) Trí Tuệ Nhân Tạo len lỏi vào lĩnh vực đời sống mà khơng nhận Xe tự hành Google Tesla, hệ thống tự tag khuôn mặt ảnh Facebook, trợ lý ảo Siri Apple, hệ thống gợi ý sản phẩm Amazon, hệ thống gợi ý phim Netflix, máy chơi cờ vây AlphaGo Google DeepMind, …, vài ứng dụng AI/Machine Learning Mơ hình học máy biểu thuật toán quét qua hàng triệu, hàng tỷ liệu để tìm mẫu hình đưa dự đốn Được cung cấp liệu, mơ hình học máy (ML) “động cơ” tốn học trí tuệ nhân tạo Cũng mà nhóm sinh viên ngành Điện tử - Viễn thông muốn nghiên cứu phát triển thêm kiến thúc hữu ích Cũng quan trọng mà nhóm em nghiên cứu báo cáo đề tài “Xây dựng cấu trúc mạng nơ-ron phân biệt 10 chữ số từ đến qua hình ảnh” MỤC LỤC CHƯƠNG GIỚI THIỆU 1.1 TỔNG QUAN 1.2 MỤC TIÊU 1.3 GIỚI HẠN ĐỀ TÀI 1.4 BỐ CỤC BÁO CÁO CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 GIỚI THIỆU MACHINE LEARNING 2.1.1 Supervisor learning 2.1.2 Unsupervisor learning 2.2 GIỚI THIỆU MÔ HÌNH ENSEMBLES LEARNING 2.2.1 Basic Ensemble Techniques 2.2.2 Advanced Ensemble techniques 2.3 GIỚI THIỆU MƠ HÌNH MẠNG NƠ – RON 2.3.1 Lý thuyết 2.3.2 Mơ hình tốn học CHƯƠNG XÂY DỰNG CODE VÀ MÔ PHỎNG 3.1 SOURCE CODE PHÂN BIỆT CHỮ SỐ QUA HÌNH ẢNH 3.2 MÔ PHỎNG CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4.1 KẾT LUẬN 4.2 HƯỚNG PHÁT TRIỂN TÀI LIỆU THAM KHẢO CHƯƠNG GIỚI THIỆU 1.1 TỔNG QUAN Những năm gần đây, AI - Artificial Intelligence (Trí Tuệ Nhân Tạo), cụ thể Machine Learning (Học Máy Máy Học) lên chứng cách mạng công nghiệp lần thứ tư (1 - động nước, - lượng điện, - cơng nghệ thơng tin) Trí Tuệ Nhân Tạo len lỏi vào lĩnh vực đời sống mà khơng nhận Xe tự hành Google Tesla, hệ thống tự tag khuôn mặt ảnh Facebook, trợ lý ảo Siri Apple, hệ thống gợi ý sản phẩm Amazon, hệ thống gợi ý phim Netflix, máy chơi cờ vây AlphaGo Google DeepMind, …, vài ứng dụng AI/Machine Learning 1.2 MỤC TIÊU Mơ hình học máy biểu thuật toán quét qua hàng triệu, hàng tỷ liệu để tìm mẫu hình đưa dự đốn Được cung cấp liệu, mơ hình học máy (ML) “động cơ” tốn học trí tuệ nhân tạo Cũng mà nhóm sinh viên ngành Điện tử - Viễn thông muốn nghiên cứu phát triển thêm kiến thúc hữu ích 1.3 GIỚI HẠN ĐỀ TÀI Do mơ qua code tạo lập hình ảnh mà khơng phải hình ảnh từ đời sống từ giới thực, mà chưa thực tế hóa đời sống, chưa thể áp dụng vào xã hội cách tốt 1.4 BỐ CỤC BÁO CÁO Chương Giới thiệu Chương Cơ sở lý thuyết Chương CHƯƠNG CƠ SỞ LÝ THUYẾT 2.1 GIỚI THIỆU MACHINE LEARNING 2.1.1 Supervisor learning Thuật toán bao gồm biến mục tiêu / kết (hoặc biến phụ thuộc) dự đoán từ tập hợp yếu tố dự báo định (các biến độc lập) Sử dụng tập hợp biến này, tạo hàm ánh xạ đầu vào với đầu mong muốn Q trình đào tạo tiếp tục mơ hình đạt mức độ xác mong muốn liệu đào tạo Ví dụ: Regression, Decision Tree, Random Forest, KNN, Logistic Regression etc 2.1.2 Unsupervisor learning Trong thuật tốn này, chúng tơi khơng có biến mục tiêu kết để dự đoán / ước tính Nó sử dụng để phân nhóm dân số theo nhóm khác nhau, sử dụng rộng rãi để phân khúc khách hàng thành nhóm khác cho can thiệp cụ thể Ví dụ: Apriori algorithm, K-means 2.2 GIỚI THIỆU MƠ HÌNH ENSEMBLES LEARNING 2.2.1 Basic Ensemble Techniques Ở mức độ bản, có kỹ thuật là:  Max Voting  Averaging  Weighted Averaging Mặc dù đơn giản kỹ thuật lại tỏ hiệu số trường hợp định Hãy tìm hiểu kỹ chúng 2.2.1.1 Max Voting Kỹ thuật hay sử dụng cho tốn phân lớp, đó, nhiều models sử dụng để dự đoán cho mẫu liệu Kết dự đoán model xem vote Cái có số vote cao kết dự đốn cuối Nói cách khác, kiểu bầu chọn theo số đông, áp dụng nhiều sống, trị, 2.2.1.2 Averaging Tương tự kỹ thuật Voting, Averaging sử dụng kết dự đoán nhiều models Tuy nhiên, bước định kết cuối cùng, giá trị trung bình tất kêt models lựa chọn 2.2.1.3 Weighted Average Đây kỹ thuật mở rộng averaging Mỗi model gắn kèm với trọng số tỷ lệ với mức độ quan trọng model Kết cuối trung bình có trọng số tất kết models 2.2.2 Advanced Ensemble techniques Đã có basic chắn phải có advanced Có kỹ thuật Ensemble Learning xếp vào nhóm advanced: • Stacking • Blending • Bagging • Boosting 2.2.2.1 Stacking • Bước 1: Train model A (base model) theo kiểu cross-validation với k=10 • Bước 2: Tiếp tuc train model A toàn train set • Bước 3: Sử dụng model A để dự đốn test set • Bước 4: Lặp lại bước 1,2,3 cho base model khác • Bước 5:  Kết dự đoán train set base models sử dụng input features (ensemble train set) để train stacking model  Kết dự đoán test set base models sử dụng test set (ensemble test set) stacking model • Bước 6: Train đánh giá stacking model sử dụng ensemble train set ensemble test set 2.2.2.2 Blending Các bước thực phương pháp sau: • Buớc 1: Chia dataset thành train set, validation set test set • Bước 2: Base model train train set • Bước 3: Sử dụng base model để dự đoán validation set test set • Bước 4: Lặp lại bước 2,3 cho base models khác • Bước 5:  Validation set kết dự đoán validation set base models sử dụng input features (ensemble train set) blending model  Test set kết dự đoán test set base models sử dụng test set (ensemble test set) blending model • Bước 6: Train đánh giá blending model sử dụng ensemble train set ensemble test set 2.2.2.3 Bagging Bagging (Bootstrap Aggregating) khác với hai kỹ thuật chỗ, sử dụng chung thuật toán cho tất base models Tập dataset chia thành phần khác (bags) base model train bag Các bước thực bagging sau: • Bước 1: Chia tập liệu ban đầu thành nhiều phần khác (bags) Hình 2-8 Đồ thị hàm tansig Hàm ứng dụng cho chương trình ứng dụng mà đầu mong muốn rơi vào khoảng [-1,1]  Phân loại kỹ thuật training Lan truyền thẳng (Forward Propagation) – Dòng liệu từ đơn vị đầu vào đến đơn vị đầu truyền thẳng Việc xử lý liệu mở rộng nhiều lớp, khơng có liên kết phản hồi Nghĩa là, liên kết mở rộng từ đơn vị đầu tới đơn vị đầu vào lớp hay lớp trước khơng cho phép Hình 2-9 Mạng nơron truyền thẳng nhiều lớp (Feed-forward neural network)  Lan truyền ngược (Backward Propagation) Thuật tốn lan truyền ngược có lẽ khối xây dựng mạng nơ-ron Nó giới thiệu lần vào năm 1960 gần 30 năm sau (1989) phổ biến Rumelhart, Hinton Williams báo có tên “Học cách biểu diễn sai số lan truyền ngược” Thuật toán sử dụng để đào tạo hiệu mạng nơron thông qua phương pháp gọi quy tắc chuỗi Nói cách dễ hiểu, sau lần chuyển tiếp qua mạng, nhân giống ngược thực chuyển tiếp ngược lại điều chỉnh thông số mơ hình (trọng số độ lệch) Một ví dụ hàm mát (loss function) hàm Mean Square Error (MSE) tức trung bình bình phương lỗi ... NHIỆM VỤ BÁO CÁO MÔN HỌC Họ tên sinh viên: Đỗ Hồ Xuân Long MSSV: 20161223 Lý Gia Huy 20161205 Ngành: CNKT Điện tử - Viễn thông Lớp: 20161CLC2B Giảng viên hướng dẫn: PGS.TS Võ Minh Huân Tên đề tài: ... đời sống mà khơng nhận Xe tự hành Google Tesla, hệ thống tự tag khuôn mặt ảnh Facebook, trợ lý ảo Siri Apple, hệ thống gợi ý sản phẩm Amazon, hệ thống gợi ý phim Netflix, máy chơi cờ vây AlphaGo... cứu báo cáo đề tài “Xây dựng cấu trúc mạng nơ-ron phân biệt 10 chữ số từ đến qua hình ảnh” MỤC LỤC CHƯƠNG GIỚI THIỆU 1.1 TỔNG QUAN 1.2 MỤC TIÊU 1.3 GIỚI HẠN ĐỀ