PHÂN TÍCH MẠNG NEURON NHÂN TẠO VÀ ỨNG DỤNG TRONG PHÂN LỚP

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP.HCM BÁO CÁO ĐỒ ÁN PHÂN TÍCH MẠNG NEURON NHÂN TẠO VÀ ỨNG DỤNG TRONG PHÂN LỚP Ngành: CÔNG NGHỆ THƠNG TIN Mơn học: TRÍ TUỆ NHÂN TẠO Giảng viên hướng dẫn: Vũ Thanh Hiền Sinh viên thực hiện: Vũ Trọng Hiếu MSSV: 1811060239 Phạm Khoa MSSV: 1811061304 Phan Nguyễn Hồng Phú MSSV: 1811061979 TP Hồ Chí Minh, Tháng năm 2021 Mục Lục CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NEURON NHÂN TẠO I Giới thiệu chung 1) Neuron sinh học .4 2) Khái niệm mạng neuron nhân tạo .5 3) Kiến trúc tổng quát ANN sau: 4) Quá trình học (Learning Processing) ANN .9 Chương 2: MẠNG NEURON LAN TRUYỀN NGƯỢC .9 I Tổng quan mạng neuron lan truyền ngược II Các khái niệm liên quan đến giải thuật lan truyền ngược .11 1) Mặt lỗi 11 2) Phương pháp giảm gradient 12 3) Cục tiểu cục .13 4) Quy tắc chuỗi .13 III Đạo hàm hàm lỗi 15 1) Xác định hướng giảm dốc 17 2) Khởi tạo trọng số 18 3) Cấu trúc mạng 19 CHƯƠNG 3: GIẢI THUẬT DI TRUYỀN 19 I Tổng quan giải thuật di chuyền .19 1) Giới thiệu chung 19 2) So sánh giải thuật di truyền với giải thuật tìm kiếm khác 20 a) Phương pháp đạo hàm .20 b) Phương pháp liệt kê 23 c) Phương pháp tìm kiếm ngẫu nhiên 23 II Giải thuật di truyền đơn giản 24 1) Tái tạo (reproduction) .24 2) Tạp lai (cross-over) 25 3) Đột biến (mutation) 25 III Các giải thuật di truyền lai 25 IV Giải thuật di truyền dùng toán tối ưu hóa 26 CHƯƠNG 4: PHÂN LỚP DỮ LIỆU BẰNG MẠNG NEURON 28 1) Giới thiệu .28 2) Chuẩn bị liệu 29 3) Nạp liệu 30 4) Chuẩn hóa liệu 31 5) Đào tạo mạng .32 TÀI LIỆU THAM KHẢO .39 CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NEURON NHÂN TẠO I Giới thiệu chung 1) Neuron sinh học - Mạng neuron nhân tạo phát triển từ nghiên cứu trí tuệ nhân tạo; đặc biệt cố gắng bắt chước não có cấu trúc cấp thấp khả học chấp nhận sai hệ thống neuron sinh học - Bộ não người gồm số lớn nơron (khoảng 10 tỷ neuron) kết nối với (trung bình neuron kết nối với hàng chục ngàn neuron khác) - Mỗi neuron tế bào đặc biệt, truyền tín hiệu điện neuron có cấu trúc rẻ ngõ vào, thân tế bào cấu trúc rẻ ngõ (sợi thần kinh) Các sợi thần kinh tế bào kết nối với tế bào khác thông qua khớp thần kinh (synapse) - Khi neuron kích hoạt, tạo xung điện hóa học dọc theo sợi thần kinh Tín hiệu qua khớp thần kinh đến neuron khác, tiếp tục bị kích hoạt neuron hoạt động tất tín hiệu nhận thân tế bào thơng qua rẻ ngõ vào vượt mức (ngưỡng hoạt động) Hình 1: Cấu trúc neuron thần kinh sinh học 2) Khái niệm mạng neuron nhân tạo - Mạng Neuron nhân tạo (Artificial Neural Network- ANN) mơ hình xử lý thơng tin mô dựa hoạt động hệ thống thần kinh sinh vật, bao gồm số lượng lớn Neuron gắn kết để xử lý thông tin ANN giống não người, học kinh nghiệm (thơng qua huấn luyện), có khả lưu giữ kinh nghiệm hiểu biết (tri thức) sử dụng tri thức việc dự đốn liệu chưa biết (unseen data) - Các ứng dụng mạng Neuron sử dụng nhiều lĩnh vực điện, điện tử, kinh tế, quân sự,… để giải tốn có độ phức tạp địi hỏi có độ xác cao điều khiển tự động, khai phá liệu, nhận dạng,… 3) Kiến trúc tổng quát ANN sau: Hình 2: Tổng quan mạng Neuron - Kiến trúc ANN gồm ba phần là: Input Layer, Hidden Layer Output Layer (xem hình 2) - Trong đó, lớp ẩn (Hidden Layer) gồm Neuron, nhận liệu input từ Neuron lớp (Layer) trước chuyển đổi input cho lớp xử lý Trong ANN có nhiều Hidden Layer - Processing Elements (PE): Các PE ANN gọi Neuron, Neuron nhận liệu vào (Inputs) xử lý chúng cho kết (output) Kết xử lý Neuron làm Input cho Neuron khác - Quá trình xử lý thơng tin ANN Hình 3: Q trình xử lý thơng tin - Inputs: Mỗi Input tương ứng với thuộc tính (attribute) liệu (patterns) Ví dụ ứng dụng ngân hàng xem xét có chấp nhận cho khách hàng vay tiền hay khơng Input thuộc tính khách hàng thu nhập, nghề nghiệp, tuổi, số - Output: Kết ANN giải pháp cho vấn đề, ví dụ với tốn xem xét chấp nhận cho khách hàng vay tiền hay khơng output yes (cho vay) no (khơng cho vay) - Connection Weights (Trọng số liên kết): Đây thành phần quan trọng ANN, thể mức độ quan trọng (độ mạnh) liệu đầu vào q trình xử lý thơng tin (quá trình chuyển đổi liệu từ Layer sang layer khác) Quá trình học (Learning Processing) ANN thực trình điều chỉnh trọng số (Weight) input data để có kết mong muốn - Summation Function (Hàm tổng): Tính tổng trọng số tất input đưa vào Neuron (phần tử xử lý PE) Hàm tổng Neuron n input tính theo cơng thức sau: - Hàm tổng nhiều Neurons Layer (Xem hình ): Hình 4: Hàm tổng nhiều Neurons - Transformation (Transfer) Function (Hàm chuyển đổi): Hàm tổng (Summation Function) Neuron cho biết khả kích hoạt (Activation) neuron cịn gọi kích hoạt bên (internal activation) Các Neuron sinh output khơng ANN (nói cách khác output Neuron chuyển đến layer tiếp mạng Neuron theo không) Mối quan hệ Internal Activation kết (output) thể hàm chuyển đổi (Transfer Function) - Việc lựa chọn Transfer Function có tác động lớn đến kết ANN Hàm chuyển đổi phi tuyến sử dụng phổ biến ANN sigmoid (logical activation) function - Trong đó :  YT: Hàm chuyển đổi  Y: Hàm tổng - Kết Sigmoid Function thuộc khoảng [0,1] nên gọi hàm chuẩn hóa (Normalized Function) - Kết xử lý Neuron (Output) đơi lớn, transfer function sử dụng để xử lý output trước chuyển đến layer Đôi thay sử dụng Transfer Function người ta sử dụng giá trị ngưỡng (Threshold value) để kiểm soát output neuron layer trước chuyển output đến Layer Nếu output neuron nhỏ Threshold sẻ khơng chuyển đến Layer 4) Quá trình học (Learning Processing) ANN - ANN huấn luyện (Training) hay học (Learning) theo kỹ thuật học có giám sát (Supervised Learning) học không giám sát (Unsupervised Learning) - Supervised learning: Quá trình Training lặp lại kết (output) ANN đạt giá trị mong muốn (Desired value) biết Điển hình cho kỹ thuật mạng Neuron lan truyền ngược (Backpropagation) - Unsupervised learning: Khơng sử dụng tri thức bên ngồi q trình học (Learning), nên gọi tự tổ chức (Self – Organizing) Mạng Neuron điển hình huấn luyện theo kiểu Unsupervised Sefl – Organizing Map (SOM) - Nguyên tắc huấn luyện (Training protocols) - Mạng Neuron có cách huấn luyện batch training, stochastic training on-line training:  Đối với on-line training trọng số mạng (weights) cập nhật sau input pattern đưa vào mạng  Stohastic training giống on-line training việc chọn input patterns để đưa vào mạng từ training set thực ngẫu nhiên (random)  Batch training tất input patterns đưa vào mạng lúc sau cập nhật trọng số mạng đồng thời Ưu điểm on-line training tiết kiệm nhớ khơng cần lưu lại số lượng lớn input patterns nhớ Chương 2: MẠNG NEURON LAN TRUYỀN NGƯỢC I Tổng quan mạng neuron lan truyền ngược - Lan truyền ngược tên phương pháp học - chiến lược hiệu chỉnh trọng số Phương pháp học tác giả Werbos giới thiệu, sau Rumelhart sử dụng phổ cập lĩnh vực mạng neuron Trong lĩnh vực mạng neuron nhiều lớp phương pháp học sử dụng thường xuyên Trong thực tế thơng dụng tới mức nhiều tác giả cho mạng neuron mạng nhiều lớp lan truyền ngược Hình 5: Sơ đồ hiệu chỉnh trọng số - Sự hấp dẫn mạng lan truyền ngược nằm rõ ràng, rành mạch phương trình hiệu chỉnh trọng số Các phương trình áp dụng cho việc hiệu chỉnh trọng số lớp lớp ngược lên tới lớp sau lớp vào Hình mơ tả thủ tục hiệu chỉnh trọng số Thủ tục hiệu chỉnh trọng số giải thuật lan truyền ngược khơng giống giải q trình học mạng neuron não Tuy nhiên giải thuật học lan truyền ngược gần với mạng neuron nhân tạo mô tả chương Thực chất 10 ... Rumelhart sử dụng phổ cập lĩnh vực mạng neuron Trong lĩnh vực mạng neuron nhiều lớp phương pháp học sử dụng thường xun Trong thực tế thơng dụng tới mức nhiều tác giả cho mạng neuron mạng nhiều lớp lan... cho mạng hội tụ cực trị địa phương khác 3) Cấu trúc mạng - Mạng neuron lan truyền ngược nói phần trước có lớp vào lớp Số lớp ẩn thay đổi từ đến vài lớp Đối với toán cụ thể số lượng neuron lớp vào... .39 CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NEURON NHÂN TẠO I Giới thiệu chung 1) Neuron sinh học - Mạng neuron nhân tạo phát triển từ nghiên cứu trí tuệ nhân tạo; đặc biệt cố gắng bắt chước não