TIỂU LUẬN MÔN HỌC CHUYÊN ĐỀ ĐỀ TÀI: NEURON MODEL ANH NETWORK ARCHITECTURES

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐÀO TẠO SAU ĐẠI HỌC TIỂU LUẬN MÔN HỌC CHUYÊN ĐỀ ĐỀ TÀI NEURON MODEL ANH NETWORK ARCHITECTURES Giảng viên hướng dẫn TS NGUYỄN HỮU TRUNG Nhóm 14 ĐỖ HỮU TRỌNG PAGE 1 14 VÕ ANH TUẤN PAGE 15 20 Lớp KTTT1 MỤC LỤC Chương 2 Cấu trúc mạng và mô hình nơron 2 Lý thuyết và các ví dụ 2 1 Các ký hiệu 2 2 Mô hình nơron 3 2 1 Nơron đầu vào đơn 3 2 2 Các hàm số chuyển 4 3 Kết luận 20 Chương 2 Cấu trúc mạng và mô hình nơron Trong chương 1, chúng tôi đã trình bày một mô tả đơn.

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐÀO TẠO SAU ĐẠI HỌC TIỂU LUẬN MÔN HỌC CHUYÊN ĐỀ ĐỀ TÀI: NEURON MODEL ANH NETWORK ARCHITECTURES Giảng viên hướng dẫn : TS NGUYỄN HỮU TRUNG Nhóm 14 : ĐỖ HỮU TRỌNG PAGE 1-14 VÕ ANH TUẤN PAGE 15-20 Lớp : KTTT1 MỤC LỤC Nhóm 14 Chương 2: Cấu trúc mạng mơ hình nơron Trong chương 1, chúng tơi trình bày mơ tả đơn giản mạng nơron sinh học mạng nơron Bây chúng tơi giới thiệu mơ hình tốn học đơn giản nơron giải thích nơron nhân tạo liên kết tương tác để tạo thành nhiều cấu trúc mạng Chúng minh họa hoạt động mạng thơng qua số ví dụ đơn giản Khái niệm ký hiệu sử dụng chương sử dụng suốt sách Chương không bao hàm tất cấu trúc mà sử dụng sách giới thiệu khối lắp ghép Các cấu trúc phức tạp giới thiệu thảo luận cần thiết chương sau Tuy nhiên nhiều chi tiết trình bày Hãy ý người đọc không cần thiết nhớ tất tài liệu/ cơng thức/ kí hiệu chương lần đọc Thay vào đó, đọc sách tiền đề để bạn bắt đầu nguồn để bạn xem lại Lý thuyết ví dụ Các ký hiệu Các mạng nơron mà kí hiệu tốn học biểu diễn cấu trúc tiêu chuẩn cho chúng chưa thiết lập vững Hơn nữa, giấy tờ sách mạng nơron đến từ nhiều lĩnh vực khác nhau, bao gồm kỹ thuật, vật lý, tâm lý tốn học nhiều tác giả có xu hướng sử dụng từ vựng cá biệt cho chuyên môn họ Kết là, nhiều sách giây tờ lĩnh vực khó để đọc khái niệm tạo dường phức tạp Đây điều đáng tiếc tránh mở rộng ý tưởng quan trọng Trong sách cố gắng sử dụng ký hiệu tiêu chuẩn chỗ có làm rõ ràng giữ cho vấn để đơn giản mà khơng tính xác Đặc biệt chúng tơi có gắng xác định quy ước thực tế sử dụng chúng cách thích hợp Các hình minh họa, phương trình tốn học chữ thảo luận, hình minh họa phương trình tốn học sủ dụng ký hiệu sau: Vô hướng: chữ nhỏ in nghiêng: a, b, c Véctơ: chữ nhỏ in đậm: a, b, c Nhóm 14 Ma trận: chữ viết hoa in đậm: A,B,C Ký hiệu thêm mà liên quan tới cấu trúc mạng giới thiệu bạn đọc chương Một danh sách hồn chỉnh kí hiệu mà sử dụng xuyên suốt sách ghi Phụ lục B, bạn có tể xem bạn có thắc mắc Mơ hình nơron 2.1 Nơron đầu vào đơn Một nơron đầu vào đơn hình 2.1, đầu vào vơ hướng p nhân lên nhờ khối lượng vô hướng w để tạo thành wp, thuật ngữ mà gửi tới the summer Một đầu vào khác, l, nhân lên nhờ đường chéo b qua the summer Đầu summer, n, xem đầu vào mạng, tới hàm số chuyển f mà tạo đầu nơron vô hướng a (Một số tác giả dùng thuật ngữ “hàm số hoạt hóa” sử dụng hàm số biến đổi “offset” bias.) Nếu liên hệ mẫu đơn giản với nơron sinh học mà thảo luận chương 1, trọng lượng w tương đương với sức mạnh khớp thần kinh, tế bào thể giới thiệu nhờ tóm tắt hàm số chuyển đầu nơron a trình bày cho tín hiệu sợi trục thần kinh Hình 2.1 Nơron đầu vào đơn Nơron tính tốn nhờ a =f(wp +b) Ví dụ w = 3, p = b = -1,5, a =f(3(2)- 1,5) = f(4,5) Nhóm 14 Đầu thực phụ thuộc vào hàm chuyển cụ thể mà chọn Chúng thảo luận hàm chuyển phần sau Bias giống khối lượng trừ đầu vào không đổi Tuy nhiên, bạn không muốn có bias nơron cụ thể, bỏ qua Chúng ta xem ví dụ điều chương 3, 14 Chú ý w b tham số vô hướng điều chỉnh nơron Điển hình là, hàm số chuyển chọn nhà thiết kế tham số w b điều chỉnh nhờ số quy tắc học tập để mối quan hệ đầu ra/đầu vào nơron đạt số mục tiêu cụ thể ( xem chương cho phần giới thiệu quy tắc học tập) Như mơ tả phần tiếp theo, chúng tơi có các hàm số chuyển khác cho mục đích khác 2.2 Các hàm số chuyển Hàm số chuyển hình 2.1 hàm tuyến tính hàm phi tuyến tính n Một hàm số chuyển cụ thể chọn để thỏa mãn số đặc điểm vấn đề mà nơron cố gắng giải Nhiều hàm số chuyển đưa sách Ba hàm số sử dụng thường xuyên thảo luận Hàm số chuyển hạn chế cứng/nghiêm ngặt, bên trái hình 2.2, đặt đầu nơron đối số hàm số nhỏ 0, đối số lớn Chúng ta sử dụng hàm số để tạo nơron mà phân lọai đầu vào thành loại riêng biệt Điều sử dụng rộng rãi chương Hình 2.2: Hàm số chuyển hạn chế cứng/nghiêm ngặt Hình bên phải hình 2.2 minh họa cho đặc tính đầu ra/ đầu vào nơron đầu vào đơn mà sử dụng hàm số chuyển hạn chế nghiêm ngặt Ở thấy tác Nhóm 14 động khối lượng bias Chú ý biểu tượng cho hàm số chuyển hạn chế cứng hình Các biểu tượng thay tồn f biểu đồ mạng lưới để hàm số cụ thể sử dụng Đầu hàm số chuyển tuyến tính với đầu vào a = n , (2.1) Như minh họa hình 2.3 Các nơron với hàm số chuyển sử dụng mạng ADALINE, mà thảo luận chương 10 Hình 2.3 Hàm số chuyển tuyến Đầu (a) chống lại đặc tính đầu vào (p) nơron tuyến tính đầu vào đơn với bias hình 2.3 Hàm số chuyển log-sigmoid hình 2.4 Nhóm 14 Hình 2.4 Hàm số chuyển Log-sigmoid Hàm số chuyển đưa đầu vào ( mà có giá trị dương vô âm vô cùng) bỏ đầu giới hạn từ đến 1, theo mô tả sau: Hàm số chuyển log-sigmoid thường sử dụng mạng đa tầng mà huấn luyện sử dụng thuật toán truyền lan ngược, phần hàm phân biệt ( xem chương 11) Hầu hết hàm số chuyển sử dụng sách tóm tắt bảng 2.1 Có thể xác định hàm chuyển khác thêm vào hàm mà bảng 2.1 muốn Để thí nghiệm với nơron đầu vào đơn, sử dụng Neural Network Design Demonstration One-Input Neural nnd2n1 Bảng 2.1 Các hàm số chuyển Tên Hạn chế cứng Nhóm 14 Mối quan hệ Biểu tượng a = n1 Satlins Hardlims Log-Sigmoid Logsig Sigmoid tiếp tuyến Hipebon Tagsig Tuyến dương a = n