Mạng nơ-ron nhân tạo là hệ thống máy tính song song bao gồm nhiều đơn vị xử lý đơn giản, kết nối với nhau theo một cấu trúc nào đó để thực hiện một nhiệm vụ cụ thể.. Mặc dù được đơn giản[r]
(1)ĐỀ CƯƠNG ÔN TẬP
MẠNG NƠ-RON NHÂN TẠO Đề 1
1 Mạng nơ-ron nhân tạo gì? Tại nghiên cứu mạng nơ-ron nhân tạo? Mạng nơ-ron nhân tạo (Neural Networks – NNs) mạng bao gồm nơ-ron kết nối với tìm thấy não sinh học Thành phần để cấu tạo nên mạng nơ –ron nơ-ron cách mà chúng kết nối với Do vậy, để mơ hình hóa hình thái tìm hiểu phương thức hoạt động mạng nơ-ron, nơ-ron nhân tạo
Nơ-ron nhân tạo mô thô nơ-ron sinh học não Chúng thiết bị vật lý mơ hình tốn học Theo đó, mạng nơ-ron nhân tạo (Artificial Neural Networks – ANNs) mạng nơ-ron nhân tạo kết nối với xem mô thô phần não sinh học Chúng hệ thống thiết bị vật lý mơ máy tính
Mạng nơ-ron nhân tạo hệ thống máy tính song song bao gồm nhiều đơn vị xử lý đơn giản, kết nối với theo cấu trúc để thực nhiệm vụ cụ thể Mặc dù đơn giản hóa mặt mơ mạng nơ-ron nhân tạo khơng tính chất đặc trưng não thật
- Ưu điểm lớn mạng nơ-ron nhân tạo: tính hồn toàn song song, mà làm cho mạng nơ-ron nhân tạo trở nên hiệu Thêm vào đó, mạng nơ-ron nhân tạo học từ liệu huấn luyện khái qt tình mới, nên khơng u cầu nhiều kỹ lập trình Mạng nơ-ron nhân tạo đặc biệt chịu lỗi, khả thường tìm thấy hệ thống sinh học; chịu nhiễu Vì chúng đối phó với tình mà hệ thống symbolic thơng thường gặp khó khăn Nói tóm lại, nguyên tắc, mạng nơ-ron nhân tạo làm điều hệ thống symbolic/logic làm thực tế cịn làm nhiều
- Giống lĩnh vực trí tuệ nhân tạo nói chung, hai mục tiêu việc nghiên cứu mạng nơ-ron nhân tạo là:
+ Mơ hình hóa não: Mục đích khoa học việc xây dựng mơ hình mạng nơ-ron nhân tạo tìm hiểu thực tế não làm việc Điều giúp hiểu chất thông minh người, xây dựng chiến lược dạy tốt, hoạt động chữa trị hiệu cho bệnh nhân bị thương tổn não
+ xây dựng hệ thống nhân tạo: Mục đích kỹ thuật việc xây dựng hệt thống mạng nơ-ron nhân tạo nhằm đem lại hiệu tốt ứng dụng thực tế Điều làm cho máy móc hoạt động tốt hơ, thay người công việc nhàm chán chí cải thiện hiệu suất công việc
2 Hãy mô tả mô hình nơ-ron nhân tạo McColloch-Pitts?(Hình vẽ, phương trình tính output)
Trên sở cấu trúc chung ron sinh học, McCulloch-Pitts đề nghị mơ hình
nơ-ron nhân tạo đơn giản biết đến đơn vị logic ngưỡng hình vẽ 2-4, bao gồm:
Một tập kết nối (synapses) mang kích hoạt từ nơ-ron khác đến
Một đơn vị xử lý tính tổng tất tín hiệu vào sau áp dụng hàm kích hoạt
khơng tuyến tính (hàm chuyển hay hàm ngưỡng)
(2)
Kết nơ-ron McCulloch-Pitts biểu diễn hàm n thành
phần vào:
θ ngưỡng kích hoạt nơ-ron Chúng ta dễ dàng thấy rằng:
Lưu ý nơ-ron McCulloch-Pitts mơ hình đơn giản so với nơ-ron sinh
học Do số đặc điểm bị đơn giản hóa như: giá trị vào/ra nhị phân, tổng vào khơng tuyến tính, ngưỡng mịn, tính ngẫu nhiên (stochasticity) xử lý thơng tin có tính đến yếu tố thời gian
Tuy thế, ron McCulloch-Pitts mạnh mặt tính tốn Người ta tập nơ-ron McCulloch-Pitts tính tốn nhiều thứ
Hàm ngưỡng hay hàm dấu sgn(x) định nghĩa
(3)Câu 3: Hãy giải thích chất luật học Perceptron? (Hình vẽ minh họa, phương trình luật học Perceptron) Hãy ưu, khuyết điểm phạm vi ứng dụng luật học perceptron?
- Để cài đặt ứng dụng, nhiều nơ-ron kết nối với đánh số Luồng kích hoạt truyền chúng thực thông qua khớp nối có trọng số tương ứng wki, wij
- Chúng ta kết nối nơ-ron McCulloch-Pitts lại với theo cách mà muốn Mạng bao lớp vào (input) kết nối trực tiếp với lớp nơ-ron McCulloch-Pitt hình vẽ 3-2 gọi mạng Perceptron lớp
- Một ứng dụng đơn giản mà cài đặt sử dụng mạng Perceptron để thiết lập cổng logic Điều mà cần làm để xác định trọng số kết nối ngưỡng nơ-ron thích hợp để kết sinh với tập liệu vào
- Để hồn thành cổng logic thế, băt đầu với công logic đơn giản NOT, AND OR, thiết kế chức logic từ cổng logic nêu Tuy nhiên, thực tế người ta thường không thiết kế ANN phức tạp Perceptron lớp, mà người ta tìm cách xác định trọng số ngưỡng trực tiếp từ kiến trúc Perceptron lớp khác
- Thực tế chứng minh rằng, việc thiết kế ANN đơn giản chuyện, vấn đề làm để chứng tỏ ANN thực chức mục tiêu đề ra! Nếu dùng phương pháp thử trên, vấn đề sau tìm lời giải? (ví dụ trường hợp cổng XOR) Vì nên tìm phương pháp tính tốn thích hợp khác để xác định tham số, việc thử sai
- Chúng ta bắt đầu phương pháp tính tốn với mơ hình mạng Perceptron cho cổng AND Theo mơ hình này, có trọng số w1, w2 ngưỡng q Đối với mẫu huấn luyện,
(4)- Việc huấn luyện liệu dẫn đến bất phương trình sau:
- Có thể dễ dàng nhìn thấy có vơ hạn lời giải Tương tự, có vơ hạn lời giải cho mạng OR mạng NOT
- Trở lại với mạng Perceptron cho cổng logic XOR, với phương pháp tính tốn trên, có bất phương trình
- Rõ ràng bất phương trình không thỏa mãn bất phương trình khơng thể tìm lời giải Chúng ta cần loại mạng phức tạp hơn, ví dụ tổ hợp từ nhiều mạng đơn, sử dụng hàm ngưỡng/kích hoạt khác Thêm vào khó khăn xác định trọng số ngưỡng phương pháp thử
* Ưu điểm: Mạng Perceptron cơng cụ tính tốn mạnh, có khả thực “bất kỳ” chức logic
* Khuyết điểm: mạng Perceptron lớp với hàm kích hoạt “step-function” bộc lộ những hạn chế, ví dụ khơng thể thực toán XOR
(5)Câu 4: Hãy giải thích chất luật học delta? (phương trình luật học delta) Hãy so sánh luật học delta với luật học perceptron?
Chúng ta có giải thuật học cách giảm gradient cho mạng lớp:
Chú ý bao gồm đạo hàm hàm chuyển f(x) Đó vấn đề Perceptron lớp có sử dụng hàm bước sgn(x) hàm ngưỡng Bởi đạo hàm luôn ngoại trừ x=0 nên vơ hạn
May mắn có mẹo mà vượt qua trở ngại trên: Giả có hàm chuyển f(x) = x + 1/2, f(x)=1 x=1/2 f(x)=0 x = -1/2 Rõ ràng giá trị tuân theo qui luật hàm dấu sgn(x) Perceptron hoạt động với hàm ngưỡng Nói cách khác, sử dụng thuật toán học cách giảm gradient với f(x) = x + 1/2 để Perceptron học trọng số Trong trường hợp này, f’(x)=1 phương trình cập nhật trọng số trở thành:
Phương trình có tên gọi Luật học Delta phụ thuộc khác biệt δl = targl – outl
* so sánh luật học delta với luật học perceptron
- Giống nhau: luật học Delta luật học Perceptron Perceptron lớp có phương trình cập nhật trọng số
- Khác nhau:
Các luật học Perceptron sử dụng hàm kích hoạt f(x) = sgn(x), luật Delta sử
dụng hàm tuyến tính f(x) = x + 1/2
Hai thuật toán xuất phát từ quan điểm lý thuyết khác nhau: luật học
Perceptron bắt nguồn từ việc xem xét làm để di chuyển siêu phẳng định, luật Delta xuất từ việc tối thiểu hóa SSE cách giảm gradient
Luật học Perceptron hội tụ lỗi trọng số không thay đổi sau số
hữu hạn bước thực vấn đề xem xét tuyến tính, cịn khơng bị dao động qua lại Trong luật Delta (với η đủ nhỏ) ln ln hội tụ tập trọng số mà lỗi tối thiểu, hội tụ đến giá trị xác x = ± 1/2 thơng thường phụ thuộc vào tốc độ giảm η
(6)* Bản chất mạng lan truyền ngược:
- Chúng ta khơng thể tìm trọng số mạng Perceptron lớp giải toán XOR Tuy nhiên, mạng Perceptrons nhiều lớp (MLPs) lại có khả giải tốn khơng tuyến tính
* Mơ hình ANNs nhiều lớp
- xem xét nơ-ron
trong đơn vị xử lý j lớp n nhận kích hoạt outi(n-1) từ đơn vị xử lý i lớp trước đó (n-1) gởi kích hoạt outj(n) cho đơn vị xử lý lớp (n+1).
(7)Rõ ràng thêm nhiều lớp nữa, thực tế lớp đủ Chúng ta sử dụng hàm kích hoạt khác cho lớp khác nhau, chí cho đơn vị xử lý khác lớp
* Phương trình điều chỉnh trọng số giải thích:
- Chúng ta sử dụng ý tưởng trình bày để huấn luyện mạng N lớp Chúng ta muốn điều chỉnh trọng số mạng wij(n) để giảm thiểu hàm tổng bình phương lỗi
và lần thực điều loạt cập nhật trọng số cách giảm gradient
Lưu ý kết outj(N) lớp cuối xuất hàm lỗi.
Tuy nhiên, kết lớp cuối lại phụ thuộc vào lớp trọng số trước giải thuật học điều chỉnh tất chúng Giải thuật học tự động điều chỉnh kết outi(n-1) lớp (ẩn) trước sao cho chúng tạo đại diện trung gian (ẩn) thích hợp
Đối với mạng lớp, kết cuối ghi:
(8)Bây thay đạo hàm hai phương trình cập nhật trọng số
Nếu hàm chuyển f(x) hàm Sigmoid sử dụng f’(x) = f(x).(1 - f(x))