Điều này thường được đưa ra như một bài toán xấp xỉ hàm số - cho dữ liệu huấn luyện bao gồm các cặp mẫu đầu vào x, và một đích tương ứng t, mục đích là tìm ra hàm f(x) thoả mãn tất cả cá[r]
(1)ĐỀ CƯƠNG ÔN TẬP MẠNG NƠ-RON NHÂN TẠO
Đề 1
1 Mạng nơ-ron nhân tạo gì? Tại nghiên cứu mạng nơ-ron nhân tạo? Mạng nơ-ron nhân tạo (Neural Networks – NNs) mạng bao gồm nơ-ron kết nối với tìm thấy não sinh học Thành phần để cấu tạo nên mạng nơ –ron nơ-ron cách mà chúng kết nối với Do vậy, để mơ hình hóa hình thái tìm hiểu phương thức hoạt động mạng nơ-ron, nơ-ron nhân tạo
Nơ-ron nhân tạo mô thô nơ-ron sinh học não Chúng thiết bị vật lý mơ hình tốn học Theo đó, mạng nơ-ron nhân tạo (Artificial Neural Networks – ANNs) mạng nơ-ron nhân tạo kết nối với xem mô thô phần não sinh học Chúng hệ thống thiết bị vật lý mơ máy tính
Mạng nơ-ron nhân tạo hệ thống máy tính song song bao gồm nhiều đơn vị xử lý đơn giản, kết nối với theo cấu trúc để thực nhiệm vụ cụ thể Mặc dù đơn giản hóa mặt mơ mạng nơ-ron nhân tạo khơng tính chất đặc trưng não thật
- Ưu điểm lớn mạng nơ-ron nhân tạo: tính hồn toàn song song, mà làm cho mạng nơ-ron nhân tạo trở nên hiệu Thêm vào đó, mạng nơ-ron nhân tạo học từ liệu huấn luyện khái qt tình mới, nên khơng u cầu nhiều kỹ lập trình Mạng nơ-ron nhân tạo đặc biệt chịu lỗi, khả thường tìm thấy hệ thống sinh học; chịu nhiễu Vì chúng đối phó với tình mà hệ thống symbolic thơng thường gặp khó khăn Nói tóm lại, nguyên tắc, mạng nơ-ron nhân tạo làm điều hệ thống symbolic/logic làm thực tế cịn làm nhiều
- Giống lĩnh vực trí tuệ nhân tạo nói chung, hai mục tiêu việc nghiên cứu mạng nơ-ron nhân tạo là:
+ Mơ hình hóa não: Mục đích khoa học việc xây dựng mơ hình mạng nơ-ron nhân tạo tìm hiểu thực tế não làm việc Điều giúp hiểu chất thông minh người, xây dựng chiến lược dạy tốt, hoạt động chữa trị hiệu cho bệnh nhân bị thương tổn não
+ xây dựng hệ thống nhân tạo: Mục đích kỹ thuật việc xây dựng hệt thống mạng nơ-ron nhân tạo nhằm đem lại hiệu tốt ứng dụng thực tế Điều làm cho máy móc hoạt động tốt hơ, thay người công việc nhàm chán chí cải thiện hiệu suất công việc
2 Hãy mô tả mô hình nơ-ron nhân tạo McColloch-Pitts?(Hình vẽ, phương trình tính output)
Trên sở cấu trúc chung ron sinh học, McCulloch-Pitts đề nghị mơ hình nơ-ron nhân tạo đơn giản biết đến đơn vị logic ngưỡng hình vẽ 2-4, bao gồm:
Một tập kết nối (synapses) mang kích hoạt từ nơ-ron khác đến
Một đơn vị xử lý tính tổng tất tín hiệu vào sau áp dụng hàm kích hoạt khơng tuyến tính (hàm chuyển hay hàm ngưỡng)
(2)
Kết nơ-ron McCulloch-Pitts biểu diễn hàm n thành phần vào:
θ ngưỡng kích hoạt nơ-ron Chúng ta dễ dàng thấy rằng:
Lưu ý nơ-ron McCulloch-Pitts mơ hình đơn giản so với nơ-ron sinh học Do số đặc điểm bị đơn giản hóa như: giá trị vào/ra nhị phân, tổng vào không tuyến tính, ngưỡng mịn, tính ngẫu nhiên (stochasticity) xử lý thơng tin có tính đến yếu tố thời gian
Tuy thế, nơ-ron McCulloch-Pitts mạnh mặt tính toán Người ta tập nơ-ron McCulloch-Pitts tính tốn nhiều thứ
Hàm ngưỡng hay hàm dấu sgn(x) định nghĩa
(3)Câu 3: Hãy giải thích chất luật học Perceptron? (Hình vẽ minh họa, phương trình luật học Perceptron) Hãy ưu, khuyết điểm phạm vi ứng dụng luật học perceptron?
- Để cài đặt ứng dụng, nhiều nơ-ron kết nối với đánh số Luồng kích hoạt truyền chúng thực thơng qua khớp nối có trọng số tương ứng wki, wij
- Chúng ta kết nối nơ-ron McCulloch-Pitts lại với theo cách mà muốn Mạng bao lớp vào (input) kết nối trực tiếp với lớp nơ-ron McCulloch-Pitt hình vẽ 3-2 gọi mạng Perceptron lớp
- Một ứng dụng đơn giản mà cài đặt sử dụng mạng Perceptron để thiết lập cổng logic Điều mà cần làm để xác định trọng số kết nối ngưỡng nơ-ron thích hợp để kết sinh với tập liệu vào
- Để hồn thành cổng logic thế, băt đầu với công logic đơn giản NOT, AND OR, thiết kế chức logic từ cổng logic nêu Tuy nhiên, thực tế người ta thường không thiết kế ANN phức tạp Perceptron lớp, mà người ta tìm cách xác định trọng số ngưỡng trực tiếp từ kiến trúc Perceptron lớp khác
- Thực tế chứng minh rằng, việc thiết kế ANN đơn giản chuyện, vấn đề làm để chứng tỏ ANN thực chức mục tiêu đề ra! Nếu dùng phương pháp thử trên, vấn đề sau tìm lời giải? (ví dụ trường hợp cổng XOR) Vì nên tìm phương pháp tính tốn thích hợp khác để xác định tham số, việc thử sai
- Chúng ta bắt đầu phương pháp tính tốn với mơ hình mạng Perceptron cho cổng AND Theo mơ hình này, có trọng số w1, w2 ngưỡng q Đối với mẫu huấn luyện,
chúng ta cần thỏa mãn:
(4)- Việc huấn luyện liệu dẫn đến bất phương trình sau:
- Có thể dễ dàng nhìn thấy có vơ hạn lời giải Tương tự, có vơ hạn lời giải cho mạng OR mạng NOT
- Trở lại với mạng Perceptron cho cổng logic XOR, với phương pháp tính tốn trên, có bất phương trình
- Rõ ràng bất phương trình khơng thỏa mãn bất phương trình khơng thể tìm lời giải Chúng ta cần loại mạng phức tạp hơn, ví dụ tổ hợp từ nhiều mạng đơn, sử dụng hàm ngưỡng/kích hoạt khác Thêm vào khó khăn xác định trọng số ngưỡng phương pháp thử
* Ưu điểm: Mạng Perceptron cơng cụ tính tốn mạnh, có khả thực “bất kỳ” chức logic
* Khuyết điểm: mạng Perceptron lớp với hàm kích hoạt “step-function” bộc lộ hạn chế, ví dụ khơng thể thực tốn XOR
(5)Câu 4: Hãy giải thích chất luật học delta? (phương trình luật học delta) Hãy so sánh luật học delta với luật học perceptron?
Chúng ta có giải thuật học cách giảm gradient cho mạng lớp:
Chú ý bao gồm đạo hàm hàm chuyển f(x) Đó vấn đề Perceptron lớp có sử dụng hàm bước sgn(x) hàm ngưỡng Bởi đạo hàm ln ln ngoại trừ x=0 nên vơ hạn
May mắn có mẹo mà vượt qua trở ngại trên: Giả có hàm chuyển f(x) = x + 1/2, f(x)=1 x=1/2 f(x)=0 x = -1/2 Rõ ràng giá trị tuân theo qui luật hàm dấu sgn(x) Perceptron hoạt động với hàm ngưỡng Nói cách khác, sử dụng thuật toán học cách giảm gradient với f(x) = x + 1/2 để Perceptron học trọng số Trong trường hợp này, f’(x)=1 phương trình cập nhật trọng số trở thành:
Phương trình có tên gọi Luật học Delta phụ thuộc khác biệt δl = targl –
outl
* so sánh luật học delta với luật học perceptron
- Giống nhau: luật học Delta luật học Perceptron Perceptron lớp có phương trình cập nhật trọng số
- Khác nhau:
Các luật học Perceptron sử dụng hàm kích hoạt f(x) = sgn(x), luật Delta sử dụng hàm tuyến tính f(x) = x + 1/2
Hai thuật toán xuất phát từ quan điểm lý thuyết khác nhau: luật học Perceptron bắt nguồn từ việc xem xét làm để di chuyển siêu phẳng định, luật Delta xuất từ việc tối thiểu hóa SSE cách giảm gradient
Luật học Perceptron hội tụ lỗi trọng số không thay đổi sau số hữu hạn bước thực vấn đề xem xét tuyến tính, cịn khơng bị dao động qua lại Trong luật Delta (với η đủ nhỏ) ln hội tụ tập trọng số mà lỗi tối thiểu, hội tụ đến giá trị xác x = ± 1/2 thơng thường phụ thuộc vào tốc độ giảm η
(6)* Bản chất mạng lan truyền ngược:
- Chúng ta khơng thể tìm trọng số mạng Perceptron lớp giải toán XOR Tuy nhiên, mạng Perceptrons nhiều lớp (MLPs) lại có khả giải tốn khơng tuyến tính
* Mơ hình ANNs nhiều lớp
- xem xét nơ-ron
trong đơn vị xử lý j lớp n nhận kích hoạt outi(n-1) từ đơn vị xử lý i lớp trước
(n-1) gởi kích hoạt outj(n) cho đơn vị xử lý lớp (n+1)
(7)Rõ ràng thêm nhiều lớp nữa, thực tế lớp đủ Chúng ta sử dụng hàm kích hoạt khác cho lớp khác nhau, chí cho đơn vị xử lý khác lớp
* Phương trình điều chỉnh trọng số giải thích:
- Chúng ta sử dụng ý tưởng trình bày để huấn luyện mạng N lớp Chúng ta muốn điều chỉnh trọng số mạng wij(n) để giảm thiểu hàm tổng bình phương lỗi
và lần thực điều loạt cập nhật trọng số cách giảm gradient
Lưu ý kết outj(N) lớp cuối xuất hàm lỗi
Tuy nhiên, kết lớp cuối lại phụ thuộc vào lớp trọng số trước giải thuật học điều chỉnh tất chúng Giải thuật học tự động điều chỉnh kết outi(n-1) lớp (ẩn) trước
cho chúng tạo đại diện trung gian (ẩn) thích hợp Đối với mạng lớp, kết cuối ghi:
(8)Bây thay đạo hàm hai phương trình cập nhật trọng số
Nếu hàm chuyển f(x) hàm Sigmoid sử dụng f’(x) = f(x).(1 - f(x))
(9)Đề 2:
Câu 1: So sánh học có giám sát học khơng có giám sát? Những mạng nơ-ron đại diện cho loại mạng này?
* So sánh học có giám sát khơng giám sát? + Điểm giống hai loại mạng:
Cả hai phương pháp học cần phải có tập huấn luyện (training data set) để hệ thống “học” rút đặc trưng dùng cho việc gán nhãn
+ Điểm giống hai loại mạng:
Phương pháp học có giám sát cần biết trước đầu số nhãn lớp Phương pháp học không giám sát không cần biết trước đầu (là số cụm nhãn) để phân cụm
* Các loại mạng học có giám sát: K_mean; 1.1 Học có giám sát:
Cách 1:
Mạng huấn luyện cách cung cấp cho cặp mẫu đầu vào đầu mong muốn (target values) Các cặp cung cấp "thầy giáo", hay hệ thống mạng hoạt động Sự khác biệt đầu thực tế so với đầu mong muốn thuật tốn sử dụng để thích ứng trọng số mạng Điều thường đưa toán xấp xỉ hàm số -cho liệu huấn luyện bao gồm cặp mẫu đầu vào x, đích tương ứng t, mục đích tìm hàm f(x) thoả mãn tất mẫu học đầu vào
Hình: Mơ hình học có giám sát (Supervised learning model) Cách 2:
(10)Học có giám sát tạo loại mơ hình Phổ biến nhất, học có giám sát tạo mơ hình tồn cục (global model) để ánh xạ đối tượng đầu vào đến đầu mong muốn Tuy nhiên, số trường hợp, việc ánh xạ thực dạng tập mơ hình cục bộ, dựa “hàng xóm”
Để giải tốn học có giám sát(ví dụ: để nhận dạng chữ viết tắt) người ta phải xét nhiều bước khác nhau:
Xác định loại tập liệu huấn luyện Trước làm điều gì, nên định loại liệu sử dụng làm dùng để huấn luyện Chẳng hạn, kí tự viết tay đơn lẻ, toàn từ viết tay, hay toàn dòng chữ viết tay
Thu thập liệu huấn luyện Tập liệu huấn luyện cần phù hợp với hàm chức xây dựng Vì vậy, cần thiết phải kiểm tra tích thích hợp liệu đầu vào để liệu đầu tương ứng Tập liệu huấn luyện thu thập từ nhiều nguồn khác nhau: từ việc đo tính tốn, từ tập liệu có sẵn…
Xác định việc biễu diễn đặc trưng đầu vào cho hàm chức Sự xác hàm chức phụ thuộc lớn vào cách biểu diễn đối tượng đầu vào Thông thường, đối tượng đầu vào chuyển đổi thành vec-tơ đặc trưng, chứa số đặc trưng nhằm mô tả cho đối tượng Số lượng đặc trưng khơng nên q lớn, bùng nổ liệu, phải đủ lớn để dự đốn xác đầu Nếu hàm chức mơ tả q chi tiết đối tượng, liệu đầu bị phân rã thành nhiều nhóm hay nhãn khác nhau, việc dẫn tới việc khó phân biệt mối quan hệ đối tượng hay khó tìm nhóm(nhãn) chiếm đa số tập liệu việc dự đoán phần tử đại diện cho nhóm, đối tượng gây nhiễu, chúng dán nhãn, nhiễn số lượng nhãn nhiều, số nhãn tỉ lệ nghịch với số phần nhãn Ngược lại, hàm chức có q mơ tả đối tượng dễ dẫn tới việc dán nhãn đối tượng bị sai hay dễ bỏ xót đối tượng gây nhiễu Việc xác định tương đối số lượng đặc tính phần tử giảm bớt chi phí thực đánh giá kết sau huấn luyện kết gặp liệu đầu vào
Xác định cấu trúc hàm chức cần tìm giải thuật học tương ứng Ví dụ, người kĩ sư lựa chọn việc sử dụngmạng nơ-ron nhân tạo hay định
Hoàn thiện thiết kế Người thiết kế chạy giải thuật học từ tập huấn luyện thu thập Các tham số giải thuật học điều chỉnh cách tối ưu hóa hiệu tập (gọi tập kiểm chứng -validation set) tập huấn luyện, hay thông qua kiểm chứng chéo (cross-validation) Sau học điều chỉnh tham số, hiệu giải thuật đo đạc tập kiểm tra độc lập với tập huấn luyện
1.2 Học không giám sát: Cách 1:
Với cách học khơng có giám sát, khơng có phản hồi từ mơi trường để đầu mạng Mạng phải khám phá đặc trưng, điều chỉnh, mối tương quan, hay lớp liệu vào cách tự động Trong thực tế, phần lớn biến thể học khơng có thầy, đích trùng với đầu vào Nói cách khác, học khơng có thầy ln thực cơng việc tương tự mạng tự liên hợp, cô đọng thông tin từ liệu vào
Cách 2:
(11)Học khơng có giám sát dùng kết hợp với suy diễn Bayes(Bayesian inference) xác suất có điều kiện cho biến ngẫu nhiên biết trước biến khác
Học khơng có giám sát hữu ích cho việc nén liệu: bản, giải thuật nén liệu dựa vào phân bố xác suất tập đầu vào cách tường minh hay không tường minh
* Những mạng nơ-ron đại diện cho loại mạng này? ………
Câu 2: Hãy cho biết nguyên tắc huấn luyện mạng nơ-ron để chúng vừa học tốt vừa khái quá hóa tốt? (6.3)
* Trình bày ngun tắc huấn luyện mạng:
1 Hiểu xác định vấn đề (bài toán) theo nghĩa “dữ liệu vào” “kết đích” Ví dụ, phân loại kết theo lớp mà thông thường biểu diễn dạng véc-tơ nhị phân
2 Xây dựng ANN đơn giản mà bạn nghĩ giải vấn đề bạn, ví dụ Perceptron đơn
3 Cố gắng tìm trọng số thích hợp (bao gồm ngưỡng nơ-ron) cho mạng sinh kết tương ứng với liệu vào (thuộc tập liệu huấn luyện)
4 Hãy chắn mạng hoạt động tốt với liệu huấn luyện thử nghiệm khả khái quát hóa với liệu kiểm tra
5 Nếu mạng vận hành chưa tốt, trở lại bước huấn luyện thêm
6 Nếu mạng không vận hành tốt trở bước thử với kiến trúc khác phức tạp Nếu mạng không vận hành tốt trở bước thử đặt lại vấn đề cách khác * Giải thích huấn luyện dừng:
Sự hội tụ luật học Perceptron
Việc thay đổi trọng số Δwij cần thực lặp lặp lại trọng số wij mẫu huấn luyện tập huấn luyện Thông thường, sau số vòng lặp, tất kết trùng với kết đích tất mẫu huấn luyện, Δwij lúc q trình huấn luyện dừng Chúng ta nói trình huấn luyện hội tụ (đến lời giải) Điều tồn tập trọng số mạng Perceptron giải tốn cụ thể đó, nói luật học Perceptron tìm thấy tập trọng số sau số vịng lặp hữu hạn Có nghĩa là, tốn tách tuyến tính, luật học Perceptron tìm thấy tập trọng số sau số vịng lặp hữu hạn cho giải tốn cách xác
* Thế học tốt khái quát tốt?
Để huấn luyện mạng xét xem thực tốt đến đâu, ta cần xây dựng hàm mục tiêu (hay hàm giá) để cung cấp cách thức đánh giá khả hệ thống cách không nhọc nhằng Việc chọn hàm mục tiêu quan trọng hàm thể mục tiêu thiết kế định thuật tốn huấn luyện áp dụng Để phát triển hàm mục tiêu đo xác muốn việc dễ dàng Một vài hàm sử dụng rộng rãi Một số chúng hàm tổng bình phương lỗi (sum of squares error function),
trong đó:
p: số thứ tự mẫu tập huấn luyện i : số thứ tự đơn vị đầu
tpi ypi : tương ứng đầu mong muốn đầu thực tế mạng cho đơn vị đầu thứ i mẫu thứ p
(12)Trong trình học, mạng cố gắng điều chỉnh tham số cho tổng bình phương lỗi nhỏ Khả hội tụ mạng phụ thuộc vào tham số khởi đầu, khả tổng qt hóa lại phụ thuộc nhiều vào liệu đầu vào Nếu liệu đầu vào q nhiều (!) dẫn tới tình trạng luyện mạng nhiều thời gian khả tổng qt hóa kém, q liệu sai số tăng
Ngồi đặc trưng liệu, đặc trưng khác trình huấn luyện mạng cần quan tâm số lần thực điều chỉnh tham số mạng dẫn đến tình trạng khả tổng quát hóa mạng Bởi vậy, số chu kỳ mẫu đưa vào mạng cần xem xét phải lớn ngưỡng (từ vài nghìn vài chục nghìn lần)
Để xem xét, đánh giá khả tổng quát hóa mạng, cần thực phân chia tập liệu thành tập: huấn luyện (training set) tập kiểm tra (test set) Tập liệu thử không đưa vào để kiểm tra hoạt động mạng để đảm bảo khách quan
Mạng có khả đạt đến trạng thái mong muốn,
mà bỏ qua điểm cực trị Để tránh điều này, khơng nên đặt hệ số học lớn (cỡ 0.1 chẳng hạn), hệ số bước đà lớn (chẳng hạn = 0.5) (do đặc trưng thuật toán lan truyền ngược sử dụng tham số bước đà)
Để đảm bảo khả đạt đến điểm cực tiểu, số đơn vị
lớp ẩn cần đủ lớn Tuy nhiên, số đơn vị lớp ẩn vượt q ngưỡng khả tổng qt hóa mạng kém, lẽ sau huấn luyện mạng có xu hướng ghi nhớ tất mẫu học Khi đó, nên xem xét đến khả sử dụng thêm lớp ẩn với số nơron nhỏ (vài nơron) giảm bớt số nơron lớp ẩn thứ
* Sự tương quan học tốt khái quát tốt
Câu 3: Người ta dựa tính chất mạng Hopfield để giải tốn tối ưu hóa? Hãy cho ví dụ?
* Ứng dụng mạng Hopfiel tối ưu tốn TSP
Tính động mơ hình Hopfield khác với mơ hình associator tuyến tính chỗ tính tốn kết cách đệ quy theo thời gian hệ thống trở nên ổn định
Dưới mơ hình Hopfield với sáu nơ-ron, nút kết nối với tất nút khác mạng
Hình 9-2: Mơ hình Hopfield
Khơng giống mơ hình associator tuyến tính bao gồm hai lớp đơn vị xử lý, với lớp sử dụng lớp vào lớp đóng vai trị lớp ra, mơ hình Hopfield bao gồm lớp đơn vị xử lý mà đơn vị kết nối với tất đơn vị khác mạng ngoại trừ Ma trận trọng số kết nối W vuông đối xứng, nghĩa là, wij = wji cho i, j = 1, 2, , m
Mỗi đơn vị có đầu vào bên mở rộng Ii Đầu vào mở rộng dẫn đến sửa đổi
tính tốn input j:
với j = 1, 2, , m Không giống associator tuyến tính, đơn vị mơ hình Hopfield hoạt động vừa đơn vị đầu vào vừa đơn vị Tuy vậy, giống associator tuyến tính, cặp mẫu kết hợp đơn lưu trữ cách tính tốn ma trận trọng số sau: Wk = Xk T Yk
(13)Nếu từ thành phố i -> j Nếu ngược lại
0 1 ij X
để lưu trữ p cặp mẫu kết hợp khác Bởi mơ hình Hopfield mơ hình nhớ autoassociative, mẫu, thay cặp mẫu kết hợp, lưu trữ nhớ
Sau mã hóa, mạng sử dụng cho giải mã Giải mã mơ hình Hopfield thực cách tìm kiếm đệ quy mẫu lưu trữ tương ứng với mẫu vào Với mẫu vào X, giải mã thực việc tính tốn inputj xác định kết sử dụng hàm để sinh mẫu X' Mẫu X ' sau đưa trở lại cho đơn vị xử lý mẫu vào để tạo mẫu X'' Mơ hình X'' lần đưa trở lại cho đơn vị xử lý để tạo mẫu X''' Quá trình lặp lặp lại mạng ổn định mẫu lưu trữ, mà tính tốn thêm khơng làm thay đổi kết đơn vị xư lý
Nếu mẫu vào X mẫu khơng đầy đủ có chứa số biến dạng, mẫu lưu trữ mà làm cho mạng ổn định mẫu tương tự với X (khơng có biến dạng) Tính gọi hoàn chỉnh mẫu ứng dụng xử lý ảnh
Trong q trình giải mã, có nhiều sơ đồ sử dụng để cập nhật đầu đơn vị Các sơ đồ cập nhật đồng (song song), không đồng (tuần tự), kết hợp hai (lai)
Trong sơ đồ cập nhật đồng bộ, kết đơn vị cập nhật nhóm trước đưa trở lại vào mạng Trong khi, sơ đồ cập nhật không đồng bộ, kết đơn vị cập nhật theo thứ tự ngẫu nhiên kết sau đưa trở lại mạng sau cập nhật đơn vị Với sơ đồ lai, nhóm đơn vị cập nhật đồng đơn vị nhóm cập nhật khơng đồng Việc chọn sơ đồ cập nhật có ảnh hưởng đến hội tụ mạng
* Bản chất hàm lượng:( 9.3.1 9.3.2)
* Cho ví dụ:
Phát biểu tốn: Một người bán hàng cần qua n thành phố lần và cuối quay thành phố xuất phát với khoảng cách ngắn nhất.
Giả thiết có n thành phố khoảng cách hai thành phố i j dij Chúng ta cần tìm đường ngắn thành phố Chúng ta giải tốn cách liệt kê tất phương án có thể, tính tốn chi phí cho phương án tìm phương án tốt Với n thành phố hành trình địi hỏi có n! phép tốn thực tế cần n!/(2n) Với 30 thành phố hành trình cần 2.65x 1032 phép toán Tổng số phép toán tăng lên đột ngột khi
tổng số thành phố tăng lên
Sử dụng mạng Noron cho ta phương án để giải toán với thời gian tính tốn thấp so với thuật tốn khác
(14)Tách lớp Khơng tuyến tính
Các lớp tách Tuyến tính Biến đổi đến
Không gian Vector chiều cao
- Gọi dij khoảng cách từ thành phố i đến thành phố j Lúc tốn TSP phát biểu lại sau:
Cần cực tiểu hóa hàm mục tiêu tuyến tính sau:
(2.4)
Một chiến lược đơn giản để giải tốn tìm tất hành trình tính tốn tổng khoảng cách cho hành trình đó, sau chọn hành trình có tổng khoảng cách nhỏ Tuy nhiên, có n thành phố số thành trình (n-1)! Chiến lược không khả thi số thành phố lớn
Ví dụ: Với 11 thành phố thăm có 10! = 3628800 hành trình thực được (bao gồm hành trình có số thành phố hướng khác nhau) số tăng lên 6.2 tỉ có 13 thành phố Vì thuật tốn Hopfield Tank sử dụng để giải toán cách tương số lần tính tốn nhỏ
Một vài ứng dụng toán TSP việc xác định mạng lưới phân phát thư, tìm đường tối ưu cho tuyến xe buyt trường học
Câu 4: Hãy giải thích nguyên tắc, chế hoạt động mạng RBF? Hãy so sánh mạng RBF với mạng Perceptron lớp?
* Hình vẽ mạng RBF
† Mạng RBF ngày trở nên phổ biến với ứng dụng khác
† Hầu hết cảm hứng cho RBF bắt nguồn từ kỹ thuật phân loại mẫu truyền thống dựa thống kê
† Đặc trưng mạng RBF ∑
i=j
n
∑
j=i
n
(15): * Bản chất lớp mạng RBF
† Lớp vào đơn giản đóng vai trị tiếp nhận liệu vào
† Lớp ẩn thực ánh xạ liệu vào khơng tuyến tính từ khơng gian vào (lớp vào) đến không gian (thông thường) cao cho liệu vào trở nên tuyến tính
† Lớp đơn giản thực tính tổng có trọng số
Nếu mạng RBF sử dụng cho xấp xỉ hàm (số thực) hàm ngưỡng sử dụng hàm tuyến tính
Tuy nhiên nều phân loại mẫu yêu cầu, hàm sigmoid hay hard-limiter sử dụng cho nơ-ron lớp để kết nhị phân
* Nguyên tắc chế hoạt động mạng RBF
Điểm đặc trưng mạng RBF tiến trình xử lý thực lớp ẩn Ý tưởng mẫu khơng gian vào phân cụm Nếu tâm cụm biết trước, khoảng cách đến tâm cụm tính tốn Hơn nữa, việc đo khoảng cách thực khơng tuyến tính, nên mẫu nằm gần với tâm cụm khoảng cách sẽ cho gần Nhưng nằm xa hơn, khoảng cách có giá trị giảm dần
Ý tưởng phân cụm mạng RBF
Như phân bố mẫu cụm xem đối xứng xuyên tâm xung quanh tâm hàm ánh xạ (ngưỡng) khơng tuyến tính gọi tên khác hàm sở xuyên tâm RBF (radial-basis function)
(16)Hàm Gaussi sử dụng cho mạng RBF
trong lớp ẩn, trọng số biểu diễn tọa độ tâm cụm Do vậy, nơ-ron nhận mẫu vào x, khoảng cách r tính tốn phương trình sau:
và hàm ngưởng nút ẩn
trong biến sigma δ định nghĩa độ rộng hay bán kính chng thơng thường xác định thực nghiệm
* So sánh mạng RBF với mạng Perceptron lớp?
Việc thực huấn luyện mạng RBF nhanh mạng Perceptrons đa lớp MLP Lớp ẩn mạng RBF dể diễn dịch mạng MLP
Mặc dù mạng RBF huấn luyện nhanh mạng MLP, sử dụng, tốc độ thực
hiện mạng RBF lại chậm so với mạng MLP
Câu 5: Hãy giải thích chế ánh xạ tính chất (đặc điểm) lớp mẫu vào lên mạng Kohonen chiều (2D map)? Tại phải chọn 2D map đủ rộng số lớp mẫu vào lớn? * Hình vẽ mạng kohonen
* Bản chất chế hoạt động mạng Kohonrn:
- Mạng Kohonen hai chiều có lớp lớp vào lớp Kohonen
Lớp vào (input layer): dùng để đưa liệu huấn luyện vào mạng Kohonen Kích thước lớp vào tương ứng với kích thước mẫu học
(17)Tất Neural lớp vào nối với neural lớp Kohonen Mỗi liên kết đầu vào đầu mạng Kohonen tương ứng với trọng số Kích thước vector trọng số kích thước lớp vào
* Cơ chế ánh xạ:
Giả sử có bốn điểm liệu (x) khơng gian 2D liên tục, muốn ánh xạ điểm lên không gian 1D gián đoạn Các nút ánh xạ lên không gian vào thành điểm tròn (o) Trong số ngẫu nhiên ban đầu khởi động điểm trịn vị trí ngẫu nhiên không gian vào Chúng ta chọn điểm liệu để thực huấn luyện () Điểm gần biểu diễn nơ-ron chiến thắng ( ) Nơ-ron chiến thắng di chuyển phía điểm liệu vào khoảng nơ- ron lân cận di chuyển hướng với khoảng (hướng mũi tên)
Tiếp theo, chọn ngẫu nhiên điểm liệu khác để huấn luyện () Điểm gần trở thành nơ-ron chiến thắng ( ) Nơ-ron chiến thắng di chuyển phía điểm liệu vào khoảng nơ-ron lân cận di chuyển hướng khoảng (hướng mũi tên)
Chúng ta chọn ngẫu nhiên điểm liệu để huấn luyện () Mỗi nơ-ron chiến thắng di chuyển hướng điểm liệu vào khoảng nơ-ron lân cận di chuyển khoảng nhỏ (hướng mũi tên) Cuối toàn lưới output tự tách thể khơng gian vào
Hình 10-3: Ví dụ tiến trình tự tổ chức * Phải chọn 2D map đủ lớn số lớp mẫu vào lớn:
học máy Dữ liệu huấn luyện hồi qui), phân loại). ử dụngmạng nơ-ron nhân tạo định. học có giám sát biếnngẫu nhiên S mơ hình mật độ