CHƯƠNG 3 THUẬT TOÁN MỚI HUẤN LUYỆN MẠNG NỘI SUY RBF
3.5. Nhận xét chung về thuật toán lặp hai pha HDH
Trong chương này chúng tôi đề xuất thuật toán hai pha đơn giản để huấn luyện mạng nội suy RBF. Pha thứ nhất xác định tham sốđộ rộng bán kính phù hợp với từng mốc nội suy, pha thứ 2 dùng phương pháp lặp để tính trọng số tầng ra. Trong phần trên đã chỉ ra rằng thuật toán luôn hội tụ, thời gian chạy chỉ phụ thuộc
vào việc khởi gán giá trị ban đầu q, , phân bố của mốc nội suy và chuẩn của véctơ.
Qua kết quả thí nghiệm ta thấy thuật toán có thời gian huấn luyện mạng rất nhanh kể cả khi số mốc lớn. Với thuật toán cực tiểu sai số tổng các bình phương, Looney cho rằng chỉ nên chạy với số mốc nhỏ hơn 200 [38] còn thuật toán này vẫn thực hiện được khi số mốc gần 5000.
Thuật toán mới đề xuất dễ thực hiện và có hiệu quả cao. Thực nghiệm cho thấy nó giải quyết tốt bài toán nội suy với số mốc lớn. Dễ dàng điều khiển cân bằng giữa tốc độ hội tụ và tính tổng quát của mạng bằng việc điều chỉnh các tham số. Một ưu việt nữa của thuật toán là các bán kính tầng ẩn có thể huấn luyện độc lập và ở pha hai trọng số tầng ra có thể huấn luyện độc lập, điều này làm cho chúng có thể song song hoá thuật toán. Hơn nữa, khi số mốc nội suy lớn, việc đánh giá chuẩn của vectơ N- chiều sẽ tốn thời gian. Trong trường hợp đó điều kiện dừng của thuật toán nên theo tiêu chuẩn (3.24) để xác định trước số bước lặp ở pha thứ hai, như vậy sẽ giảm thời gian tính toán trong mỗi bước.
Khi số mốc nội suy rất lớn, có thể phân dữ liệu thành những cụm con có kích thước nhỏ hơn. Theo đó việc huấn luyện có thể thực hiện song song cho từng cụm, như vậy sẽ giảm đáng kể thời gian huấn luyện. Kiến trúc mạng như vậy gọi là
mạng RBF địa phương và sẽđược trình bày chi tiết trong chương 5.
Trong trường hợp số mốc nội suy N là rất lớn, khi đó có thể dùng một cách tiếp cận khác, đó là dùng mạng xấp xỉ RBF. Trong mạng này có thể thiết kế số nơron tầng ẩn ít hơn N dựa trên cách thức sau: Trước tiên, dữ liệu được chia thành
K cụm K i i
C 1 bằng một thuật toán phân cụm ( như k-mean,..), sau đó véctơ tâm vi
của mỗi nơron ẩn thứi có thểđược chọn là tâm của cụm Ci hoặc là gần với tâm của cụm nhất. Mạng sẽđược huấn luyện với tập mốc nội suy mới k
i i 1 . Một đặc điểm của mạng RBF là có tính ảnh hưởng địa phương [43]. Vì vậy tham số độ rộng bán kính hay được chọn nhỏ (mục 6.1, trang 288-289 của [31]),
đặc biệt, trong [38] khuyên rằng nên đặt = 0.05 hoặc 0.1. Trong mục 3.11 trang 99 của [38] khuyên nên đặt N n 1 ) 2 /( 1 . Tất cả các tham số bán kính này đều nhỏ, nên qk phải nhỏ. Thực tế, điều kiện qk<1 thể hiện một số giới hạn, nhưng không ảnh hưởng đến hiệu quả của thuật toán.
Mặc dù chúng tôi không so sánh với thuật toán giả nghịch đảo và huấn luyện đầy đủ, nhưng Lê Tiến Mười [7] đã thử nghiệm áp dụng cho bài toán nhận dạng chữ viết tay và cho thấy ưu điểm nổi trội của thuật toán HDH.
Tuy vậy với thuật toán mới HDH khi áp dụng nhận dạng mẫu, tính tổng quát của mạng tốt khi các mốc phân bố tương đối đều và không được tốt khi các mốc nội suy phân bố không tốt. Chương 4 chúng tôi sẽ xét trường hợp mốc cách đều.