Cấu trúc phần cứng mới cho việc tính toán mờ nhanh

Một phần của tài liệu Nghiên cứu các phương pháp và thuật toán thông minh trên cớ sở mạng nơron và logic mờ trong công nghệ thông tin và viễn thông (Trang 28 - 33)

Mặc dù logic mờ đợc triển khai thành công trong điều khiển máy móc công nghiệp, nó cũng đã có một số kết quả trong mạng viễn thông, nhng cũng đặt ra một số thử thách. Mạng hiện tại và tơng lai sẽ phát triển rất nhanh với việc chuyển mạch các gói có kích thớc nhỏ ở tốc độ hàng Gb/s. Đối với tốc độ chuyển mạch ATM nhanh và mạng tốc độ cao khác (cần dùng phần cứng song song) và phạm vi chuyển mạch của các máy tính là rất nhỏ nên cần thực hiện hợp thành mờ trớc khi xử lý các gói tin.

• Catania và các cộng sự dự tính rằng kiến trúc VLSI mà ông đề xuất có thể đáp ứng các yêu cầu của lu lợng thoại một cách dễ dàng. Nó đủ khả năng vợt qua yêu cầu của lu lợng video, tại tốc độ 1 Mbps. Với các kết quả nghiên cứu đợc trình bày [ ] thì tỏ ra thành công trong các mạng đang hoạt động. Nó bắt buộc quá trình hợp thành mờ phải đợc thực hiện nhanh bởi các nút tính toán đồng bộ với quá trình xử lý gói. Mặc dù chi tiết về mạng đợc đề xuất bao gồm những yêu cầu thực hiện vẫn cha đợc xác định, song một hệ thống hợp lý yêu cầu mỗi nút phải thực hiện nh quá trình hợp thành mờ, với các thông số đợc tính nh sau:

Bốn đầu vào, năm đầu ra, năm ngôn ngữ cho mỗi đầu vào và mỗi đầu ra, phạm vi từ âm lớn, âm không đến dơng và dơng lớn,... tổng cộng có 20 hoặc nhiều hơn 20 luật và một hàm liên thuộc hình thang đối xứng. Hiện tại, có một cơ chế trong việc lựa chọn hai nguyên lý:

1) Tích hợp mô hình hợp thành mờ vào phần cứng chuyển mạch

2) Thiết kế và phát triển một hệ thống cứng/ mềm đồng xử lý để làm việc trong cấu trúc chuyển mạch cơ sở.

+ Yêu cầu: nghiên cứu và đầu t từ phía các công ty sản xuất mạng tốc độ cao.

+ Bản thân nó có bốn sự lựa chọn phụ: dùng bộ xử lý chuẩn có sẵn, dùng bộ điều khiển mờ có hiệu quả thơng mại, thiết kế bộ xử lý mờ VLSI hoặc dùng bộ đồng xử lý mờ tốc độ cao.

• Watanabe: Lee và Bien lu ý rằng ứng dụng của máy tính và các chơng trình phần mềm cho mục đích chung để nhận ra ứng dụng của điều khiển logic mờ là muốn nói lên rằng đó là một quá trình xử lý lâu dài và cho các hệ thống nhỏ thì không kinh tế lắm. Việc thiết kế và sử dụng các phần cứng thông qua các mạch tơng tự (nhanh, linh động) để làm giảm sự trôi trong các thành phần của mạch thì còn nhiều hạn chế. Các hỗ trợ phần cứng số đa ra các liên kết dễ dàng trong chơng trình của các hàm liên thuộc và các luật điều khiển, đợc kết nối với các hệ thống điều khiển số.

Một ví dụ gần đây là thiết bị FP-500; có thể giải quyết đợc 128 biến vào/ra, với tốc độ 500 triệu suy luận logic mờ trong mỗi giây. Tuy nhiên, trong thiết kế tồn tại 129 biến, trong đó có một biến phải dùng cho 2 trong số các chip, nghĩa là gây ra sự lãng phí đáng kể.

• Costa và các cộng sự giới thiệu một nghiên cứu và kiến trúc phần cứng của các bộ điều khiển mờ. Họ lu ý rằng, trong khi bộ điều khiển mờ dùng cho mục đích đặc biệt có thể đạt tốc độ xử lý bằng 64 às/rule thì bộ điều khiển ASIC có thể thực hiện ở tốc độ cao hơn. Sau đó là những nghiên cứu của ông ta về hệ thống phần cứng xử lý thông tin có thể chấp nhận đợc, trong đó có cả các thiết bị quang.

• Yamakawa kết luận rằng: những nghiên cứu về các kiến trúc mới để thực hiện việc hợp thành mờ ở tốc độ cao và thấp thì vẫn đợc tiếp tục. Nhận ra hạn chế về mặt tốc độ của hệ thống phần cứng mờ hiện thời, Watanabe đã đề xuất việc phát triển bộ đồng xử lý hợp thành mờ cơ sở với ba yêu cầu cắt giảm chủ yếu:

1) Giảm phần chỉ dẫn kiến trúc của hệ mờ từ việc xử lý thông tin mờ. 2) Số lợng sơ đồ miêu tả hệ mờ.

3) Phần cứng logic mờ đợc tổ chức nh một đơn vị vec tơ.

Để tạo ra chỉ dẫn thì mỗi chỉ dẫn cần phân tích một phần nào đó của ch- ơng trình điều khiển mờ thông thờng để xác định sự kết hợp tốt nhất của các chỉ dẫn cho thông tin, hợp thành mờ, truy xuất bộ nhớ và điều khiển ứng dụng. Để đạt đợc điều này, một hoặc nhiều hệ mờ phải đợc điều khiển một cách hiệu

quả thông qua các thuật toán lý thuyết mờ trong logic mờ và không có sự phụ thuộc trong các phần tử của tập mờ với nhau. Sự cải tiến đáng kể trong chế độ làm việc đã đạt đợc thông qua việc tổ chức các thuật toán logic mờ nh là bộ xử lý véc tơ. Không giống các vec tơ thông thờng, bộ xử lý này chứa các số dấu phẩy động trong các thanh ghi. Bộ xử lý véc tơ mờ sẽ lu lại các tập mờ trong thanh ghi vec tơ. Việc thiết kế nh vậy có thể đợc thực hiện từ những hiểu biết hiện có, thông qua thiết kế các máy siêu vi tính.

Phần 3

Nghiên cứu các phơng pháp tính toán và xử lý trên cơ sở mạng nơron và logic mờ

3.1. Các thuật học của mạng nơ ron

3.1.1 Các thuật học

Các tính toán trong mạng nơron phần lớn đợc thực hiện bằng các biến đổi với trọng liên kết. Cũng nh học trong nơ ron sinh học, quá trình học của mạng nơ ron nhân tạo là quá trình chỉnh dần (hay cập nhật) các giá trị trọng wij dựa trên bộ dữ liệu vào/ra để đầu ra đạt tới giá trị mong muốn. Thông th- ờng, ngời ta tách quá trình học trong nơ ron nhân tạo thành hai giai đoạn gọi là hai pha: pha học và pha gọi lại thành hai quá trình riêng:

* Pha học (hoặc huấn luyện) là quá trình gắn các thông số cho mạng. Các trọng dựa vào các tập dữ liệu và luật học xác định giá trị tức thời. Mạng nơron cần học: cấu trúc: là xác định số lớp, số nơron trong mỗi lớp; học tham số: là xác định các trọng wij, các tham số của hàm kích hoạt g(.). Có hai kiểu học cơ bản là: học có giám sát (có thầy), học không có giám sát (không có thầy). * Pha gọi lại là quá trình các thông tin đợc lấy ra từ mạng khi dữ liệu đợc đa vào.

+ Học có giám sát

Điển hình của nhóm này là luật học Delta của Widrow nêu ra đầu tiên dùng để xấp xỉ trọng của Adaline dựa trên nguyên lý hạ gradient. (Gradient là một phơng pháp hay là một nguyên lý tiệm cận điểm (giá tri) dựa trên đạo hàm bậc nhất (chỉ tốc độ) mang dấu âm của một giá trị vô hớng của các biến để khảo sát khả năng biến đó tiệm cận tới điểm ổn định (hội tụ) hay không)

Ek = (α/2)(dk-yk)2 (3.1) ∆Wk = Wk + 1 - Wk = 2 k k k x x ε α (3.2) εk = (dk - yk) = WkT Xk (3.3)

trong đó :k là chỉ số thời gian. W là véc tơ trọng. X là véc tơ vào. α là hệ số chỉ tốc độ học, thờng đợc chọn 0<α<=1. dk là đầu ra mong muốn.

Khi có đầu vào và đầu ra, tập các trọng đợc chỉnh theo (3.2). Trong thực tế, để có bộ trọng thích hợp, cần giới hạn miền xác định các trọng. Đây là bài toán thuận trong việc định mẫu, hoặc phân tích dữ liệu.

Trong nhóm thuật học này cũng cần kể đến luật học Perceptron. Về cơ bản thuật học Perceptron giống thuật học Delta. Điểm khác nhau là luật Delta thay đổi các giá trị của trọng trong thời gian học, còn luật học Perceptron thêm hoặc bỏ trọng tuỳ theo giá trị sai số đầu ra là dơng hay âm.

Một loạt các thuật học khác cũng dựa trên t tởng này. Luật Oja là cải tiến và nâng cấp của luật Delta. Luật truyền ngợc là luật mở rộng của luật Delta cho mạng nhiều lớp .

+ Học không giám sát

Luật học không có tín hiệu chỉ đạo điển hình là luật Hebb thờng dùng cho các mạng tự liên kết. Luật học LVQ (Learning Vec tơ Quantization) thờng dùng cho mạng tự tổ chức. Luật học Hebb là luật sinh học xuất phát từ tiên đề của Hebb cho rằng: giữa hai phần tử nơron có quan hệ và có thay đổi thế năng màng thì giữa chúng có sự thay đổi trọng liên kết. Nh vậy, luật Hebb là luật t- ơng quan. Dạng cơ bản của nó có thể mô tả nh sau:

∆Wij = YiYj (adsbygoogle = window.adsbygoogle || []).push({});

(3.4)

trong đó: ∆Wij là thay đổi trọng phần tử nơron thứ i với phần tử nơron j. Yi ,Yj là các mức tác động của các phần tử nơron tơng ứng.

Luật Hebb giải thích việc chỉnh trọng trong phạm vi cục bộ của mạng nơron mà không cần tín hiệu chỉ đạo từ ngoài. Hopfield cũng cải tiến luật Hebb cho các mạng tự liên kết dùng để nhớ mẫu. Luật Hebb có thể cải tiến

thành 16 dạng khác nhau theo kiểu luật Hebb, Luật đối Hebb, Luật Hopfield, luật đối Hopfield...

Luật LVQ thờng dùng cho các mạng tự tổ chức một lớp đơn thuộc lớp mạng ánh xạ đặc trng của Cohonen. Trong trờng hợp này, các đầu vào đợc nối song song với nhiều tập trọng có các giá trị khác nhau. Khi một mẫu đợc đa vào mạng, có sự so sánh giữa đầu vào và các tập giá trị trọng. Véc tơ trọng nào có sự chênh lệch nhỏ nhất giữa nó với đầu vào là đợc chọn (thắng cuộc) để chỉnh theo luật sau:

∆Wk = Wk+1 - Wk = α(X - Wk) (3.5)

trong đó: Wk là véc tơ trọng liên kết của mạng. X là véc tơ vào. α là tốc độ học.

Nh vậy, ứng với các nhóm mạng khác nhau thờng áp dụng một số luật học nhất định. Nếu tồn tại hàng chục loại mạng khác nhau thì các luật học dùng trong mạng nơron có thể liệt kê gấp nhiều lần. Đối với mạng phản hồi thờng sử dụng luật Hebb và các luật cải tiến của nó để chỉnh trọng mà không cần tín hiệu chỉ đạo từ bên ngoài. Đối với mạng truyền thẳng thờng sử dụng luật truyền ngợc để chỉnh trọng với tín hiệu chỉ đạo từ bên ngoài.

Nếu coi cấu trúc mô hình mạng là phần xơng thịt, thể xác thì các luật học là phần trí tuệ thông minh của mạng nơron và các công trình nghiên cứu luật học chiếm số lợng lớn nhất trong mấy chục thập kỷ qua.

Phơng pháp học:

Hàm sai số cần đợc cực tiểu hoá theo phơng pháp bình phơng cực tiểu:

∑∑ ∑∑ ∑ = = − = = = − = = p 1 k n 1 i p 1 k n 1 i l 1 q 2 ) k ( q iq ) k ( i 2 ) k ( i ) k ( i [d W Z ] 2 1 ] y d [ 2 1 E (3.6) Ph ơng pháp 1

Học nhanh không giám sát cho lớp ẩn và có giám sát cho lớp ra. Các nơron lớp ẩn làm việc theo kiểu cạnh tranh “có một số ngời thắng”. áp dụng luật học Kohonen cho mạng “chỉ một số ngời thắng” - hay “ngời thắng chiếm tất cả” (Winner-Take-All):

+ Xác định nơron thắng: có véctơ tâm kí hiệu mv gần x nhất. x m Min x mv l q 1 v − ≤ ≤ = − (3.7) + Luật cập nhật: ∆mv =η(x−mv) (3.8)

Các véctơ tâm của những nơron khác giữ nguyên.

Độ lựa chọn δqcủa nơron lớp ẩn có thể cập nhật bằng nhiều cách theo những quan điểm khác nhau. Đơn giản nhất là công thức của Lin, Lee, 1991:

δq = mq −mgần /γ (3.9)

trong đó: mgần là véctơ gần mqnhất, γ là tham số chồng lấn.

Để khử sai số do cách học nhanh không giám sát gây ra, cần thực hiện học có giám sát ở lớp ra. Sai số e(k)

i = di(k)- yi(k) là hàm tuyến tính với véctơ trọng Wi. Để sai số đạt cực tiểu toàn cục, áp dụng phơng pháp bình phơng cực

tiểu truy hồi. Phơng pháp tuy phức tạp khó “cứng hoá” nhng vẫn đợc sử dụng rộng rãi trong các trờng hợp tính toán off-line vì cho kết quả tốt nhất. Đơn giản hơn ta có luật học Delta từ (1.21):

(k) q ) k ( i ) k ( i iq (d y )Z w =η − ∆ (3.10)

(với η đủ nhỏ, E có thể đạt điểm cực tiểu duy nhất là đỉnh của siêu parabol trong không gian trọng).

Ph

ơng pháp 2 :

Đơng nhiên, mạng RBF còn có thể học theo luật lan truyền ngợc theo:

∑ = ∂ ∂ − η = ∆ n 1 i q i i i m q m y ) y d ( m q i n 1 i i q m y ) yi d ( ∂ ∂ − η = δ ∆ ∑ = δ (3.11)

Nhng tính toán các đạo hàm riêng ở đây khá phức tạp, nên hội tụ chậm hơn (so với mạng truyền thẳng với hàm kích hoạt Sigmvid). Hơn nữa có thể xảy ra vấn đề độ rộng lớp làm mất tính cục bộ cố ý trong mạng RBF. ý tởng của phơng pháp “điều khiển ” bán kính hiệu quả (Lec, Kil, 1998) nh sau:

Nếu một mẫu x(k) quá xa nơron hiện có, thì một nơron mới đợc thêm vào làm cho mạng có khả năng tự tăng trởng (growing network).

3.1.2. Phơng pháp, thuật toán nơ ron dùng cho bài toán địều khiển lu l-ợng ợng (adsbygoogle = window.adsbygoogle || []).push({});

Một phần của tài liệu Nghiên cứu các phương pháp và thuật toán thông minh trên cớ sở mạng nơron và logic mờ trong công nghệ thông tin và viễn thông (Trang 28 - 33)