Ứng dụng mạng nơrôn trong xử lý tín hiệu viễn thông Phần 2

Chưong CÁC MẠNG HOẠT ĐỘNG THEO NGUYÊN TÁC T ự TÓ CHỨC Trong phần trước làm quen với mơ hình hoạt động theo ngun tắc “có hướng dẫn”, mơ hình xây dựng sờ số liệu gồm cặp đầu vào - đầu tương ứng Tuy nhiên thực tế ta gặp vấn đề, ta chi có số liệu mẫu khơng có đầu tương ứng (hay cịn gọi mẫu số liệu đơn) Một nhiệm vụ ta cần phân tích tương đồng số liệu, phân nhỏm hay khoanh vùng số liệu giống nhau, Các nhiệm vụ gọi q trình “tự tổ chức” hay “tự phân nhóm” (self-organizing) số liệu Trong chương này, ta đề cập tới cấu trúc mạng giải tốn này, mạng Kohonen (hay gọi mạng SOM - S e lf - Organizing Map) Kohonen đề xuất [Kohonen89] 5.1 MẠNG KOHONEN Ý tường việc phân nhóm tự tổ chức xuất phát từ thực tế não hệ thống phức tạp cấu trúc não không thống nhất, bao gồm nhiều vùng khác Các nghiên cứu y sinh tạm chi vùng cùa não có cấu trúc khác nhau, số lượng nơ-rơn cách két nối chúng khác nhau, đồng thời vùng lại chịu trách nhiệm khác phục vụ cho người Ví dụ có vùng chịu trách nhiệm xử lý hình ảnh, xử lý chuyển động, xử lý âm thanh, vùng nhận tín hiệu truyền từ “cảm biến” khác người Ta nói dạng tín hiệu đặc trưng người chuyển vào vùng đặc trưng tương ứng bên não Do xây dựng mơ hình tốn hợc mạng Kohonen, ta có tín hiệu đầu vào thuộc không gian (mẫu số liệu) cho trước Khác với trường hợp mạng MLP, mạng Kohonen hoạt động theo nguyên tắc “tự tổ chức”, có nghĩa mạng chì hoạt động với véc-tơ đầu vào X , mà khơng có mẫu đầu d, tương ứng Trong toán tự tổ chức, cho trước tập hợp mẫu số liệu số lượng trọng tâm M , ta cần tìm vị trí M trọng tâm c , 105 Các mẫu trọng tâm biểu diễn dạng véc-tơ có sổ chiều Đầu vào có số liệu gồm p véc-tơ đa chiều: *, = [*/i.*í2t—.* iv ]e rA^ ' = 1-► p Ví dụ hình 5.1 điểm trẽn mặt phẳng hai chiều có xu hướng tập trung thành ba nhóm Nhiệm vụ phân nhỏm số liệu thành M nhóm, nhóm đặc tnmg trọng tâm (center) Cj =ị c j ỉ , C j , , C j N '^ & R N\ j = -> M Ví dụ, phân chia nhóm số liệu từ hình 5.1 thành ba nhóm ta có kết hình 5.2 Hình 5.2 Các số liệu chia thành ba nhóm vùng (đặc trưng bời đường biên trọng tàm '*’) 106 Với tốn thuộc dạng “tự tổ chức” (self-organizing) ta chì có thơng tin X, khơng có thơng tin khác Khi ta có mẫu số liệu biểu diễn dạng véc-tơ mức độ “giống nhau” mẫu thường xác định thông qua khoảng cách vcc-tơ Hai véc-tơ có khoảng cách nhỏ đánh giá giống hom trường hợp khoảng cách chúng lớn Các trọng tâm nhóm xác định nguyên tắc: “các véc-tơ có khoảng cách gần ưu tiên ghép vào nhóm” Thước đo khoảng cách véc-tơ chủ yếu sử dụng cơng thức -clít: x c e R * : < / ( x , c ) = | | x - c | | = ^ > ] ( x ( - c , ) (5 ) Tuy nhiên cơng trình mạng tự tổ chức, ta gặp cơng thức tính khoảng cách khác [Deza09]: Khống cách tích vơ hướng: í/(x,c) = 1- X c = 1—llxll •llcll -cos(x,c) (5.2) Khoảng cách Manhattan: N (5.3) i=l Khoảng cách Chebyshev: (5.4) d ( \ , c) = max lx -c l i= i- > N Khoảng cách Minkowski: '( « o = ^ i k - c , r Trong trường hợp ta có M trọng tàm e,,( = -> (5.5) M véc-to X trình hoạt động cạnh tranh, trọng tâm chiến thắng trọng tâm có khoảng cách ngắn tới véc-tơ X xét Ilx - Cwm||=.min J x - C ,|| (5.6) ĐỔ có dạng biểu diễn tương tự mạng nơ-rôn khác, ta thường sử dụng mô hình 5.3, giá trị thành phần Cịj (i = ì, ,M ; j = l , ,N ) M trọng tâm c, lưu dạng giá trị trọng số ghép đầu vào Xj trọng tâm c , Mạng hình 5.3 có đầu trọng tâm chiến thắng 1, trọng tâm lại bàng 107 C1 y ^ W in n in g ^ x ) / z c2 y2=Winning(c2,x) *1 -► ►3 ĩ > < X, • • • • • o • yM=Wínning(cM.x) XN - ► Hình 5.3 Cấu trúc mạng Kohonen kinh điền Đây cấu trúc mạng truyền thẳng lớp Tất cà N đầu vào nối với tất M đầu thông qua trọng số Cịj số lượng đầu vào với số chiều véc-tơ X, số lượng đầu với số lượng nhóm mà liệu chia thành Tọa độ Cỳ (là X thứ j trọng tâm thứ i coi hệ sổ đặc trưng kênh đầu vào thứ j ) tới trọng tâm Hệ số đặc trưng nghiên cứu mạng nơ-rôn thường gọi trọng số ghép nối (connection weight) hay đom giản trọng số (weight) Véc-tơ đầu vào X = [X|,JC2, ,JCA,] trọng tâm c = [c|,c2, ,c Af] thường chuẩn hóa độ dài (tuy nhiên yêu cầu không bắt buộc) Để dễ dàng mơ tả q trình hoạt động mạng, ngồi khái niệm khoảng cách khái niệm chiến thắng, ta cịn dùng khái niệm “mức độ kích hoạt” (activation level) trọng tâm thứ j Mức độ kích hoạt xác định sở hàm nghịch biến với khoảng cách trọng tâm xét véc-tơ đầu vào xét Khoảng cách nhỏ mức độ kích hoạt lớn Như trọng tâm chiến thắng trọng tâm có mức độ kích hoạt lớn Một số hàm kích hoạt thường sử dụng [Zimmermann85, LinhOO]: Hàm chuông: activationc(x) = e (5.7) Hàm Gauss mở rộng: activationc(x) = (5.8) Hàm tam giác: activationc 108 ||x - cll > a ||x - c ||< a (5.9) Mồi trọng tâm xác định vùng hoạt động mình, vùng tập hợp điểm khơng gian mà khoảng cách tới trọng tâm bé so với khoảng cách tới trọng tâm khác Ví dụ hình 5.4a với ba trọng tâm, ta thấy khơng gian chia thành ba vùng hình 5.4b Các phân chia (còn gọi phân chia Voronoi tác giả Voronoi đề xuất lần đầu) có đường biên giới đường trung trực cặp điểm trọng tâm (nếu ta sử dụng cơng thức khoảng cách ơ-clít) C1 ¿3 °2 / (