Cấu trúc mạng nơ-ron và ứng dụng trong nhận dạng ảnh

Mạng nơ ron

Trong mạng nơ ron truyền thẳng, các liên kết nơ ron đi theo một hớng nhất định, không tạo thành đồ thị không có chu trình (Directed Acyclic Graph) với các đỉnh là các nơ ron, các cung là các liên kết giữa chúng. Ngợc lại, các mạng qui hồi cho phép các liên kết nơ ron tạo thành chu trình. Vì các thông tin ra của các nơ ron đợc truyền lại cho các nơ ron đã góp phần kích hoạt chúng, nên mạng hồi qui còn có khả năng lu giữ trạng thái trong của nó dới dạng các ngỡng kích hoạt ngoài các trọng số liên kết nơ ron. Theo số lớp: Các nơ ron có thể tổ chức lại thành các lớp sao cho mỗi nơ ron của lớp này chỉ đợc nối với các nơ ron ở lớp tiếp theo, không cho phép các liên kết giữa các nơ ron trong cùng một lớp, hoặc từ nơ ron lớp dới lên nơ ron lớp trên. đây cũng không cho phép các liên kết nơ ron nhảy qua một lớp. Mạng nơ ron truyền thẳng và nhiều lớp. Mạng nơ ron hồi qui. Dễ dàng nhận thấy rằng các nơ ron trong cùng một lớp nhận đợc tín hiệu từ lớp trên cùng một lúc, do vậy về nguyên tắc chúng có thể xử lý song song. Thông thờng, lớp nơ ron vào chỉ chịu trách nhiệm truyền đa tín hiệu vào, không thực hiện một tính toán nào nên khi tính số lớp của mạng, ngời ta không tính lớp nào. Hai cách nhìn về mạng nơ ron. •Mạng nơ ron nh một công cụ tính toán:. Nơ ron vào. Nơ ron ra Lớp vào. a) Mạng nơ ron nhiều lớp b) Mạng nơ ron truyền thẳng. •Mạng nơ ron nh một hệ thống thích nghi có khả năng học (huấn luyện) để tinh chỉnh các trọng số liên kết cũng nh cấu trúc của mình sao cho phù hợp với các mẫu học (samples). Ngời ta phân biệt ba loại kỹ thuật học (i) học có quan sát (supervised learning) hay còn gọi là học có thầy (ii) học không có giám sát (unsupervised learning) hay còn gọi là học không có thầy và (iii) học tăng cờng.

Các kỹ thuật học trong mạng nơ ron có thể nhằm vào hiệu chỉnh các trọng số liên kết (gọi là học tham số) hoặc điều chỉnh, sửa đổi cấu trúc của mạng bao gồm số lớp, số nơ ron, kiểu và trọng số các liên kết (gọi là học cấu trúc). Mạng nơ ron truyền thẳng chỉ đơn thuần tính toán các tín hiệu ra dựa trên các tín hiệu vào và các trọng số liên kết nơ ron đã xác định sẵn ở trong mạng. Nếu chọn mạng quá lớn để có thể nhớ đợc tất cả các mẫu học dới dạng bảng tra, nhng hoàn toàn không thể tổng quát hóa đợc cho những tín hiệu vào cha biết trớc.

Tuy vậy, không gian tham số có thể rất lớn và để xác định một trạng thái W (hoặc P) trong không gian đòi hỏi phải huấn luyện mạng, do vậy rất tốn thời gian. Một kỹ thuật khác có thể áp dụng gọi là " Tổn thơng tối u" nhằm loại bỏ một số liên kết trọng số trong mạng dựa trên cách tiếp cận lý thuyết thông tin.

Các mạng nơ ron một lớp 1. Mạng Hopfield

Trong ứng dụng, mạng Hopfield đã mô phỏng đợc khả năng tự kết hợp (hồi tởng) của bộ não ngời, nhận ra ngời quen sau khi nhận thấy những nét quen thuộc trên khuôn mặt. Một cách trực quan, trọng số liên kết ωji sẽ tăng thêm một lợng là 1 (tơng ứng với số hạng xsj.xsi ) nếu cả hai thành phần thứ i và thứ j của mẫu học Xs bằng nhau. Gọi Y(t) là vectơ tín hiệu ra tơng ứng với một lần cho X(t) lan truyền trong mạng. Điểm chú ý quan trọng là ma trận W không thay đổi trong quá trình sử dụng mạng. Một vài tình huống nảy sinh 1) Mạng không hội tụ. 6) Mạng có thể đa ra luân phiên một vài mẫu học (hoặc ảnh ngợc của chúng). Trờng hợp 2) có nghĩa rằng vectơ X đã đợc đoán nhận đúng dựa trên mẫu học {Xs} hay nói cách khác, X có thể suy ra từ mẫu học. Trờng hợp 3) chứng tỏ rằng mạng đã phục hồi dạng nguyên bản Xs của X.

Kích thớc của ảnh (số. điểm ảnh trong mỗi mẫu) sẽ xác định số nơ ron và số trọng số liên kết, trong khi đó số mẫu học và hình dạng của chúng sẽ xác định giá trị các trọng số. Nh vậy có thể nói, để có hiệu ứng tơng tự lên các mẫu vào bị biến dạng còn tuỳ thuộc vào sự tơng tự của các mẫu học nguyên bản và các ảnh ghép của chúng. Cách xử lý thông tin trong các mạng ở trên thờng chỉ quan tâm tới giá trị và dấu của các thông tin đầu vào, mà cha quan tâm khai thác các mối liên hệ có tính chất cấu trúc trong lân cận của các vùng dữ liệu mẫu hay toàn thể không gian mÉu.

Điểm quan trọng nhất trong mạng Kohonen là với một vectơ tín hiệu vào, nó chỉ cho phép các phản hồi mang tính chất địa phơng nghĩa là đầu ra của mỗi nơ ron không đợc nối với tất cả các nơ ron khác mà chỉ với một số nơ ron lân cận. Chẳng hạn, toạ độ (xi, yi) của các nơ ron thuộc lớp láng giềng thứ k của nơ ron có toạ độ (x, y) trong mảng nơ ron 2 chiều có kích thước pxq được cho trong thủ tục sau:. Sau khi xác định đợc nơ ron c, các trọng số wci đợc hiệu chỉnh nhằm làm cho đầu ra của nó lớn hơn hoặc gần hơn giá trị trọng số mong muốn. Do vậy, nếu tín hiệu vào xsi với trọng số wci tạo kết qủa ra quá lớn thì phải giảm trọng số và ngợc lại. Các trọng số của các nơ ron láng giềng j cũng phải đợc hiệu chỉnh giảm, tuỳ thuộc vào khoảng cách tính từ c. Trên thực tế hàm ặ) có thể là hằng số, hàm tỷ lệ nghịch hoặc hàm có điểm uốn. Để đảm bảo yêu cầu, do có nhiều mẫu tham gia quá trình huấn luyên, ta đa vào hệ số η (t):. ở đây t là số đối tợng mẫu đã dùng để luyện mạng tmax là số mẫu tối đa. amax, amin tơng ứng là giá trị cực đại, cực tiểu của hàm ặ).

Rosenblatt đã chứng minh đợc rằng quá trình học của mạng Perceptron sẽ hội tụ tới bộ trọng số W, biểu diễn đúng các mẫu học với điều kiện là các mẫu này biểu thị các điểm rời rạc của một hàm khả tách tuyến tính nào đó (hàm f : Rn -> R đợc gọi là khả tách tuyến tính nếu các tập {f -1(xk)}, với xk thuộc miền trị của f, có thể tách đợc với nhau bởi các siêu phẳng trong không gian Rn). Năm 1969, Minsky và Papert đã chứng minh một cách chặt chẽ rằng lớp hàm phụ thuộc (giữa đầu ra vào đầu vào) có thể học bởi mạng Perceptron là lớp hàm khả tách tuyến tính. Trong nhiều ứng dụng thực tế, để đơn giản, ngời ta thờng sử dụng mạng có một lớp ẩn, số nơ ron trong lớp ẩn đợc xác định dựa trên kinh nghiệm, hoặc dựa trên các kỹ thuật tìm kiếm khác nhau (xem D, mục 1.2.2).

(trờng hợp xét liên kết từ nơ ron vào thứ k sang nơ ron j trên lớp ẩn thứ nhất, ta có ak = Ik, chính là tín hiệu vào). a) Trờng hợp xét hàm kích hoạt tại các nơ ron.  Mạng nơ ron nhiều lớp truyền thẳng là cách biểu diễn các đối tợng dựa trên các giá trị của các thuộc tính của chúng tơng đối hiệu quả, tuy rằng chúng cha vét cạn hết mọi khía cạnh khác nhau về đối tợng đó.  Mạng đợc sử dụng nh một hộp đen, biểu thị quan hệ nào đó giữa tín hiệu ra và tín hiệu vào, mà không cần chỉ rừ dạng giải tớch tờng minh của mối quan hệ đú.

Mỗi khi có các tín hiệu vào, đầu ra của mạng ngợc hớng đợc xác định dựa trên trọng số liên kết giữa nơ ron trung tâm trong lớp ẩn Kohonen và các nơ ron ra. Tại mỗi bớc, chỉ có một số nơ ron láng giềng với nơ ron trung tâm đợc chọn đợc nối với các nơ ron ra và chỉ các trọng số liên kết tơng ứng đợc hiệu chỉnh.