Mạng neural và ứng dụng vào bài toán phân lớp

Mạng neural và ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 1 PHẦN MỞ ĐẦU Khả năng học, ghi nhớ và khái quát hoá từ các dữ liệu huấn luyện làm cho mạng neural nhân tạo trở thành một phát minh đầy hứa hẹn trong hệ thống xử lý thông tin. Các tính toán neural cho phép giải quyết tốt những bài toán đặc trưng bởi một số hoặc tất cả các tính chất như: sử dụng không gian nhiều chiều, các tương tác phức tạp, chưa biết hoặc không thể theo dõi về mặt toán học giữa các biến. Ngoài ra phương pháp này còn cho phép tìm ra nghiệm của những bài toán mà đầu vào là các cảm nhận của con người như: tiếng nói, nhìn và nhận dạng Cùng với sự phát triển của mô hình kho dữ liệu (data warehouse), ngày càng có nhiều kho dữ liệu với lượng dữ liệu rất lớn. Để khai thác có hiệu quả những dữ liệu khổng lồ này đã có nhiều công cụ được xây dựng để thỏa mãn nhu cầu khai thác dữ liệu mức cao. Việc xây dựng các hệ chuyên gia, các hệ thống dựa trên một cơ sở tri thức của các chuyên gia để có thể dự báo được khuynh hướng phát triển của dữ liệu, thực hiện các phân tích trên các dữ liệu của tổ chức. Mặc dù các công cụ, các hệ thống trên hoàn toàn có thể thực hiện được phần lớn các công việc nêu trên, chúng vẫn yêu cầu một độ chính xác, đầy đủ nhất định về mặt dữ liệu để có thể đưa ra được các câu trả lời chính xác nhất. Mạng neural có thể được huấn luyện và ánh xạ từ các dữ liệu vào tới các dữ liệu ra mà không yêu cầu các dữ liệu đó phải đầy đủ. Các mạng neural có khả năng biểu diễn các ánh xạ phi tuyến giữa đầu vào và đầu ra, chúng được coi như là các “bộ xấp xỉ đa năng”. Phương pháp ứng dụng mạng neural trong bài toán phân lớp dữ liệu là một trong những hướng tiếp cận mới và hiện đại và là một công cụ rất mạnh để giải quyết các bài toán trong lĩnh vực này. Qua bài thu hoạch này, tôi xin chân thành cảm ơn Giáo sư, Tiến sĩ khoa học Hoàng Văn Kiếm, giảng viên môn học “Công nghệ tri thức và ứng dụng” đã tận tình giúp đỡ, hướng dẫn và định hướng để hoàn thành chuyên đề nghiên cứu rất bổ ích và lý thú này. Nội dung của bài thu hoạch ngoài phần mở đầu và kết luận, có ba chương như sau: Chương 1: Tổng quan về mạng neural nhân tạo. Chương 2: Mạng truyền thẳng nhiều lớp. Chương 3: Phân lớp dữ liệu bằng mạng neural. Mạng neural và ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 2 CHƢƠNG 1 TỔNG QUAN VỀ MẠNG NEURAL NHÂN TẠO 1. Giới thiệu về mạng neural 1.1. Lịch sử phát triển Mạng neural nhân tạo được xây dựng từ những năm 1940 nhằm mô phỏng một số chức năng của bộ não người. Mạng neural nhân tạo được thiết kế tương tự như neural sinh học sẽ có khả năng giải quyết hàng loạt các bài toán như tính toán tối ưu, điều khiển, công nghệ robot… Quá trình nghiên cứu và phát triển neural nhân tạo có thể chia thành 4 giai đoạn như sau: - Giai đoạn 1: Có thể tính từ nghiên cứu của William (1890) về tâm lý học với sự liên kết các neural thần kinh. Năm 1940, McCulloch và Pitts đã cho biết neural có thể mô hình hoá như thiết bị ngưỡng để thực hiện các phép tính logic và mô hình mạng neural của McCulloch – Pitts cùng với giải thuật huấn luyện mạng của Hebb ra đời năm 1943. - Giai đoạn 2: Những năm 1960, một số mô hình neural hoàn thiện hơn đã được đưa ra như: Mô hình Perceptron của Rosenblatt (1958), Adalile của Widrow (1962). Trong đó mô hình Perceptron rất được quan tâm vì nguyên lý đơn giản, nhưng nó cũng có nhiều hạn chế. - Giai đoạn 3: Đầu thập niên 1980, những đóng góp lớn cho mạng neural trong giai đoạn này phải kể đến Grossberg, Kohonen, Rumelhart và Hopfield. Trong đó đóng góp lớn của Hopfield gồm hai mạng phản hồi: mạng rời rạc năm 1982 và mạng liên tục năm 1984. Đặc biệt, ông đã dự kiến nhiều khả năng tính toán lớn của mạng mà một neural không có khả năng đó. Cảm nhận của Hopfield đã được Rumelhart, Hinton và Williams đề xuất thuật toán sai số truyền ngược nổi tiếng để huấn luyện mạng neural nhiều lớp nhằm giải bài toán mà mạng khác không thực hiện được. Nhiều ứng dụng mạnh mẽ của mạng neural ra đời cùng với các mạng theo kiểu máy Boltzmann và mạng Neocognition của Fukushima. - Giai đoạn 4: Tính từ năm 1987 đến nay, hàng năm thế giới đều mở hội nghị toàn cầu chuyên ngành neural IJCNN (International Joint Conference on Neural Networks). Rất nhiều công trình được nghiên cứu để ứng dụng mạng neural vào các lĩnh vực như: kỹ thuật tính toán, điều khiển, tối ưu, y học, sinh học, thống kê, giao thông, hoá học, Cho đến nay mạng neural đã khẳng định được vị trí ứng dụng của mình trong nhiều ngành khác nhau. 1.2. Neural sinh học Hệ thần kinh gồm hai lớp tế bào: neural (tế bào thần kinh) và glia (tế bào glia). Neural là thành phần cơ bản của hệ thần kinh, chúng có chức năng xử lý thông tin. Glia thực hiện chức năng hỗ trợ. Neural sinh học có nhiều loại, chúng khác nhau về kích thước và khả năng thu phát tín hiệu. Tuy nhiên chúng có cấu trúc và nguyên lý Mạng neural và ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 3 hoạt động chung như sau: Mỗi neural sinh học gồm có 3 thành phần: Thân neural với nhân ở bên trong (soma), một đầu dây thần kinh ra (axon) và một hệ thống phân nhánh hình cây (dendrite) để nhận các thông tin vào. Trong thực tế có rất nhiều dây thần kinh vào và chúng bao phủ một diện tích rất lớn (0,25mm 2 ). Đầu dây thần kinh ra được rẽ nhánh nhằm chuyển giao tín hiệu từ thân neural tới neural khác. Các nhánh của đầu dây thần kinh được nối với các khớp thần kinh (synapse). Các khớp thần kinh này được nối với thần kinh vào của các neural khác. Các neural có thể sửa đổi tín hiệu tại các khớp. Hình ảnh đơn giản của một neural thể hiện trong hình 1.1. Hình 1.1. Mô hình neural sinh học Hoạt động của neural sinh học có thể được mô tả như sau: - Mỗi neural nhận tín hiệu vào từ các tế bào thần kinh khác. Chúng tích hợp các tín hiệu vào, khi tổng tín hiệu vượt quá một ngưỡng nào đó chúng tạo tín hiệu ra và gửi tín hiệu này tới các neural khác thông qua dây thần kinh. - Các neural liên kết với nhau thành mạng. Mức độ bền vững của các liên kết này xác định một hệ số gọi là trọng số liên kết. 1.3. Neural nhân tạo Mô phỏng neural sinh học, ta có neural nhân tạo. Mỗi neural có rất nhiều dây thần kinh vào, nghĩa là mỗi neural có thể tiếp nhận đồng thời nhiều dữ liệu. Mạng neural nhân tạo (Artificial Neural Network) là một cấu trúc mạng được hình thành nên bởi một số lượng lớn các neural nhân tạo liên kết với nhau. Mỗi neural có các đặc tính đầu vào, đầu ra và thực hiện một chức năng tính toán cục bộ. Với việc giả lập hệ thống sinh học, các cấu trúc tính toán mạng neural có thể giải quyết được lớp các bài toán nhất định như: lập lịch, tìm kiếm, nhận dạng mẫu, xếp loại, Mạng neural còn giải quyết được lớp các bài toán sử dụng dữ liệu không đầy đủ, xung đột mờ hoặc xác suất. Những bài toán này được đặc trưng bởi một số hoặc tất cả các tính chất sau: sử dụng không gian nhiều chiều, các tương tác phức tạp, chưa biết hoặc không thể theo dõi về mặt toán học giữa các biến; không gian nghiệm có thể rỗng, có nghiệm duy nhất hoặc có một số nghiệm bình đẳng như nhau. Tuy nhiên việc ánh xạ từ một bài toán bất kỳ sang một giải pháp mạng neural lại là một việc không đơn giản. Mạng neural và ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 4 1.4. Các thành phần của một neural nhân tạo Thành phần 1. Các nhân tố trọng số: Một neural thường nhận nhiều đầu vào cùng lúc. Mỗi đầu vào có trọng số liên quan của riêng nó, trọng số này giúp cho đầu vào có ảnh hưởng cần thiết lên hàm tổng của đơn vị xử lý. Những trọng số này có chức năng giống như sức mạnh của các synapes khác nhau trong neural sinh học. Trong cả hai trường hợp (nhân tạo và sinh học), một số đầu vào quan trọng hơn những đầu vào khác do vậy chúng có ảnh hưởng lớn hơn tới đơn vị xử lý để rồi chúng kết hợp lại để tạo ra sự phản ứng của neural (neural response). Các trọng số là những hệ số thích nghi bên trong một mạng, chúng xác định cường độ (sức mạnh hay sức ảnh hưởng) của tín hiệu vào lên nơron nhân tạo. Những sức mạnh này có thể được điều chỉnh theo những tập đào tạo đa dạng khác nhau và theo một kiến trúc mạng cụ thể hay là qua các luật học của nó. Thành phần 2. Hàm tổng: Bước đầu tiên trong hoạt động của một thành phần xử lý là tính toán tổng có trọng số của tất cả các đầu vào. Về mặt toán học, những đầu vào và các trọng số tương ứng là những vector có thể được biểu diễn: I = (i 1 ,i 2 , , i n ) và W = (w 1 , w 2 , …, w n ). Tín hiệu vào tổng là tích vô hướng của mỗi thành phần trong vector I với thành phần tương ứng trong vector W và cộng lại tất cả các tích. Input 1 = i 1 .w 1 , input 2 = i 2 .w 2 … Cuối cùng được cộng lại: input 1 +input 2 +…+input n . Kết quả là một số duy nhất, không phải là một vector. Hàm tổng có thể phức tạp hơn nhiều so với mô tả ở trên. Đầu vào và các hệ số trọng số có thể được kết hợp theo nhiều cách khác nhau trước khi được đưa vào hàm chuyển đổi. Bên cạnh việc tính tổng các tích đơn giản, hàm tổng có thể chọn max, min, tích … nhờ một số thuật toán chuẩn tắc. Thuật toán cụ thể để kết hợp các đầu vào của neural được xác định bởi việc chọn kiến trúc và mô hình mạng. Thành phần 3. Hàm chuyển đổi: Kết quả của hàm tổng, hầu như luôn là tổng có trọng số, được chuyển đổi thành một đầu ra có ý nghĩa nhờ một quá trình xử lý có thuật toán gọi là hàm chuyển đổi. Trong hàm chuyển đổi tổng có thể được so sánh với một ngưỡng nào đó để quyết định đầu ra của mạng. Nếu như tổng lớn hơn giá trị ngưỡng thì thành phần xử lý đưa ra đầu ra một tín hiệu. Nếu như tổng của đầu vào và các tích có trọng số nhỏ hơn ngưỡng thì không có tín hiệu ở đầu ra. Cả hai kiểu phản ứng đều quan trọng. Giá trị ngưỡng, còn gọi hàm chuyển đổi, thường là phi tuyến. Các hàm tuyến tính bị giới hạn vì đầu ra chỉ đơn giản là tỷ lệ của đầu vào. Hàm chuyển đổi có thể chỉ đơn giản là cho biết hàm tổng là dương hay âm. Mạng có thể cho ra đầu ra 0 và 1, 1 và -1, hay con số kết hợp nào đó. Thành phần 4. Hàm ra: Mỗi thành phần xử lý cho phép một tín hiệu đầu ra mà đầu ra này có thể đi tới hàng trăm neural khác. Điều này giống với neural sinh học trong đó có rất nhiều đầu vào và chỉ có một hành động ra. Thường thì đầu ra tương đương với kết quả của hàm chuyển đổi. Tuy nhiên, một số kiến trúc mạng chỉnh sửa kết quả của hàm chuyển đổi để kết hợp với những thành phần xử lý lân Mạng neural và ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 5 cận. Các neural cho phép cạnh tranh với những neural khác, khi này chúng hạn chế các thành phần xử lý khác trừ các thành phần xử lý có sức mạnh rất lớn. Sự cạnh tranh có thể xảy ra ở một hay là cả hai mức. Đầu tiên sự cạnh tranh quyết định xem neural nhân tạo nào sẽ là tích cực hay là cung cấp một đầu ra. Tiếp theo các đầu ra cạnh tranh giúp xác định thành phần xử lý nào sẽ tham gia và quá trình học hay là quá trình thích nghi. Thành phần 5. Giá trị truyền ngƣợc và hàm lỗi: Trong hầu hết các mạng học sự khác biệt giữa đầu ra hiện tại và đầu ra mong muốn được tính toán, sự khác biệt có thể được gọi là lỗi thô. Sau khi được tính toán, lỗi thô được chuyển đổi bởi hàm lỗi để làm cho phù hợp với một kiến trúc mạng cụ thể nào đó. Các kiến trúc mạng cơ sở nhất sử dụng lỗi này một cách trực tiếp nhưng một số khác bình phương lỗi đó trong khi vẫn giữ lại dấu của nó, một số tính bậc ba của lỗi, một số khác lại hiệu chỉnh lỗi thô đó để đạt được mục đích cụ thể nào đó. Lỗi của neural nhân tạo thường được truyền vào hàm học của một thành phần xử lý khác. Số hạng lỗi này đôi khi còn được gọi là lỗi hiện thời. Lỗi hiện thời thường được truyền ngược về một tầng trước đó. Nhưng giá trị này có thể là lỗi hiện thời hay là lỗi hiện thời đã được điều chỉnh theo một cách nào đó (thường sử dụng đạo hàm của hàm chuyển đổi), hay là một đầu ra mong muốn nào đó, điều này phụ thuộc vào kiểu mạng neural được sử dụng. Thường thì giá trị truyền ngược này sau khi được điều chỉnh bởi hàm học được nhân với mỗi trọng số kết nối vào để thay đổi chúng trước khi bước vào chu kỳ học mới. Thành phần 6. Hàm học: Mục đích của hàm học là để thay đổi giá trị của biến trọng số kết nối ở các đầu vào của mỗi thành phần xử lý theo một thuật toán nào đó. Quá trình thay đổi các trọng số của các kết nối đầu vào nhằm thu được một số kết quả mong muốn cũng có thể được gọi là hàm thích nghi, hay còn gọi là chế độ học. Có hai kiểu học chính là học có giám sát và học không có giám sát. Học có giám sát đòi hỏi có một “giáo viên”. Người “giáo viên” này có thể là một tập dữ liệu đào tạo hay là một “người quan sát”. “Người quan sát” đánh giá kết quả hoạt động của mạng. Trong khi không có “giáo viên” bên ngoài nào, hệ thống sẽ phải tự sắp xếp nhờ một tiêu chuẩn được thiết kế sẵn trong mạng. 2. Đơn vị xử lý Một đơn vị xử lý (hình 1.2), cũng được gọi là một neural hay một nút (node), thực hiện một công việc rất đơn giản: nó nhận tín hiệu vào từ các đơn vị phía trước hay một nguồn bên ngoài và sử dụng chúng để tính tín hiệu ra sẽ được lan truyền sang các đơn vị khác. Mạng neural và ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 6 Hình 1.2: Đơn vị xử lý (Processing unit) Trong đó: x j : các đầu vào w ji : các trọng số tương ứng với các đầu vào θ j : độ lệch (bias) a j : đầu vào mạng (net-input) z j : đầu ra của neural g(x): hàm chuyển (hàm kích hoạt) Trong một mạng neural có ba kiểu đơn vị: 1) Các đơn vị đầu vào (input units), nhận tín hiệu từ bên ngoài; 2) Các đơn vị đầu ra (output units), gửi dữ liệu ra bên ngoài; 3) Các đơn vị ẩn (hidden units), tín hiệu vào (input) và ra (output) của nó nằm trong mạng. Mỗi đơn vị j có thể có một hoặc nhiều đầu vào: x 0 , x 1 , x 2 , … x n nhưng chỉ có một đầu ra z j . Một đầu vào tới một đơn vị có thể là dữ liệu từ bên ngoài mạng, hoặc đầu ra của một đơn vị khác, hoặc là đầu ra của chính nó. 3. Hàm xử lý 3.1. Hàm kết hợp Mỗi một đơn vị trong một mạng kết hợp các giá trị đưa vào nó thông qua các liên kết với các đơn vị khác, sinh ra một giá trị gọi là net input. Hàm thực hiện nhiệm vụ này gọi là hàm kết hợp, được định nghĩa bởi một luật lan truyền cụ thể. Trong phần lớn các mạng neural, giả sử mỗi một đơn vị cung cấp một bộ cộng như là đầu vào cho đơn vị mà nó có liên kết. Tổng đầu vào đơn vị j đơn giản chỉ là tổng trọng số của các đầu ra riêng lẻ từ các đơn vị kết nối cộng thêm ngưỡng hay độ lệch (bias)  j : n a j    w ji x i    j i  1 Trường hợp w ji > 0, neural được coi là đang ở trong trạng thái kích thích. Tương tự, nếu như w ji < 0, neural ở trạng thái kiềm chế. Chúng ta gọi các đơn vị Mạng neural và ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 7 với luật lan truyền như trên là các sigma units. Trong một vài trường hợp người ta cũng có thể sử dụng các luật lan truyền phức tạp hơn. Một trong số đó là luật sigma-pi, có dạng như sau: Rất nhiều hàm kết hợp sử dụng một "độ lệch" hay "ngưỡng" để tính net input tới đơn vị. Đối với một đơn vị đầu ra tuyến tính, thông thường,  j được chọn là hằng số và trong bài toán xấp xỉ đa thức  j = 1. 3.2. Hàm kích hoạt (hàm chuyển) Phần lớn các đơn vị trong mạng neural chuyển net input bằng cách sử dụng một hàm vô hướng (scalar-to-scalar function) gọi là hàm kích hoạt, kết quả của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị (unit's activation). Các hàm kích hoạt thường bị ép vào một khoảng giá trị xác định, do đó thường được gọi là các hàm bẹp (squashing). Các hàm kích hoạt hay được sử dụng là: 1) Hàm đồng nhất (Linear function, Identity function): g(x) = x. Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này. Đôi khi một hằng số được nhân với net input để tạo ra một hàm đồng nhất. Hình 1.3.1 Hàm đồng nhất (Identity function) 2) Hàm bước nhị phân (Binary step function, Hard limit function) Hàm này cũng được biết đến với tên "hàm ngưỡng" (Threshold function hay Heaviside function). Đầu ra của hàm này được giới hạn vào một trong hai giá trị: Dạng hàm này được sử dụng trong các mạng chỉ có một lớp. Trong hình vẽ sau,  được chọn bằng 1. Hình 1.3.2 Hàm bước nhị phân (Binary step function) 3) Hàm sigmoid (Sigmoid function (logsig)) Mạng neural và ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 8 Hàm này đặc biệt thuận lợi khi sử dụng cho các mạng được huấn luyện bởi thuật toán Lan truyền ngược (back-propagation) do dễ lấy đạo hàm, nên có thể giảm đáng kể tính toán trong quá trình huấn luyện. Hàm này được ứng dụng cho các chương trình ứng dụng mà các đầu ra mong muốn rơi vào khoảng [0,1]. Hình 1.3.3 Hàm Sigmoid 4) Hàm sigmoid lưỡng cực (Bipolar sigmoid function (tansig)) Hàm này có các thuộc tính tương tự hàm sigmoid. Nó làm việc tốt đối với các ứng dụng có đầu ra yêu cầu trong khoảng [-1,1]. Hình 1.3.4 Hàm sigmoid lưỡng cực Các hàm chuyển của các đơn vị ẩn (hidden units) là cần thiết để biểu diễn sự phi tuyến vào trong mạng. Lý do là hợp thành của các hàm đồng nhất là một hàm đồng nhất. Mặc dù vậy nhưng nó mang tính chất phi tuyến (nghĩa là, khả năng biểu diễn các hàm phi tuyến) làm cho các mạng nhiều tầng có khả năng rất tốt trong biểu diễn các ánh xạ phi tuyến. Tuy nhiên, đối với luật học lan truyền ngược, hàm phải khả vi (differentiable) và sẽ có ích nếu như hàm được gắn trong một khoảng nào đó. Do vậy, hàm sigmoid là lựa chọn thông dụng nhất. Đối với các đơn vị đầu ra (output units), các hàm chuyển cần được chọn sao cho phù hợp với sự phân phối của các giá trị đích mong muốn. Chúng ta đã thấy rằng đối với các giá trị ra trong khoảng [0,1], hàm sigmoid là có ích; đối với các giá trị đích mong muốn là liên tục trong khoảng đó thì hàm này cũng vẫn có ích, nó có thể cho ta các giá trị ra hay giá trị đích được căn trong một khoảng của hàm kích hoạt đầu ra. Nhưng nếu các giá trị đích không được biết trước khoảng xác định thì hàm hay được sử dụng nhất là hàm đồng nhất. Nếu giá trị mong muốn là dương nhưng không biết cận trên thì nên sử dụng một hàm kích hoạt dạng mũ. Mạng neural và ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 9 4. Các kiến trúc mạng 4.1. Mạng một tầng Mạng một tầng với S neural được minh họa trong hình 1.4. Chú ý rằng với mỗi một đầu vào trọng số R đầu vào sẽ được nối với từng neural và ma trận trọng số bây giờ sẽ có S hàng. Hình 1.4. Cấu trúc mạng neural một tầng Một tầng bao gồm ma trận trọng số, các bộ cộng, vector ngưỡng b, hàm chuyển và vector đầu ra a. Mỗi phần tử của vector đầu vào p được nối với từng neural thông qua ma trận trọng số W. Mỗi neural có một ngưỡng b i , một bộ cộng, một hàm chuyển f và một đầu ra a i . Cùng với nhau, các đầu ra tạo thành một vector đầu ra a. Thông thường thì số lượng đầu vào của tầng khác với số lượng neural (R#S). Tất cả các neural trong cùng một tầng không có hàm chuyển giống nhau. Có thể định nghĩa các neural trong một tầng có hàm chuyển khác nhau bằng cách kết hợp song song hai mạng neural giống ở trên. Cả hai sẽ có đầu vào giống nhau và mỗi mạng sản xuất ra vài đầu ra. Ma trận trọng số cho các phần tử trong vector đầu vào W: W =               RSSS R R www www www ,2,1, ,22,21,2 ,12,11,1 Các chỉ số hàng của các phần tử trong ma trận W chỉ ra neural đích đã kết hợp với trọng số, trong khi chỉ số cột cho biết đầu vào cho trọng số đó. Ví dụ, các chỉ số trong w 32 nói rằng đây là trọng số của đầu vào thứ 2 nối với neural thứ 3. Mạng neural và ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 10 Trong hình trên, những kí hiệu ở dưới các biến cho biết các thông số về tầng này, p là một vector có độ dài R, W là ma trận SxR, a và b là những vector có độ dài S. Như đã định nghĩa trước, một tầng bao gồm ma trận trọng số, bộ cộng và các phép toán nhân, vector ngưỡng b, hàm chuyển và vector đầu ra. 4.2. Mạng đa tầng Mỗi tầng có ma trận trọng số W của riêng nó, vector b, vector đầu vào n và một vector đầu ra. Khi đó cần phải khai báo thêm vài ký hiệu để phân biệt giữa các tầng này. Ta sẽ sử dụng cách viết lên trên đầu để nhận biết ký hiệu đó thuộc tầng nào. Chính xác là chúng ta gắn thêm chỉ số của tầng trên đầu mỗi biến. Như vậy, ma trận trọng số của tầng thứ 2 được viết W 2 . Cách ký hiệu này được dùng trong mạng neural 3 tầng như hình 1.6. Hình 1.6. Cấu trúc mạng neural 3 lớp Như đã thấy, có R đầu vào, S 1 neural ở tầng thứ nhất, S 2 neural ở tầng thứ hai, S 3 neural ở tầng thứ ba… Như đã chú ý, những tầng khác nhau có thể có số lượng neural khác nhau. W b f + 1R 1 RS  1S n a 1S S R Input Layer of S Neurons a = f(Wp+b) Hình 1.5. Mạng mộ t tầ ng vẽ rú t gọ n 1S p [...]... nhiều lớp kết hợp với nhau Lớp nhận tín hiệu gọi là lớp đầu vào (input layer), lớp đưa các tín hiệu ra gọi là lớp đầu ra (output layer), các lớp ở giữa lớp vào và lớp ra gọi là lớp ẩn (hidden layers) Cấu trúc của mạng neural truyền thẳng nhiều lớp được mô tả như sau: Hình 1.9 Mạng neural truyền thẳng nhiều lớp Công nghệ tri thức và Ứng dụng Trang 12 Mạng neural và ứng dụng vào bài toán phân lớp 5.2 Mạng. .. một thuật toán huấn luyện cần được áp dụng để điều chỉnh các tham số của mạng Công nghệ tri thức và Ứng dụng Trang 18 Mạng neural và ứng dụng vào bài toán phân lớp Trong hình 2.1, số neural ở lớp thứ nhất và lớp thứ hai tương ứng là S1 và S2 Ma trận trọng số đối với các lớp tương ứng là W1 và W2 Có thể thấy sự liên kết giữa các lớp mạng thể hiện trong hình vẽ 2.1: ở lớp thứ 2, vector đầu vào chính... trận Hessian rất tốn kém trong các bài toán có phạm vi rộng Công nghệ tri thức và Ứng dụng Trang 26 Mạng neural và ứng dụng vào bài toán phân lớp CHƢƠNG 3 PHÂN LỚP DỮ LIỆU BẰNG MẠNG NEURAL 1 Giới thiệu Spice-MLP là phần mềm mạng neural 3 lớp với nhiều đầu vào và nhiều đầu ra Spice-MLP được viết với mục đích hướng dẫn sinh viên và nghiên cứu sinh học tập và sử dụng mạng neural để mô hình hóa nhiều loại... khi ta thiết kế một mạng 3.1 Số lớp ẩn Vì các mạng có hai lớp ẩn có thể thể hiện các hàm với dáng điệu bất kỳ, nên về lý thuyết, không có lý do nào sử dụng các mạng có nhiều hơn hai lớp ẩn Đối với Công nghệ tri thức và Ứng dụng Trang 19 Mạng neural và ứng dụng vào bài toán phân lớp phần lớn các bài toán cụ thể, chỉ cần sử dụng một lớp ẩn cho mạng là đủ Các bài toán sử dụng hai lớp ẩn hiếm khi xảy ra... tri thức và Ứng dụng Trang 32 Mạng neural và ứng dụng vào bài toán phân lớp 5.4 Kiểm tra đồ thị lỗi Hình 3.11 Đồ thị lỗi 5.5 Kiểm tra đồ thị trọng số và đầu vào trung bình của một neural Kiểm tra sự biến đổi của một vài trọng số và đầu vào trung bình của một số neural trong quá trình học Bên trái hình 3.12 minh họa sự lựa chọn xem trọng số neural 0 của lớp vào tới neural 2 của lớp ẩn WIJ[0][2], và trọng... trọng số mạng từ file nhị phân: tải trọng số mạng từ file nhị phân có sẵn Lưu ý, nếu thông số mạng từ file nhị phân có sẵn khác với thông số mạng hiện tại, có thể chương trình sẽ báo lỗi hoặc đưa ra kết quả sai Công nghệ tri thức và Ứng dụng Trang 31 Mạng neural và ứng dụng vào bài toán phân lớp Lưu trọng số mạng vào file nhị phân: lưu trọng số mạng hiện thời vào file nhị phân, mỗi giá trị số được... đầu vào, đầu ra của mạng chưa được học và đầu ra của mạng đã được học Tuy nhiên sau khi học với 70% dữ liệu, đầu ra thực tế của mạng đều xấp xỉ đầu ra của dữ liệu học Hình 3.14 Toàn bộ dữ liệu đầu vào, đầu ra và đầu ra của mạng ban đầu (chưa được học) Hình 3.15 Toàn bộ dữ liệu đầu vào, đầu ra và đầu ra của mạng đã được học Công nghệ tri thức và Ứng dụng Trang 34 Mạng neural và ứng dụng vào bài toán phân. .. từ neural 2 của lớp ẩn tới nơ ron 1 của lớp ra WJK[2][1] Bên phải hình 3.12 minh họa sự lựa chọn xem đầu vào trung bình của neural ẩn số 2 và neural ra số 1 Hình 3.12 Chọn trọng số và giá trị trung bình của một số neural trong khi học Hình 3.13 Đồ thị trọng số và giá trị trung bình đầu vào của một số nơ ron trong khi học Công nghệ tri thức và Ứng dụng Trang 33 Mạng neural và ứng dụng vào bài toán phân. . .Mạng neural và ứng dụng vào bài toán phân lớp Đầu ra của các tầng 1 và 2 là đầu vào của tầng 2 và tầng 3 Vì vậy tầng 2 có thể được xem như mạng neural một tầng với đầu vào R= S1, nơron S= S2 và ma trận trọng số W = S1xS2 Đầu vào của tầng 2 là a1, và đầu ra là a2 Đầu ra của một tầng chính là đầu ra của mạng thì ta gọi đó là tầng ra Các tầng còn lại gọi là tầng ẩn Mạng neural như ở trên... Mỗi đầu vào đưa vào mạng, đầu ra của mạng đối với nó được đem so sánh với đầu ra mong muốn Thuật toán sẽ điều chỉnh các tham số của mạng để tối thiểu hóa trung bình bình phương lỗi: F(x) = E[e2] = E[(t - a)2] , Trong đó: x là biến được tạo thành bởi các trọng số và độ lệch, E là ký hiệu kỳ vọng toán học Công nghệ tri thức và Ứng dụng Trang 21 Mạng neural và ứng dụng vào bài toán phân lớp Thuật toán giảm . 2: Mạng truyền thẳng nhiều lớp. Chương 3: Phân lớp dữ liệu bằng mạng neural. Mạng neural và ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 2 CHƢƠNG 1 TỔNG QUAN VỀ MẠNG. neural và ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 20 phần lớn các bài toán cụ thể, chỉ cần sử dụng một lớp ẩn cho mạng là đủ. Các bài toán sử dụng hai lớp ẩn. ứng dụng vào bài toán phân lớp Công nghệ tri thức và Ứng dụng Trang 18 CHƢƠNG 2 MẠNG TRUYỀN THẲNG NHIỀU LỚP 1. Khái niệm Một mạng truyền thẳng nhiều lớp bao gồm một lớp vào, một lớp ra và