Nghiên cứu về mạng nơ ron nhân tạo và ứng dụng giải quyết lớp bài toán phân loại

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN THƯỜNG THÁI NGHIÊN CỨU VỀ MẠNG NƠ RON NHÂN TẠO VÀ ỨNG DỤNG GIẢI QUYẾT LỚP BÀI TOÁN PHÂN LOẠI Chuyên ngành : Điện tử viễn thơng LUẬN VĂN THẠC SĨ ĐIỆN TỬ VIỄN THƠNG NGƯỜI HƯỚNG DẪN : TS VƯƠNG HOÀNG NAM Hà Nội – Năm 2019 LỜI CAM ĐOAN Em xin cam đoan luận văn cơng trình nghiên cứu thân Các nghiên cứu luận văn dựa tổng hợp lý thuyết tìm hiểu thực tế em, không chép Tác giả luận văn Nguyễn Thường Thái MỤC LỤC MỤC LỤC LỜI CAM ĐOAN DANH MỤC HÌNH VẼ MỞ ĐẦU Chương 1: TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO 1.1 Giới thiệu mạng Nơron 1.1.1 Lịch sử phát triển mạng nơron 1.1.2 Nơron sinh học 10 1.1.3 Nơron nhân tạo 11 1.1.4 Các thành phần nơron nhân tạo 12 1.2 Đơn vị xử lý 15 1.3 Hàm xử lý 16 1.3.1 Hàm kết hợp 16 1.3.2 Hàm kích hoạt (hàm chuyển) 17 1.4 Các kiến trúc mạng 19 1.4.1 Mạng tầng 19 1.4.2 Mạng đa tầng 21 1.5 Các hình trạng mạng 24 1.5.1 Mạng truyền thẳng 24 1.5.2 Mạng hồi quy 26 1.6 Tiếp cận Nơron cho tính tốn 27 1.6.1 Luật học 27 1.6.2 Tốc độ học 30 1.6.3 Các luật học 31 1.7 Phạm vi ứng dụng mạng nơron 33 1.7.1 Những tốn thích hợp 33 1.7.2 Phân loại 33 1.7.3 Mơ hình hố 34 1.7.4 Liên kết 35 1.8 Các lĩnh vực ứng dụng mạng nơron 35 1.9 Ưu nhược điểm mạng nơron 36 1.10 Kết luận chương 37 Chương 2: 38 MẠNG TRUYỀN THẲNG NHIỀU LỚP 38 2.1 Khái niệm 38 2.2 Khả thể 40 2.3 Vấn đề thiết kế cấu trúc mạng 40 2.3.1 Số lớp ẩn 41 2.3.2 Số đơn vị lớp ẩn 41 2.4 Thuật toán lan truyền ngược (Back-Propagation) 42 2.4.1 Mô tả thuật toán 43 2.4.2 Sự hội tụ 47 2.4.3 Sự tổng quát hóa 47 2.4.4 Kết luận chương 48 Chương 3: 51 PHÂN LOẠI DỮ LIỆU BẰNG MẠNG NƠRON 51 3.1 Giới Thiệu 51 3.2 Chuẩn bị liệu 53 3.3 Phân loại liệu Spice-MLP 56 3.4 Đào tạo mạng 58 3.4.1 Chia liệu 58 3.4.2 Chọn liệu học tham số 59 3.4.3 Đào tạo mạng (training) 60 3.4.4 Kiểm tra đồ thị lỗi 62 3.4.5 Kiểm tra đồ thị trọng số đầu vào trung bình nơron 64 3.4.6 Xem đồ thị liệu đồ thị đầu mạng 65 3.5 Nhận xét 68 3.6 Kết luận chương 68 HƯỚNG MỞ RỘNG ĐỀ TÀI 70 KẾT LUẬN 71 TÀI LIỆU THAM KHẢO 72 DANH MỤC HÌNH VẼ Hình 1.1 Mơ hình nơ ron sinh học Hình 1.2 Đơn vị xử lý (Processing unit) Hình 1.3.1 Hàm đồng (Identify function) Hình 1.3.2 Hàm bước nhị phân (Binary step function) Hình 1.3.3 Hàm Sigmoid Hình 1.3.4 Hàm Sigmoid lưỡng cực Hình 1.4 Cấu trúc mạng nơ ron tầng Hình 1.5 Mạng tầng vẽ rút gọn Hình 1.6 Cấu trúc mạng nơ ron lớp Hình 1.7 Mạng nơ ron tầng, vẽ rút gọn Hình 1.8 Mơ hình mạng truyền thẳng lớp Hình 1.9 Mạng nơ ron truyền thẳng nhiều lớp Hình 1.10 Mạng hồi quy lớp nối ngược Hình 1.11 Mạng hồi quy nhiều lớp có nối ngược Hình 1.12 Học có giám sát Hình 1.13 Học khơng có giám sát Hình 2.1 Mạng nơ ron truyền thẳng nhiều lớp Hình 3.1 Dữ liệu text với đầu vào đầu Hình 3.2 Mã hóa đầu mạng Hình 3.3 Dữ liệu loại hoa IRIS sử dụng để huấn luyện Hình 3.4 Mạng nơ ron đa lớp đầu vào đầu Hình 3.5 Giao diện chương trình Hình 3.6 Chọn tham số để load liệu Hình 3.7 Xem liệu Hình 3.8 Chia liệu Hình 3.9 Chọn liệu học tham số Hình 3.10 Nội dung file text chứa trọng số mạng với inouts, hiddens ouputs Hình 3.11 Thơng tin lần học cuối Hình 3.12 Đồ thị lỗi xem check box “Xem chi tiết đồ thị lỗi” Hình 3.13 Chi tiết đồ thị lỗi Hình 3.14 Dữ liệu lỗi lưu file text Hình 3.15 Chọn trọng số giá trị trung bình số nơ ron học Hình 3.16 Đồ thị trọng số giá trị trung bình đầu vào số nơ ron học Hình 3.17 Tồn liệu đầu vào, đầu đầu mạng ban đầu( chưa học) Trang 11 Trang 15 Trang 18 Trang 18 Trang 18 Trang 19 Trang 20 Trang 21 Trang 22 Trang 23 Trang 25 Trang 25 Trang 26 Trang 26 Trang 29 Trang 30 Trang 38 Trang 53 Trang 55 Trang 56 Trang 56 Trang 57 Trang 57 Trang 58 Trang 59 Trang 59 Trang 61 Trang 61 Trang 62 Trang 63 Trang 63 Trang 64 Trang 64 Trang 66 Hình 3.18 Tồn liệu đầu vào, đầu đầu mạng học Hình 3.19 Chỉ xem liệu học (70%) Hình 3.20 Chỉ xem liệu kiểm tra ( 30%) Trang 66 Trang 67 Trang 67 MỞ ĐẦU Lí chọn đề tài Trong bối cảnh ứng dụng công nghệ thông tin ngày tăng, liệu phát sinh từ hoạt động quản lý, kinh doanh, sản xuất công ty, tổ chức ngày nhiều Các cơng ty, tổ chức cần phải nhanh chóng đưa định cách xử lý nhiều yếu tố với quy mơ tính phức tạp ngày tăng Để có định xác nhất, người quản lý thường thực việc dự đoán hay phân loại vấn đề cần giải trước định Ngoài việc dựa yếu tố liên quan trực tiếp đến vấn đề, người định dựa kinh nghiệm thân thơng tin có từ hoạt động trước Dẫn đến nhu cầu thực tế cần có phương pháp khai phá liệu thu thập để làm định Trong thực tế sống, chúng ta bắt gặp nhiều toán tương tự dự đoán thị trường chứng khoán, dự đoán lưu lượng nước, dự đoán lượng gas tiêu, dự đoán lực sản xuất, định giá tài sản, đánh giá nhân viên, phân loại khách hàng Đó tốn thuộc lớp tốn dự đốn phân loại, xem tốn có nhiều ứng dụng thực tiễn Đã có nhiều phương pháp đưa để giải lớp toán phương pháp thống kê, phương pháp hồi quy, định, mạng nơ-ron nhân tạo, Trong đó, mạng nơ-ron nhân tạo nhờ khả học, nhớ lại khái quát hóa từ mẫu liệu huấn luyện, trở thành hướng nghiên cứu lĩnh vực trí tuệ nhân tạo Xét mặt lý thuyết, mạng nơ ron nhân tạo tương đối độc lập với chất q trình vật lý cần phân loại, dự đốn Ở lớp tốn trên, có đặc điểm chung giải mạng nơ-ron nhân tạo như: thu thập liệu mẫu, tiền xử lý liệu, xác định thơng số mạng huấn luyện Do việc nghiên cứu để tổng qt hóa tốn xây dựng phần mềm ứng dụng mạng nơron nhân tạo dùng cho nhiều tốn lớp hoàn toàn khả thi Theo ghi nhận nghiên cứu, năm mươi phần trăm báo cáo nghiên cứu mạng nơ ron sử dụng mạng nơ- ron truyền thẳng thuật toán lan truyền ngược Mơ hình mạng sử dụng rộng rãi có khả giải nhiều tốn lĩnh vực khác nhau: dự đoán, phân loại, mơ hình hóa Mạng nơron nhân tạo truyền thẳng thích hợp để giải toán thể mối quan hệ tập hợp đầu vào đầu biết trước Một số trở ngại gặp phải ứng dụng mạng nơ- ron nhân tạo cần phải có hỗ trợ đầy đủ kiến thức lý thuyết phương pháp ứng dụng Trong nghiên cứu mạng nơ-ron nhân tạo thường ứng dụng vào tốn cụ thể, kết nghiên cứu khó có khả kế thừa, phát triển để ứng dụng rộng rãi cho tốn tương tự Vì việc nghiên cứu chuyên sâu, đầy đủ mang tính ứng dụng thực tiễn cao cần thiết Mục tiêu nhiệm vụ Tìm hiểu đặc trưng mạng nơ-ron nhân tạo, khả nguyên tắc để ứng dụng thành công mạng nơ-ron nhân tạo thực tế Nghiên cứu ứng dụng mạng nơ-ron nhân tạo vào lớp toán dự đoán phân loại Xây dựng phần mềm cho phép người sử dụng mơ ứng dụng nhanh chóng mạng nơ-ron nhân tạo để giải toán thuộc lớp toán phân loại dự đoán Ý nghĩa khoa học thực tiễn Đề tài làm rõ khả ứng dụng mạng nơ-ron toán dự đoán phân loại Cách để xác định toán thích hợp để giải mạng nơ-ron Xây dựng thành quy trình với bước thực cụ thể cho việc giải toán dự đoán phân loại mạng nơ-ron Bố cục luận văn Từ việc xác định nội dung nên em chọn luận văn “Nghiên cứu mạng nơron nhân tạo ứng dụng giải lớp toán phân loại ” Luận văn bao gồm nội dung sau:  Chương : Tồng quan mạng nơron nhân tạo  Chương : Mạng truyền thẳng nhiều lớp  Chương : Phân loại liệu mạng nơron  Hướng mở rộng đề tài  Kết luận Mặc dù nỗ lực, song kinh nghiệm kh ả n ă n g nghiên cứu khoa học cịn hạn chế nên khơng thể tránh khỏi thiếu sót Em mong nhận góp ý thầy cô bạn bè để hiểu biết ngày hồn thiện Em xin cám ơn thầy cô Trường Đại Học Bách Khoa Hà Nội truyền đạt kiến thức quý báu cho chúng em suốt trình học tập Đặc biệt, em xin bày tỏ lòng cảm ơn chân thành sâu sắc đến thầy giáo TS Vương Hoàng Nam, người tận tình hướng dẫn giúp đỡ em trình làm luận văn tốt nghiệp Xin cảm ơn tất bạn bè động viên, giúp đỡ tơi q trình học tập hoàn thành tốt luận văn Hà Nội, tháng 03 năm 2019 Chương 1: TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO 1.1 Giới thiệu mạng Nơron 1.1.1 Lịch sử phát triển mạng nơron Mạng nơron nhân tạo xây dựng từ năm 1940 nhằm mô số chức não người Dựa quan điểm cho não người điều khiển Mạng nơron nhân tạo thiết kế tương tự nơron sinh học có khả giải hàng loạt tốn tính tốn tối ưu, điều khiển, cơng nghệ robot… Q trình nghiên cứu phát triển nơron nhân tạo chia thành giai đoạn sau:  Giai đoạn 1: Có thể tính từ nghiên cứu William (1890) tâm lý học với liên kết nơron thần kinh Năm 1940 Mc Culloch Pitts cho biết nơron mơ hình hố thiết bị ngưỡng (Giới hạn) để thực phép tính logic mơ hình mạng nơron Mc Culloch – Pitts với giải thuật huấn luyện mạng Hebb đời năm 1943  Giai đoạn 2: Vào khoảng gần năm 1960, số mơ hình nơron hồn thiện đưa như: Mơ hình Perceptron Rosenblatt (1958), Adalile Widrow (1962) Trong mơ hình Perceptron quan tâm ngun lý đơn giản, có hạn chế Marvin Minsky Seymour papert MIT ( Massachurehs Insritute of Technology) chứng minh khơng dùng cho hàm logic phức (1969) Cịn Adaline mơ hình tuyến tính, tự chỉnh, dùng rộng rãi điều khiển thích nghi, tách nhiễu phát triển  Giai đoạn 3: Vào khoảng đầu thập niên 80 Những đóng góp lớn cho mạng nơron giai đoạn phải kể đến Grossberg, Kohonen, Rumelhart Hopfield Trong đóng góp lớn Hopfield gồm hai mạng phản hồi: Mạng rời rạc năm 1982 mạng liên tục năm 1984 Đặc biệt, ông dự kiến nhiều khả tính Trong “XEM DỮ LIỆU” bên phải xem lại dataset liệu vừa load: Hình 3.7 xem liệu 3.4 Đào tạo mạng 3.4.1 Chia liệu Nếu muốn chia liệu làm hai phần, phần để học phần để kiểm tra, dùng chức “Chia liệu” Sau cần chọn phần liệu để học sau việc chia liệu ngẫu nhiên thành hai phần Ví dụ : chia liệu thành 70% 30%, dùng 70% để học 30% để kiểm tra Dữ liệu ban đầu 150 mẫu sau chia ta có liệu học 105 hình vẽ 58 Hình 3.8 chia liệu 3.4.2 Chọn liệu học tham số Chọn số nơron cho lớp ẩn (hidden layer), số lần lặp, thời gian học MSE (Mean of Square Error) yêu cầu Có thể lựa chọn học thích nghi (tỉ lệ học biến đổi dựa vào MSE học Chọn hàm biến đổi cho lớp ẩn lớp Hình 3.9 Chọn liệu học tham số 59 3.4.3 Đào tạo mạng (training) Sau chọn số nơron cho lớp ẩn, chọn tỷ lệ liệu học thơng số cần thiết, lúc bắt đầu đào tạo mạng.Đây nút lệnh để đào tạo • Khởi tạo trọng số ban đầu: khởi tạo (Reset) lại trọng số ban đầu cho nút mạng • Đào tạo: đào tạo mạng • Load trọng số mạng từ File nhị phân: tải trọng số mạng từ file nhị phân có sẵn Lưu ý, thơng số mạng từ file nhị phân có sẵn khác với thơng số mạng tại, chương trình báo lỗi đưa kết sai • Lưu trọng số mạng vào File nhị phân: lưu trọng số mạng thời vào file nhị phân, mỗ giá trị số ghi với độ dài bytes • Lưu trọng số mạng vào File text: lưu trọng số mạng thời vào file text để kiểm tra giá trị nút mạng Trọng số mạng với inputs, hiddens outputs lưu file text bảng: 60 Hình 3.10 Nội dung file text chứa trọng số mạng với inputs, hiddens outputs Sau đào tạo mạng xong, thông tin lần học cuối mạng hiển thị box bên phải phía Hình 3.11 Thơng tin lần hoc cuối 61 3.4.4 Kiểm tra đồ thị lỗi Sau đào tạo mạng, kiểm tra lỗi q trình học checkbox “Xem chi tiết đồ thị lỗi” Dữ liệu lỗi lưu lại vào file text với nút lệnh “Lưu liệu lỗi” hình 3.12 minh họa tập liệu lỗi lưu file text Khi chọn checkbox “Xem chi tiết đồ thị lỗi” trước đào tạo mạng, đồ thị lỗi online tiến hành đào tạo, nhiên dùng chức thời gian đào tạo tăng lên đáng kể máy tính phải thêm việc vẽ đồ thị với đào tạo mạng Khi xem đồ thị checkbox “Xem chi tiết đồ thị lỗi”, xem chi tiết cho lần lặp cách kíck chuột vào đồ thị Hình 3.12 Đồ thị lỗi xem checkbox “Xem chi tiết đồ thị lỗi” Hình 3.13 minh họa đồ thị lỗi đồ thị tỷ lệ học (learning rate) khoảng lần lặp thứ 70 200 62 Hình 3.13 Chi tiết đồ thị lỗi Hình 3.14 Dữ liệu lỗi lưu file text 63 3.4.5 Kiểm tra đồ thị trọng số đầu vào trung bình nơron Kiểm tra biến đổi vài trọng số đầu vào trung bình số nơron trình học Bên trái hình 3.15 minh họa lựa chọn xem trọng số nơron lớp vào tới nơron lớp ẩn WIJ[0][2], trọng số từ nơron lớp ẩn tới nơ ron lớp WJK[3][1] Bên phải hình 3.15 minh họa lựa chọn xem đầu vào trung bình nơ ron ẩn số nơ ron số Chọn checkbox “Xem đồ thị” trước đào tạo mạng, đồ thị trọng số đầu vào online bạn tiến hành đào tạo, nhiên chọn checkbox “Xem chi tiết đồ thị lỗi”, dùng chức thời gian đào tạo tăng lên đáng kể máy tính phải thêm việc vẽ đồ thị với đào tạo mạng Hình 3.15 Chọn trọng số giá trị trung bình mợt số nơ ron học Hình 3.16 Đồ thị trọng số giá trị trung bình đầu vào mợt số nơron học 64 Hình 3.16 Minh họa đồ thị hai trọng số giá trị trung bình đầu vào hai nơron (đã chọn hình 15) học Dễ dàng nhận thấy mạng hội tụ (khi training error giảm gần tới 0) trọng số đầu vào trung bình nơ ron chọn hội tụ giá trị định 3.4.6 Xem đồ thị liệu đồ thị đầu mạng Trong phần “Load liệu” trình bày trên, bạn xem lại dataset liệu mà bạn vừa load giá trị mạng Trong Tab “Xem liệu” bạn xem đồ thị tồn liệu số lượng đầu vào đầu không lớn Bạn xem tồn liệu, xem liệu học xem liệu kiểm tra Các hình sau minh họa tồn liệu đầu vào, đầu mạng chưa học đầu mạng học Tuy nhiên sau học với 70% liệu, đầu thực tế mạng xấp xỉ đầu liệu học 65 Hình 3.17 Tồn bợ liệu đầu vào, đầu đầu mạng ban đầu (chưa học) Đầu thực tế mạng học gần giống với đầu liệu học Hình 3.18 Tồn bợ liệu đầu vào, đầu đầu mạng học 66 Hình 3.19 Chỉ xem liệu học (70%) Hình 3.20 Chỉ xem liệu kiểm tra (30%) 67 3.5 Nhận xét Chương trình mạng nơron Spice-MLP giúp chúng ta phân loại nhiều loại liệu khác giúp hiểu rõ hoạt động mạng nơron đa lớp (MultiLayer Neural Network) Ta dùng Spice-MLP để mơ hình hóa nhiều loại liệu khác áp dụng toán thực tế nhận dạng, nhóm, clustering, hỗ trợ định … 3.6 Kết luận chương  Mạng bị ảnh hưởng nhiều từ trạng thái khởi đầu tham số Trong trình học, mạng cố gắng điều chỉnh tham số cho tổng bình phương lỗi nhỏ Khả hội tụ mạng phụ thuộc vào tham số khởi đầu, cịn khả tổng qt hóa lại phụ thuộc nhiều vào liệu đầu vào Nếu liệu đầu vào q nhiều dẫn tới tình trạng luyện mạng nhiều thời gian khả tổng qt hóa kém, q liệu sai số tăng  Ngồi đặc trưng liệu, đặc trưng khác trình huấn luyện mạng cần quan tâm số lần thực điều chỉnh tham số mạng q dẫn đến tình trạng khả tổng quát hóa mạng Bởi vậy, số chu kỳ mẫu đưa vào mạng cần xem xét phải lớn ngưỡng (từ vài nghìn vài chục nghìn lần)  Để xem xét, đánh giá khả tổng quát hóa mạng, cần thực phân chia tập liệu thành tập: huấn luyện (training set) tập kiểm tra (test set) Tập liệu thử không đưa vào để kiểm tra hoạt động mạng để đảm bảo khách quan  Một vấn đề mạng nơron khả rơi vào điểm cực trị địa phương Thuật toán Lan truyền ngược lỗi không đảm bảo cho ta điểm cực trị toàn cục Nếu rơi vào điểm cực trị địa phương, ta phải bắt đầu huấn luyện lại, điều khiến cho mạng nơron áp dụng thực tế tốn u cầu độ xác cao thời gian tối thiểu Do đó, giải pháp sử 68 dụng hệ số học biến đổi hướng để vượt qua nhược điểm Ngồi ra, liệu phân bố không mẫu khả tổng qt hóa khơng tốt  Một điều nữa, mạng có khả khơng thể đạt đến trạng thái mong muốn, mà bỏ qua điểm cực trị Để tránh điều này, không nên đặt hệ số học lớn (cỡ 0.1 chẳng hạn), hệ số bước đà lớn (chẳng hạn 0.5) (do đặc trưng thuật toán lan truyền ngược sử dụng tham số bước đà)  Để đảm bảo khả đạt đến điểm cực tiểu, số đơn vị lớp ẩn cần đủ lớn Tuy nhiên, số đơn vị lớp ẩn vượt ngưỡng khả tổng qt hóa mạng kém, sau huấn luyện mạng có xu hướng ghi nhớ tất mẫu học Khi đó, nên xem xét đến khả sử dụng thêm lớp ẩn với số nơron nhỏ (vài nơron) giảm bớt số nơron lớp ẩn thứ 69 HƯỚNG MỞ RỘNG ĐỀ TÀI Nghiên cứu đầy đủ đặc điểm lớp toán để việc ứng dụng mạng nơ ron trở nên đơn giản nâng cao hiệu Cải tiến thuật toán lan truyền ngược cách kết hợp phương pháp khác thuật giải di truyền, logic mờ Mở rộng nghiên cứu kiến trúc mạng thuật toán huấn luyện khác, ứng dụng cho lớp toán khác phân cụm liệu, phục hồi liệu, Xây dựng phương pháp biểu diễn liệu cho nhiều kiểu liệu khác liệu dạng hình ảnh, âm thanh, văn bản, Phần mềm cần bổ sung nhiều tùy chọn cho phép người sử dụng mơ dễ dàng mơ hình mạng khác Trong bối cảnh nay, ứng dụng công nghệ thông tin ngày cao chuyển sang nghiên cứu hệ thống thông minh, mạng nơ-ron lên giải pháp nhiều hứa hẹn Mạng nơ-ron thể nhiều ưu điểm bật so với phương pháp khác khả mềm dẻo, linh hoạt khả ứng dụng rộng rãi Nhưng đòi hỏi phức tạp việc thiết kế mạng, khơng có phương pháp xác định số lớp ẩn số nơ-ron thích hợp 70 KẾT LUẬN Trong bối cảnh nay mà nghiên cứu chuyển hướng xây dựng hệ thống thông minh, Mạng nơron lên giải pháp đầy hứa hẹn Nó thể ưu điểm bật so với hệ thống khác khả mềm dẻo linh hoạt khả tính tốn thơ Đây điểm khác biệt óc người với máy tính thơng minh nhân tạo, mà địi hỏi độ phức tạp cao thiết kế cài đặt hệ thống ứng dụng để đạt tính tốt Điểm mấu chốt quy mô hệ thống số lượng nơron số lượng mức ẩn Khả cải thiện không ngừng tương lai với phát triển mạch phần cứng cỡ lớn nhớ ngày lớn cho máy vi tính Mạng nơron huấn luyện để xấp xỉ hàm mà không cần biết trước liên hệ đầu vào đầu Chúng hoạt động nhớ tự liên hợp cách sử dụng liệu đặc thù cho ứng dụng, toán lĩnh vực cụ thể Đó đặc trưng đem lại cho mạng nơron lợi mô hình khác, đặc trưng thứ lỗi Luận văn xây dựng dựa bước chập chững trình nghiên cứu lý thuyết mạng nơrron Hướng phát triển từ kết nghiên cứu từ mạng nơron, từ mô mạng nơron phần mềm SpiceMLP chúng ta xây dựng ứng dụng cụ thể mang tính chất thực tiễn lĩnh vực nhận dạng, phân loại liệu, dự đoán, điều khiển, xấp xỉ… Chắc chắn luận văn cịn thiếu sót, em mong nhận ý kiến đóng góp nhằm hồn thiện hiểu biết 71 TÀI LIỆU THAM KHẢO PGS.TSKH Trần Hoài Linh Mạng nơ ron ứng dụng xử lý tín hiệu, NXB Bách Khoa, 2014 Đinh Mạnh Tường, Trí tuệ nhân tạo, NXB Khoa học Kỹ thuật, 2002 Ts Nguyễn Như Hiểu Ts Lại Khắc Lãi Hệ mờ Nơron kỹ thuật điều khiển, Nhà xuất Khoa học tự nhiên Công nghệ, 2007 Nguyễn Đình Phúc, Mạng Nơron_Phướng pháp ứng dụng, Nhà xuất giáo dục, 2000 Bùi Cơng Cường Nguyễn Dỗn Phước Hệ Mờ Mạng Nơron Và Ứng Dụng, NXB Khoa học kỹ thuật, 2006 Dipti Srinivasan, A C Liew, John S., P Chen, Short term forecasting using neural network approach, IEEE 91TH0374-9/91/0000-0012, pp 12-16, 1991 Website: http://archive.ics.uci.edu/ml/datasets/Iris Website: http://spice.ci.ritsumei.ac.jp/~thangc/programs 72 ... ? ?Nghiên cứu mạng n? ?ron nhân tạo ứng dụng giải lớp toán phân loại ” Luận văn bao gồm nội dung sau:  Chương : Tồng quan mạng n? ?ron nhân tạo  Chương : Mạng truyền thẳng nhiều lớp  Chương : Phân. .. dụng mạng nơ- ron nhân tạo vào lớp toán dự đoán phân loại Xây dựng phần mềm cho phép người sử dụng mô ứng dụng nhanh chóng mạng nơ- ron nhân tạo để giải toán thuộc lớp toán phân loại dự đoán Ý nghĩa... tính ứng dụng thực tiễn cao cần thiết Mục tiêu nhiệm vụ Tìm hiểu đặc trưng mạng nơ- ron nhân tạo, khả nguyên tắc để ứng dụng thành công mạng nơ- ron nhân tạo thực tế Nghiên cứu ứng dụng mạng nơ- ron