Mạng rơron thích nghi nhờ anfis và ứng dụng

Số hóa bởi trung tâm học liệu http://lrc.tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG PHẠM THỊ HƢỜNG MẠNG NƠRON THÍCH NGHI MỜ ANFIS VÀ ỨNG DỤNG Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: PGS.TS Lê Bá Dũng Thái Nguyên, 2013 Số hóa bởi trung tâm học liệu http://lrc.tnu.edu.vn/ i LỜI CẢM ƠN Để hoàn thành chƣơng trình cao học và viết luận văn này, tôi đã nhận đƣợc sự hƣớng dẫn, giúp đỡ và góp ý nhiệt tình của quý thầy cô trƣờng Đại học Công nghệ thông tin và Truyền thông. Đăc biệt là những thầy cô ở Viện công nghệ thông tin Hà Nội đã tận tình dạy bảo cho tôi suốt thời gian học tập tại trƣờng. Tôi xin gửi lời cảm ơn sâu sắc đến PGS.TS Lê Bá Dũng đã dành nhiều thời gian và tâm huyết hƣớng dẫn tôi hoàn thành luận văn này. Mặc dù tôi đã có nhiều cố gắng hoàn thiện luận văn bằng tất cả năng lực của mình, tuy nhiên không thể tránh khỏi những thiếu sót, rất mong nhận đƣợc sự đóng góp quí báu của quí thầy cô và các bạn. Tôi xin chân thành cảm ơn! Số hóa bởi trung tâm học liệu http://lrc.tnu.edu.vn/ ii LỜI CAM ĐOAN Tôi xin cam đoan tất cả các nội dung của luận văn này hoàn toàn đƣợc hình thành và phát triển từ quan điểm của chính cá nhân tôi, dƣới sự hƣớng dẫn chỉ bảo của PGS.TS Lê Bá Dũng. Các số liệu kết quả có đƣợc trong luận văn tốt nghiệp là hoàn toàn trung thực. Học viên Phạm Thị Hƣờng Số hóa bởi trung tâm học liệu http://lrc.tnu.edu.vn/ iii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC CÁC TỪ VIẾT TẮT vi DANH MỤC CÁC HÌNH VẼ v MỞ ĐẦU 1 Chƣơng 1: TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO VÀ HỆ MỜ 2 1.1 Cấu trúc và mô hình mạng nơron 2 1.1.1 Mô hình một nơron sinh học 2 1.1.2 Cấu trúc và mô hình của một nơron nhân tạo 3 1.2 Cấu tạo và phƣơng thức làm việc của mạng nơron 5 1.2.1 Mạng nơron một lớp 8 1.2.2 Mạng nơron truyền thẳng nhiều lớp 9 1.2.3 Mạng nơron phản hồi 9 1.2.4 Mạng nơron hồi quy 9 1.2.5 Mạng Hopfield 9 1.2.6 Mạng BAM 11 1.3. Các luật học 12 1.3.1 Học có giám sát 12 1.3.2 Học không có giám sát 12 1.3.3 Học củng cố 13 1.4 Thuật toán lan truyền ngƣợc 14 1. 5 Hệ mờ và mạng nơron 20 1.5.1 Kiến trúc của hệ mờ tổng quát 20 1.5.2 Sự kết hợp giữa logic mờ và mạng nơron 26 1.6 Kết luận 28 Chƣơng 2: MÔ HÌNH MẠNG ANFIS VÀ KHẢ NĂNG ỨNG DỤNG 29 2.1 Hệ suy diễn mờ dựa trên mạng thích nghi 29 Số hóa bởi trung tâm học liệu http://lrc.tnu.edu.vn/ iv 2.1.1 Các mô hình kết hợp giữa hệ mờ và mạng nơron 29 2.1.2. Luật mờ if then và hệ thống suy diễn mờ 29 2.1.3 Mạng thích nghi 32 2.1.4 Cấu trúc của ANFIS 33 2.2 Thuật toán ANFIS 35 2.2.1 Thuật toán học lan truyền ngƣợc 35 2.2.2. Thuật toán học lai 35 2.3. Khả năng ứng dụng của mạng ANFIS 37 Chƣơng 3: ỨNG DỤNG MÔ HÌNH ANFIS TRONG BÀI TOÁN PHÂN TÍCH ĐÁNH GIÁ DỰ BÁO CÁC CHỈ SỐ KINH TẾ VÀ THỬ NGHIỆM 38 3.1 Bài toán dự báo chứng khoán 38 3.1.1 Một số khái quát cơ bản về thị trƣờng tài chính 38 3.1.2. Sự cần thiết của việc dự báo giá chứng khoán 40 3.1.3 Phân tích chứng khoán 40 3.1.4 Xác định giá mở cửa của thị trƣờng chứng khoán 41 3.2 Ứng dụng của mạng ANFIS trong việc dự báo chỉ số chứng khoán 42 3.2.1 Xây dựng mô hình hệ thống 42 3.2.2 Vấn đề xác định các quan hệ dữ liệu 42 3.2.3. Biến đổi và tiền xử lý dữ liệu 44 3.3 Chƣơng trình thử nghiệm 45 3.3.1 Các chức năng của chƣơng trình 45 3.3.2 Giao diện chƣơng trình 46 3.3.3 Đánh giá kết quả thực hiện chƣơng trình 50 KẾT LUẬN 51 TÀI LIỆU THAM KHẢO 52 Số hóa bởi trung tâm học liệu http://lrc.tnu.edu.vn/ v DANH MỤC CÁC TỪ VIẾT TẮT ANN Artificial Neural Network Mạng nơron nhân tạo ANFIS Adaptive Neuro Fuzzy Insference System Hệ suy luận mờ PE Processing Element Phần tử xử lý MLP Multilayer Perceptrons BAM Bidirectional Associative Memory MIMO Multi Input Multi Output Nhiều đầu vào – nhiều đầu ra MISO Multi Inpus Single Output Nhiều đầu vào – một đầu ra BP Back Propagation Lan truyền ngƣợc LSE Least Square Error Ƣớc lƣợng sai số bình phƣơng tối thiểu TTCK Thị trƣờng chứng khoán DIIA Chỉ số trung bình ngành công nghiệp TSE Chỉ số tổng hợp NYSE Chỉ số tổng hợp thị trƣờng chứng khoán New York ASE Chỉ số tổng hợp thị trƣờng chứng khoán Hoa Kỳ Số hóa bởi trung tâm học liệu http://lrc.tnu.edu.vn/ vi DANH MỤC CÁC HÌNH VẼ Hình 1.1 Một nơron sinh học 2 Hình 1.2. Sự liên kết các nơron 3 Hình 1.3 Mô hình một nơron nhân tạo 3 Hình 1.4 Đồ thị các dạng hàm truyền 5 Hình 1.5 Mạng nơron ba lớp 6 Hình 1.6 Một số dạng mạng nơron 8 Hình 1.7 Cấu trúc của mạng Hopfield 10 Hình 1.8 Cấu trúc của BAM 11 Hình 1.9 Học có giám sát 12 Hình 1.10 Học không có giám sát 13 Hình 1.11 Học củng cố 13 Hình 1.12: Mạng 3 lớp lan truyền ngƣợc 14 Hình 1.13 Kiến trúc của hệ mờ tổng quát 20 Hình 1.14 Hệ mờ nhiều đầu vào một đầu ra 21 Hình 1.15 Hàm thuộc hệ mờ một đầu vào một luật 23 Hình 1.16 Hàm thuộc hệ mờ hai đầu vào một luật 24 Hình 1.17 . Mô hình hệ mờ - nơ ron 27 Hình 2.1 Hệ suy diễn mờ 30 Hình 2.2 Mạng thích nghi 32 Hình 2.3. Cấu trúc của ANFIS 33 Hình 3.1 Ví dụ đồ thị biểu diễn chỉ số VNINDEX trong một ngày 42 Hình 3.2 Giao diện chƣơng trình 46 Hình 3.3 Nhập dữ liệu 46 Hình 3.4 Cấu hình cho fis 47 Hình 3.5 Các tham số huấn luyện 47 Hình 3.6 Kết quả kiểm tra 48 Hình 3.7 Lựa chọn hiển thị 49 Hình 3.8. Thông số ANFIS 49 Số hóa bởi trung tâm học liệu http://lrc.tnu.edu.vn/ 1 MỞ ĐẦU Ngày nay các mạng noron nhân tạo (ANN) đã đƣợc ứng dụng thành công, các nhà khoa học và các kĩ sƣ trong những năm gần đây đã có nhiều nghiên cứu ứng dụng trong việc xấp xỉ hàm, nhận dạng và điều khiển, xử lý ảnh, dự đoán chuỗi thời gian … Các hệ mờ - noron và các công cụ thống kê là các phƣơng pháp khác nhau đƣợc sử dụng dự đoán các chỉ số kinh tế, tài chính. Các mạng noron chứa một số lƣợng lớn các tham số đầu vào cho phép việc học bên trong các quan hệ không tuyến tính hiện tại trong chuỗi thời gian, tăng cƣờng khả năng dự báo. ANN đã đƣợc ứng dụng thành công cho việc dự báo tài chính và chỉ số thị trƣờng quan trọng. Dự báo giá chứng khoán luôn luôn là đối tƣợng thu hút sự quan tâm của nhà đầu tƣ và các chuyên gia phân tích. Tuy nhiên, việc tìm thời điểm ra tốt nhất đề mua hay bán vẫn còn là công việc rất khó khăn bởi vì có rất nhiều yếu tố ảnh hƣởng tới chứng khoán. Trong những năm gần đây, thị trƣờng chứng khoán và các thƣơng gia đã tin tƣởng và sử dụng các hệ thống thông minh khác nhau, trong đó ANN và hệ suy diễn mờ - noron (ANFIS) cũng đƣợc ứng dụng trong lĩnh vực này. Các phần mềm tính toán đƣợc ứng dụng trong dự báo chứng khoán và các phần mềm này sử dụng số lƣợng các đầu vào, nhƣ chỉ số kĩ thuật, các yếu tố định tính, các ảnh hƣởng chính trị, dự báo thị trƣờng chứng khoán tự động và phân tích các chiều hƣớng . Trong Luận văn này, em sử dụng ANFIS trong việc dự báo chỉ số thị trƣờng chứng khoán, Luận văn bao gồm các nội dung sau: Chƣơng 1:Tổng quan về mạng Nơron nhân tạo và hệ mờ Chƣơng 2: Mô hình mạng ANFIS và khả năng ứng dụng Chƣơng 3:Ứng dụng mô hình Anfis trong bài toán phân tích, đánh giá, dự báo các chỉ số kinh tế và thử nghiệm. Số hóa bởi trung tâm học liệu http://lrc.tnu.edu.vn/ 2 Chƣơng 1 TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO VÀ HỆ MỜ 1.1 Cấu trúc và mô hình mạng nơron 1.1.1 Mô hình một nơron sinh học Phần tử xử lý cơ bản của một mạng nơron sinh học là một nơron, phần tử này có thể chia làm bốn thành phần cơ bản nhƣ sau: dendrites, soma, axon, và synapses. - Dendrites: là phần nhận tín hiệu đầu vào. - Soma: là hạt nhân. - Axon: là phần dẫn ra tín hiệu xử lý. - Synapses: là đƣờng tín hiệu điện hóa giao tiếp giữa các nơron. Kiến trúc cơ sở này của bộ não con ngƣời có một vài đặc tính chung. Một cách tổng quát, thì một nơron sinh học nhận đầu vào từ các nguồn khác nhau, kết hợp chúng lại với nhau, thực thi tổ hợp phi tuyến chúng để cho ra kết quả cuối cùng ở đầu ra. Hình 1.1 chỉ ra mối quan hệ giữa bốn phần tử của một nơron sinh học. Hình 1.1 Một nơron sinh học Một nơron sinh học chỉ có một số chức năng cơ bản nhƣ vậy, ta nhận thấy khả năng xử lý thông tin của nó là rất yếu. Để có đƣợc khả năng xử lý thông tin hoàn hảo nhƣ bộ não con ngƣời, thì các nơron phải kết hợp và trao đổi thông tin với nhau. Ta hình dung sơ đồ liên kết, và trao đổi thông tin giữa hai nơron nhƣ hình 1.2. Số hóa bởi trung tâm học liệu http://lrc.tnu.edu.vn/ 3 Hình 1.2. Sự liên kết các nơron 1.1.2 Cấu trúc và mô hình của một nơron nhân tạo Mô hình toán học của một nơron nhân tạo đƣợc đề xuất bởi McCulloch và Pitts, thƣờng đƣợc gọi là nơron M-P, ngoài ra nó còn đƣợc gọi là phần tử xử lý và đƣợc ký hiệu là PE (Processing Element). Mô hình nơron có m đầu vào x 1 , x 2 , , x m , và một đầu ra y i nhƣ sau: Hình 1.3 Mô hình một nơron nhân tạo Giải thích các thành phần cơ bản: - Tập các đầu vào: Là các tín hiệu vào của nơron, các tín hiệu này thƣờng đƣợc đƣa vào dƣới dạng một vector m chiều. - Tập các liên kết (các trọng số): Mỗi liên kết đƣợc thể hiện bởi một trọng số (thƣờng đƣợc gọi là trọng số liên kết). Trọng số liên kết giữa tín hiệu [...]... nhiễu Mạng nơron kiểu này đƣợc ứng dụng trong lĩnh vực hoàn thiện mẫu, trong đó có một ứng dụng cụ thể là nhận dạng chữ viết  Nhiệm vụ tổng quát của một mạng nơron là lƣu giữ động các thông tin Dạng thông tin lƣu giữ này chính là quan hệ giữa các thông tin đầu vào và các đáp ứng đầu ra tƣơng ứng, để khi có một kích thích bất kỳ tác động vào mạng, mạng có khả năng suy diễn và đƣa ra một đáp ứng phù... trong mạng cũng đƣợc nối với một hoặc vài nơron khác) Mạng nơron bao gồm một hay nhiều lớp trung gian đƣợc gọi là mạng Multilayer Perceptrons) (MLP-Network) Mạng nơron khi mới đƣợc hình thành thì chƣa có tri thức, tri thức của mạng sẽ đƣợc hình thành dần dần sau một quá trình học Mạng nơron đƣợc học bằng cách đƣa vào những kích thích, và mạng hình thành những đáp ứng tƣơng ứng, những đáp ứng tƣơng ứng. .. hồi quy nhƣ hình 1.6d Mạng nơron hồi quy có trọng số liên kết đối xứng nhƣ mạng Hopfield, mạng luôn hội tụ về trạng thái ổn định (Hình 1.6.b) Mạng BAM thuộc nhóm mạng nơron hồi quy, gồm 2 lớp liên kết 2 chiều, không đƣợc gắn với tín hiệu vào/ra Nghi n cứu mạng nơron hồi quy mà có trọng số liên kết không đối xứng, thì sẽ gặp phải vấn đề phức tạp nhiều hơn so với mạng truyền thẳng và mạng hồi quy có trọng... liệu vào/ra Song nhƣợc điểm cơ bản của mạng nơron là khó giải thích rõ ràng hoạt động của mạng nơron nhƣ thế nào Do vậy việc chỉnh sửa trong mạng nơron rất khó khăn Hai tiêu chí cơ bản trợ giúp cho ngƣời thiết kế ở logic mờ và ở mạng nơron thể hiện trái ngƣợc nhau Tiêu chí Thể hiện tri thức Mạng nơron Logic mờ Không tƣờng minh, khó Tƣờng minh, dễ kiểm chứng giải thích và khó sửa đổi hoạt động và dễ... hình mạng nơron nhân tạo Hệ thống nơron mờ nói chung và hệ thống suy diễn nơron thich nghi mờ nói riêng đã đƣợc ứng dụng rộng rãi trong nhiều lĩnh vực Trong lĩnh vực tài chính ngân hàng, dự báo các chỉ số kinh tế, dự báo chỉ số tài chính sử dụng mạng nơron đã đƣợc đề cập trong nhiều công trình nghi n cứu Số hóa bởi trung tâm học liệu http://lrc.tnu.edu.vn/ 29 Chƣơng 2 MÔ HÌNH MẠNG ANFIS VÀ KHẢ NĂNG ỨNG. .. http://lrc.tnu.edu.vn/ 29 Chƣơng 2 MÔ HÌNH MẠNG ANFIS VÀ KHẢ NĂNG ỨNG DỤNG 2.1 Hệ suy diễn mờ dựa trên mạng thích nghi 2.1.1 Các mô hình kết hợp giữa hệ mờ và mạng nơron -Neural Fuzzy system: Sử dụng mạng nơron nhƣ là công cụ trong mô hình mờ -Fuzzy Neural Network: Mờ hoá mô hình mạng nơron -Fuzzy-Neural Hybrid System: Kết hợp kỹ thuật mờ và mạng nơron vào trong các hệ lai Trong cách tiếp cận thứ nhất hệ thống... một vòng giới hạn 1.2.6 Mạng BAM Mạng BAM bao gồm hai lớp và đƣợc xem nhƣ là trƣờng hợp mở rộng của mạng Hopfield Ở đây ta chỉ xét mạng rời rạc, vì nó đơn giản và dễ hiểu Hình 1.8 Cấu trúc của BAM Khi mạng nơron đƣợc tích cực với giá trị đầu vào của vector tại đầu vào của một lớp, mạng sẽ có hai mẫu trạng thái ổn định, với mỗi mẫu tại đầu ra của nó là một lớp Tính động học của mạng thể hiện dƣới dạng... đầu vào Ai, i=1 n và một luật Luật: Nếu x1 là A1 và x2 là A2 và và xn là An thì z là C Sự kiện: x1 là A1‟ và x2 là A2‟ và và xn là An‟ Kết luận: z là C‟  c ' (z) = min { ( min i 1 n h A'i  Ai ),  C (z)} (1.35) Minh họa: Số hóa bởi trung tâm học liệu http://lrc.tnu.edu.vn/ 24   A‟ A  B‟ B h1 C h2 x C‟ y z Hình 1.16 Hàm thuộc hệ mờ hai đầu vào một luật Trƣờng hợp nhiều đầu vào và. .. gồm nhiều nơron có cùng chức năng trong mạng Hình 1.5 là mô hình hoạt động của một mạng nơron 3 lớp với 8 phần tử nơron Mạng có ba đầu vào là x1, x2, x3 và hai đầu ra y1, y2 Các tín hiệu đầu vào đƣợc đƣa đến 3 nơron đầu vào, 3 nơron này làm thành lớp đầu vào của mạng Các nơron trong lớp này đƣợc gọi là nơron đầu vào Đầu ra của các nơron này đƣợc đƣa đến đầu vào của 3 nơron tiếp theo, 3 nơron này không... mẫu của mạng nơron Để thực hiện chức năng này, mạng nơron đóng vai trò nhƣ một bộ phận tổ chức các nhóm thông tin đầu vào, và tƣơng ứng với mỗi nhóm là một đáp ứng đầu ra phù hợp Nhƣ vậy, một nhóm bao gồm một loại thông tin đầu vào và một đáp ứng đầu ra Các nhóm có thể đƣợc hình thành trong quá trình học, và cũng có thể không hình thành trong quá trình học Hình 1.6 là một số liên kết đặc thù của mạng . quan về mạng Nơron nhân tạo và hệ mờ Chƣơng 2: Mô hình mạng ANFIS và khả năng ứng dụng Chƣơng 3 :Ứng dụng mô hình Anfis trong bài toán phân tích, đánh giá, dự báo các chỉ số kinh tế và thử nghi m thức của mạng sẽ đƣợc hình thành dần dần sau một quá trình học. Mạng nơron đƣợc học bằng cách đƣa vào những kích thích, và mạng hình thành những đáp ứng tƣơng ứng, những đáp ứng tƣơng ứng phù. 1. 5 Hệ mờ và mạng nơron 20 1.5.1 Kiến trúc của hệ mờ tổng quát 20 1.5.2 Sự kết hợp giữa logic mờ và mạng nơron 26 1.6 Kết luận 28 Chƣơng 2: MÔ HÌNH MẠNG ANFIS VÀ KHẢ NĂNG ỨNG DỤNG 29 2.1