Mạng nơ ron truyền thẳng huấn luyện bằng thuật toán lai GA BP và ứng dụng trong bài toán dự báo khí ga

i MỤC LỤC MỤC LỤC i DANH MỤC CÁC TỪ VIẾT TẮT iii DANH MỤC CÁC BẢNG iv DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ v MỞ ĐẦU CHƯƠNG I: CÁC KHÁI NIỆM CƠ BẢN 1.1 Các khái niệm mạng nơron nhân tạo 1.1.1 Lịch sử phát triển mạng nơron nhân tạo 1.1.2 Mạng nơron sinh học mạng nơron nhân tạo 1.1.3 Các luật học 11 1.2.Các khái niệm thuật toán di truyền 12 1.2.1 Ý tưởng giải thuật di truyền 13 1.2.2 Một số cách biểu diễn lời giải giải thuật di truyền 15 1.2.3 Cấu trúc giải thuật di truyền 17 CHƯƠNG II: MẠNG NƠ RON TRUYỀN THẲNG HUẤN LUYỆN BẰNG THUẬT TOÁN LAI GA-BP 22 2.1 Mạng nơron truyền thẳng nhiều lớp 22 2.1.1 Kiến trúc mạng nơron truyền thẳng nhiều lớp 22 2.1.2 Khả thể 23 2.1.3 Vấn đề thiết kế cấu trúc mạng 24 2.2 Thuật toán lan truyền ngược (Back-Propagation) 27 2.2.1 Mô tả thuật toán 27 2.2.2 Sử dụng thuật toán lan truyền ngược 32 2.2.3 Một số biến thể thuật toán lan truyền ngược 34 2.2.4 Vấn đề tìm kiếm điểm cực tiểu 35 ii 2.3 Huấn luyện mạng nơ ron truyền thẳng nhiều lớp thuật toán lai GABP 37 2.3.1.Giải thuật di truyền việc huấn luyện mạng nơ ron truyền thẳng nhiều lớp 37 2.3.2 Ghép nối với giải thật lan truyền ngược sai số 39 CHƯƠNG III : ỨNG DỤNG MẠNG NƠ RON TRUYỀN THẲNG TRONG BÀI TOÁN DỰ BÁO KHÍ GA 41 3.1 Sơ lược lĩnh vực dự báo liệu 41 3.2 Mạng nơ ron truyền thẳng dự báo liệu 42 3.3 Các bước việc thiết kế mô hình mạng nơ ron dự báo 46 3.4 Ứng dụng mô hình toán dự báo khí ga 50 3.4.1 Phát biểu toán 50 3.4.2 Mô hình dự báo 52 3.4.3 Chương trình dự báo 56 KẾT LUẬN 65 TÀI LIỆU THAM KHẢO 66 iii DANH MỤC CÁC TỪ VIẾT TẮT STT TỪ VIẾT TẮT NGHĨA TIẾNG VIỆT Mạng nơron nhân tạo TIẾNG ANH Artificial Neural ANN GA MLFF Mạng truyền thẳng nhiều lớp LMS Bình phương lỗi nhỏ Least Means Square BP Thuật toán lan truyền ngược Back-Propagation MAPE Giải thuật di truyền Network Genetic Algorithsm Multi-layer Forward giá trị trung bình tuyệt đối Mean phần trăm lỗi Feed absolute percentage error iv DANH MỤC CÁC BẢNG Bảng 1.1: Ví dụ dùng phép tái tạo 18 Bảng 1.2: Ví dụ dùng phép đột biến 20 Bảng 3.1: Dữ liệu đầu vào 52 Bảng 3.2: Dữ liệu theo khuôn dạng mã hóa 54 v DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ Hình 1.1: Cấu trúc nơron sinh học điển hình Hình 1.2: Mô hình nơron nhân tạo Hình 1.3: Một số hàm chuyển Hình 1.4: Mạng nơron truyền thẳng nhiều lớp 10 Hình 1.5: Mô hình mạng hồi quy 10 Hình 1.6: Sơ đồ học có giám sát 11 Hình 1.7: Sơ đồ học tăng cường 12 Hình 1.8: Sơ đồ học không giám sát 12 Hình 1.9: Sự sinh sản đơn giản phân bố chuỗi cháu nhờ sử dụng bánh xe Roulette với khe hở tỷ lệ với độ thích nghi 19 Hình 1.10: Sơ đồ giải thuật di truyền 21 Hình 2.1: Mạng nơron truyền thẳng nhiều lớp 22 Hình 2.2: Xác định tần số 36 Hình 2.3: Giảm kích thước tần số không chắn 36 Hình 2.4 : Sơ đồ khối tổng thể thuật toán lai GA-BP 40 Hình 3.1: Xử lý liệu 44 Hình 3.2: Kiến trúc mạng nơ ron toán ứng dụng 45 Hình 3.3: Màn hình ban đầu chương trình 60 Hình 3.4: Tệp liệu mã hóa 60 Hình 3.5: Nhập tham số cấu trúc mạng 61 Hình 3.6: Nhập tham số giải thuật di truyền 62 Hình 3.7: Tìm kiếm giải thuật di truyền 62 Hình 3.8a: Huấn luyện giải thuật BP 63 Hình 3.78: Huấn luyện giải thuật BP 64 Hình 3.9 Dự báo liệu 64 MỞ ĐẦU Dự báo liệu toán quan trọng khai phá liệu học máy nhằm tìm quy luật liệu Dự báo liệu mang lại nhiều lợi ích thiết thực phụ vụ người, giúp người nắm bắt quy luật vận động tự nhiên đời sống kinh tế xã hội Nguyên lý dự báo liệu dựa vào liệu lịch sử để xây dựng mô hình nhằm dự báo liệu tương lai Ngày nay, kho liệu ngày lớn, ngày phức tạp đa dạng Để xây dựng mô hình dự báo hiệu liệu khổng lồ phức tạp này, nhà khoa học nỗ lực nghiên cứu phương pháp mô tư óc người nhằm xây dựng mô hình dự báo hiệu nhất, đặc biệt phương pháp “học có thầy”, mạng nơron nhân tạo công cụ điển hình Mạng nơ ron nhân tạo lớp mô hình tính toán mô hoạt động não người Các mô hình sử dụng cấu trúc mạng đỉnh gọi nơ ron Các nơ ron xử lý tín hiệu số từ môi trường bên nơ ron khác mạng gửi tới qua kết nối sau gửi tín hiệu đến nơ ron khác môi trường [7, 8] Mạng nơron truyền thẳng lớp mạng nơron nhân tạo thực tiễn chứng minh mạnh hiệu toán dự báo, phân tích liệu [12, 13, 16] Các mạng nơ ron truyền thằng phải huấn luyện trước sử dụng để thực thi toán dự báo thực tế Với cấu trúc mạng chọn, trình huấn luyện mạng trình hiệu chỉnh trọng số mạng thường phát biểu dạng toán tối thiểu hoá hàm sai số huấn luyện Thủ tục huấn luyện cần thuật toán tìm kiếm có khả tìm lời giải toàn cục, không phụ thuộc vào trình khởi động số ban đầu Ngoài ra, thuật toán phải có khả tìm kiếm hiệu không gian nhiều chiều số lượng trọng số mạng nơ ron lớn Thuật toán di truyền (Genetic Algorithm), viết tắt thuật toán GA, thuật toán tìm kiếm dựa trình chọn lọc tự nhiên, di truyền tiến hóa Nền tảng toán học thuật toán GA tác giả J.H.Holland công bố sách “Sự thích nghi hệ thống tự nhiên nhân tạo” [8] Thuật toán GA xem phương pháp tìm kiếm có bước chuyển ngẫu nhiên mang tính tổng quát để giải toán tối ưu hoá Với đặc thù riêng mình, thuật toán GA sử dụng hiệu thủ tục huấn luyện mạng nơ ron [4, 14, 15, 17] Tuy nhiên, thuật toán GA gặp khó khăn hội tụ Thuật toán GA đơn giản Holland đề xuất chứng minh không bảo đảm hội tụ không hội tụ tới lời giải toàn cục [3] Ngoài ra, giải pháp cải tiến chiến lược thay toán tử đột biến giúp cho thuật toán GA hội tụ, hội tụ dễ dẫn đến tượng hội tụ sớm, nghĩa thuật toán kết thúc cực trị địa phương mà khả tìm thấy cực trị toàn cục [3] Thuật toán huấn luyện kinh điển lan truyền ngược sai số Back Propagation, gọi tắt thuật toán BP, sử dụng rộng rãi việc huấn luyện mạng nơ ron truyền thẳng Thuật toán đảm bảo hội tụ dễ hội tụ cực trị địa phương mà khả tìm kiếm cực trị toàn cục Mặt khác, kết huấn luyện thuật toán phụ thuộc vào nhiều yếu tố, đặc biệt trình khởi động trọng số ban đầu [9, 10,14, 15] Do nhu cầu phải xây dựng thuật toán vừa có khả tìm kiếm lời giải toàn cục, vừa phải đảm bảo hội tụ để huấn luyện cho mạng nơ ron truyền thẳng thực thi toán dự báo thực tế, luận văn tập trung nghiên cứu giải pháp tích hợp thuật toán GA với thuật toán BP, gọi tắt thuật toán lai GA-BP, việc huấn luyện mạng nơ ron truyền thẳng [11] Trên sở đó, luận văn trình bày bước để xây dựng mô hình mạng nơ ron dự báo liệu ứng dụng mô hình toán dự báo sử dụng khí ga Nội dung luận văn tổ chức thành chương có nội dung mô tả Chương I Các khái niệm Chương trình bày lý thuyết mạng nơ-ron nhân tạo, khái niệm cải tiến thuật toán di truyền Chương II Mạng nơ ron truyền thằng huấn luyện thuật toán lai GA-BP Chương II nghiên cứu mạng nơ ron truyền thẳng thuật toán lan truyền ngược sai số (thuật toán BP), số vấn đề hội tụ thuật toán BP Đồng thời nghiên cứu giải pháp tích hợp thuật toán GA với thuật toán BP thành thuật toán lai GA-BP sử dụng thuật toán lai GA-BP để huấn luyện mạng nơ ron truyền thẳng Chương III Ứng dụng mạng nơ ron truyền thẳng toán dự báo sử dụng khí ga Cài đặt thuật toán lai GA-BP thử nghiệm thuật toán để huấn luyện mạng nơ ron truyền thẳng Xây dựng mô hình mạng nơ ron dự báo thử nghiệm mô hình với toán dự báo sử dụng khí ga Phần kết luận: Tổng kết kết đạt luận văn hướng phát triển nghiên cứu CHƯƠNG I: CÁC KHÁI NIỆM CƠ BẢN 1.1 Các khái niệm mạng nơron nhân tạo 1.1.1 Lịch sử phát triển mạng nơron nhân tạo Mạng nơron nhân tạo (Artificial Neural Network-ANN) hệ thống xử lý thông tin theo cách thức xử lý thông tin hệ nơron sinh học Nó tạo lên từ số lượng lớn phần tử (gọi phần tử xử lý hay nơron) kết nối với thông qua liên kết (gọi trọng số liên kết) làm việc thể thống để giải vấn đề cụ thể Các phần tử liên kết với hoạt động song song Bởi mạng nơron nhân tạo có hành vi não người với khả học (learning) tái tạo (recall) lại dạy; tổng hợp thông tin từ luyện tập mẫu liệu Đây lý khiến mạng nơron nhân tạo phát triển mạnh mẽ ứng dụng nhiều thực tế, đặc biệt lĩnh vực dự báo, nhận dạng, điều khiển Năm 1943, Warrem McCulloch nhà toán học Walter Pitts rằng: nguyên tắc mạng nơron nhân tạo tính toán hàm số học hay logic Cuối thập kỷ này, Donald Hebb đưa luật thích nghi mạng nơron Đầu thập kỷ năm 1950, Friedrick Hayek người khẳng định ý tưởng trật tự tự phát não xuất phát từ mạng phân tán gồm nơron Đến năm 1958, Rosenblatt đưa cấu trúc Percepton có ứng dụng thực nghiệm Nhưng đến năm 1969, Minsky Papert phân tích đắn cấu trúc này, chứng minh tính chất rõ giới hạn số mô hình Năm 1974 Paul Werbos phát triển ứng dụng phương pháp học lan truyền ngược BP ( back-propagation) Tuy nhiên phải vài năm phương pháp trở lên phổ biến Các mạng lan truyền ngược biết đến nhiều áp dụng rộng dãi nhất ngày Năm 1982 báo gửi tới viện khoa học quốc gia, John Hopfield phân tích toán học rõ ràng, mạch lạc, ông cách thức mạng nơron làm việc công việc chúng thực Cống hiến Hopfield không giá trị nghiên cứu khoa học mà thúc đẩy trở lại nghiên cứu mạng neuron Cũng thời gian này, hội nghị với tham gia Hoa Kỳ Nhật Bản bàn việc hợp tác/cạnh tranh lĩnh vực mạng nơron tổ chức Kyoto, Nhật Bản Sau hội nghị, Nhật Bản công bố nỗ lực họ việc tạo máy tính hệ thứ Tiếp nhận điều đó, tạp chí định kỳ Hoa Kỳ bày tỏ lo lắng nước nhà bị tụt hậu lĩnh vực Vì thế, sau đó, Hoa Kỳ nhanh chóng huy động quĩ tài trợ cho nghiên cứu ứng dụng mạng neuron Năm 1985, viện vật lý Hoa Kỳ bắt đầu tổ chức họp hàng năm mạng neuron ứng dụng tin học (Neural Networks for Computing) Năm 1987, hội thảo quốc tế mạng neuron Viện kỹ sư điện điện tử IEEE (Institute of Electrical and Electronic Engineer) thu hút 1800 người tham gia Ngày nay, không dừng lại mức nghiên cứu lý thuyết, nghiên cứu ứng dụng mạng nơron để giải toán thực tế diễn khắp nơi Các ứng dụng mạng nơron đời ngày nhiều ngày hoàn thiện Điển hình ứng dụng: xử lý ngôn ngữ (Language Processing), nhận dạng kí tự (Character Recognition), nhận dạng tiếng nói (Voice Recognition), nhận dạng mẫu (Pattern Recognition), xử lý tín hiệu (Signal Processing), Lọc liệu (Data Filtering),… 1.1.2 Mạng nơron sinh học mạng nơron nhân tạo 1.1.2.1 Mạng nơron sinh học Qua trình nghiên cứu não, người ta thấy rằng: não người bao gồm khoảng 1011 nơron tham gia vào khoảng 1015 kết nối 53 Tiền xử lý Với liệu cho, thiết lập mô hình phản ánh sáu hiệu ứng sau: Nhiệt độ: Chính giá trị thực Tốc độ gió: Thể giá trị thực Giờ ngày: Thể 24 tiếng ngày: 0, 1, 2… 23 Ngày tuần: Thể ngày Chủ nhật, thứ Hai, thứ Ba, thứ Tư, thứ Năm, thứ Sáu, thứ Bảy số 0, 1, 2, 3, 4, 5, tương ứng Ngày cuối tuần: thể thứ Hai, thứ Ba, thứ Tư, thứ Năm, thứ Sáu 0; thứ Bảy Chủ nhật Tháng năm: thể 12 tháng giá trị từ đến 11 Rõ ràng hiệu ứng biến có thứ tự Giá trị chúng đưa vào mạng chúng vốn có Các hiệu ứng lại biến phân loại Ta biết rằng, biến phân loại, sử dụng phương pháp one-effect-one-unit (chỉ dùng có 1+1+1+1+1+1=6 đơn vị đầu vào) Phương pháp chúng gây trật tự nhân tạo giá trị chúng giảm nhiều số lượng đầu vào, từ làm đơn giản mô hình Tất liệu đưa vào mạng chuẩn hóa khoảng (0,1) theo công thức: SV = OV*(0.9-0.1) / (MAX – MIN) Trong đó: OV: Giá trị trước biến đổi SV: Giá trị sau biến đổi (giá trị đưa vào mạng) MAX, MIN: Giá trị lớn nhất, giá trị nhỏ tập giá trị 0.9-0.1: Giá trị lớn nhất, giá trị nhỏ hàm Sigmoid Tập liệu tạo cách sử dụng bảng tính, liệu theo khuôn dạng nói mã hóa thành dạng đây: 54 Bảng 3.2: Dữ liệu theo khuôn dạng mã hóa Nhiệt độ Tốc độ gió Giờ Ngày Ngày Tháng tuần cuối tuần 37 00 1 1168 37 01 1 1213 37 02 1 1316 37 03 1 1417 37 04 1 1534 37 05 1 1680 36 06 1 1819 34 07 1 1967 Sử dụng Ngoài ra, liệu chưa tốt cần xử lý, chẳng hạn giá trị nằm khoảng giá trị thực tế, Tất liệu đầu vào đưa khoảng [0,1] Dữ liệu Mạng sau huấn luyện sử dụng để dự báo liệu Tệp dự báo liệu tệp TXT chứa số liệu dự báo mức sử dụng khí ga Kiến trúc mạng Mạng bao gồm lớp ra, lớp ẩn Đầu vào mạng nhiệt độ, gió, giờ, ngày tuần, ngày cuối tuần, tháng; đầu mạng mức sử dụng khí ga 55 bias bias Nhiệt độ Tốc độ gió Mực sử dụng khí ga Giờ ngày Ngày tuần Cuối tuần Tháng năm Lớp vào Lớp ẩn Lớp Hình 3.2 Kiến trúc mạng nơ ron toán ứng dụng Mạng yêu cầu số đơn vị lớp ẩn vừa đủ để học đặc trưng tổng quát mối quan hệ nhân tố đầu vào đầu Mục tiêu phải sử dụng số đơn vị lớp ẩn tốt, đồng thời trì khả mạng học mối quan hệ liệu Số nơ ron lớp ẩn xác định cách huấn luyện số tập kiểm tra Các hàm kích hoạt đơn vị lớp ẩn hàm sigmoid Đối với đơn vị lớp ta chọn hàm đồng Thiết kế liệu Giải thuật di truyền: Các toán tử giải thuật di tryền hoạt động mức chuỗi nên cấu trúc liệu quần thể chuỗi Cấu trúc liệu sử dụng bảng hai chiều với hàng cá thể số cột độ dài cá thể Do độ dài cá thể số cá thể thường xuyên biến động nên bảng hai chiều cấp phát động Hai quần thể cũ định nghĩa hai trỏ đến hai bảng hai chiều có kích thước động Oldpop(), NewPop() 56 Với quần thể cá thể hai véc tơ cấp pháp động số thực nhằm ghi nhận giá trị hàm mục tiêu tương ứng với cá thể giá trị sức khỏe tương ứng: Objective(), Fitness() Các biến Popsize ghi số cá thể quần thể, Pcross ghi xác suất tạp lai Pmutation ghi xác suất đột biến, gen ghi số hệ cần tiến hóa độ dài chuỗi Lchrom Mạng nơ ron Mạng nơ ron truyền thẳng cài đặt gồm lớp: lớp vào, lớp ẩn, lớp Để tích hợp giải thuật GA BP cần cần sử dụng bảng hai chiều cấp phát động GA-Weights() để lưu trữ trọng số mạng hệ tiến hóa, số cột số trọng số mạng, số hàng số cá thể quần thể Mỗi hàng bảng tương ứng với trọng số mạng Việc đưa vào mạng trọng số nhờ thủ tục GA-loadWeight() lớp Network Đồng thời sử dụng bảng hai chiều BP-Weights() để lưu trữ 0.05*N trọng số kết giải thuật sau gen hệ tiến hóa làm đầu vào cho giải thuật BP Số liệu mẫu tổ chức số liệu Số liệu thực nghiệm tổ chức tệp số liệu Các cặp véc tơ tín hiệu vào tín hiệu viết dòng Do hàm biến đổi mạng dùng hàm Sigmoid nên số liệu chương trình tự động tỷ lệ hóa tuyến tính khoảng [0.1, 0.9] Tập liệu sau tỷ lệ hóa lưu trữ hai véc tơ cấp phát động Inputs(), Expected_outputs() 3.4.3 Chương trình dự báo Sơ đồ chương trình sau: Vào - Tên file chứa sỗ liệu mẫu - Cấu trúc mạng nơ ron (m, n, a) - Số hệ cần tiến hóa gen 57 Ra - Tập trọng số ứng với cấu trúc mạng trên; - Sai số mạng Giải thuật - Tiền xử lý số liệu việc tỷ lệ hóa tập huấn luyện ( Thủ tục 1) - Học tham số giải thuật di truyền ( Phân hệ 1) - Lưu trữ 5% cá thể tốt từ quần thể cuối - Học tham số giải thuật BP với số học thích nghi cho cá thể 5% cá thể từ giải thuật di truyền chuyển sang ( Phân hệ 2) - Tập trọng số cá thể tốt sau giai đoạn học giải thuật BP giữ lại kết chương trình Thủ tục Chức năng: - Tỷ lệ hóa tuyến tính tập huấn luyện vào khoảng [0.1, 0.9] Vào: - Tập mẫu huấn luyện Ra: - Giá trị hai tập tỷ lệ hóa Xtrain( ), Ytrain( ) với Xtrain( ) véc tơ đầu vào Ytrain( ) véc tơ đầu mong muốn - Số lượng mẫu có tập P Giải thuật: - Xác định số lượng mẫu có tệp P - Xác định số biến tín hiệu vào m tín hiệu n - Lặp i = đến P Lặp j = đến m + n + Scale[j] = (0.9-0.1) / (max[j] - min[j]) + Xtrain[i,j] = (input[i,j] - min[j] )*Scale[j] + 0.1 + Ytrain[i,j] = (Target[i,j] - min[j] )*Scale[j] + 0.1 58 Phân hệ Chức năng: - Sử dụng giải thuật di truyền để huấn luyện (học tham số) mạng nơ ron truyền thẳng nhiều lớp Vào: - Cấu trúc mạng m, n, a - Tập mẫu luyện Ra: - Quần thể cá thể hệ cuối cùng, cá thể trọng số mạng Giải thuật: - Khởi động quần thể - Lặp i = đến Gen + Đánh giá sức khỏe toμn quần thể + Tiến hóa từ hệ cũ sang hệ Phân hệ Chức năng: - Luyện tham số giải thuật BP với hệ số học biến đổi trọng số chuyển từ kết luyện giải thuật GA chuyển sang - Lưu trữ trọng số tốt Vào: - Cấu trúc mạng m, n, a Ra: - Một trọng số W 59 Giải thuật: - Lặp i = đến 0.05*PopSize - Học tham số với giải thuật BP, hệ số học biến đổi (Thủ tục 2.1) - Lưu trữ trọng số cho giá trị sai số tích luỹ e nhỏ Thủ tục 2.1 Chức năng: - Học tham số giải thuật BP với hệ số học biến đổi Vào: - Cấu trúc mạng m, n, a, W vμ tập mẫu luyện, số bước thực biến đổi Step, hệ số học D, bước tăng giảm hệ số học a sai số tối thiểu làm tiêu chuẩn dừng H Ra: - Bộ trọng số W sau học Giải thuật: - Lặp bước sau sai số MSe nhỏ tiêu chuẩn dừng H - Khởi tạo tổng sai số tập huấn luyện e = 0, bước thực biến đổi k =0 - Lặp i = đến số mẫu có tập luyện + Gán tín hiệu lớp vào out0 = Xi + Lặp với nơ ron thứ j lớp ẩn ( l = 1) lớp ( l = 2) Chương trình xây dựng bao gồm mục thực đơn: Khởi tạo tham số, luyện mạng nơ ron, dự báo liệu Các đặc trưng hệ thống mô tả chi tiết sau: 60 Màn hình ban đầu chương trình: Hình 3.3: Màn hình ban đầu chương trình Mở tệp huấn luyện Tệp huấn luyện tệp ó cấu trúc lưu trữ tệp TXT chứa mẫu số liệu sử dụng ga năm 1998 Số liệu đưa vào mạng mã hóa đoạn từ [0.1,0.9] theo nguyên tắc - Các trường liệu ngăn cách dấu “;” - Trường liệu dự báo trường cuối cùng, đầu mạng Ví dụ: Tệp liệu mã hóa sau: Hình 3.4: Tệp liệu mã hóa 61 Màn hình nhập tham số cấu trúc mạng Cho phép người sử dụng nhập tham số đầu vào cho mạng nơ ron Hình 3.5: Nhập tham số cấu trúc mạng Với toán này, số nơ ron lớp ẩn chọn 4, giá trị tham số khác ngầm định hình coi giá trị khởi đầu tốt Sau nhập xong ấn OK để gán giá trị tham số cho mạng nơ ron Màn hình nhập tham số giải thuật di truyền Người sử dụng nhập tham số giải thuật di truyền như: kích thước quần thể, xác suất tạp lai, xác suất đột biến… Các giá trị ngầm định hình xem giá trị tốt tìm theo phương pháp thử sai Tỷ lệ chuyển giao số cá thể sang luyện tiếp giải thuật BP ngầm định 1.5 Số trọng số mạng tương ứng với toán thử nghiệm chọn nơ ron lớp ấn là: 62 Hình 3.6: Nhập tham số giải thuật di truyền Tìm kiếm giải thuật di truyền Màn hình tìm kiếm cá thể tốt giải thuật di truyền có dạng sau: Hình 3.7: Tìm kiếm giải thuật di truyền Màn hình thông báo số cá thể có khỏe trung bình chiếm toàn thể quần, có 03 cá thể tiến hóa 63 Huấn luyện giải thuật BP Số cá thể lựa chọn giải thuật BP sử dụng số học biến đổi luyện đến bão hòa với tham số ban đầu khởi tạo Đồ thị mô tả chu kỳ luyện cá thể Hình 3.8a: Huấn luyện giải thuật BP Trên đồ thị, đường màu xanh nhạt đầu mong muốn với tập liệu, đường màu xanh đậm trả lời mạng liệu đầu vào Hai đường sát chứng tỏ giải thuật di truyền tìm kiếm cá thể gần lời giải Tập liệu huấn luyện đồng thời dùng tập kiểm tra để kiểm tra khả tổng quát hóa mạng Sau số chu kỳ huấn luyện khả tổng quát hóa mạng tốt so với ban đầu Lỗi MSE tiếp tục giảm nhỏ hệ số xác, tập trọng số ghi lại thuật toán lại tiếp tục với cá thể Kết thúc chu kỳ huấn luyện cá thể, cá thể có tập trọng số tốt (có MSE nhỏ nhất) chọn làm kết giải thuật Tập trọng số ghi lại dạng tệp TXT 64 Hình 3.8b: Huấn luyện giải thuật BP Dự báo liệu Sau mạng huấn luyện, sử dụng để dự báo liệu Chỉ cần xác định tệp chứa liệu thực dự báo Màn sau: Hình 3.9 Dự báo liệu Kết luận: Chương III giới thiệu toán dự báo khí ga thực bước xây dựng chương trình dự báo dựa sở giải thuật lai GA-BP trình bày chương II Kết chương trình cho thấy, sau huấn luyện thuật toán lai GA-BP, mạng cho kết dự báo tốt 65 KẾT LUẬN Luận văn tập trung nghiên cứu kỹ thuật sử dụng mạng nơron giải thuật di truyền Kết hợp tính chất tìm kiếm toàn cục giải thuật GA với tính hội tụ giải thuật BP, nghiên cứu giải pháp xây dựng giải thuật lai GA-BP huấn luyện mạng nơron truyền thẳng nhiều lớp ứng dụng mạng nơ ron truyền thẳng toán dự báo khí ga Một số kết đạt luận văn: - Tìm hiểu khái niệm chung giải thuật di truyền, mạng nơ ron nhân tạo thuật toán lan truyền ngược sai số - Nghiên cứu giải pháp tích hợp giải thuật GA giải thuật BP thành giải thuật lai dùng để huấn luyện mạng nơron truyền thẳng nhiều lớp ứng dụng mạng nơ ron truyền thẳng toán dự báo khí ga Một số hướng phát triển: - Tích hợp giải thuật GA BP việc học cấu trúc mạng nơ ron nhằm tìm sơ nơ ron lớp ẩn tốt - Cải tiến toán tử GA để nâng cao hiệu tìm kiếm cá thể tốt - Ứng dụng chương trình toán dự báo dự liệu xác định dự liệu đầu vào 66 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt [1] Đ M Tường, Trí tuệ nhân tạo, NXB Khoa học Kỹ thuật, 2002 [2] TS Nguyễn Tân Ân (2011), Bài giảng mạng noron nhân tạo, Trường Đại học Sư phạm Hà Nội, Hà Nội Tài liệu Tiếng Anh [3] Adam Marczyk, (2004) Genetic Algorithms and Evolutionary Computation [4] Goldberg D E., (1989), Genetic algorithm in search, optimization and machine learning, Addison-Wesley, Reading, Massachusets [5] Gero J S., Kazakov V a., and Schinier T., (1997), “Genetic engineering and design problems”, In Evolutionary Algorithms in Engineering Applications, pages 47-68 Springer-Verlag [6] Haykin, S., Neural networks, a comprehensive foundation, Macmillan New York, Ny 1994 [7] Hagan M T., Demuth H B., Beale M., Neural networks design, PWS Publishing Company, Boston, Ma, 1996 [8] Holland, J.H (1975), Adaptation in natural and artificial systems The University of Michigan Press [9] Kolen J F., Pollack J B., Back Propagation is Sensitive to Initial Condition, Technical Report, Laboratory for artificial intelligence ResearchThe ohio State university [10] Lawrence S., C L Giles, a C Tsoj, What size Neural Netwwork Gives optimal Generalization? Convergence Properties of Backpropagation, Technical Report, Institute for Advanced Computer Studies - University of Maryland College Park, June 1996 67 [11] Ooyen A V., Nienhuis B., Improving the Convergence of the Back-Propagation Algorithm, Neural Networks, Vol 5, pp 465-471, 1992 [12] Poh, H L., Yao, J T., & Jašic T., Neural Networks for the Analysis and Forecasting of Advertising and Promotion impact International Journal of intelligent Systems in accounting, Finance & Management (1998), pp 253-268 [13] Takashi O., Next day’s peak load forecasting using an artificial neural network, IEEE 0-7803-1217-1/93, pp 284-289, 1993 [14] UdoSeiffert, Michaelis B., On the gradient descent in backpropagation and its substitution by a genetic algorithm, Proceedings of the IASTED International Conference Applied informatics 14-17/02/2000, InnsBruck, Austria [15] Vogl P T., Mangis J K., Zigler A K., Zink W T and Alkon D L., “Accelerating the convergence of the back-propagation method”, Biological Cybernetics, vol.59, pp 256-264, 09/1988 [16] http://tailieu.vn/tag/ung-dung-mang-noron.html [17] http://vi.wikipedia.org/wiki/Giai-thuat-di-truyen.html [...]... giải thuật di truyền và mạng nơ ron nhân tạo Chi tiết hơn là cách biểu diễn lời giải, các toán tử di truyền cơ bản, những cải tiến về kỹ thuật di truyền Đồng thời là những vấn đề về cấu trúc mạng, các tham số, xây dựng giải thuật học và lan truyền trong mạng nơ ron 22 CHƯƠNG II: MẠNG NƠ RON TRUYỀN THẲNG HUẤN LUYỆN BẰNG THUẬT TOÁN LAI GA- BP 2.1 Mạng n ron truyền thẳng nhiều lớp 2.1.1 Kiến trúc mạng n ron. .. số và các đầu vào nào đó mà trong quá trình tìm hiểu bài toán đặt ra 2.2.1 Mô tả thuật toán Giải thuật sử dụng dạng tổng quát của mạng n ron truyền thẳng nhiều lớp như trong hình vẽ của phần trước Khi đó, đầu ra của một lớp trở thành đầu vào của lớp kế tiếp Phương trình thể hiện hoạt động này như sau: am+1 = fm+1 (Wm+1am + bm+1) với m = 0, 1, , M – 1, trong đó: M là số lớp trong mạng Các n ron trong. .. truyền thẳng nhiều lớp Để đơn giản và tránh hiểu nhầm, mạng truyền thẳng xét trong chương này là các mạng truyền thẳng có nhiều lớp Kiến trúc mạng truyền thẳng nhiều lớp (Multi-layer Feed Forward (MLFF)) là kiến trúc chủ đạo của các mạng n ron hiện tại Mặc dù có khá nhiều biến thể nhưng đặc trưng của kiến trúc này đó là cấu trúc và thuật toán học là đơn giản và nhanh(Masters 1993) Một mạng truyền thẳng. .. thì trong phần lớn các trường hợp, sử dụng chỉ một lớp ẩn cho ta hiệu năng tốt hơn là sử dụng nhiều hơn một lớp trong thực tế Việc 25 luyện mạng thường rất chậm khi mà số lớp ẩn sử dụng càng nhiều Lý do để sử dụng càng ít các lớp ẩn càng tốt trong thực tế: 1) Phần lớn các thuật toán luyện mạng cho các mạng n ron truyền thẳng là dựa trên phương pháp gradient Các lớp thêm vào sẽ thêm việc phải lan truyền. .. Hình 1.4: Mạng n ron truyền thẳng nhiều lớp Trong mạng n ron nhân tạo các lớp được phân chia như sau: - Lớp vào (input layer): Là lớp đầu tiện nhận các tín hiệu vào xi của véc tơ tín hiệu vào X Mỗi tín hiệu xi của tín hiệu vào sẽ được đưa đến tất cả các n ron của lớp n ron đầu tiên, chúng được phân phối trên các trọng số có số lượng đúng bằng số n ron của lớp này Thông thường , các n ron đầu vào không... Các mô hình mạng n ron nhân tạo Trong mô hình mạng mạng n ron nhân tạo, các n ron được nối với nhau bởi các liên kết n ron, mỗi liên kết có nột trọng số đặc trưng cho đặc tính kích hoạt hay ức chế giữa các n ron Đồng thời, các n ron được nhóm lại với nhau theo cấu trúc phân lớp, bao gồm: lớp vào (input layer), lớp ra (output layer), lớp ẩn (hidden layer) 10 • Mô hình mạng n ron truyền thẳng (feed... những hiểu biết về n ron sinh học, con người xây dựng n ron nhân tạo với hy vọng tạo nên một mô hình có sức mạnh như bộ não 1.1.2.2 Mạng n ron nhân tạo Mạng n ron nhân tạo (Artificial Neural Network) là một lớp các mô hình tính toán mô phỏng theo các chức năng của một mạng n ron sinh học nói chung Các mô hình đó đều sử dụng một cấu trúc mạng trong đó các đỉnh được gọi là các n ron Các n ron này xử lý tín... là tất cả các n ron chỉ có thể được kết nối với nhau theo một hướng tới một hay nhiều các n ron khác trong lớp kế tiếp (loại trừ các n ron ở lớp ra) a1 W 1 f1 R1 x1 S1xR1 1 P b1 S1x1  n1 a2 W 2 f2 S1x1 S2xS1 S1x1 1  n2 S2x1 b2 S2x 1 Hình 2.1: Mạng n ron truyền thẳng nhiều lớp S2x1 23 Trong đó: P: Vector đầu vào (Vector cột) Wi: Ma trận trọng số của các n ron lớp thứ i (SxR - S hàng (n ron) - R cột)... trường bên ngoài hoặc các n ron khác trong mạng gửi tới qua các kết nối và sau đó gửi tín hiệu đến các n ron khác hoặc ra môi trường [6, 7] a) Các phần tử xử lý Cũng như n ron sinh học, mỗi n ron nhân tạo được nối với các n ron khác và nhận tính hiệu từ chúng với các trọng số liên kết Một n ron nhân tạo phản ánh các tính chất cơ bản của n ron sinh học: X1 Wk1 X2 Wk2 XN WkN Hàm truyền yk f(.)  Đầu... thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng n: số đầu vào của n ron •  : tổng các tích đầu vào với trọng số liên kết của mỗi n ron • f . : Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi n ron Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho Thông thường, phạm vi đầu ra của mỗi n ron được giới hạn trong đoạn [0,1] hoặc [-1, 1] Các hàm truyền rất đa dạng, ... mạng nơ ron truyền thẳng Chương III Ứng dụng mạng nơ ron truyền thẳng toán dự báo sử dụng khí ga Cài đặt thuật toán lai GA- BP thử nghiệm thuật toán để huấn luyện mạng nơ ron truyền thẳng Xây dựng... (thuật toán BP) , số vấn đề hội tụ thuật toán BP Đồng thời nghiên cứu giải pháp tích hợp thuật toán GA với thuật toán BP thành thuật toán lai GA- BP sử dụng thuật toán lai GA- BP để huấn luyện mạng. .. truyền ngược sai số 39 CHƯƠNG III : ỨNG DỤNG MẠNG NƠ RON TRUYỀN THẲNG TRONG BÀI TOÁN DỰ BÁO KHÍ GA 41 3.1 Sơ lược lĩnh vực dự báo liệu 41 3.2 Mạng nơ ron truyền thẳng dự báo