Ứng dụng mạng noron truyền thẳng trong dự báo dữ liệu

-1- MỤC LỤC MỞ ĐẦU CHƯƠNG I: CÁC KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON 1.1 Sơ lược mạng nơron 1.1.1 Lịch sử phát triển 1.1.2 Ứng dụng .6 1.1.3 Căn nguyên sinh học .6 1.2 Đơn vị xử lý 1.3 Hàm xử lý 1.3.1 Hàm kết hợp 1.3.2 Hàm kích hoạt (hàm chuyển) 1.4 Các hình trạng mạng 12 1.4.1 Mạng truyền thẳng 12 1.4.2 Mạng hồi quy 13 1.5 Mạng học 13 1.5.1 Học có thầy 13 1.5.2 Học khơng có thầy 14 1.6 Hàm mục tiêu 14 CHƯƠNG II MẠNG NƠRON TRUYỀN THẲNG VÀ THUẬT TOÁN LAN TRUYỀN NGƯỢC 16 2.1 Kiến trúc 16 2.1.1 Mạng truyền thẳng 16 2.1.2 Mạng hồi quy 18 2.2 Khả thể 19 2.3 Vấn đề thiết kế cấu trúc mạng 19 2.3.1 Số lớp ẩn 19 2.3.2 Số đơn vị lớp ẩn 20 2.4 Thuật toán lan truyền ngược (Back-Propagation) 21 2.4.1 Mô tả thuật toán 22 2.4.2 Sử dụng thuật toán lan truyền ngược 27 2.4.3 Một số biến thể thuật toán lan truyền ngược .31 2.4.4 Nhận xét 36 2.5 Các thuật toán tối ưu khác 38 2.5.1 Thuật toán giả luyện kim (Simulated annealing) .38 2.5.2 Thuật giải di truyền (Genetic Algorithm) 39 CHƯƠNG III ỨNG DỤNG MẠNG NƠRON TRUYỀN THẲNG TRONG DỰ BÁO DỮ LIỆU 41 3.1 Sơ lược lĩnh vực dự báo liệu 41 3.2 Thu thập, phân tích xử lý liệu 42 3.2.1 Kiểu biến 43 3.2.2 Thu thập liệu 44 3.2.3 Phân tích liệu 45 3.2.4 Xử lý liệu 46 3.2.5 Tổng hợp .48 3.3 Chương trình dự báo liệu 48 3.3.1 Các bước q trình thiết kế xây dựng 48 3.3.2 Xây dựng chương trình 54 3.3.3 Chương trình dự báo liệu 69 3.4 Một số nhận xét 75 KẾT LUẬN 77 TÀI LIỆU THAM KHẢO 79 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -2- MỞ ĐẦU \ [ Cùng với phát triển mơ hình kho liệu (Dataware house), Việt nam ngày có nhiều kho liệu với lượng liệu lớn Để khai thác có hiệu liệu khổng lồ này, có nhiều cơng cụ xây dựng để thỏa mãn nhu cầu khai thác liệu mức cao, chẳng hạn công cụ khai thác liệu Oracle Discoverer hãng Oracle Công cụ sử dụng phân tích liệu đa theo nhiều chiều liệu, đặc biệt theo thời gian Hay việc xây dựng hệ chuyên gia, hệ thống dựa sở tri thức chuyên gia, để dự báo khuynh hướng phát triển liệu, thực phân tích liệu tổ chức Mặc dù công cụ, hệ thống hồn tồn thực phần lớn công việc nêu trên, chúng yêu cầu độ xác, đầy đủ định mặt liệu để đưa câu trả lời xác Trong đó, ứng dụng mạng nơron truyền thẳng xây dựng dựa nhân tố ảnh hưởng đến thay đổi liệu thực tiễn chứng minh mạnh hiệu toán dự báo, phân tích liệu Chúng huấn luyện ánh xạ từ liệu vào tới liệu mà không yêu cầu liệu phải đầy đủ Trong số loại mạng tương đối phổ biến mạng neuron truyền thẳng nhiều lớp, huấn luyện thuật toán lan truyền ngược sử dụng nhiều Các mạng nơron có khả biểu diễn ánh xạ phi tuyến đầu vào đầu ra, chúng coi “bộ xấp xỉ đa năng” Việc ứng dụng loại mạng chủ yếu cho việc phân tích, dự báo, phân loại số liệu thực tế Đặc biệt việc dự báo khuynh hướng thay đổi liệu tác nghiệp quan, tổ chức kinh tế, xã hội, Nếu dự báo khuynh hướng thay đổi liệu với độ tin cậy định, nhà lãnh đạo đưa sách đắn cho quan, tổ chức Luận văn thực với mục đích tìm hiểu làm sáng tỏ số khía cạnh mạng nơron truyền thẳng nhiều lớp, thuật toán lan truyền ngược ứng dụng chúng giải toán lĩnh vực dự báo liệu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -3- Tác giả xin chân thành cảm ơn giúp đỡ mặt khoa học động viên đồng nghiệp phịng Cơng nghệ phần mềm quản lý - Viện Cơng nghệ thơng tin suốt q trình thực luận văn Đặc biệt, tác giả xin chân thành cảm ơn TS Lê Hải Khôi, người thầy giúp đỡ ý kiến quý báu để tác giả hoàn thành tốt luận văn Hà nội, tháng 12 năm 2002 Trần Đức Minh LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -4- CHƯƠNG I: CÁC KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON Chương đề cập vấn đề sau: 1.1 Sơ lược mạng nơron 1.2 Ðơn vị xử lý 1.3 Hàm xử lý 1.4 Các hình trạng mạng 1.5 Mạng học 1.6 Hàm mục tiêu 1.1 Sơ lược mạng nơron 1.1.1 Lịch sử phát triển Sự phát triển mạng nơron trải qua trình đưa khái niệm lẫn thực thi khái niệm Dưới mốc đáng ý lịch sử phát triển mạng nơron • Cuối TK 19, đầu TK 20, phát triển chủ yếu cơng việc có tham gia ba ngành Vật lý học, Tâm lý học Thần kinh học, nhà khoa học Hermann von Hemholtz, Ernst Mach, Ivan Pavlov Các cơng trình nghiên cứu họ chủ yếu sâu vào lý thuyết tổng quát HỌC (Learning), NHÌN (vision) LẬP LUẬN (conditioning), khơng đưa mơ hình tốn học cụ thể mơ tả hoạt động nơron • Mọi chuyện thực bắt đầu vào năm 1940 với cơng trình Warren McCulloch Walter Pitts Họ nguyên tắc, mạng nơron nhân tạo tính tốn hàm số học hay logic nào! • Tiếp theo hai người Donald Hebb, ông phát biểu việc thuyết lập luận cổ điển (classical conditioning) (như Pavlov đưa ra) thực thuộc tính nơron riêng biệt Ông nêu phương pháp học nơron nhân tạo • Ứng dụng thực nghiệm nơron nhân tạo có vào cuối năm 50 với phát minh mạng nhận thức (perceptron network) luật học tương ứng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -5- Frank Rosenblatt Mạng có khả nhận dạng mẫu Điều mở nhiều hy vọng cho việc nghiên cứu mạng nơron Tuy nhiên có hạn chế giải số lớp hữu hạn tốn • Cùng thời gian đó, Bernard Widrow Ted Hoff đưa thuật toán học sử dụng để huấn luyện cho mạng nơron tuyến tính thích nghi, mạng có cấu trúc chức tương tự mạng Rosenblatt Luật học Widrow-Hoff sử dụng • Tuy nhiên Rosenblatt Widrow-Hoff vấp phải vấn đề Marvin Minsky Seymour Papert phát ra, mạng nhận thức có khả giải tốn khả phân tuyến tính Họ cố gắng cải tiến luật học mạng để vượt qua hạn chế họ không thành công việc cải tiến luật học để huấn luyện mạng có cấu trúc phức tạp • Do kết Minsky-Papert nên việc nghiên cứu mạng nơron gần bị đình lại suốt thập kỷ ngun nhân khơng có máy tính đủ mạnh để thực nghiệm • Mặc dù vậy, có vài phát kiến quan trọng vào năm 70 Năm 1972, Teuvo Kohonen James Anderson độc lập phát triển loại mạng hoạt động nhớ Stephen Grossberg tích cực việc khảo sát mạng tự tổ chức (Self organizing networks) • Vào năm 80, việc nghiên cứu mạng nơron phát triển mạnh mẽ với đời PC Có hai khái niệm liên quan đến hồi sinh này, là: Việc sử dụng phương pháp thống kê để giải thích hoạt động lớp mạng hồi quy (recurrent networks) dùng nhớ liên hợp (associative memory) cơng trình nhà vật lý học Johh Hopfield Sự đời thuật toán lan truyền ngược (back-propagation) để luyện mạng nhiều lớp vài nhà nghiên cứu độc lập tìm như: David Rumelhart, James McCelland, Đó câu trả lời cho Minsky-Papert LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -6- 1.1.2 Ứng dụng Trong trình phát triển, mạng nơron ứng dụng thành công nhiều lĩnh vực Dưới liệt kê số ứng dụng mạng nơron: Aerospace: Phi công tự động, giả lập đường bay, hệ thống điều khiển lái máy bay, phát lỗi Automotive: Các hệ thống dẫn đường tự động cho ô tô, phân tích hoạt động xe Banking: Bộ đọc séc tài liệu, tính tiền thẻ tín dụng Defense: Định vị - phát vũ khí, dị mục tiêu, phát đối tượng, nhận dạng nét mặt, cảm biến hệ mới, xử lý ảnh radar, Electronics: Dự đoán mã tuần tự, sơ đồ chip IC, điều khiển tiến trình, phân tích ngun nhân hỏng chip, nhận dạng tiếng nói, mơ hình phi tuyến Entertainment: Hoạt hình, hiệu ứng đặc biệt, dự báo thị trường Financial: Định giá bất động sản, cho vay, kiểm tra tài sản cầm cố, đánh giá mức độ hợp tác, phân tích đường tín dụng, chương trình thương mại qua giấy tờ, phân tích tài liên doanh, dự báo tỷ giá tiền tệ Insurance: Đánh giá việc áp dụng sách, tối ưu hóa sản phẩm 1.1.3 Căn nguyên sinh học Bộ não người chứa khoảng 1011 phần tử liên kết chặt chẽ với (khoảng 104 liên kết phần tử) gọi nơron Dưới mắt người làm tin học, nơron cấu tạo thành phần: tế bào hình (dendrite) - tế bào thân (cell body) – sợi trục thần kinh (axon) Tế bào hình có nhiệm vụ mang tín hiệu điện tới tế bào thân, tế bào thân thực gộp (Sum) phân ngưỡng (Thresholds) tín hiệu đến Sợi trục thần kinh làm nhiệm vụ đưa tín hiệu từ tế bào thân ngồi Điểm tiếp xúc sợi trục thần kinh nơron tế bào hình nơron khác gọi khớp thần kinh (synapse) Sự xếp nơron mức độ mạnh yếu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -7- khớp thần kinh định q trình hóa học phức tạp, thiết lập chức mạng nơron Một vài nơron có sẵn từ sinh ra, phần khác phát triển thông qua việc học, có thiết lập liên kết loại bỏ liên kết cũ Cấu trúc mạng nơron luôn phát triển thay đổi Các thay đổi sau có khuynh hướng bao gồm chủ yếu việc làm tăng hay giảm độ mạnh mối liên kết thông qua khớp thần kinh Mạng nơron nhân tạo không tiếp cận đến phức tạp não Mặc dù vậy, có hai tương quan mạng nơron nhân tạo sinh học Thứ nhất, cấu trúc khối tạo thành chúng thiết bị tính tốn đơn giản (mạng nơron nhân tạo đơn giản nhiều) liên kết chặt chẽ với Thứ hai, liên kết nơron định chức mạng Cần ý mạng nơron sinh học hoạt động chậm so với linh kiện điện tử (10-3 giây so với 10-9 giây), não có khả thực nhiều công việc nhanh nhiều so với máy tính thơng thường Đó phần cấu trúc song song mạng nơron sinh học: toàn nơron hoạt động cách đồng thời thời điểm Mạng nơron nhân tạo chia sẻ đặc điểm Mặc dù nay, mạng nơron chủ yếu thực nghiệm máy tính số, cấu trúc song song chúng khiến thấy cấu trúc phù hợp thực nghiệm chúng vi mạch tích hợp lớn (VLSI: Very Large Scale Integrated-circuit), thiết bị quang xử lý song song Mạng nơron, xem mơ hình liên kết (connectionist models), mơ hình phân bố song song (parallel-distributed models) có đặc trưng phân biệt sau: 1) Tập đơn vị xử lý; 2) Trạng thái kích hoạt đầu đơn vị xử lý; 3) Liên kết đơn vị Xét tổng quát, liên kết định nghĩa trọng số wjk cho ta biết hiệu ứng mà tín hiệu đơn vị j có đơn vị k; 4) Một luật lan truyền định cách tính tín hiệu đơn vị từ đầu vào nó; LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -8- 5) Một hàm kích hoạt, hay hàm chuyển (activation function, transfer function), xác định mức độ kích hoạt khác dựa mức độ kích hoạt tại; 6) Một đơn vị điều chỉnh (độ lệch) (bias, offset) đơn vị; 7) Phương pháp thu thập thông tin (luật học - learning rule); 8) Mơi trường hệ thống hoạt động 1.2 Đơn vị xử lý Một đơn vị xử lý (Hình 1), gọi nơron hay nút (node), thực cơng việc đơn giản: nhận tín hiệu vào từ đơn vị phía trước hay nguồn bên ngồi sử dụng chúng để tính tín hiệu lan truyền sang đơn vị khác x0 x1 xn θj wj0 wj1 Σ wjn j aj n aj = ∑ wjixi + θj g(aj) zj zj = g (aj ) i =1 Hình 1: Đơn vị xử lý (Processing unit) đó: xi : đầu vào wji : trọng số tương ứng với đầu vào θj : độ lệch (bias) aj : đầu vào mạng (net-input) zj : đầu nơron g(x): hàm chuyển (hàm kích hoạt) Trong mạng nơron có ba kiểu đơn vị: 1) Các đơn vị đầu vào (Input units), nhận tín hiệu từ bên ngoài; 2) Các đơn vị đầu (Output units), gửi liệu bên ngoài; LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -9- 3) Các đơn vị ẩn (Hidden units), tín hiệu vào (input) (output) nằm mạng Mỗi đơn vị j có nhiều đầu vào: x0, x1, x2, … xn, có đầu zj Một đầu vào tới đơn vị liệu từ bên mạng, đầu đơn vị khác, đầu 1.3 Hàm xử lý 1.3.1 Hàm kết hợp Mỗi đơn vị mạng kết hợp giá trị đưa vào thơng qua liên kết với đơn vị khác, sinh giá trị gọi net input Hàm thực nhiệm vụ gọi hàm kết hợp (combination function), định nghĩa luật lan truyền cụ thể Trong phần lớn mạng nơron, giả sử đơn vị cung cấp cộng đầu vào cho đơn vị mà có liên kết Tổng đầu vào đơn vị j đơn giản tổng trọng số đầu riêng lẻ từ đơn vị kết nối cộng thêm ngưỡng hay độ lệch (bias) θj : n aj = ∑ wjixi + θj i =1 Trường hợp wji > 0, nơron coi trạng thái kích thích Tương tự, wji < 0, nơron trạng thái kiềm chế Chúng ta gọi đơn vị với luật lan truyền sigma units Trong vài trường hợp người ta sử dụng luật lan truyền phức tạp Một số luật sigma-pi, có dạng sau: n m i =1 k =1 aj = ∑ wji∏ xik + θj Rất nhiều hàm kết hợp sử dụng "độ lệch" hay "ngưỡng" để tính net input tới đơn vị Đối với đơn vị đầu tuyến tính, thơng thường, θj chọn số toán xấp xỉ đa thức θj = 1.3.2 Hàm kích hoạt (hàm chuyển) Phần lớn đơn vị mạng nơron chuyển net input cách sử dụng hàm vô hướng (scalar-to-scalar function) gọi hàm kích hoạt, kết hàm giá trị LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -10- gọi mức độ kích hoạt đơn vị (unit's activation) Loại trừ khả đơn vị thuộc lớp ra, giá trị kích hoạt đưa vào hay nhiều đơn vị khác Các hàm kích hoạt thường bị ép vào khoảng giá trị xác định, thường gọi hàm bẹp (squashing) Các hàm kích hoạt hay sử dụng là: 1) Hàm đồng (Linear function, Identity function ) g ( x) = x Nếu coi đầu vào đơn vị chúng sử dụng hàm Đôi số nhân với net-input để tạo hàm đồng g(x) -1 x -1 Hình 2: Hàm đồng (Identity function) 2) Hàm bước nhị phân (Binary step function, Hard limit function) Hàm biết đến với tên "Hàm ngưỡng" (Threshold function hay Heaviside function) Đầu hàm giới hạn vào hai giá trị: 1, nÕu ( x ≥ θ ) g ( x) =  0, nÕu ( x < θ ) Dạng hàm sử dụng mạng có lớp Trong hình vẽ sau, θ chọn 1 g(x) -1 x Hình 3: Hàm bước nhị phân (Binary step function) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -66- Public Sub updateMomentum() Dim i, j, k ‘ Tráo đổi vector deltas swapVector past_deltas, cum_deltas swapVector past_deltas_B, cum_deltas_B For i = To numInputs - k = i * numOutputs For j = To numOutputs - ReDim Preserve cum_deltas(k + j) cum_deltas(k + j) = Next Next For j = To numOutputs - ReDim Preserve cum_deltas_B(j) cum_deltas_B(j) = Next End Sub Sau toàn thủ tục huấn luyện mạng nơron: Public Sub train() Dim tot_err As Double, num As Integer currentError = 0.9999 Dim MaxCycles As Integer, i As Integer, j As Double, k As Integer MaxCycles = 15000 i = j = tot_err = ReDim predictValue(numOfPatterns - 1) ReDim arrMSE(50) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -67- 'Hiển thị hình theo dõi lỗi đồ thị huấn luyện FrmPlot.Show mseUpdate.Show Do While True And Not stopTraining updateMomentum ‘ Lấy mẫu thứ i tập huấn luyện chuẩn bị sẵn get_patterns i ' Đặt vector thứ i cho mạng biết setNumPatterns i setStatusText 1, "Training " ' Truyền xuôi forward_prop predictValue(i) = layers(numOfLayers - 1).getoutValue ' Truyền ngược lỗi backward_prop currentError ' Tính tốn lỗi tot_err = tot_err + currentError * currentError Set_currentCycle CLng(j) ' Thực cập nhật trọng số update_weights ' Tăng số thứ tự vector mẫu đọc vào lên i = i + DoEvents If i = numOfPatterns Then ' Nếu kết thúc chu kỳ i = j = j + ' Tính tốn lỗi trung bình bình phương LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -68- MSE = sqr(tot_err) / numOfPatterns ReDim Preserve arrMSE(UBound(arrMSE) + 1) arrMSE(UBound(arrMSE)) = MSE 'Thực cập nhật đồ thị 50 chu kỳ If NumOfCycles Mod 50 = Then FrmPlot.update mseUpdate.update DoEvents ReDim arrMSE(0) DoEvents End If If Abs(MSE) < errorToleranceRate Then 'Nếu lỗi trung bình bình phương nhỏ hệ số thứ lỗi 'thì kết thúc huấn luyện Set_currentCycle CLng(j) setcurrentError currentError DoEvents setstopTraining True End If MSE = tot_err = NumOfCycles = NumOfCycles + End If Loop setStatusText 1, "DONE!!!!!!!!!" 'Ghi lại ma trận trọng số write_weights setStatusText 2, "Cycle number: " & CStr(j) setStatusText 3, "Total error: " & Abs(currentError) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -69- Set_currentCycle CLng(j) FrmPlot.update DoEvents End Sub Các mẫu đưa vào mạng để huấn luyện Sự tổng quát hóa mạng Một phần liệu sử dụng tập kiểm tra, tập khơng sử dụng q trình huấn luyện Trong trình huấn luyện tập liệu huấn luyện, tổng hóa liệu kiểm tra hiển thị đồng thời dựa tham số mạng 3.3.3 Chương trình dự báo liệu Màn hình ban đầu chương trình LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -70- Chương trình xây dựng bao gồm mục thực đơn: Tệp, Thiết đặt, Xem cấu hình, Dự đốn Sau đây, đặc trưng hệ thống mơ tả chi tiết 3.3.3.1 Màn hình nhập tham số cho mạng Chức cho phép người sử dụng nhập tham số đầu vào cho mạng như: Số lớp mạng, Số đầu vào, Hệ số học, Sau người sử dụng nhập xong mục, cần nhấn nút lệnh GO để thực nhập cấu trúc cho mạng Sau nhập xong xuôi tham số, nhấn OK để ghi lại tham số vừa nhập Tại đây, tham số cho mạng nơron gán giá trị, đồng thời, liệu huấn luyện kiểm tra đọc vào đệm chương trình, tiền xử lý Các tệp liệu tệp có cấu trúc: - Các trường liệu phân cách dấu “;” - Trường liệu dự báo trường cuối - Sau trường liệu dự báo khơng cần phải có dấu “;” - Tệp liệu khơng có khoảng trống phía cuối Nếu có cần loại bỏ Ví dụ: Tệp liệu có dạng sau: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -71- Các liệu sau đọc vào chuẩn hóa khoảng [0,1] theo phương pháp: SV = ((0.9 - 0.1) / (MAX_OF_EXP - MIN_OF_EXP)) * (OV - MIN_OF_EXP), đó: SV: Scaled Value - Giá trị sau biến đổi OV: original Value - Giá trị ban đầu MAX_OF_EXP, MIN_OF_EXP: Giá trị lớn vào nhỏ tập giá trị 0.9, 0.1: Giá trị “lớn nhất” “nhỏ nhất” hàm sigmoid 3.3.3.1 Huấn luyện mạng Sau qua bước thiết lập thông số cho mạng, bắt đầu huấn luyện mạng để thực điều này, chọn: Thiết đặt\Huấn luyện mạng (Train network) Màn hình ban đầu thể trạng thái việc huấn luyện có dạng sau: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -72- Chú thích: Đồ thị bên trái thể kết huấn luyện mạng tập mẫu đưa vào Đồ thị bên phải thể trả lời mạng mẫu kiểm tra, mẫu chưa đưa vào mạng Sau số chu kỳ huấn luyện, mạng có kết trả lời tập liệu huấn luyện tập kiểm tra tốt so với trạng thái ban đầu Các đường màu xanh (nhạt) đầu mong muốn tập liệu Các đường màu xanh đậm (sẫm) trả lời mạng liệu đầu vào đưa vào LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -73- Sau số chu kỳ tiếp sau, trả lời mạng liệu huấn luyện kiểm tra tốt nhiều so với trạng thái ban đầu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -74- Có thể thấy, lỗi MSE giảm sau thời gian huấn luyện, đồng thời khả tổng quát hóa mạng liệu chưa “biết” tốt lên 3.3.3.3 Dự báo liệu Sau mạng huấn luyện, sử dụng để dự báo liệu Chỉ cần xác định tệp chứa liệu thực dự báo Màn sau: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -75- 3.4 Một số nhận xét ‰ Mạng bị ảnh hưởng nhiều từ trạng thái khởi đầu tham số Trong trình học, mạng cố gắng điều chỉnh tham số cho tổng bình phương lỗi nhỏ Khả hội tụ mạng phụ thuộc vào tham số khởi đầu, cịn khả tổng qt hóa lại phụ thuộc nhiều vào liệu đầu vào Nếu liệu đầu vào q nhiều (!) dẫn tới tình trạng luyện mạng nhiều thời gian khả tổng quát hóa kém, liệu sai số tăng ‰ Ngồi đặc trưng liệu, đặc trưng khác trình huấn luyện mạng cần quan tâm số lần thực điều chỉnh tham số mạng q dẫn đến tình trạng khả tổng quát hóa mạng Bởi vậy, số chu kỳ mẫu đưa vào mạng cần xem xét phải lớn ngưỡng (từ vài nghìn vài chục nghìn lần) ‰ Để xem xét, đánh giá khả tổng quát hóa mạng, cần thực phân chia tập liệu thành tập: huấn luyện (training set) tập kiểm tra (test set) Tập liệu thử không đưa vào để kiểm tra hoạt động mạng để đảm bảo khách quan LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -76- ‰ Một vấn đề mạng nơron khả rơi vào điểm cực trị địa phương Như biết, thuật tốn Lan truyền ngược lỗi khơng đảm bảo cho ta điểm cực trị toàn cục Nếu rơi vào điểm cực trị địa phương, ta phải bắt đầu huấn luyện lại, điều khiến cho mạng nơron áp dụng thực tế tốn u cầu độ xác cao thời gian tối thiểu Do đó, giải pháp sử dụng hệ số học biến đổi hướng để vượt qua nhược điểm Ngồi ra, liệu phân bố khơng mẫu khả tổng qt hóa khơng tốt ‰ Một điều nữa, mạng có khả đạt đến trạng thái mong muốn, mà bỏ qua điểm cực trị Để tránh điều này, khơng nên đặt hệ số học lớn (cỡ 0.1 chẳng hạn), hệ số bước đà lớn (chẳng hạn = 0.5) (do đặc trưng thuật toán lan truyền ngược sử dụng tham số bước đà) ‰ Như nêu trên, để đảm bảo khả đạt đến điểm cực tiểu, số đơn vị lớp ẩn cần đủ lớn Tuy nhiên, số đơn vị lớp ẩn vượt ngưỡng khả tổng qt hóa mạng kém, lẽ sau huấn luyện mạng có xu hướng ghi nhớ tất mẫu học Khi đó, nên xem xét đến khả sử dụng thêm lớp ẩn với số nơron nhỏ (vài nơron) giảm bớt số nơron lớp ẩn thứ LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -77- KẾT LUẬN \ [ Mạng nơron huấn luyện để xấp xỉ hàm mà không cần biết trước liên hệ đầu vào đầu Chúng hoạt động nhớ tự liên hợp cách sử dụng liệu đặc thù cho ứng dụng, toán lĩnh vực cụ thể Đó đặc trưng đem lại cho mạng nơron lợi mô hình khác, đặc trưng thứ lỗi Trong luận văn này, chúng tơi xem xét thuộc tính mạng nơron truyền thẳng trình xác định đầu vào, kiến trúc mạng phục vụ cho toán cụ thể Chúng xây dựng hệ chương trình dự báo liệu nhằm áp dụng vấn đề lý thuyết tìm hiểu Các thí nghiệm cho thấy, huấn luyện tốt tập liệu đầy đủ hoàn thiện với tham số lựa chọn cẩn thận kết dự báo xác đến 90% Chương trình cung cấp khả lưu lại tập tham số, trọng số độ lệch sau lần huấn luyện thành công nạp lại tham số để sử dụng dự báo liệu Tuy nhiên, luận văn xem xét đến khía cạnh tổng thể mạng nơron truyền thẳng nhiều lớp vấn đề dự báo liệu khoảng thời gian ngắn (short-term forecasting) trung bình (mid-term forecasting) Tuy nhiên, ứng dụng vấn đề lý thuyết thể hệ chương trình xây dựng hồn tồn áp dụng cho tốn dự báo thời gian dài (long-term forecasting) với số sửa đổi thuật toán huấn luyện Cần nhấn mạnh rằng, để dự báo liệu, ta cần sử dụng liệu lịch sử để huấn luyện liệu dự báo đầu vào (Ví dụ như: dự báo nhiệt độ ngày hôm sau, ) Người ta mạng nơron truyền thẳng nhiều lớp có khả tốt dự báo khoảng thời gian ngắn Mạng nơron truyền thẳng nhiều lớp sử dụng nhiều toán dự báo lĩnh vực khác: dự báo lượng sử dụng điện, nước, thị trường chứng khốn, lưu lượng giao thơng lượng sản phẩm bán chừng mối quan hệ đầu vào đầu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -78- thấy đưa vào mơ hình Tuy vậy, khơng tồn mơ hình chung thích hợp cho tất toán dự báo thực tế Đối với tốn, cần thực phân tích cặn kẽ, cụ thể liệu phạm vi sử dụng tri thức thu thập để xây dựng mơ hình thích hợp Các phân tích tri thức thu thập ln có ích việc lựa chọn đầu vào, mã hóa đầu vào định cấu trúc mạng, đặc biệt mà liệu lĩnh vực có giới hạn Thuật tốn lan truyền ngược chuẩn sử dụng việc huấn luyện mạng nơron truyền thẳng nhiều lớp chứng tỏ khả tốt chí tốn phức tạp Mặc dù vậy, để có khả vậy, ta cần nhiều thời gian để huấn luyện, điều chỉnh tham số mạng (thậm chí tốn có cấu trúc đơn giản) Điều trở ngại toán thực tế, vậy, thuật toán cải tiến cần áp dụng để tăng khả hội tụ mạng huấn luyện Luận văn thực nhằm làm sáng tỏ vấn đề lý thuyết mạng nơron truyền thẳng nhiều lớp, thuật toán lan truyền ngược, bước cần thực phân tích, thiết kế xây dựng ứng dụng cho toán dự báo liệu, đồng thời xây dựng chương trình ứng dụng nhằm mục đích thể vấn đề lý thuyết nêu Chắc chắn luận văn thiếu sót, chúng tơi mong nhận ý kiến đóng góp nhằm hồn thiện hiểu biết LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -79- TÀI LIỆU THAM KHẢO [1] Đ M Tường, Trí tuệ nhân tạo, NXB Khoa học Kỹ thuật, 2002 [2] Dipti Srinivasan, A C Liew, John S., P Chen, Short term forecasting using neural network approach, IEEE 91TH0374-9/91/0000-0012, pp 12-16, 1991 [3] Drucker H., Cun Y L., Improving Generalization Performance using Double Backpropagation, IEEE Transactions on neural netwoks, Vol 3, No 6, November 1992 [4] Hagan M T., Demuth H B., Beale M., Neural networks design, PWS Publishing Company, Boston, Ma, 1996 [5] Haykin, S., Neural networks, a comprehensive foundation, Macmillan New York, Ny 1994 [6] Kaastra, I., & Boyd, M - Designing a neural network for forecasting financial and economic time series - Neurocomputing 10 (1996), pp 215-236 [7] Kesmir C., Nussbaum A K., Schild H., Detours V., Brunak S., Prediction of proteasome cleavage motifs by neural networks, Protein engineering, Vol 15-No 4, pp 287-196, 2002 [8] Kolen J F., Pollack J B., Back Propagation is Sensitive to Initial Condition, Technical Report, Laboratory for artificial intelligence Research-The ohio State university [9] Lawrence S., C L Giles, a C Tsoj, What size Neural Netwwork Gives optimal Generalization? Convergence Properties of Backpropagation, Technical Report, Institute for Advanced Computer Studies - University of Maryland College Park, June 1996 [10] Morioka Y., Sakurai K., Yokoyama A Sekine Y., Next day peak load forecasting using a Multilayer neural network with an additional Learning, IEEE, 0-7803-1217-1/93, 1993 [11] Oh S.H., Lee Yj., A modified error function to improve the error Back-Propagation algorithm for Multi-layer perceptrons, ETRI Journal Vol 17, No 1, April 1995 [12] Ooyen A V., Nienhuis B., Improving the Convergence of the Back-Propagation algorithm, Neural Networks, Vol 5, pp 465-471, 1992 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -80- [13] Poh, H L., Yao, J T., & Jašic T., Neural Networks for the Analysis and Forecasting of Advertising and Promotion impact - International Journal of intelligent Systems in accounting, Finance & Management (1998), pp 253-268 [14] Rao, Valluru B and Rao, Hayagriva V., C++ Neural Networks and Fuzzy Logic, MIS Press, 1993 [15] Ripley B.D., Pattern Recognition and Neural Networks, Cambridge university Press, 1996 [16] Sullivan, R., Timmermann, A & White, H., Dangers of data-driven inference: the case of calendar effects in stock returns, Discussion Paper, University of California, San Diego, Department of economics, 7/1998 [17] Swingler K., Financial Predictions, Some Pointers, Pitfalls, and Common errors, Technical Report, Center for cognitive and computational neuroscience - Stirling University, July 14, 1994 [18] Takashi O., Next day’s peak load forecasting using an artificial neural network, IEEE 0-7803-1217-1/93, pp 284-289, 1993 [19] T Masters, Practical Neural Network Recipes in C++ Academic Press, Inc., 1993 [20] UdoSeiffert, Michaelis B., On the gradient descent in back-propagation and its substitution by a genetic algorithm, Proceedings of the IASTED International Conference Applied informatics 14-17/02/2000, InnsBruck, Austria [21] Vogl P T., Mangis J K., Zigler A K., Zink W T and Alkon D L., “Accelerating the convergence of the back-propagation method”, Biological Cybernetics, vol.59, pp 256-264, 09/1988 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... Trong đó, ứng dụng mạng nơron truyền thẳng xây dựng dựa nhân tố ảnh hưởng đến thay đổi liệu thực tiễn chứng minh mạnh hiệu tốn dự báo, phân tích liệu Chúng huấn luyện ánh xạ từ liệu vào tới liệu. .. luyện mạng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com -41- CHƯƠNG III ỨNG DỤNG MẠNG NƠRON TRUYỀN THẲNG TRONG DỰ BÁO DỮ LIỆU Chương đề cập vấn đề sau: 3.1 Sơ lược lĩnh vực dự báo liệu. .. ) liệu đầu vào đầu để mạng có khả học tốt từ liệu cung cấp Trong việc dự báo liệu, liệu nhiều khoảng thời gian khác đưa vào mạng để huấn luyện việc dự báo xác khó mục đích dự báo xác 100% liệu