Tr-ờng đại học vinh Khoa công nghệ thông tin Bộ môn hệ thông thông tin - - Tìm hiểu mạng nơ-ron truyền thẳng thử nghiệm dự báo l-ợng tiêu thụ khí gas Giáo viên h-ớng dẫn: Ths Phan Anh Phong Sinh viên thực : Nguyễn Văn Thắng Lớp : 44K2 - CNTT Trang Vinh, tháng năm 2008 Mục lục Lời cảm ơn ! Ch-¬ng i: kháI niệm mạng nơ-ron 1.1 Sơ l-ợc mạng nơ-ron 1.1.2 øng dông: 1.1.3 Căn nguyªn sinh häc 1.2 Đơn vị xử lý 12 1.3 Hµm xư lý 13 1.3.1 Hàm kết hợp 13 1.3.2 Hàm kích hoạt 14 1.4 Các hình trạng mạng 16 1.4.1 Mạng truyền thẳng 16 1.4.2 M¹ng håi quy 17 1.5 Mô hình học 18 1.5.1 Häc cã thÇy (supervised learning) 18 1.5.2 Häc kh«ng cã thÇy (unsupervised learning) 19 1.6 Hàm mục tiêu 19 Ch-¬ng II: 20 m¹ng nơ-ron truyền thẳng thuật toán lan truyền ng-ợc 20 2.1 Kiến trúc 21 2.1.1 Các khái niệm mở đầu 21 2.1.2 Mạng truyền thẳng đa mức 22 2.1.3 M¹ng håi quy (recurrent network) 24 2.2 khả thể 26 2.3 VÊn ®Ị thiÕt kÕ cÊu tróc m¹ng 26 2.3.1 Sè líp Èn 27 2.3.2 Số đơn vị lớp ẩn 28 2.4 Quy t¾c häc hiệu chỉnh lỗi 29 2.5 Thuật toán lan truyền ng-ợc 32 2.5.1 ThuËt to¸n Lan trun ng-ỵc 32 2.5.2 Tèc ®é häc 39 Trang 2.5.3 C¸c Thêi kú (Epoch) 41 2.5.4 Tiêu chuẩn dừng thuật toán 42 2.5.5.Mét sè l-u ý nhằm nâng cao hiệu thuật toán lan truyền ng-ỵc 43 2.5.6 Héi tơ nhanh cho qu¸ tr×nh häc Back-propagation 45 2.6 Mét sè -u điểm nh-ợc điểm thuật toán Back-propagation 47 2.6.1 Vấn đề tính toán cục 47 2.6.2 Vấn đề hiệu tính toán 48 Ch-ơng III: 49 Cài đặt Thử nghiệm mạng nơ-ron truyền thẳng dự báo l-ợng tiêu thụ khí gaS 49 3.1 S¬ l-ợc lĩnh vực dự báo liệu 50 3.2 Thu thËp, ph©n tÝch xử lý đữ liệu 51 3.3 Ch-ơng trình dự báo liệu 57 KÕt luËn 75 Tài liệu tham khảo 77 Trang Lêi cảm ơn ! Tr-ớc tiên em xin bày tỏ lòng biết ơn chân thành tới thầy giáo h-ớng dẫn, ThS Phan Anh Phong, đà cho em lời động viên dẫn quý báu suốt thời gian thực đồ án tốt nghiệp Em xin bày tỏ lòng biết ơn đến thầy giáo, cô giáo Khoa Công Nghệ Thông Tin tr-ờng Đại học Vinh đà dạy truyền đạt kiến thức cần thiết bổ ích suèt thêi gian häc tËp t¹i tr-êng Cuèi cïng xin chân thành cảm ơn tất bạn bè đà đóng góp ý kiến hỗ trợ Tôi trình thực đồ án Xin chân thành cảm ơn bạn Trong trình làm đồ án đà cố gắng nh-ng không tránh khỏi hạn chế thiếu xót Rất mong đ-ợc đóng góp ý kiến thầy giáo, cô giáo bạn Thành phố Vinh, tháng 5-2008 Sinh viên thực hiện: Nguyễn Văn Thắng Trang Mở đầu - Các ứng dụng mạng nơ-ron truyền thẳng đ-ợc xây dựng dựa nhân tố ảnh h-ởng đến thay đổi liệu đà đ-ợc thực tiễn chứng minh mạnh hiệu toán phân tích dự báo liệu Chúng đ-ợc huấn luyện ánh xạ từ liệu vào tới liệu mà không yêu cầu liệu phải đầy đủ Trong loại mạng t-ơng đối phổ biến mạng nơ-ron truyền thẳng nhiều lớp đ-ợc huấn luyện thuật toán lan truyền ng-ợc đ-ợc sử dụng nhiều Các mạng nơ-ron có khả biểu diễn ánh xạ phi tuyến đầu vào đầu ra, chúng đ-ợc coi nh- xấp xỉ đa Việc ứng dụng loại mạng chủ yếu cho việc phân tích, dự báo, phân loại số liệu thực tế Đặc biệt dự báo khuynh h-ớng thay đổi liệu tác nghiệp quan, tổ chức kinh tế, x· héi, …NÕu cã thĨ dù b¸o khuynh h-íng thay đổi liệu với độ tin cậy định nhà lÃnh đạo đ-a đ-ợc sách đắn cho quan, tổ chức Đồ án đ-ợc thực với mục đích tìm hiểu làm sáng tỏ số khía cạnh mạng nơ-ron truyền thẳng nhiều lớp, thuật toán lan truyền ng-ợc ứng dụng chúng giải toán lĩnh vực dự báo l-ợng tiêu thụ khí gas Trang Ch-ơng i: kháI niệm mạng nơ-ron Ch-ơng đề cập đến vấn đề sau: 1.1 Sơ l-ợc mạng nơ-ron 1.2 Đơn vị xử lý 1.3 Hàm xử lý 1.4 Các hình trạng mạng 1.5 Mạng học 1.6 Hàm mục tiêu 1.1 Sơ l-ợc mạng nơ-ron 1.1.1 Lịch sử phát triển Sự phát triển mạng nơ-ron trải qua hai trình đ-a khái niệm lẫn thực thi khái niệm D-ới mốc đáng ý líchử phát triển mạng nơ-ron: Cuối kỷ (TK) 19, đầu TK 20, phát triển chủ yếu công việc có liên quan đến ba ngành Vật lý học, Tâm lý học Thần kinh học, nhà khoa häc nh- Hermann Von Hemholtz, Ernst Mach, Ivan Pavlop Các công trình nghiên cứu họ chủ yếu sâu vào lý thuyết tổng quát HọC (Learning) NHìN (vision) lập luận (Conditioning),và không đ-a mô hình toán học cụ thể mô tả hoạt động nơ-ron Trang Mọi chuyện thực bắt đầu vào năm 1940 với công trình Warren Mculloch Walter Pitts Họ nguyên tắc, mạng nơ-ron nhân tạo cã thĨ tÝnh bÊt cø mét hµm sè häc hay logic nµo! TiÕp theo hai ng-êi lµ Donal Hebb, Ông đà phát biểu việc thuyết lập luận cổ ®iĨn (classical conditioning) (nh- Pavlop ®-a ra) lµ hiƯn thùc thuộc tính riêng biệt Ông nêu ph-ơng pháp học nơ-ron nhân tạo ứng dụng nơ-ron nhân tạo có đ-ợc vào năm 50 với phát minh mạng nhận thức (perceptron network) luật học t-ơng ứng Frank Rosenblatt Mạng có khả nhận dạng mẫu Điều đà mở hy vọng cho việc nghiên cứu mạng nơ-ron Tuy nhiên có hạn chế giải số lớp hữu hạn toán Cùng thời gian Bernard Widrow Ted Hoff đà đ-a thuật toán học sử dụng để huấn luyện cho m¹ng tun tÝnh thÝch nghi, m¹ng cã cÊu tróc chức t-ơng tự nh- mạng Rosenblatt Luật học Wid-Hoff sử dụng Vào năm 1972, Teuvo Kohonen James Anderson độc lập phát triển loại mạng hoạt động nh- mét bé nhí Stephen Grossberg cịng rÊt tÝch cùc việc nghiên cứu mạng tự tổ chức (Self organizing network) Vào năm 80, việc nghiên cứu mạng nơ-ron phát triển mạnh mẽ với đời PC Có hai khái niệm liên quan ®Õn sù håi sinh nµy, ®ã lµ: 1) ViƯc sư dụng ph-ơng pháp thống kê để giải thích hoạt động cđa mét líp m¹ng håi quy (recurent networks) cã thĨ đ-ợc dùng nhbộ nhớ liên hợp (associative memory) công trình nhà vật lý học John Hopfild Trang 2) Sự đời thuật toán lan truyền ng-ợc (Back-Propagation) để luyện mạng nhiều lớp đ-ợc vài nhà nghiên cứu độc lập tìm nh-: David Rumelhart, James Mcelland, 1.1.2 ứng dụng: Trong trình phát triển, mạng nơ-ron đà đ-ợc ứng dụng thành công nhiều lĩnh vực D-ới liệt kê số ứng dụng mạng nơ-ron: - Aerospace: Phi công tự động, giả lập đ-ờng bay, hệ thống điều khiển lái máy bay, phát lỗi - Automotive: Các hệ thống dẫn đ-ờng tự động cho ô tô, phân tích hoạt động xe - Banking: Bộ đọc séc tài liệu, tính tiền thẻ tín dụng - Electronics: Dự đoán mà tuần tự, sơ đồ chip IC, điều khiển tiến trình, phân tích nguyên nhân hỏng chip, nhận dạng tiếng nói, mô hình phi tuyến - Entertainment: Hoạt hình, hiệu ứng đặc biệt, phân tích thị tr-ờng - Financical: Định giá bất động sản, cho vay, kiểm tra tài sản cầm cố, đánh giá độ hợp tác, phân tích đ-ờng tín dụng, ch-ơng trình th-ơng mại qua giấy tờ, phân tích tài liên doanh, dự báo tỷ giá tiền tệ - Trang 1.1.3 Căn nguyên sinh học Hình 1.1: mô hình mạng nơ-ron sinh học Lý thuyết Mạng nơ ron nhân tạo, hay gọi tắt Mạng nơ-ron , đ-ợc xây dựng xuất phát từ thực tế nÃo ng-ời luôn thực tính toán cách hoàn toàn khác so với máy tính số Có thể coi nÃo máy tính hay hệ thống xử lý thông tin song song, phi tuyến phức tạp Nó có khả tự tổ chức phận cấu thành nó, nh- tế bào thần kinh (nơ-ron) hay khớp nối thần kinh (synapse), nhằm thực số tính toán nh- nhận dạng mẫu điều khiển vận động nhanh nhiều lần máy tính nhanh Sự mô nÃo ng-ời mạng nơ-ron dựa sở số tính chất đặc thù rút từ nghiên cứu thần kinh sinh học Trang Hình 1.2 : mô hình nơ-ron sinh học Hệ thống thần kinh ng-ời đ-ợc xem nh- hệ thống ba tầng Trung tâm hệ thống nÃo đ-ợc tạo nên mạng l-ới thần kinh; liên tục thu nhận thông tin, nhận thức thông tin, thực định phù hợp Bên nÃo tiếp nhận làm nhiệm vụ chuyển đổi kích thích từ thể ng-ời hay từ môi tr-ờng bên thành xung điện; xung điện vận chuyển thông tin tới mạng l-ới thần kinh Tầng thứ ba bao gồm tác động có nhiệm vụ chuyển đổi xung điện sinh mạng l-ới thần kinh thành đáp ứng thấy đ-ợc (d-ới nhiều dạng khác nhau), đầu hệ thống Các kích thích Các tiếp nhận Mạng l-ới thần kinh Các tác động Các đáp ứng Hình 1.3 Biểu diễn sơ đồ khối hệ thống thần kinh Hai số thành phần nÃo mà cần quan tâm đến nh- yếu tố định khả tính toán nÃo tế bào thần kinh (nơ-ron) khớp nối thần kinh (synapse) Ng-ời ta -ớc tính có xấp xỷ 10 tỷ nơ-ron 60 nghìn tỷ synapse vỏ nÃo ng-ời Các nơ-ron đơn vị xử lý thông tin sở nÃo với tốc độ xử lý chậm (10-3 giây so với 10-9 giây) so với cổng logic silicon Nh-ng bé n·o ng-êi thùc hiƯn nhiỊu c«ng việc nhanh máy tính thông th-ờng Đó phần cấu trúc song song mạng nơ-ron sinh học; toàn nơ-ron hoạt động đồng thời thời điểm (mạng nơ-ron nhân Trang 10 Phần khó việc xây dựng mô hình xác định thu thập đ-ợc liệu huấn luyện kiểm tra Ng-ời ta đà yếu tố ảnh h-ởng đến nhu cầu sử dụng gas nh- sau: Điều kiện thời tiết: Các điều kiện bao gồm: nhiệt độ, l-ợng mây, điểm s-ơng, l-ợng m-a Có thể thấy hầu hết tr-ờng hợp có liên hệ rõ rệt thời tiết nhu cầu sử dụng gas đặc biệt nhiệt độ tốc độ gió Trong phần lớn tình nhiệt độ hạ thấp xuống nhu cầu sử dụng gas tăng lên ng-ợc lại Mặc dù vậy, quan hệ phi tuyến yếu tố khác ảnh h-ởng tới nhu cầu khách hàng Điều kiện thời gian: bao gồm ngày, ngày tuần tháng năm, ngày cuối tuần ngày nghỉ Phần lớn mẫu liệu cho thấy phụ thuộc mạnh vào yếu tố Chẳng hạn, giả sử yếu tố khác giống nhau, nhu cầu sử dụng gas vào lúc 1h sáng mà hầu hết ng-ời ngủ khác với h ng-ời chuẩn bị thức dậy Có thể lấy ví dụ t-ơng tự, ngày tuần, từ thứ hai đến thứ sáu nhu cầu sử dụng không giống nh- ngày thứ bảy chủ nhật Tháng năm cho ta hiệu ứng mùa, ngày nghỉ cuối tuần có xu h-ớng gần t-ơng tự Thông tin kinh tế: Các thông tin nh- giá gas thị tr-ờng, tỷ suất giá ga so với giá dầu, tỷ xuất nhà cung cấp Trong phần lớn tr-ờng hợp Hiệu ứng nhân tố kinh tế, nhu cầu sử dụng gas không tầm th-ờng Có thể thấy đ-ợc ảnh h-ởng mà khách hàng phải tăng giảm yêu cầu Nếu giá gas thị tr-ờng thấp, nhiệt độ cao nhu cầu khách hàng tăng Những hiệu ứng thứ xác định đ-ợc số l-ợng đối t-ợng xem xét để sử dụng nh- đầu vào mạng Trang 64 để huấn luyện thực dự báo Có nhân tố khác chẳng hạn nh- giao -ớc hợp đồng rõ ràng có ảnh h-ởng rõ rệt nhu cầu sử dụng, nh-ng chúng khó thực đ-ợc định l-ợng coi chúng nh- tham số ảnh h-ởng 3.3.2.2 Mô hình dự báo Dữ liệu vào Dữ liệu vào sử dụng mô hình đ-ợc thu thập từ khách hàng từ sở liệu tác nghiệp họ hay dạng l-u trữ Các liệu lịch sử mà quan tâm đ-ợc l-u trữ d-ới dạng sau: Ngày Giờ Nhiệt độ Tốc độ gió Sử dụng 02-08-1998 00 37 1168 02-08-1998 01 37 1213 02-08-1998 02 37 1316 02-08-1998 03 37 1417 02-08-1998 04 37 1534 02-08-1998 05 37 1680 02-08-1998 06 36 1819 02-08-1998 07 36 1967 TiÒn xử lý: Với liệu đà cho, thiết lập mô hình phản ánh với hiệu ứng sau: 1) Nhiệt độ: thể giá trị thực 2) Tốc độ gió: thể giá trị thực 3) Giờ ngày: thể 24 tiếng ngày: 0h,1,2,323h 4) Ngày tuần: thể ngày Chủ nhật, thứ hai, thứ ba, thứ t-, thứ năm, thứ sáu, thứ bảy thể số: 0,1,2,3,4,5 t-ơng ứng Trang 65 5) Ngày cuối tuần: thể thứ hai, ba, t-, năm, sau 0; thứ chủ nhật 6) Tháng năm: thể 12 tháng năm giá trị từ đến 11 Rõ ràng hiệu ứng 1) 2) biến có thứ tự Giá trị chúng đ-ợc đ-a vào mạng nh- chúng vốn có Các hiệu ứng lại biến phân loại Ta biết biến phân loại sử dụng ph-ơng pháp mà hoá 1- of c (sẽ phải dùng 1+1+24+7+2+12=47 đơn vị đầu vào), (hoặc ph-ơng ph¸p one - effect – one - unit chØ dïng có: 1+1+1+1+1+1=6 đơn vị đầu vào) đây, sử dụng cách thứ hai, chúng gây trật tự nhân tạo giá trị nh-ng chúng giảm nhiều số l-ợng đầu vào, từ làm đơn giản mô hình Tập liệu đ-ợc tạo cách sử dụng bảng tính, liệu theo khuôn dạng nói đ-ợc mà hoá thành dạng sau: Giờ Nhiệt độ Tốc độ gió Ngày/tuần Cuối tuần Tháng Sử dông 00 37 1 1168 01 37 1 1213 02 37 6 1 1316 03 37 1 1417 04 37 1 1534 05 37 1 1680 06 36 1 1819 07 36 6 1 1967 Trang 66 Ngoµi liệu ch-a tốt cần đ-ợc xử lý, chẳng hạn nh- giá trị nằm khoảng giá trị thực tế,tất liệu đầu vào đ-ợc đ-a khoảng [0,1] Kiến trúc mạng Mạng bao gåm mét líp ra, mét líp Èn Râ rµng chØ có đơn vị đầu ra-l-ợng tiêu thụ Số đầu vào cố định, phụ thuộc vào số nhân tố ảnh h-ởng đ-ợc sử dụng Số đơn vị lớp ẩn đ-ợc xác định cách huấn luyện với tập kiểm tra Mạng yêu cầu số đơn vị lớp ẩn vừa đủ để học đ-ợc đặc tr-ng tổng quát mối quan hệ đầu vào đầu Mục tiêu sử dụng số đơn vị lớp ẩn vừa đủ để học đ-ợc mối quan hệ liệu Nh- đà nêu, sử dụng nhiều lớp ẩn không tăng đáng kể độ xác dự báo Các hàm kích hoạt đơn vị lớp ẩn hàm sigmoid Đối với đơn vị lớp hàm sigmoid Cài đặt thuật toán lan truyền ng-ợc Mạng đ-ợc huấn luyện thuật toán lan truyền ng-ợc Hàm lỗi trung bình bình ph-ơng đ-ợc sử dụng: n E (tk yk )2 k Nh- đà nêu trên, hàm chuyển đơn vị lớp ẩn hàm sigmoid: g ( x) 1 e x Hàm có đặc tr-ng có ích dễ lấy đạo hàm biểu diễn d¹ng sau: g ( x)' g ( x)(1 g ( x)) Các hàm đ-ợc cài đặt với ngôn ngữ (C# 2005) hÃng Microsoft Trang 67 Hµm sigmoid: public double F(double x) { if (x > 50) return 1; else if (x < -50) return 0; else return ( / (1+Math.Exp(-x))); } Hµm tÝnh tổng bình ph-ơng lỗi: public double GetError() { int i; double total=0.0; for (i = 0; i < outputNume;i++ ) { total +=Math.Pow((Output[i].Target - Output[i].OutputSum),2)/2; } return total; } Ph-¬ng thøc khëi t¹o träng sè: public void Initialization(Dictionary TrainSet,double[] output_value) { int i, j; Random rd = new Random(); //Khởi tạo trọng số lớp đầu vào for (i = 0; i < preInputNume+1; i++) { PreInput[i].Weight=new double[hiddenNume]; PreInput[i].momen = new double[hiddenNume]; for (j = 0; j < hiddenNume;j++) { PreInput[i].Weight[j]=0.1 +((double)rd.Next(0,5)/ 100); PreInput[i].momen[j] = 0.05; } } //Khởi tạo trọng số lớp ẩn for (i = 0; i < hiddenNume+1; i++) { Hidden[i].Weight = new double[outputNume]; Hidden[i].momen = new double[outputNume]; for (j = 0; j < outputNume;j++) { Hidden[i].Weight[j] = 0.1 + ((double)rd.Next(0, 5) / 100); Hidden[i].momen[j] = 0.05; } } } Tht to¸n tiÕn //Thuật tốn tiến(Forward Propagation) Trang 68 public void ForWardPropagation(double[] pattern, double output) { int i, j; double total; //Tính giá trị đầu vào từ mảng giá trị for (i = 0; i < preInputNume+1;i++) { if (i == 0) PreInput[i].Value = 1; else PreInput[i].Value = pattern[i-1]; } //Tính lớp ẩn for (i = 0; i < hiddenNume+1; i++) { total = 0.0; if (i == 0) Hidden[i].OutputSum = 1; else { for (j = 0; j < preInputNume + 1; j++) { total += PreInput[j].Value * PreInput[j].Weight[i-1]; } Hidden[i].InputSum = total; Hidden[i].OutputSum = F(total); } } //Tính lớp for (i = 0; i < outputNume; i++) { total = 0.0; for (j = 0; j < hiddenNume+1; j++) { total += Hidden[j].OutputSum * Hidden[j].Weight[i]; } Output[i].InputSum = total; Output[i].OutputSum = F(total); Output[i].Target = output; Output[i].Error = (Output[i].Target-Output[i].OutputSum) *(Output[i].OutputSum) * (1 - Output[i].OutputSum); } } Thuật ng-ợc cập nhật giá trị träng sè Back propagation //Thuật toán ngược cập nhật lại giá trị trọng số(Back Propagation) public void BackPropagation() { int i, j; double total; //Tính giá trị lỗi cho neural lớp an for (i = 0; i < hiddenNume;i++) { total = 0.0; if (i != 0) { for (j = 0; j < outputNume; j++) { total += Output[j].Error * Hidden[i].Weight[j]; } Trang 69 Hidden[i].Error = Hidden[i].OutputSum*(1Hidden[i].OutputSum)*total; } } //Cập nhật lại giá trị trọng số cho lớp //Cập nhật lại lớp đầu vào for (i = 0; i < hiddenNume; i++) { for (j = 0; j < preInputNume+1;j++ ) { PreInput[j].Weight[i] += learnRate * Hidden[i].Error * PreInput[j].Value; PreInput[j].momen[i] = learnRate * Hidden[i].Error * PreInput[j].Value; } } //Cập nhật lại lớp ẩn for (i = 0; i < outputNume;i++ ) { for (j = 0; j < hiddenNume+1;j++ ) { Hidden[j].Weight[i] += learnRate * Output[i].Error * Hidden[j].OutputSum; Hidden[j].momen[i] = learnRate * Output[i].Error * Hidden[j].OutputSum; } } } 3.3.3 Ch-ơng trình dự báo liệu Màn hình ban đầu ch-ơng trình: Trang 70 3.3.3.1 hình nhập tham số cho mạng Trong hình có lựa chọn nh-: hệ số lỗi max, số lớp ẩn, số vòng lặp max, hệ số học, tệp huấn luyện, tệp dự báo Nh- hình sau: Ngầm định ch-ơng trình đà có bốn giá trị, hệ số lỗi max, số lớp ẩn, số vòng lặp max, hƯ sè häc Khi sư dơng cã thĨ thay ®ỉi giá trị Các tệp liệu có cấu trúc: - Các tr-ờng liệu đ-ợc cách dấu chấm phẩy; - Tr-ờng liệu dự báo tr-ờng cuối cùng; - Sau tr-ờng liệu không cần khai báo có dấu chấm phẩy; - Các tệp liệu không đ-ợc có khoảng trống phía cuối Nếu có cần đ-ợc loại bỏ Ví dụ: Tệp liệu có dạng nh- sau: Trang 71 Các liệu sau đ-ợc đọc vào đ-ợc chuẩn hoá đoạn [0,1] theo ph-ơng pháp : SV=((0.9-0.1)/(MAX_VAL - MIN_VAL))*(OV-MIN_VAL) Trong đó: SV: giá trị sau biến đổi MAX_VAL: giá trị lớn liệu MIN_VAL: giá trị nhỏ liệu OV: giá trị ban đầu 0.9, 0.1:lần l-ợt giá trị lớn nhỏ hàm sigmoid 3.3.3.1 huấn luyện mạng Sau qua b-ớc thiết lập thông số cho mạng, bắt đầu huấn luyện cho mạng Để thực điều chọn đ-ờng dẫn cho tập huấn luyện tập kiểm tra hình ban đầu huấn luyện có dạng nhsau: Chú thích: Đồ thị bên trái thể kết tập mẫu đ-a vào mạng, đồ thị bên phải thể trả lời mạng tập kiểm tra, mẫu ch-a đ-a vào mạng Sau số chu kỳ huấn luyện mạng có kết trả lời tập liệu huấn luyện kiểm tra tốt so với trạng thái ban đầu Trang 72 Các đ-ờng màu đỏ thể đầu mong muốn mạng tập liệu Các đ-ờng màu xanh thể trả lời mạng tập liệu đ-a vào mạng 3.3.3.3 Dự báo liệu Sau mạng đà đ-ợc huấn luyện, sử dụng dự báo liệu Chỉ cần xác định tệp chứa liệu thực dự báo hình nh- sau: 3.4 Một số nhận xét Trang 73 Mạng bị ảnh h-ởng nhiều từ trạng thái khởi đầu tham số Trong trình học, mạng cố gắng điều chỉnh tham số cho tổng bình ph-ơng lỗi nhỏ Khả hội tụ mạng phụ thuộc vào tham số khởi đầu, khả tổng quát hoá lại phụ thuộc nhiều vào liệu đầu vào Nếu liệu đầu vào nhiều dẫn tới tình trạng luyện mạng nhiều thời gian khả tổng quát hoá liệu sai số tăng Ngoài đặc tr-ng liệu, đặc tr-ng khác trình huấn luyện mạng cần quan tâm số lần thực hiệu chỉnh tham số mạng dẫn tới tình trạng khả tổng quát hoá mạng Bởi vậy, số chu kỳ mẫu đ-a vào cần đ-ợc xem xét phải lớn ng-ỡng (từ vài nghìn đến vài chục nghìn lần) Để xem xét, đánh giá đ-ợc khả tổng quát hoá mạng cần thực phân chia liệu thành tập: huấn luyện (training set), kiểm tra (test set) Tập liệu thử không đ-a vào mạng để kiểm tra hoạt động mạng để thể tính khách quan Một vấn đề khả rơi vào cực trị địa ph-ơng Thuật toán lan truyền ng-ợc lỗi không đảm bảo cho ta cực trị toàn cục Nếu rơi vào cực trị địa ph-ơng, ta phải bắt đầu huấn luyện lại Điều làm cho mạng nơron không áp dụng đ-ợc thực tế toán yêu cầu độ xác cao thời gian tối thiểu Do đó, giải pháp sử dụng hệ số học biến đổi h-ớng đê v-ợt qua đ-ợc nh-ợc điểm Ngoài ra, liệu phân bố không mẫu khả tổng quát hoá không tốt Một điều khả mạng đạt đ-ợc đến trạng thái mong muốn mà bỏ qua điểm cực trị Để tránh điều này, không nên đặt hệ số học lớn (cỡ 0.1 chẳng hạn) hay hệ số moment lớn (chẳng hạn 0.5) (do đặc tr-ng thuật toán lan trun ng-ỵc sư dơng tham sè moment) Trang 74 Nh- đà nêu trên, để đảm bảo khả đạt đến điểm cực tiểu, số đơn vị lớp ẩn cần đủ lớn Tuy nhiên số đơn vị lớp ẩn v-ợt ng-ỡng khả tổng quát hoá mạng bëi lÏ sau hn lun m¹ng cã xu h-íng ghi nhớ tất đà đ-ợc học - KÕt luËn M¹ng nơ-ron có thê đ-ợc huấn luyện để xấp xỉ hàm mà không cần biết tr-ớc đầu vào đầu Chúng hoạt động nh- nhớ tự liên hợp cách sử dụng liệu đặc thù cho ứng dụng, toán lĩnh vực cụ thể Đó đặc tr-ng đem lại cho mạng nơ-ron lợi mô hình khác, đặc tr-ng thứ lỗi Trong đồ án này, đà xem xét thuộc tính mạng nơ-ron truyền thẳng trình xác định nơ-ron đầu vào, kiến trúc mạng phục vụ cho toán cụ thể Em đà xây dựng hệ ch-ơng trình dự báo liệu nhằm áp dụng lý thuyết vào toán Thực nghiệm cho thấy mạng đ-ợc huấn luyện tốt tập liệu đầy đủ hoàn chỉnh với tham số lựa chọn cẩn thận khả dự báo xác đến 90% Ch-ơng trình cung cấp khả l-u lại tập trọng số cấu hình mạng nhhệ số lỗi, hệ số học, số đơn vị lớp ẩn Tuy nhiên, đồ án nàychỉ xem xét đến khía cạnh tổng thể mạng nơ-ron truyền thẳng nhiều lớp vấn đề dự báo liệu thời gian Trang 75 ngắn trung bình Tuy nhiên, ứng dụng vấn đề lý thuyết thể ch-ơng trình xây dựng hoàn toàn áp dụng cho toán dự báo thời gian dài với số sửa đổi thuật toán huấn luyện Cần nhấn mạnh rằng, để dự báo đ-ợc liệu, ta cần sử dụng liệu lịch sử để huấn luyện có dự báo đầu vào (ví dụ nh- dự báo nhiệt độ ngày hôm sau,) Ng-ời ta mạng nơ-ron truyền thẳng nhiều lớp có khả tốt dự báo khoảng thời gian ngắn Mạng nơ-ron truyền thẳng nhiều lớp đ-ợc sử dụng nhiều bào toán dự báo lĩnh vực khác: dự báo l-ợng sử dụng điện, n-ớc, thị tr-ờng khoán, l-u l-ợng giao thông l-ợng sản phẩm bán chừng mối quan hệ đầu vào đầu thấy đ-ợc đ-a vào mô hình Tuy không tồn mô hình chung thích hợp cho tất toán dự báo thực tế Đối với toán cần thực phân tích cặn kẽ, cụ thể liệu phạm vi sử dụng tri thức thu thập đ-ợc để xây dựng đ-ợc mô hình thích hợp Các phân tích tri thức thu thập đ-ợc có ích việc lựa chọn đầu vào mà hoá đầu vào định cấu trúc mạng, đặc biệt mà liệu lĩnh vực có giới hạn Đồ án đ-ợc thực nhằm sáng tỏ vấn đề lý thuyết mạng nơ-ron truyền thẳng nhiều lớp thuật toán lan truyền ng-ợc, b-ớc cần thực phân tích, thiết kế xây dựng ứng dụng cho toán liệu, đồng thời xây dựng ch-ơng trình ứng dụng nhằm mục đích thể vấn đề lý thuyết đà nêu Do thời gian nghiên cứu có hạn nên chắn đồ án có nhiều thiếu sót, em mong nhận đ-ợc nhiều ý kiến đóng góp thây giáo, cô giáo bạn nhằm hoàn thiện hiểu biết Xin chân thành cảm ơn! Trang 76 Tài liệu tham khảo [1] pgs.ts Nguyễn Quang Hoan,Nhập môn trí tuệ nhân tạo, Học Viện B-u Chính Viễn Th«ng, 2007 [2] Ngun Kú Phïng, Ngun Khoa ViƯt Tr-êng - ĐHQG-HCM Mô hình hoá trình xử lý n-ớc thải mạng nơ-ron nhân tạo , tạp chí phát triển KH&CN tập 10, số 01, năm 2007 [3] Đinh Việt Thành- Trần Hoàng Khứ - ĐHBK-Đà Nẵng Kết hợp hệ chuyên gia mạng nơ-ron nhân tạo dự báo cố tiềm ẩn máy biến áp lực [4] Phạm Hồng Luân, Phạm Tr-ờng Giang - ĐHQG HCM, Nghiên cứu ứng dụng mạng nơ-ron nhân tạo hỗ trợ công tác chọn thầu thi công theo quy trình đấu thầu Việt Nam , Tạp chí phát triển KH&CN, Tập 9, số 72006 [5] Nguyễn Đình Thúc, Mạng nơ-ron nhân tạo ph-ơng pháp ứng dụng , NXB GD 2000 [6] Đồ án tèt nghiƯp, Sv: Ngun §øc Minh (A) Gvhd: TiÕn sü Quách Tuấn Ngọc, Lớp: Tin mềm 1- K39.Đ Lý thuyết mạng Neuron ứng dụng nhận dạng tiếng nãi” Trang 77 [7] Lª Hai Khoi, Tran Duc Minh, “ application of back - propagation neural network in data forcasting“ , Institute of information technology-VAST,Ha noiviet nam [8] Shamshul Bahar Yaakob 1), Tsuguhiro Takahashi 2), Tatsuki Okamoto 2), Toshikatsu Tanaka 1), Tran Duc Minh3), Junzo Watada 1), Zhang Xiaojun 1) ,” Structural Learning Approach to Replacing Unreliable Units in a Power System” , 1) Waseda University, Graduate School of Information, Production and Systems,2) Central Research Institute of Electric Power Industry Electric Power Engineering Research Laboratory,3)Software Engineering in Management Dept Institute of Information Technology, VAST, Kytakyushu 03/2004 Trang 78 ... đặt Thử nghiệm mạng nơ- ron truyền thẳng dự báo l-ợng tiêu thụ khí gaS 49 3.1 Sơ l-ợc lĩnh vực dự báo liệu 50 3.2 Thu thập, phân tích xử lý ®÷ liƯu 51 3.3 Ch-ơng trình dự báo. .. Cài đặt Thử nghiệm mạng nơ- ron truyền thẳng dự báo l-ợng tiêu thụ khí gaS Ch-ơng đề cập đến vấn đề: 3.1 Sơ l-ợc lĩnh vực dự báo liệu 3.2 Thu thập, phân tích xử lý liệu 3.3 Ch-ơng trình dự báo liệu... thẳng nhiều lớp Chúng ta xét mạng nơ- ron truyền thẳng dạng chi tiết hơn: Trang 22 Hình 2.3: Mạng nơ- ron truyền thẳng nhiều lớp Trong : P: Vector đầu vào (vector cột) Wi: Ma trận trọng số nơ- ron