Cỏc cụng trỡnh trong và ngoài nƣớc nghiờn cứu về thuật toỏn học của mạng nơron

hệ chuyển động”, Luận ỏn tiến sỹ,Trƣờng Đại học Bỏch khoa Hà Nội.

 Nghiờn cứu và đề xuất cấu trỳc hệ mờ - nơron với số lớp và số nơron thớch ứng (5 lớp và số nơron lớp 2 tối thiểu là 2 nơron) nhằm đảm bảo độ chớnh xỏc và tốc độ tớnh toỏn cho hệ điều khiển thời gian thực.

 Xõy dựng thuật toỏn nhận dạng trực tuyến, cập nhật thớch nghi thụng số nhằm đảm bảo tối thiểu hoỏ sai lệch phục vụ cho việc nhận dạng và điều khiển hệ. Việc ứng dụng đại số Lie và điều khiển theo phƣơng phỏp tuyến tớnh hoỏ chớnh xỏc thớch nghi cú khả năng ứng dụng tổng quỏt cho một lớp hệ điều khiển chuyển động.

 Với hệ chuyển động cụ thể và phức tạp là hệ khớp nối mềm cụng trỡnh đó đƣa ra thuật toỏn mụ phỏng hệ. Cỏc kết quả mụ phỏng đó chứng tỏ tớnh đỳng đắn của luật nhận dạng và điều khiển, cấu trỳc cũng nhƣ mụ hỡnh điều khiển hệ chuyển động.

1.5.2. Cỏc cụng trỡnh trong và ngoài nƣớc nghiờn cứu về thuật toỏn học của mạng nơron mạng nơron

Những năm gần đõy, những biến thể của thuật học lan truyền ngƣợc vẫn đƣợc quan tõm nghiờn cứu và đƣợc cụng bố nhằm nõng cao tốc độ hội tụ của quỏ trỡnh luyện mạng.

Kỹ thuật lan truyền ngƣợc ở đõy là lan truyền ngƣợc lỗi (hay sai số) trong mạng, hàm lỗi (hay hàm sai số) thƣờng chọn là hàm mà nú tối thiểu hoỏ đƣợc sai số trung bỡnh bỡnh phƣơng. Chớnh vỡ vậy, trong quỏ trỡnh nỗ lực thoỏt khởi cỏc cực tiểu yếu, cực tiểu cục bộ và những mong muốn giảm thời gian thực hiện của mỏy tớnh khi tỡm kiếm nghiệm tối ƣu, thỡ vấn đề nghiờn cứu đặc điểm của cỏc mặt lỗi thƣờng đƣợc chọn làm xuất phỏt điểm cho việc cải tiến hay đề xuất cỏc thuật học mới. Trong cỏc nghiờn cứu nhằm cải thiện thuật toỏn, ngƣời ta thƣờng tỡm cỏch thay đổi

32 bƣớc học để cho phộp cú thể vƣợt qua những cực trị địa phƣơng. Khụng cú một giỏ trị bƣớc học xỏc định nào cho cỏc bài toỏn khỏc nhau. Với mỗi bài toỏn, bƣớc học thƣờng đƣợc lựa chọn bằng thực nghiệm theo phƣơng phỏp thử và sai, hoặc sẽ cú bƣớc học phự hợp với từng dạng bài toỏn riờng biệt.

Sau đõy là một số cỏc cụng trỡnh khoa học quan trọng, đề cập đến vấn đề cải tiến kỹ thuật lan truyền ngƣợc nguyờn thủy ảnh hƣởng đến nội dung của luận ỏn.

Cỏc cụng trỡnh nghiờn cứu của Hagan, M.T., và cỏc cộng sự về mạng nơron, tiờu biểu là cuốn “Neural Networks Design”, PWS Publishing Company, Boston, 1996.

Cụng trỡnh của Kandil N., Khorasani K., Patel R.V., Sood V.K., “Optimum learning rate for backpropagation neural networks”, Canadian Conference on Electrical and Computer Engineering, pp: 465-468 vol.1, 1993. Bài bỏo này đó đƣa ra thời gian thay đổi tốc độ học tập tối ƣu cho cỏc mạng BP. Kết quả cho thấy thời gian huấn luyện cú thể giảm đỏng kể trong khi khụng gõy ra bất kỳ dao động trong quỏ trỡnh huấn luyện đú.

Cụng trỡnh của Dimitri P. Bertsekas, “Nonlinear programming, 2nd Edition, 2004”. Bertsekas núi rất tỉ mỉ về cỏc vấn đề cụ thể ta thƣờng phải đối mặt khi sử dụng một thuật toỏn tối ƣu. Vớ dụ, nếu dựng giảm dốc gradient thỡ cần phải tớnh đến chuyện điều khiển cập nhật bƣớc nhảy nhƣ thế nào,… Trong quyển sỏch này mụ tả khỏ đầy đủ cỏc phƣơng phỏp cổ điển khỏc nhƣ conjugate gradient, golden section,…

Mohammed A. Otair, Woalid A. Salamed “Speeding Up BackPropagation Neural Networks”, Jordan University of Science and Technology, Flagstaff, Arizona, USA – June 16-19,2005. Bài bỏo này trỡnh bày về việc cải tiến thuật học lan truyền ngƣợc, thuật học của họ cú tờn là OPB, Optical BackPropagation. Nội dung chớnh của thuật học là việc sử dụng hàm e mũ cho việc tớnh toỏn sai số đầu ra của mạng, “sai số đầu ra” = (1+exp(“giỏ trị mong muốn”-“giỏ trị hiện thời”)) nếu “giỏ trị mong muốn”-“giỏ trị hiện thời” khụng õm và “sai số đầu ra” = - (1+exp(“giỏ trị mong muốn”-“giỏ trị hiện thời”)) nếu “giỏ trị mong muốn”-“giỏ trị hiện thời” õm; thay vỡ việc tớnh sai số đầu ra của mạng nhƣ truyền thống “sai

33 số đầu ra” = “giỏ trị mong muốn”-“giỏ trị hiện thời”. Và họ chứng minh rằng với việc tớnh toỏn sai số nhƣ vậy, tốc độ hội tụ sẽ nhanh hơn.

Cụng trỡnh của Chi-Chung Cheung, Sin-Chun Ng, “The multi-phase method in fast learning algorithms”, International Joint Conference on Neural Networks (IJCNN) 2009, pp: 552-559. Bài bỏo này đƣa ra phƣơng phỏp cải tiến kỹ thuật lan truyền ngƣợc BP with two-phase magnified gradient function (2P- MGFPROP). Cụ thể phƣơng phỏp 2P-MGFPROP đƣợc tăng cƣờng bằng cỏch phõn chia quỏ trỡnh học của mạng ra nhiều giai đoạn, với mỗi giai đoạn thớch nghi khỏc nhau sẽ chọn một thuật toỏn học khỏc nhau. Cỏc kết quả thực nghiệm cho thấy, tốc độ hội tụ nhanh hơn gấp 2 lần so với cỏc thuật toỏn học nhanh hiện cú.

Cụng trỡnh của Islam, M.; Rana, M.R.; Ahmed, S.U.; Enamul Kabir, A.N.M.; Shahjahan, M. “Training neural network with chaotic learning rate” International Conference on Emerging Trends in Electrical and Computer Technology (ICETECT), pp: 781 – 785, 23-24 March 2011. Cỏc tỏc giả đề cập đến việc thay đổi bƣớc học một cỏch hỗn loạn “chaotic learning rate” trong quỏ trỡnh cập nhật trọng số. Đề xuất này đó đƣợc kiểm nghiệm qua 6 bài toỏn trong bộ dữ liệu dựng để phõn loại nhƣ ung thƣ vỳ, tiểu đƣờng, bệnh tim, thẻ tớn dụng Úc, ngựa và thủy tinh. Phƣơng phỏp mới này nhanh hơn so với BP về khả năng khỏi quỏt và cũng nhƣ tốc độ hội tụ.

Cụng trỡnh nghiờn cứu của PGS.TS. Nguyễn Quang Hoan “Nhận dạng ký tự viết tay tiếng Việt sử dụng mạng lan truyền ngược” đăng trờn bỏo cỏo của hội nghị Tự động húa toàn quốc lần thứ 6 (VICA6), 2004. Bài viết nghiờn cứu việc kết hợp mạng nơron động với giải thuật di truyền cho nhận dạng õm tiết tiếng Việt. Để thực hiện, tỏc giả đó sử dụng mạng nơ ron động với cỏc phần tử trễ và thuật học lan truyền ngƣợc lỗi. Trong đú, giải thuật di truyền đúng vai trũ tối ƣu cỏc trọng số cho mạng nơron nhằm tăng hiệu quả nhận dạng.

Cụng trỡnh nghiờn cứu của Nguyễn Sĩ Dũng, Lờ Hoài Quốc,“Một số thuật toỏn về huấn luyện mạng nơron network trờn cơ sở phƣơng phỏp conjugate Gradient”, Đại học Cụng nghiệp TPHCM và Đại học Bỏch khoa TPHCM.

34

 Tỏc giả đó tỡm đi hƣớng đi mới đầy triển vọng là xõy dựng thuật toỏn mới về luyện mạng dựa vào phƣơng phỏp Conjugate Gradient, trong đú đặt mục tiờu là cải thiện tốc độ hội tụ của quỏ trỡnh huấn luyện mạng nơron.

 Trong bỏo cỏo này đó trỡnh bày cơ sở toỏn học của vấn đề của phƣơng phỏp Conjugate Gradient và một thuật toỏn mới đƣợc viết trờn Matlab 7.1 để huấn luyện mạng nơron. Xong đối tƣợng mà tỏc giả ỏp dụng là đối tƣợng phi tuyến tĩnh.

 Phƣơng phỏp này cú ý nghĩa trong huấn luyện mạng trực tuyến online và ứng dụng nhận dạng và điều khiển trong mụi trƣờng động.

Trong quỏ trỡnh luyện mạng nơron, một nhõn tố khỏc cũng tỏc động rất lớn đến vấn đề tỡm nghiệm tối ƣu đú là bộ trọng số khởi tạo ban đầu. Trong kỹ thuật lan truyền ngƣợc nguyờn thủy và cỏc thuật toỏn khỏc, bộ trọng số ban đầu dựng cho luyện mạng đều đƣợc chọn ngẫu nhiờn cú thể thủ cụng hay tự động trong một khoảng nào đú. Đó cú những cụng trỡnh chứng minh đƣợc rằng, thay vỡ bằng cỏch khởi tạo ngẫu nhiờn hóy tỡm bộ trọng số khởi tạo tối ƣu cho quỏ trỡnh luyện mạng. Trọng số khởi tạo đó đƣợc cụng nhận rộng rói là một trong những phƣơng phỏp tiếp cận hiệu quả trong việc thỳc đẩu cụng tỏc đào tạo mạng nơron [31-43]. Tiờu biểu cú thể kể đến nhƣ: Nghiờn cứu của Shepanski liờn quan đến việc đào tạo một mạng truyền thẳng nhiều lớp [38]. Trọng lƣợng tối ƣu đƣợc xỏc định bằng cỏch sử dụng phƣơng phỏp tớnh bỡnh phƣơng nhỏ nhất dựa trờn một ma trận tiờu chuẩn. Đối với mạng một lớp ẩn, ụng đề nghị sử dụng một trong hai phƣơng phỏp mụ phỏng mềm dẻo hoặc giải thuật di truyền để khởi tạo cỏc trọng số liờn kết giữa đầu vào và lớp ẩn, sau đú trọng lƣợng đầu ra đƣợc tớnh toỏn sử dụng phõn tỏch giỏ trị. Đõy là một phƣơng phỏp tớnh toỏn rất phức tạp. Cũn Yam và Chow đề xuất hai phƣơng phỏp khởi tạo trọng lƣợng dựa trờn phƣơng phỏp bỡnh phƣơng nhỏ nhất [40][41]. Trong [40], hệ thống đƣợc giả định là tuyến tớnh. Cỏc thụng số đầu vào và đầu ra thu đƣợc bằng phƣơng phỏp bỡnh phƣơng nhỏ nhất tuyến tớnh. Từ cỏc thụng số này, trọng lƣợng ban đầu tối ƣu giữa cỏc lớp đƣợc xỏc định. Tuy nhiờn, thuật toỏn này khụng ỏp dụng cho mạng nơron trong đú số nơron lớp ẩn là nhỏ hơn số nơron trong cỏc lớp trƣớc đú cộng với một. Trong [41], cỏc kết quả đầu ra của lớp ẩn đƣợc gỏn giỏ

35 trị trong vựng khụng bóo hũa và trọng lƣợng ban đầu tối ƣu giữa đầu vào và lớp ẩn đƣợc đỏnh giỏ bằng phƣơng phỏp đại số tuyến tớnh. Tuy nhiờn, một số điều tra khỏc chỉ ra rằng, mạng nơron khởi tạo với [41] đụi khi thu đƣợc một tối ƣu địa phƣơng xấu, xỏc suất bị mắc kẹt cho một số ứng dụng cú thể lờn đến 10%.

Năm 1990, Nguyen và Widrow thỳc đẩy quỏ trỡnh đào tạo của mạng nơron bằng cỏch thiết lập trọng lƣợng ban đầu của lớp ẩn [36]; vỡ vậy, mỗi nỳt ẩn đƣợc gỏn thờm một loạt cỏc chức năng mong muốn khi bắt đầu luyện mạng. Thụng qua xấp hàm kớch hoạt với cỏc phõn đoạn tuyến tớnh, trọng lƣợng đƣợc đỏnh giỏ. Tiếp theo, cỏc ngƣỡng của mạng đƣợc lựa chọn bằng cỏch giả định cỏc biến đầu vào biến thiờn từ -1 đến 1. Osowski mở rộng ý tƣởng của Nguyen và Widrow. ễng đề nghị một phƣơng phỏp để xỏc định số lƣợng nơron lớp ẩn và sử dụng thụng tin đầu ra mong muốn y=f(x) để xỏc định trọng lƣợng ban đầu [37]. Trong vớ dụ đƣợc Osowski đƣa ra, trọng lƣợng tối ƣu thu đƣợc sau khi luyện mạng nơron bằng thuật toỏn BP rất gần với trọng lƣợng ban đầu đƣợc đề xuất bởi thuật toỏn mới của ụng.

Hisashi Shimodaira đề xuất một phƣơng phỏp gọi là thiết lập giỏ trị ban đầu tối ƣu (Optimal initial value setting-OIVS) để xỏc định sự phõn bố cỏc giỏ trị ban đầu của trọng số và chiều dài của vecto trọng [39]. Cũn Drago và Ridella đề xuất phƣơng phỏp gọi là SCAWI (Statistically controlled activation weight initialization) để tỡm cỏc trọng số ban đầu tối ƣu [33]. Họ xỏc định độ lớn tối đa của trọng lƣợng thụng qua phõn tớch thống kờ. Cú thể núi việc ảnh hƣởng của bộ trọng số ban đầu đến kết quả luyện mạng nơron là khụng phải bàn cói; tuy nhiờn, mới mỗi một mạng khỏc nhau, lại cú những phƣơng phỏp khỏc nhau phự hợp. Những cụng trỡnh nghiờn cứu gần đõy cú ảnh hƣởng đến nội dung của luận ỏn:

Cụng trỡnh của Y. F. Yam, T. W. S. Chow, “Determining initial weights of feedforward neural networks based on least squares method”, Neural Processing Letters, Vol 2, Issue 2, pp:13-17, 1995. Bài bỏo đƣa ra một thuật toỏn tối ƣu húa trọng số ban đầu của mạng truyền thẳng dựa trờn phƣơng phỏp đại số tuyến tớnh. Với việc sử dụng phƣơng phỏp này, lỗi mạng ban đầu là rất nhỏ. Sau đú ta cú thể tiếp tục sử dụng kỹ thuật lan truyền ngƣợc để đi đến điểm cực trị.

36

Cụng trỡnh của Jatinder N.D.Gupta, Randall S. Sexton, “Comparing backpropagation with a genetic algorithm for neural network training”, The International Journal of Management Science, Omega 27, pp: 679-684, 1999. Họ lần đầu tiờn đó sử dụng GA để tỡm kiếm vecto trọng số của mạng nơron nhõn tạo. Họ so sỏnh lan truyền ngƣợc với GA và kết quả mỗi giải phỏp cú nguồn gốc từ GA là vƣợt trội so với cỏc giải phỏp lan truyền ngƣợc tƣơng ứng. GA cú thể đƣợc sử dụng để tối ƣu húa một số yếu tố của quỏ trỡnh thiết kế và huấn luyện mạng bao gồm lựa chọn tập hợp tớnh năng, tối ƣu húa cấu trỳc mạng, học tập tối ƣu húa tham số.

Cụng trỡnh nghiờn cứu của Gleb Beliakov and Ajith Abraham “Global Optimisation of Neural Networks Using a Deterministic Hybrid Approach” đăng trờn Hybrid Information Systems, Abraham A. and Koeppen M. (Eds), Physica- Verlag Germany, pp 79-92, 2002. Bài bỏo đề xuất sử dụng phƣơng phỏp “cutting angle” nhằm tối ƣu húa trọng số của mạng. Mạng nơron lần đầu đƣợc học theo phƣơng phỏp “cutting angle”, sau đú đƣợc học theo cỏc kỹ thuật tối ƣu khỏc.

Cụng trỡnh nghiờn cứu của P. A. Castillo, M. G. Arenas, J. J. Merelo, G. Romero, F. Rateb, A. Prieto, “Comparing Hybrid Systems to Design and Optimize Artificial Neural Networks”, Genetic Programming Lecture Notes in Computer Science Vol 3003, 2004, pp 240-249. Trong bài bỏo này cỏc tỏc giả đó nghiờn cứu so sỏnh giữa cỏc phộp lai để tối ƣu húa cỏc perceptron nhiều lớp và đƣa ra một mụ hỡnh tối ƣu húa cấu trỳc và trọng số ban đầu của mạng perceptron nhiều lớp. Kết quả thu đƣợc cho thấy mụ hỡnh này cần ớt chu kỳ huấn luyện hơn nhiều và do đú tăng tốc độ hội tụ. (adsbygoogle = window.adsbygoogle || []).push({});

Cụng trỡnh nghiờn cứu của D. Shanthi , G. Sahoo and N. Saravanan, “Evolving Connection Weights of Artificial Neural Networks Using Genetic Algorithm with Application to the Prediction of Stroke Disease”, International Journal of Soft Computing, Vol 4, Issue 2, pp: 95-102, 2009. Bài bỏo này đề xuất việc kết hợp giải thuật di truyền GA và mạng nơron nhõn tạo để tối ƣu húa bộ trọng số ban đầu trong quỏ trỡnh luyện mạng nơron. Nghiờn cứu này đƣợc ứng dụng trong việc dự đoỏn bệnh đột quỵ.

37

Cụng trỡnh nghiờn cứu của Yu-Tzu Chang, Jinn Lin, Jiann-Shing Shieh, Maysam F. Abbod “Optimization the InitialWeights of Artificial Neural Networks via Genetic Algorithm Applied to Hip Bone Fracture Prediction” đăng trờn tạp chớ Advances in Fuzzy Systems - Special issue on Hybrid Biomedical Intelligent Systems, Vol 2012, January 2012 Article No. 6, New York, NY, United States. Bài bỏo tỡm cỏch thiết lập trọng số tối ƣu ban đầu để nõng cao độ chớnh xỏc của mạng nơron bằng giải thuật di truyền trong dự bỏo xỏc suất góy xƣơng hụng.