Tương tự như học hàm Q, để so sánh kết quả học xấp xỉ hàm ngược Q, thí nghiệm được tiến hành giữa các toán tử lai ghép khác nhau đã đề cập ở trên gồm:
1. Toán tử lai ghép GP chuẩn (GP)
2. Toán tử lai ghép MSSC trên GP (MSSC) 3. Toán tử lai ghép trên hệ TAG3P (TAG3P).
4. Toán tử lai ghép trên hệ TAG3P có sử dụng tìm kiếm địa phương (TAG3PL)
5. Toán tử lai ghép dựa trên ngữ nghĩa trên hệ TAG3P (TAG3PSC). Dựa trên các hàm trong các xấp xỉ hàm Q, lựa chọn các hàm ngược tương ứng và phù hợp, các hàm sử dụng trong thí nghiệm sẽ là +,-,*,/ log và exp. Ngoài ra sử dụng hằng số là 1, Pi và R là hằng số trong khoảng (0;1). Do đó, văn phạm được sử dụng để học sẽ như sau:
95
Tham số Giá trị
Số thế hệ 100
Kích thước quần thể
3000 với GP, GP với MSSC. 3000 với TAG3P (không sử dụng
tìm kiếm địa phương) 100 với TAG3PL (có sử dụng
tìm kiếm địa phương) Kích thước tối đa 40 (với TAG3P) và 15 (với GP) Phương pháp chọn Lựa chọn cạnh tranh với kích cỡ là 9
Tập hàm sử dụng +, -, *,/, exp, log
Xác xuất các toán tử Lai ghép = 0.9, Đột biến = 0.1 Hàm thích nghi Lỗi tuyệt đối trung bình (MAE) Toán tử tìm kiếm địa phương
(áp dụng với TAG3PL)
Ngẫu nhiên lựa chọn toán tử chèn và toán tử xóa
Chiến lược tìm kiếm địa phương
(áp dụng với TAG3PL) Leo đồi
Bước tìm kiếm địa phương (áp dụng với TAG3PL)
30 với TAG3PL (có sử dụng tìm kiếm địa phương) Số cặp cây con lựa chọn để tính
ngữ nghĩa (N) đối với TAG3PSC N=40
Số lần chạy thí nghiệm 50
96
Hình vẽ 4.7. Văn phạm LTAG của TAP3P cho bài toán xấp xỉ hàm ngược Q
97 Sau khi chạy thí nghiệm trên, với 50 lần chạy thí nghiệm, kết quả thu được như sau: Thí nghiệm Giá trị MAE MAE<=10-3 10 -3<MAE và MAE<=10-2 10-2<MAE và MAE<=10-1 Giá trị MAE tốt nhất thu được GP 0 18 33 0.0814 MSSC 0 22 28 0.0096 TAG3P 0 21 29 0.0110 TAG3PL 0 33 17 0.0198 TAG3PSC 0 42 8 0.0070
Bảng 4.4. Kết quả thí nghiệm học hàm ngược Q
Do chưa có dạng tường minh nào của hàm ngược Q được công bố, nên dựa trên kết quả thu được, giá trị lỗi tuyệt đối trung bình của xấp xỉ tìm bởi TAG3PSC là tốt nhất và qua đánh giá các cấu trúc lời giải tốt nhất thu được thì đây là lời giải đơn giản nhất. Dạng tường minh của biểu thức xấp xỉ hàm ngược Q thu được như sau:
Qinver = ( -../-.
0.1202 3.$4995)∗678;)(.&454.44$5678 "-.0<=>)ln(0.981515+<.1-==) + 1.2617 – 2.1675x – -.=22=
?.0?1=∗ "-.-<=- (4.18)
Như vậy có thể thấy xấp xỉ hàm ngược Q thu được có cấu trúc tường minh và không quá phức tạp. Hiện tại chưa có công bố nào về hàm ngược Q ở dạng tường minh (chỉ có các hàm như trong Matlab được sử dụng, mặc dù cho kết quả chính xác nhưng không biết được dạng tường minh, do đó không thể sử dụng trong việc phân tích). Vì vậy dạng tường minh của hàm ngược Q là kết quả ban đầu có ý nghĩa.
98
KẾT LUẬN CHƯƠNG
Trong chương này, luận án đã áp dụng các toàn tử tìm kiếm dựa trên ngữ nghĩa cũng như một số hệ GP khác để thực hiện việc học xấp xỉ hàm Q và hàm ngược Q. Kết quả thu được những xấp xỉ tốt hơn rất nhiều so với xấp xỉ được đưa ra bởi chuyên gia, hơn thế nữa nó lại có cấu trúc đơn giản, phù hợp với ứng dụng trong hệ thống viễn thông.
Hơn nữa, kết quả thu được trong quá trình tiến hành thí nghiệm cũng cho thấy hiệu quả thực tế của toán tử lai ghép dựa trên ngữ nghĩa trong hệ TAG3P đã được đề xuất trong chương 3.
99
KẾT LUẬN
Với những mục tiêu đặt ra, luận án đã tập trung tìm hiểu về những khái niệm trong lĩnh vực liên quan đến lập trình Gen, đặc biệt là dựa trên hệ TAG3P. Trên cơ sở đó, hướng nghiên cứu quá trình tiến hóa mở rộng dựa trên khái niệm ngữ nghĩa được đề xuất và những kết quả chính của luận án đạt được như sau:
1. Đề xuất định nghĩa giá trị “Ngữ nghĩa” của các cây con. Ngữ nghĩa này sẽ giúp xác định được tác động của từng cây con trong quá trình tiến hóa. 2. Dựa trên định nghĩa về ngữ nghĩa trong TAG3P, nghiên cứu đề xuất toán tử
tiến hóa mới, trong đó toán tử lai ghép trên cặp cây con có trị ngữ nghĩa định lượng dương sẽ thu được được kết quả cải tiến. Việc thiết kế với các toán tử mới sẽ giúp quá trình tiến hóa được định hướng tốt hơn dựa trên ngữ nghĩa. 3. Ứng dụng các kết quả nghiên cứu mới của luận án vào bài toán thực tế là học
xấp xỉ hàm Q và học xấp xỉ hàm ngược Q.
Việc tìm kiếm các dạng xấp xỉ của hàm Q rất có ý nghĩa trong nhiều lĩnh vực, đặc biệt trong lĩnh vực viễn thông. Kể từ khi xấp xỉ OPBCS được đưa ra từ năm 1979, đến nay các nhà khoa học vẫn tiếp tục tìm kiếm các dạng xấp xỉ mới tốt hơn và đơn giản hơn (những công bố trên các tạp chí khoa học trong các năm gần đây về các dạng xấp xỉ mới của hàm Q cho thấy ý nghĩa của bài toán tìm xấp xỉ của hàm này).
Kết quả ứng dụng vào bài toán thực tế học xấp xỉ hàm Q và hàm ngược Q là:
- Đề xuất hàm thích nghi phù hợp với đặc điểm của bài toán học xấp xỉ hàm Q và hàm ngược Q.
- Tìm ra được xấp xỉ hàm Q tường minh ở dạng hàm mũ nên rất đơn giản trong quá trình tính toán, đặc biệt là có độ chính xác rất cao và phù hợp với đặc điểm sử dụng trong phân tích hệ thống viễn thông. Kết quả này rất quan trọng vì kể từ khi xấp xỉ OPBCS được công bố đến nay chưa có một
100 xấp xỉ nào tốt hơn được tìm ra. Một số công trình nghiên cứu thuộc lĩnh vực viễn thông đã trích dẫn và sử dụng hàm xấp xỉ này.
- Tìm ra được xấp xỉ hàm ngược Q ở dạng tường minh, hiện chưa có những công bố về dạng tường mình của hàm ngược này.
Các kết quả của luận án đã được công bố tại các tạp chí và hội nghị quốc tế có uy tín bao gồm:
- 02 bài công bố tại tạp chí uy tín trong và ngoài nước, trong đó có 01 công trình công bố tại tạp chí thuộc danh mục ISI.
- 03 bài đăng tại hội thảo quốc tế, trong đó có 02 hội thảo thuộc danh mục ISI Proceeding.
Với những kết quả nêu trên, luận án đã đạt được các mục tiêu đặt ra là nghiên cứu và áp dụng ngữ nghĩa trong hệ lập trình gen định hướng bởi văn phạm nối cây, đồng thời, kết quả đã được ứng dụng vào bài toán thực tế, có ý nghĩa trong lĩnh vực viễn thông.
101
HƯỚNG NGHIÊN CỨU VÀ PHÁT TRIỂN CỦA LUẬN ÁN
Dựa trên kết quả đạt được của luận án, một số hướng nghiên cứu tiếp theo có thể thực hiện:
1. Tiếp tục cải tiến và đề xuất thêm các toán tử mới dựa trên ngữ nghĩa được định nghĩa trong luận văn.
2. Áp dụng hệ TAG3P với toán tử mới với bài toán học trong môi trường thay đổi. Môi trường thay đổi ở đây là dữ liệu theo luồng, khi đó, dữ liệu học không phải là tập huấn luyện cố định mà sẽ là luồng dự liệu thay đổi liên tục
3. Cài đặt hệ TAG3P trên các hệ lập trình song song qua đó khai thác tính hiệu quả kết hợp với năng lực xử lý của hệ song song để giải quyết những bài toán học xấp xỉ đòi hỏi độ chính xác rất cao.
102
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN
I. Tạp chí
a. Đào Ngọc Phong, Nguyễn Xuân Hoài, Nguyễn Thanh Thủy, Nguyễn Quang Uy, “Nghiên cứu và thử nghiệm lập trình Gen trong bài toán tìm các xấp xỉ hàm Q-function”, Tạp chí tin học và điều khiển học, số 27, tập 4, năm 2011, trang 317-328.
b. Nguyen Quang Uy and Nguyen Xuan Hoai and Michael O'Neill and R. I. McKay and Dao Ngoc Phong", “On the roles of semantic locality of crossover in genetic programming”, Information Sciences, Vol. 235 ELSEVIER Pubs, pp 195-213, 2013.
II. Hội thảo/Hội nghị quốc tế
1. Dao Ngoc Phong and Nguyen Quang Uy and Nguyen Xuan Hoai and RI McKay. “Evolving approximations for the Gaussian Q-function by genetic programming with semantic based crossover”. In Proceedings of Congress on Evolutionary Computation, IEEE Press, June 2012, pp 1924-1929. 2. Dao Ngoc Phong and Nguyen Quang Uy and Nguyen Xuan Hoai and RI ,
”Evolving the Best Known Approximation to the Q-function”. In Proceedings of Congress on The Genetic and Evolutionary Computation Conference, ACM Press, July 2012, pp 807-812.
3. Dao Ngoc Phong and Nguyen Quang Uy and Nguyen Xuan Hoai and Nguyen Thanh Thuy, “Semantic based Crossovers in Tree-Adjoining Grammar Guided Genetic Programming”. In Proceedings of Congress on RIVF International Conference on Computing and Communication Technologies, RIVF 2013, IEEE Press, Ha Noi city, Vietnam Nov 2013, pp 141-147.
103
TÀI LIỆU THAM KHẢO
[1] J.R. Koza, Genetic Programming: On the Programming of Computers by
Natural Selection. MA: MIT Press, 1992.
[2] Nguyen Xuan Hoai, "A Flexible Representation for Genetic Programming from Natural Language Processing," Australian Defence force Academy, University of New South Wales, Australia, Ph.D. dissertation 2004.
[3] T. Back, Evolutionary Algorithms in Theory and Practice: Evolutionary
Strategies, Evolutionary Programming, and Genetic Algorithms.: Oxford
University Press, 1996.
[4] T. Mitchell, Machine Learning. New York: McGraw Hill, 1996.
[5] T.Back et al, Evolutionary Computation 1 : Basic Algorithms and
Operators.: IOP Publishing Ltd, 2000.
[6] T.Back et al, Evolutionary Computation 2: Advanced Algorithms and
Operators.: IOP Publishing Ltd, 2000.
[7] W. Banzhaf, P. Nordin, F.D. Francone, and R.E. Keller, Genetic Programming: An Introduction on the Automatic Evolution of Computer
Programs and Its Applications.: Morgan Kaufmann Publishers, 1998.
[8] E. Murphy, M. O'Neill, and A. Brabazon, "Examining Mutation Landscapes In Grammar Based Genetic Programming," in Proceedings of
the 14th European Conference on Genetic Programming, EuroGP 2011,
vol. 6621, 2011, pp. 130-141.
[9] Nguyen Xuan Hoai, R. I. (Bob) McKay, D. Essam, and H.A. Abbass, "Toward an Alternative Comparison between Different Genetic Programming Systems," in Genetic Programming 7th European
Conference, EuroGP 2004, Proceedings, vol. 3003, 2004, pp. 67-77.
[10] R. Poli and W.B. Langdonand N.F. McPhee, A Field Guide to Genetic
Programming.: http://lulu.com , 2008.
[11] Riccardo Poli, William B. Langdon, and Nicholas Freitag McPhee, A Field Guide to Genetic Programming.: Published via http://lulu.com and freely available at http://www.gp-field-guide.org.uk, 2008, (With contributions by J. R. Koza). [Online]. http://www.gp-field-guide.org.uk [12] T.Back et al, Handbook of Evolutionary Computation.: IOP Publishing
Ltd and Oxford University Press, 1997.
[13] William B. Langdon and Riccardo Poli, Foundations of Genetic
104 [14] Nordin, Peter; Francone, Frank; Banzhaf, Wolfgang, "Explicitly Defined Introns and Destructive Crossover in Genetic Programming," in
Proceedings of the Workshop on Genetic Programming: From Theory to
Real-World Applications, Tahoe City, California, USA, 9 #jul# 1995, pp.
6-22.
[15] P. Nordin et al, "Explicitly Defined Introns and Destructive Crossover," in
Proceedings of Workshop on Genetic Programming: From Theory to Real
World Applications, 1995, pp. 6-22.
[16] K.J. Lang, "Hill Climbing beats Genetic Search on a Boolean Circuit Synthesis of Koza’s," in Proceedings of the 12th International Conference
on Machine Learning, Morgan Kaufmann, 1995.
[17] M. Ridley, Evolution, Second Edition ed. London: Blackwell Science, 1996.
[18] R. Poli, "Parallel Distributed Genetic Programming, in D. Corne, M.Dorigo, and F. Glover, editors," in New Ideas in Optimization.: McGraw-Hill, 1999, ch. 27.
[19] A. Teller and M. Veloso, PADO, "A New Learning Architecture for Object Recognition, in K. Ikeuchi and M. Veloso, editors," in Symbolic
Visual Learning.: Oxford University Press, 1996, pp. 81-116.
[20] T. Perkis, "Stack-Based Genetic Programming," in Proceedings of the
1994 IEEE World Congress on Computational Intelligence, IEEE Press,
1994, pp. 148-153.
[21] M.J. Keith and C. Martin, "Genetic Programming in C++: Implementation Issues, in K.E. Kinnear Jr, editor," in Advances in Genetic Programming.: MIT Press, 1994, pp. 285-310.
[22] L. Spector, "Autoconstructive Evolution: Push, PushGP, and Pushpop," in
Proceedings of the Genetic and Evolutionary Computation
Conference(GECCO 2001), Morgan Kaufmann, 2001, pp. 137-146.
[23] P. Nordin, "Evolutionary Program Induction of Binary Machine Code and Its Applications, PhD Thesis, der Unsesitat Dortmund and Fachereich Informatik," 1997.
[24] Candida Ferreira, "Gene Expression Programming:New Adaptive Algorithm for Solving Problems," Complex Systems, vol. 13, no. 2, pp. 87- 129, 2001.
105 the Evolutionary Dynamics," in Proceedings of The 4th International
Workshop on Frontiers in Evolutionary Algorithms, 2002, pp. 614-617.
[26] Ingo Rechenberg, Evolutions strategie. Stuttgart: Friedrich Frommann Verlag, 1973, vol. 15.
[27] C.C. Palmer and A. Kershenbaum, "Representing Trees in Genetic Algorithms," in Proceedings of the First IEEE Conference on
Evolutionary Computation, 1994, pp. 379-384.
[28] B. Sendhoff et al, "A Condition for the Genotype-Phenotype Mapping: Causality," in Proceedings of the 7th International Conference on Genetic
Algorithms (ICGA 97), Morgan Kaufmann, 1997, pp. 73-80.
[29] A. A. Freitas, "Data Mining and Knowledge Discovery with Evolutionary Algorithms," Springer-Verlag, Germany, 2002.
[30] D.J. Montana, "Strongly-typed Genetic Programming, Technical Report BBN 7866," Bolt Beranek and Newman Inc, Cambridge, MA, 1994.
[31] D.J. Montana, "Strongly-Typed Genetic Programming," Evolutionary
Computation, pp. 199-230, 1995.
[32] T. Haynes, "Clique Detection via Genetic Programming, Technical Report UTULSA-MCS-95-02," University of Tulsa, 1995.
[33] T. Haynes et al, "Strongly typed genetic programming in evolving cooperation strategies," in Proceedings of the Sixth International
Conference on Genetic Algorithms (ICGA95), Morgan Kaufmann, 1995,
pp. 271-278.
[34] T. Haynes et al, Type Inheritance in Strongly Typed Genetic
Programming, P.J. Angeline and K.E. Kinnear Jr, Ed.: MIT Press, 1996,
pp. 359-376.
[35] A. Sarafopoulos, "Automatic Generation of Affine IFS and Strongly Typed Genetic Programming," in Proceedings of the Second European Confer- ence on Genetic Programming (EuroGP 990, LNCS 1598,
Springer-Verlag), 1999, pp. 149-160.
[36] E. Alba et al, "Evolutionary Design of Fuzzy Logic Controllers Using Strongly-Typed GP," Mathware & Soft Computing, vol. 6, no. 1, pp. 109- 124, 1999.
[37] R.N. Moll et al, An Introduction to Formal Language Theory. Germany: Springer- Verlag, 1998.
106 editor,".Foundations of Genetic Algorithms, Morgan Kaufmann, 1991. [39] P.A. Stefanski, "enetic Programming Using Abstract Syntax Trees," in
Notes from the Genetic Programming Workshop (ICGA 93), 1993.
[40] Justinian P. Rosca and Dana H. Ballard, "Genetic Programming with Adaptive Representations," University of Rochester, Computer Science Department, Rochester, NY, USA, Tech. rep. Feb 1994.
[41] J. Mizoguchi et al, "Production Genetic Algorithms for Automated Hardware Design through Evolutionary Process," in Proceedings of the
First IEEE Conference on Evolutionary Computation, IEEE Press, 1994,
pp. 85-90.
[42] H. Hemmi et al, "Development and Evolution of Hardware Behaviours," in Proceedings of Artificial Life IV, MIT Press, 1994, pp. 371-376.
[43] P. A. Whigham, "Grammatically-based Genetic Programming," in
Proceedings of the Workshop on Genetic Programming: From Theory to
Real-World Applications, Tahoe City, California, USA, 9 #jul# 1995, pp.
33-41.
[44] A.G. Schultz, Fuzzy Rule-Based Expert Systems and Genetic Machine.: Physica-Verlag, 1995.
[45] M.L. Wong and K.S. Leung, "Learning First-order Relations from Noisy Databases using Genetic Algorithms," in Proceedings of the Singapore Second International Conference on Intelligent Systems, 1994, pp. 159- 164.
[46] Man Leung Wong and Kwong Sak Leung, "An Induction System that Learns Programs in different Programming Languages using Genetic Programming and Logic Grammars," in Proceedings of the 7th IEEE International Conference on Tools with Artificial Intelligence, 1995.
[47] Man Leung Wong and Kwong Sak Leung, "Learning Programs in Different Paradigms using Genetic Programming," in Proceedings of the Fourth Congress of the Italian Association for Artificial Intelligence, 1995.
[48] M.L. Wong and K.S. Leung, "Applying Logic Grammars to Induce sub- functions in Genetic Programming," in Proceedings of the IEEE Interna-
tional Conference on Evolutionary Computing, IEEE Press, 1995, pp.
737- 740.
107 Applications," IEEE Expert, vol. 10(5), pp. 68-76, 1995.
[50] M.L. Wong and K.S. Leung, "Evolutionary Program Induction Directed by Logic Grammars," Evolutionary Computation, vol. 5(2), pp. 143-180, 1997.
[51] Phillip Wong and Mengjie Zhang, "SCHEME: Caching Subtrees in Genetic Programming," in 2008 IEEE World Congress on Computational
Intelligence, Hong Kong, 1-6 #jun# 2008.
[52] N. R. Paterson and M. Livesey, "Distinguishing Genotype and Pheno- type in Genetic Programming," in Late Breaking Papers at the Genetic Pro-
gramming 1996 Conference, 1996, pp. 141-150.
[53] N. Paterson and M. Liversey, "Evolving Catching Algorithms in C by GP," in Proceedings of Genetic Programming 97, MIT Press, 1997, pp. 262-267.
[54] J.J. Freeman, "A Linear Representation for GP using Context Free Grammars," in Proceedings of Genetic Programming 1998, the Third
Annual Conference on Genetic Programming, Morgan Kaufmann, 1998,
pp. 72-77.
[55] R. Keller and W. Banzhaf, "GP Using Mutation, Reproduction and Genotype-Phenotype Mapping from Linear Binary Genomes into Linear