Nghiên cứu ngữ nghĩa trong hệ lập trình gen định hướng bởi văn phạm nối cây và ứng dụng trong xấp xỉ hàm q

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI -*** - ĐÀO NGỌC PHONG TÊN ĐỀ TÀI LUẬN ÁN NGHIÊN CỨU NGỮ NGHĨA TRONG HỆ LẬP TRÌNH GEN ĐỊNH HƯỚNG BỞI VĂN PHẠM NỐI CÂY VÀ ỨNG DỤNG TRONG XẤP XỈ HÀM Q CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 62480104 LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN Hà Nội - 2014 i BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI -*** - ĐÀO NGỌC PHONG TÊN ĐỀ TÀI LUẬN ÁN NGHIÊN CỨU NGỮ NGHĨA TRONG HỆ LẬP TRÌNH GEN ĐỊNH HƯỚNG BỞI VĂN PHẠM NỐI CÂY VÀ ỨNG DỤNG TRONG XẤP XỈ HÀM Q CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 62480104 LUẬN ÁN TIẾN SĨ HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC GS.TS NGUYỄN THANH THỦY PGS.TS NGUYỄN XUÂN HOÀI Hà Nội - 2014 ii MỤC LỤC LỜI CAM ĐOAN vi LỜI CẢM ƠN vii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT viii DANH MỤC CÁC BẢNG ix DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ x GIỚI THIỆU CHUNG MỤC ĐÍCH MỤC TIÊU NGHIÊN CỨU PHƯƠNG PHÁP NGHIÊN CỨU CÁC ĐĨNG GĨP CHÍNH TỔNG QUAN VỀ CẤU TRÚC CỦA LUẬN ÁN CHƯƠNG TỔNG QUAN 1.1 GIẢI THUẬT TIẾN HÓA 1.2 GIẢI THUẬT DI TRUYỀN 1.3 LẬP TRÌNH GEN 1.3.1 Lập trình Gen chuẩn có cấu trúc 10 1.3.2 Một số vấn đề với lập trình Gen chuẩn có cấu trúc 14 1.3.3 GP với biểu diễn tuyến tính 15 1.4 LẬP TRÌNH GEN ĐỊNH HƯỚNG BỞI VĂN PHẠM 18 1.4.1 GGGP với biểu diễn dạng 20 1.4.2 GGGP với biểu diễn tuyến tính 22 1.4.3 Một số vấn đề gặp phải với GGGP 24 1.5 VĂN PHẠM NỐI CÂY VÀ LẬP TRÌNH GEN ĐỊNH HƯỚNG BỞI VĂN PHẠM NỐI CÂY (TAG3P) 25 1.5.1 Văn phạm nối (Tree-Adjoining Grammar – TAG) 25 1.5.2 Hệ lập trình Gen định hướng văn phạm nối 29 KẾT LUẬN CHƯƠNG 37 CHƯƠNG NGỮ NGHĨA TRÊN HỆ TAG3P 39 iii 2.1 NGỮ NGHĨA TRONG LẬP TRÌNH TIẾN HĨA 39 2.1.1 Sử dụng văn phạm để biểu diễn ngữ nghĩa 41 2.1.2 Sử dụng phương pháp hình thức 43 2.1.3 Sử dụng ngữ nghĩa dựa biểu diễn GP 43 2.2 NGỮ NGHĨA TRONG TAG3P 45 2.2.1 Định nghĩa ngữ nghĩa TAG3P 45 2.2.2 Đặc điểm ngữ nghĩa TAG3P 51 KẾT LUẬN CHƯƠNG 52 CHƯƠNG TOÁN TỬ DI TRUYỀN DỰA TRÊN NGỮ NGHĨA 54 3.1 TỔNG QUAN TOÁN TỬ DI TRUYỀN DỰA TRÊN NGỮ NGHĨA 54 3.2 TOÁN TỬ LAI GHÉP DỰA TRÊN NGỮ NGHĨA TRONG TAG3P 58 3.2.1 Toán tử lai ghép dựa ngữ nghĩa TAG3P 58 3.2.2 Thử nghiệm 61 3.2.3 Toán tử lai cặp có tổng giá trị ngữ nghĩa dương lớn 67 3.2.4 SO SÁNH KẾT QUẢ VỚI CÁC TOÁN TỬ TƯƠNG TỰ 67 3.3 TOÁN TỬ ĐỘT BIẾN DỰA TRÊN NGỮ NGHĨA TRONG TAG3P 71 3.3.1 Toán tử đột biến dựa ngữ nghĩa TAG3P 71 3.3.2 Thử nghiệm 74 KẾT LUẬN CHƯƠNG 78 CHƯƠNG ỨNG DỤNG 79 4.1 BÀI TOÁN HỌC XẤP XỈ HÀM Q VÀ HÀM NGƯỢC Q 79 4.1.1 Hàm Q 79 4.1.2 Một số dạng xấp xỉ chuyên gia đề xuất 81 4.1.3 Hàm ngược Q 82 4.2 ỨNG DỤNG HỌC XẤP XỈ HÀM Q 83 4.2.1 Xác định hàm thích nghi với toán học xấp xỉ hàm Q 83 4.2.2 Thiết kế thí nghiệm 87 4.2.3 Kết nhận xét 89 4.3 ỨNG DỤNG HỌC XẤP XỈ HÀM NGƯỢC Q 93 iv 4.3.1 Xác định hàm thích nghi với tốn học xấp xỉ hàm ngược Q 93 4.3.2 Thiết kế thí nghiệm kết 94 KẾT LUẬN CHƯƠNG 98 KẾT LUẬN 99 HƯỚNG NGHIÊN CỨU VÀ PHÁT TRIỂN CỦA LUẬN ÁN 101 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 102 TÀI LIỆU THAM KHẢO 103 v LỜI CAM ĐOAN Tôi xin cam đoan luận án cơng trình nghiên cứu riêng tác giả Các kết công bố với tác giả khác đồng ý đồng tác giả trước đưa vào luận án Các kết luận án trung thực chưa công bố cơng trình khác Tác giả Đào Ngọc Phong vi LỜI CẢM ƠN Luận án hồn thành Viện Cơng nghệ thơng tin Truyền thơng, trường Đại học Bách khoa Hà Nội Để hồn thành luận án này, tác giả nhận bảo tận tình, động viên khích lệ, yêu cầu GS.TS Nguyễn Thanh Thủy PGS.TS Nguyễn Xuân Hoài, người Thầy truyền đạt nhiều kiến thức quí báu kinh nghiệm nghiên cứu khoa học suốt thời gian tác giả theo học nghiên cứu sinh Lời đầu tiên, tác giả xin bày tỏ lịng kính trọng biết ơn sâu sắc tới Thầy Tác giả xin chân thành gửi lời cảm ơn chia sẻ kiến thức khoa học GS Bob McKay, GS Costi TS Nguyễn Quang Uy giúp ích hỗ trợ nhiều cho tác giả suốt trình nghiên cứu Tác giả xin chân thành cảm ơn Ban lãnh đạo Viện Công nghệ thông tin Truyền thông, Viện Đào tạo Sau đại học, trường Đại học Bách khoa Hà Nội, Ban giám đốc Sở Thông tin Truyền thông Hà Nội tạo điều kiện thuận lợi cho tác giả q trình học tập, nghiên cứu để hồn thành luận án Qua đây, cho phép tác giả xin cảm ơn Quỹ Phát triển Khoa học Công nghệ Quốc gia tài trợ phần cho nghiên cứu Tác giả xin cảm ơn Thầy, Cô Bộ môn Hệ thống thông tin - Viện Công nghệ thông tin Truyền thông, Trường Đại học Bách khoa Hà Nội Luận án này, quà tinh thần, xin đáp lại niềm quan tâm, mong mỏi thành viên gia đình, nguồn động viên để tác giả nỗ lực học tập, nghiên cứu vii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu Ký hiệu đầy đủ Diễn giải EA Evolutionary Algorithms Giải thuật tiến hóa ES Evolutionary Strategies Chiến lược tiến hóa GA Genetic Algorithm Giải thuật di truyền EP Evolutionary Programming Lập trình tiến hóa GP Genetic Programming Lập trình Gen Grammar-guided genetic Lập trình Gen định hướng programming văn phạm CFG Context Free Grammars Văn phạm phi ngữ cảnh TAG Tree-Adjoining Grammars Văn phạm nối Tree-Adjunct Grammar Guided Lập trình Gen định hướng Genetic Programming văn phạm nối Semantic Similarity based Toán tử lai ghép dựa ngữ Crossover nghĩa tương tự The Most Semantic Similarity Toán tử lai ghép dựa ngữ based Crossover nghĩa tương tự RAE Relative Absolute Error Lỗi tương đối MAE Mean Absolute Error Lỗi tuyệt đối Q Q-Function Hàm Q Q-Inver Q-Inversion-Function Hàm ngược Q Lexicalised Tree-Adjoining Văn phạm nối cấu trúc Grammars từ vựng viết tắt GGGP TAG3P SSC MSSC LTAG viii DANH MỤC CÁC BẢNG Bảng 3.1 Tập hợp tốn làm thí nghiệm 62 Bảng 3.2 Cấu hình thí nghiệm 63 Bảng 3.3 Số lần chạy thí nghiệm thành cơng 64 Bảng 3.4 Trung bình độ tốt 100 lần chạy thí nghiệm 65 Bảng 3.5 Trung bình thay đổi độ tốt sau thực lai ghép 66 Bảng 3.6 Cấu hình thí nghiệm 67 Bảng 3.7 Số lần chạy thí nghiệm thành cơng 68 Bảng 3.8 Trung bình độ tốt 100 lần chạy thí nghiệm 70 Bảng 3.9 Trung bình thay đổi độ tốt sau thực lai ghép 70 Bảng 3.10 Cấu hình thí nghiệm 75 Bảng 3.11 Số lần chạy thí nghiệm thành cơng 76 Bảng 3.12 Trung bình độ tốt 100 lần chạy thí nghiệm 77 Bảng 4.1 Bảng thơng số cài đặt cho thí nghiệm 88 Bảng 4.2 Kết thí nghiệm học xấp xỉ hàm Q 90 Bảng 4.3 Cấu hình thí nghiệm 95 Bảng 4.4 Kết thí nghiệm học xấp xỉ hàm ngược Q 97 ix DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ Hình vẽ 1.1 Sơ đồ khối thuật giải EA Hình vẽ 1.2 Biểu diễn cá thể GA Hình vẽ 1.3 Các toán tử GA chuẩn Hình vẽ 1.4 Biểu diễn chương trình GP 11 Hình vẽ 1.5 Thao tác lai ghép GP 13 Hình vẽ 1.6 Thao tác đột biến GP 14 Hình vẽ 1.7 Kiểu Gen kiểu hình GEP 15 Hình vẽ 1.8 Ví dụ việc thay đổi hồn tồn kiểu hình 16 Hình vẽ 1.9 Một cá thể 17 Hình vẽ 1.10 Một ví dụ ánh xạ kiểu Gen kiểu hình GE 23 Hình vẽ 1.11 Một ví dụ TAG 26 Hình vẽ 1.12 Phép nối TAG 27 Hình vẽ 1.13 Phép TAG 28 Hình vẽ 1.14 Ví dụ dẫn xuất phân tích TAG 29 Hình vẽ 1.15 Q trình ánh xạ 31 Hình vẽ 1.16 Thao tác lai ghép TAG3P 32 Hình vẽ 1.17 Thao tác đột biến TAG3P 33 Hình vẽ 1.18 Tốn tử chèn 34 Hình vẽ 1.19 Tốn tử xóa 34 Hình vẽ 1.20 Tốn tử thay 35 Hình vẽ 1.21 Tốn tử di chuyển 35 Hình vẽ 1.22 Tốn tử lưu 36 Hình vẽ 1.23 Tốn tử cắt bỏ 36 Hình vẽ 2.1 Văn phạm thuộc tính 41 Hình vẽ 2.2 Văn phạm logic 42 Hình vẽ 2.3 Ngữ cảnh có cách loại bỏ 44 Hình vẽ 2.4 Ngữ nghĩa GP biểu diễn dạng biểu thức 46 x KẾT LUẬN CHƯƠNG Trong chương này, luận án áp dụng tồn tử tìm kiếm dựa ngữ nghĩa số hệ GP khác để thực việc học xấp xỉ hàm Q hàm ngược Q Kết thu xấp xỉ tốt nhiều so với xấp xỉ đưa chuyên gia, lại có cấu trúc đơn giản, phù hợp với ứng dụng hệ thống viễn thông Hơn nữa, kết thu q trình tiến hành thí nghiệm cho thấy hiệu thực tế toán tử lai ghép dựa ngữ nghĩa hệ TAG3P đề xuất chương 98 KẾT LUẬN Với mục tiêu đặt ra, luận án tập trung tìm hiểu khái niệm lĩnh vực liên quan đến lập trình Gen, đặc biệt dựa hệ TAG3P Trên sở đó, hướng nghiên cứu q trình tiến hóa mở rộng dựa khái niệm ngữ nghĩa đề xuất kết luận án đạt sau: Đề xuất định nghĩa giá trị “Ngữ nghĩa” Ngữ nghĩa giúp xác định tác động q trình tiến hóa Dựa định nghĩa ngữ nghĩa TAG3P, nghiên cứu đề xuất toán tử tiến hóa mới, tốn tử lai ghép cặp có trị ngữ nghĩa định lượng dương thu được kết cải tiến Việc thiết kế với tốn tử giúp q trình tiến hóa định hướng tốt dựa ngữ nghĩa Ứng dụng kết nghiên cứu luận án vào toán thực tế học xấp xỉ hàm Q học xấp xỉ hàm ngược Q Việc tìm kiếm dạng xấp xỉ hàm Q có ý nghĩa nhiều lĩnh vực, đặc biệt lĩnh vực viễn thông Kể từ xấp xỉ OPBCS đưa từ năm 1979, đến nhà khoa học tiếp tục tìm kiếm dạng xấp xỉ tốt đơn giản (những cơng bố tạp chí khoa học năm gần dạng xấp xỉ hàm Q cho thấy ý nghĩa toán tìm xấp xỉ hàm này) Kết ứng dụng vào toán thực tế học xấp xỉ hàm Q hàm ngược Q là: - Đề xuất hàm thích nghi phù hợp với đặc điểm toán học xấp xỉ hàm Q hàm ngược Q - Tìm xấp xỉ hàm Q tường minh dạng hàm mũ nên đơn giản q trình tính tốn, đặc biệt có độ xác cao phù hợp với đặc điểm sử dụng phân tích hệ thống viễn thơng Kết quan trọng kể từ xấp xỉ OPBCS cơng bố đến chưa có 99 xấp xỉ tốt tìm Một số cơng trình nghiên cứu thuộc lĩnh vực viễn thơng trích dẫn sử dụng hàm xấp xỉ - Tìm xấp xỉ hàm ngược Q dạng tường minh, chưa có cơng bố dạng tường hàm ngược Các kết luận án cơng bố tạp chí hội nghị quốc tế có uy tín bao gồm: - 02 cơng bố tạp chí uy tín ngồi nước, có 01 cơng trình cơng bố tạp chí thuộc danh mục ISI - 03 đăng hội thảo quốc tế, có 02 hội thảo thuộc danh mục ISI Proceeding Với kết nêu trên, luận án đạt mục tiêu đặt nghiên cứu áp dụng ngữ nghĩa hệ lập trình gen định hướng văn phạm nối cây, đồng thời, kết ứng dụng vào tốn thực tế, có ý nghĩa lĩnh vực viễn thông 100 HƯỚNG NGHIÊN CỨU VÀ PHÁT TRIỂN CỦA LUẬN ÁN Dựa kết đạt luận án, số hướng nghiên cứu thực hiện: Tiếp tục cải tiến đề xuất thêm toán tử dựa ngữ nghĩa định nghĩa luận văn Áp dụng hệ TAG3P với toán tử với toán học môi trường thay đổi Môi trường thay đổi liệu theo luồng, đó, liệu học tập huấn luyện cố định mà luồng dự liệu thay đổi liên tục Cài đặt hệ TAG3P hệ lập trình song song qua khai thác tính hiệu kết hợp với lực xử lý hệ song song để giải tốn học xấp xỉ địi hỏi độ xác cao 101 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN I Tạp chí a Đào Ngọc Phong, Nguyễn Xuân Hoài, Nguyễn Thanh Thủy, Nguyễn Quang Uy, “Nghiên cứu thử nghiệm lập trình Gen tốn tìm xấp xỉ hàm Q-function”, Tạp chí tin học điều khiển học, số 27, tập 4, năm 2011, trang 317-328 b Nguyen Quang Uy and Nguyen Xuan Hoai and Michael O'Neill and R I McKay and Dao Ngoc Phong", “On the roles of semantic locality of crossover in genetic programming”, Information Sciences, Vol 235 ELSEVIER Pubs, pp 195-213, 2013 II Hội thảo/Hội nghị quốc tế Dao Ngoc Phong and Nguyen Quang Uy and Nguyen Xuan Hoai and RI McKay “Evolving approximations for the Gaussian Q-function by genetic programming with semantic based crossover” In Proceedings of Congress on Evolutionary Computation, IEEE Press, June 2012, pp 1924-1929 Dao Ngoc Phong and Nguyen Quang Uy and Nguyen Xuan Hoai and RI , ”Evolving the Best Known Approximation to the Q-function” In Proceedings of Congress on The Genetic and Evolutionary Computation Conference, ACM Press, July 2012, pp 807-812 Dao Ngoc Phong and Nguyen Quang Uy and Nguyen Xuan Hoai and Nguyen Thanh Thuy, “Semantic based Crossovers in Tree-Adjoining Grammar Guided Genetic Programming” In Proceedings of Congress on RIVF International Conference on Computing and Communication Technologies, RIVF 2013, IEEE Press, Ha Noi city, Vietnam Nov 2013, pp 141-147 102 TÀI LIỆU THAM KHẢO [1] J.R Koza, Genetic Programming: On the Programming of Computers by Natural Selection MA: MIT Press, 1992 [2] Nguyen Xuan Hoai, "A Flexible Representation for Genetic Programming from Natural Language Processing," Australian Defence force Academy, University of New South Wales, Australia, Ph.D dissertation 2004 [3] T Back, Evolutionary Algorithms in Theory and Practice: Evolutionary Strategies, Evolutionary Programming, and Genetic Algorithms.: Oxford University Press, 1996 [4] T Mitchell, Machine Learning New York: McGraw Hill, 1996 [5] T.Back et al, Evolutionary Computation : Basic Algorithms and Operators.: IOP Publishing Ltd, 2000 [6] T.Back et al, Evolutionary Computation 2: Advanced Algorithms and Operators.: IOP Publishing Ltd, 2000 [7] W Banzhaf, P Nordin, F.D Francone, and R.E Keller, Genetic Programming: An Introduction on the Automatic Evolution of Computer Programs and Its Applications.: Morgan Kaufmann Publishers, 1998 [8] E Murphy, M O'Neill, and A Brabazon, "Examining Mutation Landscapes In Grammar Based Genetic Programming," in Proceedings of the 14th European Conference on Genetic Programming, EuroGP 2011, vol 6621, 2011, pp 130-141 [9] Nguyen Xuan Hoai, R I (Bob) McKay, D Essam, and H.A Abbass, "Toward an Alternative Comparison between Different Genetic Programming Systems," in Genetic Programming 7th European Conference, EuroGP 2004, Proceedings, vol 3003, 2004, pp 67-77 [10] R Poli and W.B Langdonand N.F McPhee, A Field Guide to Genetic Programming.: http://lulu.com , 2008 [11] Riccardo Poli, William B Langdon, and Nicholas Freitag McPhee, A Field Guide to Genetic Programming.: Published via http://lulu.com and freely available at http://www.gp-field-guide.org.uk, 2008, (With contributions by J R Koza) [Online] http://www.gp-field-guide.org.uk [12] T.Back et al, Handbook of Evolutionary Computation.: IOP Publishing Ltd and Oxford University Press, 1997 [13] William B Langdon and Riccardo Poli, Foundations of Genetic Programming Berlin: Springer, 2002 103 [14] Nordin, Peter; Francone, Frank; Banzhaf, Wolfgang, "Explicitly Defined Introns and Destructive Crossover in Genetic Programming," in Proceedings of the Workshop on Genetic Programming: From Theory to Real-World Applications, Tahoe City, California, USA, #jul# 1995, pp 6-22 [15] P Nordin et al, "Explicitly Defined Introns and Destructive Crossover," in Proceedings of Workshop on Genetic Programming: From Theory to Real World Applications, 1995, pp 6-22 [16] K.J Lang, "Hill Climbing beats Genetic Search on a Boolean Circuit Synthesis of Koza’s," in Proceedings of the 12th International Conference on Machine Learning, Morgan Kaufmann, 1995 [17] M Ridley, Evolution, Second Edition ed London: Blackwell Science, 1996 [18] R Poli, "Parallel Distributed Genetic Programming, in D Corne, M.Dorigo, and F Glover, editors," in New Ideas in Optimization.: McGraw-Hill, 1999, ch 27 [19] A Teller and M Veloso, PADO, "A New Learning Architecture for Object Recognition, in K Ikeuchi and M Veloso, editors," in Symbolic Visual Learning.: Oxford University Press, 1996, pp 81-116 [20] T Perkis, "Stack-Based Genetic Programming," in Proceedings of the 1994 IEEE World Congress on Computational Intelligence, IEEE Press, 1994, pp 148-153 [21] M.J Keith and C Martin, "Genetic Programming in C++: Implementation Issues, in K.E Kinnear Jr, editor," in Advances in Genetic Programming.: MIT Press, 1994, pp 285-310 [22] L Spector, "Autoconstructive Evolution: Push, PushGP, and Pushpop," in Proceedings of the Genetic and Evolutionary Computation Conference(GECCO 2001), Morgan Kaufmann, 2001, pp 137-146 [23] P Nordin, "Evolutionary Program Induction of Binary Machine Code and Its Applications, PhD Thesis, der Unsesitat Dortmund and Fachereich Informatik," 1997 [24] Candida Ferreira, "Gene Expression Programming:New Adaptive Algorithm for Solving Problems," Complex Systems, vol 13, no 2, pp 87129, 2001 [25] C Ferreira, "Mutation, Transposition, and Recombination: An Analysis of 104 the Evolutionary Dynamics," in Proceedings of The 4th International Workshop on Frontiers in Evolutionary Algorithms, 2002, pp 614-617 [26] Ingo Rechenberg, Evolutions strategie Stuttgart: Friedrich Frommann Verlag, 1973, vol 15 [27] C.C Palmer and A Kershenbaum, "Representing Trees in Genetic Algorithms," in Proceedings of the First IEEE Conference on Evolutionary Computation, 1994, pp 379-384 [28] B Sendhoff et al, "A Condition for the Genotype-Phenotype Mapping: Causality," in Proceedings of the 7th International Conference on Genetic Algorithms (ICGA 97), Morgan Kaufmann, 1997, pp 73-80 [29] A A Freitas, "Data Mining and Knowledge Discovery with Evolutionary Algorithms," Springer-Verlag, Germany, 2002 [30] D.J Montana, "Strongly-typed Genetic Programming, Technical Report BBN 7866," Bolt Beranek and Newman Inc, Cambridge, MA, 1994 [31] D.J Montana, "Strongly-Typed Genetic Programming," Evolutionary Computation, pp 199-230, 1995 [32] T Haynes, "Clique Detection via Genetic Programming, Technical Report UTULSA-MCS-95-02," University of Tulsa, 1995 [33] T Haynes et al, "Strongly typed genetic programming in evolving cooperation strategies," in Proceedings of the Sixth International Conference on Genetic Algorithms (ICGA95), Morgan Kaufmann, 1995, pp 271-278 [34] T Haynes et al, Type Inheritance in Strongly Typed Genetic Programming, P.J Angeline and K.E Kinnear Jr, Ed.: MIT Press, 1996, pp 359-376 [35] A Sarafopoulos, "Automatic Generation of Affine IFS and Strongly Typed Genetic Programming," in Proceedings of the Second European Confer- ence on Genetic Programming (EuroGP 990, LNCS 1598, Springer-Verlag), 1999, pp 149-160 [36] E Alba et al, "Evolutionary Design of Fuzzy Logic Controllers Using Strongly-Typed GP," Mathware & Soft Computing, vol 6, no 1, pp 109124, 1999 [37] R.N Moll et al, An Introduction to Formal Language Theory Germany: Springer- Verlag, 1998 [38] H.J Antonisse, "A Grammar-Based Genetic Algorithm, in G.J.E Rawlins, 105 editor,".Foundations of Genetic Algorithms, Morgan Kaufmann, 1991 [39] P.A Stefanski, "enetic Programming Using Abstract Syntax Trees," in Notes from the Genetic Programming Workshop (ICGA 93), 1993 [40] Justinian P Rosca and Dana H Ballard, "Genetic Programming with Adaptive Representations," University of Rochester, Computer Science Department, Rochester, NY, USA, Tech rep Feb 1994 [41] J Mizoguchi et al, "Production Genetic Algorithms for Automated Hardware Design through Evolutionary Process," in Proceedings of the First IEEE Conference on Evolutionary Computation, IEEE Press, 1994, pp 85-90 [42] H Hemmi et al, "Development and Evolution of Hardware Behaviours," in Proceedings of Artificial Life IV, MIT Press, 1994, pp 371-376 [43] P A Whigham, "Grammatically-based Genetic Programming," in Proceedings of the Workshop on Genetic Programming: From Theory to Real-World Applications, Tahoe City, California, USA, #jul# 1995, pp 33-41 [44] A.G Schultz, Fuzzy Rule-Based Expert Systems and Genetic Machine.: Physica-Verlag, 1995 [45] M.L Wong and K.S Leung, "Learning First-order Relations from Noisy Databases using Genetic Algorithms," in Proceedings of the Singapore Second International Conference on Intelligent Systems, 1994, pp 159164 [46] Man Leung Wong and Kwong Sak Leung, "An Induction System that Learns Programs in different Programming Languages using Genetic Programming and Logic Grammars," in Proceedings of the 7th IEEE International Conference on Tools with Artificial Intelligence, 1995 [47] Man Leung Wong and Kwong Sak Leung, "Learning Programs in Different Paradigms using Genetic Programming," in Proceedings of the Fourth Congress of the Italian Association for Artificial Intelligence, 1995 [48] M.L Wong and K.S Leung, "Applying Logic Grammars to Induce subfunctions in Genetic Programming," in Proceedings of the IEEE International Conference on Evolutionary Computing, IEEE Press, 1995, pp 737- 740 [49] M.L Wong and K.S Leung, "Genetic Logic Programming and 106 Applications," IEEE Expert, vol 10(5), pp 68-76, 1995 [50] M.L Wong and K.S Leung, "Evolutionary Program Induction Directed by Logic Grammars," Evolutionary Computation, vol 5(2), pp 143-180, 1997 [51] Phillip Wong and Mengjie Zhang, "SCHEME: Caching Subtrees in Genetic Programming," in 2008 IEEE World Congress on Computational Intelligence, Hong Kong, 1-6 #jun# 2008 [52] N R Paterson and M Livesey, "Distinguishing Genotype and Pheno- type in Genetic Programming," in Late Breaking Papers at the Genetic Programming 1996 Conference, 1996, pp 141-150 [53] N Paterson and M Liversey, "Evolving Catching Algorithms in C by GP," in Proceedings of Genetic Programming 97, MIT Press, 1997, pp 262-267 [54] J.J Freeman, "A Linear Representation for GP using Context Free Grammars," in Proceedings of Genetic Programming 1998, the Third Annual Conference on Genetic Programming, Morgan Kaufmann, 1998, pp 72-77 [55] R Keller and W Banzhaf, "GP Using Mutation, Reproduction and Genotype-Phenotype Mapping from Linear Binary Genomes into Linear LALR Phenotypes," Genetic Programming 96, MIT Press, pp 116-122, 1996 [56] Michael O'Neill, "Automatic Programming in an Arbitrary Language: Evolving Programs with Grammatical Evolution," University Of Limerick, Ireland, Ph.D dissertation #aug# 2001 [57] M O’Neill and C Ryan, "Grammatical Evolution," IEEE Transactions on Evolutionary Computation, vol 5(4), pp 349-358, 2001 [58] M O’Neill and C Ryan, "Grammatical Evolution: Evolutionary Automatic Programming in a Arbitrary Language, Genetic programming," Genetic programming, , Kluwer Academic Publishers, vol 4, 2003 [59] C Ryan et al, "Grammatical Evolution: Evolving Programs for an Arbitrary Language," in Proceedings of the First European Workshop on Genetic Programming, LNCS 1391, Springer-Verlag, 1998, pp 83-95 [60] A.K Joshi, L Levy, and M Takahashi, "Tree adjunct grammars," Journal of Computer and System Sciences, vol 10, no 1, pp 136-163, 1975 [61] Nguyen Xuan Hoai, R.I McKay, and D Essam, "Solving the Symbolic 107 Regression Problem with Tree-Adjunct Grammar Guided Genetic Programming: The Comparative Results," in Proceedings of the 2002 Congress on Evolutionary Computation (CEC2002), 2002, pp 1326-1331 [62] Nguyen Xuan Hoai, R I McKay, and H A Abbass, "Tree Adjoining Grammars, Language Bias, and Genetic Programming," in Genetic Programming, Proceedings of EuroGP'2003, vol 2610, 2003, pp 335344 [63] P.A Whigham, "Grammatical Bias for Evolutionary Learning," University of New South Wales, PhD thesis 1996 [64] Robert Cleary and Michael O'Neill, "Solving Knapsack Problems with Attribute Grammars," in Proceedings of the Grammatical Evolution Workshop , 2004 [65] Robert Cleary and Michael O'Neill, "An Attribute Grammar Decoder for the 01 Multi-Constrained Knapsack Problem," in Proceedings of the Evolutionary Computation in Combinatorial Optimization, April 2005, pp 34-45 [66] Robert Cleary, Extending Grammatical Evolution with Attribute Grammars: An Application to Knapsack Problems, 2005 [67] J M Daida, D S Ampy, M Ratanasavetavadhana, H Li, and O.A Chaudhri, "Challenges with Verification, Repeatability, and Meaningful Comparison in Genetic Programming: Gibson's Magic ," in Proceedings of the Genetic and Evolutionary Computation Conference, (GECCO'1999), 1999, pp 1851-1858 [68] Colin Johnson, "Deriving Genetic Programming Fitness Properties by Static Analysis," in Proceedings of the 4th European Conference on Genetic Programming (EuroGP 2002), 2002, pp 299-308 [69] Colin Johnson, "What Can Automatic Programming Learn from Theoretical Computer Science," in Proceedings of the UK Workshop on Computational Intelligence, 2002 [70] Colin Johnson, "Genetic Programming with Fitness based on Model Checking," in Proceedings of the 10th European Conference on Genetic Programming (EuroGPÕ2002), 2007, pp 114-124 [71] Gal Katz and Doron Peled, "Genetic Programming and Model Checking: Synthesizing New Mutual Exclusion Algorithms," Automated Technology for Verification and Analysis, Lecture Notes in Computer Science, vol 108 5311, pp 33-47, 2008 [72] Gal Katz and Doron Peled, "Model Checking-Based Genetic Programming with an Application to Mutual Exclusion," Tools and Algorithms for the Construction and Analysis of Systems, vol 4963, pp 141-156, 2008 [73] Maarten Keijzer, "Improving Symbolic Regression with Interval Arithmetic and Linear Scaling," in Proceedings of EuroGP'2003, April 2003, pp 70-82 [74] L Beadle and C.G Johnson, "Semantically Driven Crossover in Genetic Programming," in Proceedings of the IEEE World Congress on Computational Intelligence, 2008, pp 111-116 [75] Lawrence Beadle and Colin G Johnson, "Semantically Driven Mutation in Genetic Programming," in 2009 IEEE Congress on Evolutionary Computation, Trondheim, Norway, 18-21 #may# 2009, pp 1336-1342 [76] Lawrence Beadle and Colin G Johnson, "Semantic Analysis of Program Initialisation in Genetic Programming," Genetic Programming and Evolvable Machines, vol 10, no 3, pp 307-337, Sep 2009 [77] Krzysztof Krawiec and Bartosz Wieloch, "Functional modularity for genetic programming," in GECCO '09: Proceedings of the 11th Annual conference on Genetic and evolutionary computation, Montreal, July 2009, pp 995-1002 [78] Krzysztof Krawiec and Pawel Lichocki, "Approximating geometric crossover in semantic space," in Genetic and Evolutionary Computation Conference, [79] N.F McPhee, B Ohs, and T Hutchison, "Semantic Building Blocks in Genetic Programming," in Proceedings of 11th European Conference on Genetic Programming, 2008, pp 134-145 [80] Nguyen Quang Uy, Michael O'Neill, Nguyen Xuan Hoai, Bob McKay, and Edgar Galvan Lopez, "Semantic Similarity based Crossover in GP The case for Real-valued Function Regression," in Evolution Artificielle, 9th International Conference, 2009, pp 13-24 [81] Nguyen Quang Uy, Nguyen Xuan Hoai, and M O'Neill, "Semantic Aware Crossover for Genetic Programming: the case for real-valued function regression," in Genetic Programming, 12th European Conference, vol 5481, 2009, pp 292-302 109 [82] Nguyen Quang Uy, Nguyen Thi Hien, Nguyen Xuan Hoai, and Michael O'Neill, "Improving the Generalisation Ability of Genetic Programming with Semantic Similarity based Crossover," in Proceedings of the 13th European Conference on Genetic Programming, EuroGP 2010, vol 6021, Istanbul, 7-9 #apr# 2010, pp 184-195 [83] Nguyen Quang Uy, Michael O'Neill, and Nguyen Xuan Hoai, "Predicting the Tide with Genetic Programming and Semantic-Based Crossovers," in KSE 2010 The Second International Conference on Knowledge and Systems Engineering, Hanoi, Vietname, 7-9 #oct# 2010 [84] Nguyen Quang Uy, Nguyen Xuan Hoai, M O'Neill, R I McKay, and E Galvan-Lopez, "Semantically-based crossover in genetic programming application to real-valued symbolic regression," Genetic Programming and Evolvable Machines, vol 12, no 2, pp 91-119, 2011 [85] Donald Knuth, "Semantics of Context-Free Languages," Mathematical Systems Theory, vol 2, p 95, 1968 [86] H Christiansen, "A survey of adaptable grammars," ACM SIGPLAN Notices 25(11): 35–44, November, 1990 [87] Flemming Nielson, Hanne Riis Nielson, and Chris Hankin, Principles of Program Analysis.: Springer, 2005 [88] Randal E.Bryant, "Graph-Based Algorithms for Boolean Function Manipulation," IEEE Transactions on Computers, vol C-35, pp 677-691, 1986 [89] Krysztof Krawiec and PremysBaw Polewski, "Potential fitness for genetic programming," in In Proceedings of Genetic and Evolutionary Computation Conference, pp 2175-2180 [90] Naoki Mori, Bob McKay, Nguyen Xuan Hoai, Daryl Essam, and Saori Takeuchi, "A New Method for Simplifying Algebraic Expressions in Genetic Programming Called Equivalent Decision Simplification," Journal of Advanced Computational Intelligence and Intelligent Informatics, vol 13, no 3, pp 237-244, 2009 [91] John R Koza, Genetic Programming: On the Programming of Computers by Means of Natural Selection Cambridge, Massachusetts: The MIT Press, 1992 [92] Riccardo Poli and W B Langdon, "Genetic Programming with One-Point Crossover," in Proceedings of Soft Computing in Engineering Design and 110 Manufacturing Conference, June 1997, pp 180-189 [93] Una-May O'Reilly and Franz Oppacher, "Program Search with a Hierarchical Variable Length Representation: Genetic Programming, Simulated Annealing and Hill Climbing," in Parallel Problem Solving from Nature PPSN III, Jerusalem, 9-14 #oct# 1994, pp 397-406 [94] Lee Altenberg, "The Evolution of Evolvability in Genetic Programming," in Advances in Genetic Programming, Jr., Kenneth E Kinnear, Ed.: MIT Press, 1994, ch 3, pp 47-74 [95] Hammad Majeed and Conor Ryan, "A Less Destructive, Context-aware Crossover Operator for GP," in Proceedings of the 9th European Conference on Genetic Programming, April 2006, pp 36-48 [96] K Krawiec, "Medial crossovers for genetic programming," in Proceedings of the 15th European Conference on Genetic Programming, EuroGP 2012, Malaga, Spain, 2012, pp 61–72 [97] A Moraglio, K Krawiec, and C G Johnson, "Geometric semantic genetic programming in Parallel Problem Solving from Nature," Lecture Notes in Computer Science, pp 21–31, Sep 2012 [98] N Q Uy, M O’Neill, and N X Hoai, "Predicting the Tide with Genetic Programming and Semantic-based Crossovers ," in Knowledge and Systems Engineering (KSE), 2010 Second International Conference on Knowledge and Systems Engineering IEEE Press, 2010, pp 89-95 [99] N Q Uy, N X Hoai, and M O’Neill, "Semantics based mutation in genetic programming: The case for real-valued symbolic regression," in 15th International Conference on Soft Computing, Mendel'09, Brno, Czech Republic, 2009, pp 73–91 [100] M.K Simon, "Probability Distributions Involving Gaussian Random Variables," in A Handbook for Engineers and Scientists.: Kluwer Academics, 2002 [101] Simon, M.K and Alouini, M.S., Digital Communications Over Fading Channels: A Unified Approach to Performance Analysis.: Wiley & Sons, 2000 [102] P.O and Sundberg, C.E Borjesson, "Simple Approximations of the Error Function Q(x) for Communications Applications," IEEE Transactions on Communications, , vol vol 27, pp 639-643, 1979 [103] Y and Beaulieu, N.C Chen, "A Simple Polynomial Approximation to the 111 Gaussian Q-function and Its Application," IEEE Communications Letters, vol Vol 12(2), pp 124-126, 2009 [104] Chiani, M., Dardari, D and Simon, M K, "2003 New Exponential Bounds and Approximations for the Computation of Error Probability in Fading Channels," IEEE Transactions on Wireless Communications, vol vol 2, pp 840-845, 2003 [105] Karagiannidis, G K and Lioumpas, A S , "An Improved Approximation for the Gaussian Q-function," IEEE Communication Letters, vol vol 11, pp 644-646 [106] M Benitez and F Casadevall, "Versatile, accurate, and analytically tractable approximation for the gaussian Q-function," IEEE Transactions on Communications, vol 59(4), pp 917–922, 2011 112 ... 1.5 VĂN PHẠM NỐI CÂY VÀ LẬP TRÌNH GEN ĐỊNH HƯỚNG BỞI VĂN PHẠM NỐI CÂY (TAG3P) 25 1.5.1 Văn phạm nối (Tree-Adjoining Grammar – TAG) 25 1.5.2 Hệ lập trình Gen định hướng văn phạm nối. .. lý thuyết nghiên cứu có liên quan lĩnh vực lập trình Gen, lập trình Gen định hướng văn phạm đặc biệt hệ lập trình Gen định hướng văn phạm nối Hệ TAG3P sử dụng tảng cho hướng nghiên cứu luận án... Gen, lập trình Gen định hướng văn phạm đặc biệt hệ lập trình Gen định hướng văn phạm nối – TAG3P Hệ TAG3P sử dụng tảng cho hướng nghiên cứu luận án Chương 2: Chương trình bày khái quát định nghĩa