Kết quả thực nghiệm

Chương 4 CẢI TIẾN KỸ THUẬT KIỂM THỬ TRÊN SMT SOLVER raSAT

4.4 Thực nghiệm

4.4.4 Kết quả thực nghiệm

Để đánh giá hiệu quả của kĩ thuật kiểm kiểm thử cặp đôi trong raSAT, thực hiện thực nghiệm raSAT 0.2 và raSAT0.2 – Pairwise testing trên bộ các ràng buộc “SMT- LIB 2015 -06-01” được tải ở địa chỉ sau :

http://smtcomp.sourceforge.net/2015/benchmarks.shtml

Với thông số môi trường như sau :

 Timeout 2500s

 Bộ vi xử lý Intel Xeon E5-4655v3

 Ram 8GB

Kết quả thực nghiệm của raSAT 0.2 và raSAT0.2 – Pairwise testing như sau :

Bảng 12: Kết quả thực nghiệm của raSAT 0.2 và raSAT0.2 – Pairwise testing

STT Loại ràng buộc raSAT0.2 – Pairwise

testing raSAT 0.2 1 zankl (SAT) 33 41 2 zankl (UNSAT) 12 14 3 meti-tarski (SAT) 4801 4597 4 meti-tarski (UNSAT) 1772 1750 5 hong (SAT) 0 0 6 hong (UNSAT) 4 5 7 LassoRanker (SAT) 45 5 8 LassoRanker (UNSAT) 0 0 9 kissing (SAT) 17 12 10 kissing (UNSAT) 0 0 11 hycomp (SAT) 128 6 12 hycomp (UNSAT) 1724 1720 Total 8536 8150 Time(s) 7500302.763 8562351.838

Nhận xét: Số lượng bài toán raSAT mới giải được tăng lên 386 bài. Đặc biệt với loại ràng buộc meti-tarski số lượng ràng buộc SAT tăng lên khá lớn (204 bài) hay loại hycomp (SAT) tăng lên 122 bài. Tuy nhiên với loại ràng buộc có số lượng biến lớn như zankl số lượng giải được bị giảm đi (10 bài) nguyên nhân là do tốn nhiều thời gian cho testing dẫn đến thời gian cho phân rã khoảng ít đi. Về mặt thời gian raSAT mới cũng đã cải thiện được 1062049.075(giây) =

17,500(phút), tức là cải thiệu được 12.4% về mặt thời gian. Như vậy xét về tổng thể raSAT áp dụng kiểm thử cặp đôi đã cải thiệt được hai tiêu chí gồm tăng số lượng bài toán giải được và giảm tổng thời gian cho tất cả các loại ràng buộc.

KẾT LUẬN

Giải các ràng buộc đa thức toán học (Polynomial constraint) được ứng dụng nhiều trong phân tích hệ thống, kiểm chứng phần cứng và phần mềm, cụ thể như chứng minh tính bất biến của một chương trình hoặc phân tích kết quả của các hệ thống. Tất cả các ứng dụng trên cần được tự động và cần có công cụ để hỗ trợ để giải quyết bài toán. Luận văn đã nghiên cứu và trình bày các kỹ thuật giải các ràng buộc phi tuyến tính (non-linear constraints) bằng phương pháp tính toán xấp xỉ (approximation methods). Cụ thể luận văn đã nghiên cứu và trình bày về các phương pháp tính toán khoảng (Interval Arithmetic) để giải các ràng buộc phi tuyến tính. Ngoài ra luận văn trình bày kiến trúc và các kỹ thuật áp dụng trong SMT Solver raSAT. Một công cụ giải tự động ràng buộc toán học trên tập số thực và số nguyên dựa trên phương pháp tính toán khoảng và kiểm thử.

Luận văn đề xuất áp dụng phương pháp kiểm thử cặp đôi (pairwise testing) thực hiện kiểm thử tăng dần (test - inrementally) vào bước kiểm thử của raSAT để cải thiện hiệu quả. Kết quả đạt được đã tốt hơn như mục tiêu ban đầu của luận văn. Cụ thể kết quả đạt được như sau:

 Cải thiện số lượng bài toán giải được và thời gian. Cụ thể giải nhiều hơn 386 bài toán với thời gian cải thiện được khoảng 12.4% (17,500 phút).

 Mở ra các phương pháp cải tiến raSAT trên các ràng buộc có số biến lớn. Hiện tại với các ràng buộc có số biến lớn vẫn là thách thức của các SMT Solver mạnh như Z3…

Hiện tại kiểm thử cặp đôi mới giải quyết được vấn đề chọn nhiều giá trị cho mỗi biến nhưng chưa tìm được cách tìm giá trị SAT nhanh hơn. Trong tương lai chúng tôi sẽ nghiên cứu tìm ra các chiến lược chọn giá trị cho các biến để tìm được giá trị SAT nhanh hơn. Ngoài ra raSAT hiện tại mới giải được cho ràng buộc bất đẳng thức, trong tương lai chúng tôi sẽ nghiên cứu để giải cho các ràng buộc đa thức đẳng thức và ứng dụng raSAT vào kiểm chứng phần mềm.

TÀI LIỆU THAM KHẢO

[1] Borralleras, C., Lucas, S., Navarro-Marset, R., Rodr´ ıguez-Carbonell, E., and Rubio, A. Solving non-linear polynomial arithmetic via sat modulo linear arithmetic. In Proceedings of the 22nd International Conference on Automated Deduction (2009), CADE-22, Springer-Verlag, pp. 294–305

[2] Bryant, R. E., Kroening, D., Ouaknine, J., Seshia, S. A., Strichman, O., and Brady, B. Deciding bit-vector arithmetic with abstraction. In Proceedings of the 13th international conference on Tools and algorithms for the construction and analysis of systems (2007), TACAS’07, Springer-Verlag, pp. 358–372.

[3] Đỗ Thị Bích Ngọc and Mizuhito Ogawa, Overflow and roundoff error analysis via model checking, Proceedings of the IEEE/ACM international conference on software engineering and formal methods. SEFM ’09, IEEE computer society, 2009, pp. 105-114.

[4] Franzle, M., Herde, C., Teige, T., Ratschan, S., and Schubert, T. Effi-cient solving of large non-linear arithmetic constraint systems with complex booleanstructure. Journal on Satisfiability, Boolean Modeling and Computation 1 (2007), 209–236.

[5] Franzle, M., Herde, C., Teige, T., Ratschan, S., and Schubert, T. Effi-cient solving of large non-linear arithmetic constraint systems with complex booleanstructure. Journal on Satisfiability, Boolean Modeling and Computation 1 (2007), 209–236.

[6] Ganai, M., and Ivancic, F. Efficient decision procedure for non-linear arithmetic constraints using cordic. In Formal Methods in Computer-Aided Design, 2009 FMCAD 2009 (2009), pp. 61 –68.

[7] Harald Ganzinger, George Hagen, Robert Nieuwenhuis, Albert Oliveras, Cesare Tinelli. DPLL(T): Fast Decision Procedures ,16th International Conference on Computer Aided Verification (CAV), July 2004, Boston (USA) [8] Microsoft. Z3.

[9] Miquel Bofill, Robert Nieuwenhuis, Albert Oliveras, Enric Rodríguez- Carbonell Albert Rubio. The Barcelogic SMT Solver, 20th International Conference on Computer Aided Verification (CAV), July 2008, Princeton (USA).

[10] A. Blass and Y. Gurevich. Pairwise Testing, Bulletin of the European Association for Theoretical Computer Science Number 78, October 2002, 100 132

[11] Armin Biere, Marijn Heule, Hans van Maaren, Toby Walsch IOS Press (2008), Handbook of Satisfiability, Dimitris Achlioptas

[12] Comba, J. L. D., and Stolfi, J. Affine arithmetic and its applications to computer graphics. In Proceedings of VI SIBGRAPI. (1993)

[13] Corzilius, F., and ´ Abrah´ am, E. Virtual substitution for SMT- solving. In Pro-ceedings of the 18th international conference on Fundamentals of computation theory (2011), FCT’11, Springer-Verlag, pp. 360–371.

[14] Cristina Borralleras, Salvador Lucas, Albert Oliveras, Enric Rodríguez- Carbonell, Albert Rubio. SAT Modulo Linear Arithmetic for Solving Polynomial Constraints

[15] H. Anai, Algebraic. Methods for solving real polynomial constraints and their applications in biology, Algebraic biology computer algebra in biology, 2005, pp. 139-147.

[16]J. Czerwonka. Pairwise Testing in Real World, Proceedings of 24th Pacific Northwest Software Quality Conference, 2006

[17] Messine, F. Extensions of affine arithmetic: Application to unconstrained globaloptimization. Journal of Universal Computer Science 8, 2 (2002)

[18] Nieuwenhuis, R., Oliveras ,Tinelli (2005), Abstract DPLL and abstract DPLL modulo theories. In Logic for Programming, Articial Intelligence, and Reasoning, F. Baader and A. Voronkov, Eds., vol. 3452 of Lecture Notes in Computer Science. Springer-Verlag

[19] Passmore, G. O., and Jackson, P. B. Combined decision techniques for theexistential theory of the reals. In Proceedings of the 16th Symposium, 8th Interna-tional Conference. Held as Part of CICM ’09 on Intelligent Computer Mathematics (2009), Calculemus ’09/MKM ’09, Springer-Verlag, pp. 122–137 [20] R.E. Moore , Interval Analysis. Prentice-Hall, 1966.

[21] Ratschan, S. Efficient solving of quantified inequality constraints over the realnumbers. ACM Trans. Comput. Logic 7, 4 (Oct. 2006), 723–748.

[22] Robert Nieuwenhuis, Albert Oliveras, Cesare Tinelli. Abstract DPLL and Abstract DPLL Modulo Theories, 11th International Conference on Logic for Programming, Artificial Intelligence and Reasoning (LPAR). March 2005, Montevideo (Uruguay).

[23] S. Lucas and R. Navarro-Marset, Comparing CSP and SAT solvers for polynomial constraints in termination provers, Notes theory computer science, 2008, pp. 75-90.

[24] Stolfi, Figueiredo. An Introduction to Affine Arithmetic

[25] Stolfi, J. Self-Validated Numerical Methods and Applications. PhD thesis, PhD. Dissertation, Computer Science Department, Stanford University, 1997. [26] Tô Văn Khánh and Mizuhito Ogawa, raSAT: SMT for Polynomial Inequality, Technical report School of Information Science Japan Advance Institute of Science and Technology, 2013.

[27] Tô Văn Khánh and Mizuhito Ogawa, SMT for polynomial constraints on real numbers, Notes theory computer science, 2012, pp. 27-40.

[28] Tô Văn Khánh, SMT for Polynomial Constraints and Its Applications, PHD thesis, School of Information Science Japan Advance Institute of Science and Technology, 2013.

[29] Vu Xuan Tung, To Van Khanh, Mizuhito Ogawa. raSAT: An SMT Solver for Polynomial Constraints, International Joint Conference on Automated Reasoning 2016. IJCAR 2016: Volume 9706 Pages 228-237

[30] Y.Lei and K.C.Tai In-parameter-order: a test generation strategy for pairwise testing. Proceedings Third IEEE Intl. High-Assurance Systems Engineering Symp., 1998, pp. 254-261