Phân tích đột biến trong kiểm thử phần mềm và áp dụng trong kiểm thử ứng dụng Android

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN MAI HƢƠNG PHÂN TÍCH ĐỘT BIẾN TRONG KIỂM THỬ PHẦN MỀM VÀ ÁP DỤNG TRONG KIỂM THỬ ỨNG DỤNG ANDROID LUẬN VĂN THẠC SĨ NGÀNH HỆ THỐNG THÔNG TIN HÀ NỘI – 2019 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN MAI HƢƠNG PHÂN TÍCH ĐỘT BIẾN TRONG KIỂM THỬ PHẦN MỀM VÀ ÁP DỤNG TRONG KIỂM THỬ ỨNG DỤNG ANDROID Chuyên ngành: Hệ thống thông tin Mã số:60480104 LUẬN VĂN THẠC SĨ NGÀNH HỆ THỐNG THÔNG TIN Cán hƣớng dẫn: PGS.TS Hà Quang Thụy HÀ NỘI – 2019 LỜI CẢM ƠN Lời đầu tiên, tơi xin gửi lời cảm ơn lịng biết ơn sâu sắc tới PGS TS Hà Quang Thụy, tận tình hướng dẫn bảo tơi suốt trình thực luận văn tốt nghiệp Tôi xin chân thành cảm ơn thầy, cô trường đại học Công Nghệ - đại học Quốc gia Hà Nội cho tảng kiến thức tốt tạo điều kiện thuận lợi cho học tập nghiên cứu Tôi xin gửi lời cảm ơn đến thầy cô, anh chị bạn phịng thí nghiệm DS&KTLab hỗ trợ tơi nhiều kiến thức chun mơn q trình thực luận văn Tôi xin cảm ơn tất ngườiđã ủng hộ khuyến khích tơi suốt suốt q trình học tập trường Cuối cùng, tơi xin gửi lời cám ơn vô hạn tới gia đình bạn bè, người ln bên cạnh, giúp đỡ động viên tơi q trình học tập suốt trình thực luận văn Tôi xin chân thành cảm ơn! Hà Nội, ngày tháng năm 2019 Học viên Nguyễn Mai Hương PHÂN TÍCH ĐỘT BIẾN TRONG KIỂM THỬ PHẦN MỀM VÀ ÁP DUNG TRONG KIỂM THỬ ỨNG DỤNG ANDROID Nguyễn Mai Hƣơng Khóa K23, chun ngành Hệ Thống Thơng Tin Tóm tắt Luận văn tốt nghiệp: Hiện nay, việc sử dụng rộng rãi thiết bị Android, ứng dụng Android có nhiều phiên bản, tải xuống ứng dụng cho thiết bị di động Nên tạo mối lo ngại chất lượng phần mềm Vì việc kiểm thử để nâng cao chất lượng phần mềm vấn đề thiết yếu Tuy nhiên, việc kiểm thử ứng dụng Android không kiểm thử từ chương trình Java truyền thống tính độc đáo cấu trúc chương trình tính ứng dụng Các nhà phát triển phần mềm cho thấy quan tâm không nhỏ việc phát triển Android tốt nhiên thiếu kỹ thuật kiểm thử sử dụng để đánh giá chiến lược kiểm thử Kiểm thử đột biến phương pháp kiểm thử phần mềm chương trình mã nguồn thay đổi có chủ ý Khi chương trình sửa đổi, thực thi chương trình theo đột biến vừa tạo ra, để kiểm tra xem phần mềm có thực hành vi hay khơng Chính kiểm thử đột biến giúp phân tích xem tập hợp chiến lược kiểm thử có đủ để đảm bảo sản phẩm đáp ứng yêu cầu chất lượng hay khơng Trong luận văn này, tơi tìm hiểu kiến thức kiểm thử phần mềm [9] phân tích nghiên cứu phương pháp, kỹ thuật kiểm thử đột biến [1-7] Từ áp dụng kỹ thuật vào kiểm thử ứng dụng Android Từ khóa: Android, Kiểm thử phần mềm, Kiểm thử đột biến LỜI CAM ĐOAN Tôi xin cam đoan phân tích đột biến kiểm thử phần mềm áp dụng kiểm thử ứng dụng Androidvà thực nghiệm trình bày luận văn tơi đề thực hướng dẫn PGS TS Hà Quang Thụy Tất tài liệu tham khảo từ nghiên cứu liên quan có nguồn gốc rõ ràng từ danh mục tài liệu tham khảo luận văn Trong luận văn, khơng có việc chép tài liệu, cơng trình nghiên cứu người khác mà không rõ tài liệu tham khảo Hà Nội, ngày tháng năm 2019 Học viên Nguyễn Mai Hương MỤC LỤC DANH SÁCH HÌNH VẼ DANH SÁCH BẢNG BIỂU DANH SÁCH CÁC TỪ VIẾT TẮT 10 Chƣơng ỨNG DỤNG ANDROID VÀ BÀI TOÁN KIỂM THỬ ỨNG DỤNG TRÊN THIẾT BỊ DI ĐỘNG 1.1 Giới thiệu chung kiểm thử phần mềm .2 1.1.1 Vòng đời phát triển phần mềm 1.1.2 Vòng đời kiểm thử phần mềm 1.2 Ứng dụng Android thiết bị di động kiểm thử ứng dụng Android 1.2.1 Ứng dụng Android thiết bị di động 1.2.2 Kiểm thử ứng dụng Android 1.3 Những thách thức kiểm thử Android 1.4 Về mơ hình kiểm thử dựa đột biến 10 1.5 Về phương pháp toán tử đột biến kiểm thử phần mềm 11 Tóm tắt chương .12 Chƣơng KỸ THUẬT TOÁN TỬ ĐỘT BIẾN TRONG KIỂM THỬ ỨNG DỤNG ANDROID TRÊN THIẾT BỊ DI ĐỘNG 13 2.1 Phương pháp toán tử đột biến kiểm thử phần mềm 13 2.2 Toán tử đột biến kiểm thử phần mềm .19 2.2.1 Toán tử đột biến ý định 19 2.2.2 Thay trọng tải ý định 19 2.2.3 Mục tiêu thay 20 2.3 Vịng đời hoạt động tốn tử đột biến 21 2.3.1 Phương pháp xóa vịng đời 21 2.4 Xử lý tốn tử đột biến 21 2.4.1 Thay kiện onClick 22 2.4.2 Thay kiện onTouch 23 2.5 Toán tử đột biến XML 23 2.5.1 Xóa nút giao diện 23 2.5.2 Sửa đổi thành phần 23 2.5.3 Chuyển đổi nút giao diện 24 2.6 Ý tưởng áp dụng luận văn 25 2.7 Tóm tắt chương .26 Chƣơng MƠ HÌNH ĐỀ NGHỊ, THỰC NGHIỆM VÀ ĐÁNH GIÁ 27 3.1 Phát biểu toán .27 3.2 Mơ hình đề nghị bước thực .27 3.2.1 Mơ hình thực kiểm thử 27 3.2.2 Các bước thực kiểm thử 29 3.2.3 Đánh giá 30 3.3 Môi trường thực nghiệm 32 3.3.1 Cấu hình phần cứng 32 3.3.2 Công cụ phần mềm 32 3.4 Dữ liệu thực nghiệm 38 3.5 Thử nghiệm liệu thực tế 38 3.6 Kết Đánh giá 41 3.6.1 Kết sau chạy thực nghiệm 41 3.6.2 Đánh giá kết thực nghiệm 43 3.7 Tóm tắt chương .43 KẾT LUẬN VÀ ĐỊNH HƢỚNG NGHIÊN CỨU TIẾP THEO 44 TÀI LIỆU THAM KHẢO 45 DANH SÁCH HÌNH VẼ Hình 1.1 Các giai đoạn phát triển phần mềm Hình 1.2 Kiểm thử phần mềm tương ứng với mơ hình chữ V .5 Hình 1.3 Minh họa ứng dụng Android Google Play Hình 2.1 Thực phân tích đột biến ứng dụng Android [1] 15 Hình 2.2 Cấu trúc tốn tử trừu tượng [6] .18 Hình 2.3 Thiết kế toán tử truyền thống [6] 18 Hình 2.4 Ví dụ BWD TWD [1] 24 Hình 2.5 Ví dụ Button Widget Switch [1] .25 Hình 3.1 Mơ hình thực kiểm thử 28 Hình 3.2 Các tập tin Android studio 34 Hình 3.3 Giao diện Android studio 34 Hình 3.4 Ví dụ kiểm thử Android dùng Robotium 36 Hình 3.5 Chạy chương trình thử nghiệm Robotium .36 Hình 3.6 Trường hợp thử nghiệm thành công .37 Hình 3.7 Trường hợp kiểm thử thất bại 37 Hình 3.8 Giao diện ứng dụng Flashair 38 Hình 3.9 Chức chỉnh sửa ảnh trước sau kiểm thử 41 Hình 3.10 Chức xem ảnh theo Ngày/Tháng/ Năm sau kiểm thử 42 Hình 3.11 Chức chọn ảnh Album trước sau kiểm thử 43 DANH SÁCH BẢNG BIỂU Bảng 2.1 Giá trị mặc định IPR [1] 19 Bảng 3.1 Cấu hình máy tính thực nghiệm 32 Bảng 3.2 Danh sách phần mềm sử dụng thực nghiệm 32 DANH SÁCH CÁC TỪ VIẾT TẮT STT Tên viết tắt Cụm từ đầy đủ XML Extensible Markup Language IDE Integrated Development Environment APK Android application package IPR Intent Payload Replacement ITR Intent Target Replacement MDL Lifecycle Method Deletion ECR OnClick Event Replacement ETR OnTouch Event Replacement BWD Button Widget Deletion 10 TWD EditText Widget Deletion 11 BWS Button Widget Switch  Khi dựa tảng JUnit test quen thuộc dễ sử dụng Kèm theo JUnit phát triển cho mục đích kiểm thửnên thành phần ứng dụng Vì nên dễ cài đặt tốc độ chạy kiểm thử ứng dụng nhanh Bên cạnh hệ thống thư viện phong phú, Framework tool hỗ trợ Google, tương thích với tất phiên Android cập nhật thường xuyên  Robotium xử lý hoạt động sử dụng trường hợp khó phức tạp Bên cạnh sử dụng Robotium code ngắn dễ viết hơn, nên thời gian tối thiểu để viết trường hợp kiểm thử rút ngắn không ảnh hưởng đến tảng Android Tuy nhiên, bên cạnh ưu điểm cơng cụ sử dụng mơ hình có nhược điểm sau đây:  Các nhà phát triển Android Studio phát triển cho phiên cải tiến so với phiên cũ Vì phiên có tốc độ khởi động chạy tương đối lâu Khi sử dụng Android Studio kết hợp với trình giả lập emulator làm nhiều nhớ máy tính  Đối với Robotiumviệc thực thi trường hợp kiểm thử gồm nhiều bước phức tạp tương đối khó Vì Robotium áp dụng để chạy trường hợp kiểm thử không phức tạp 31 Trong luận văn thực ba thí nghiệm: thí nghiệm sử kỹ thuật Intent Payload Replacement (IPR) Thí nghiệm sử dụng kỹ thuật OnClick Event Replacement (ECR) Và thí nghiệm sử dụng kỹ thuật thuật Button Widget Switch (BWS) Dựa vào kết thực nghiệm, tiến hành đánh giá nhận xét rút kết luận đưa định hướng 3.3 Môi trƣờng thực nghiệm 3.3.1 Cấu hình phần cứng Bảng 3.1 cung cấp thơng tin cấu hình phần cứng tiến hành thực nghiệm luận văn Bảng 3.1 Cấu hình máy tính thực nghiệm Thành phần CPU RAM HDD OS 3.3.2 Công cụ phần mềm Chỉ số Intel® Core™ i5-8265U 4GB 500GB Window (32bit) Trong q trình thực nghiệm, chúng tơi sử dụng số công cụ phần mềm mã nguồn mở liệt kê Bảng 3.2 Bảng 3.2 Danh sách phần mềm sử dụng thực nghiệm STT Tên phầm mềm Android-studio-ide182 5314842 Robotium5 Tác giả Nguồn https://developer android com/studio#downloads http://robotiumsolo blogspot com/p/downloads html http://www microsoft com MS-Excel Microsoft MS-Office 2013 Flashair https://github com/FlashAirDevelopers/FlashAirF ileManager Dưới mô tả phần mềm thực nghiệm:  Android-studio-ide-182 5314842 Android Studio Mơi trường phát triển tích hợp (IDE) thức để phát triển ứng dụng Android, dựa IntelliJ IDEA Ngồi cơng cụ phát triển chỉnh sửa 32 mã mạnh mẽ IntelliJ, Android Studio cịn cung cấp nhiều tính giúp nâng cao suất xây dựng ứng dụng Android Mỗi dự án Android Studio chứa nhiều mô-đun với tệp mã nguồn tệp tài nguyên (Hình 4.1) Các loại mô-đun bao gồm: - Android app modules - Library modules - Google App Engine modules Tất tệp xây dựng hiển thị cấp cao Gradle Scriptsvà mô-đun ứng dụng chứa thư mục sau: - manifests: Chứa tập tin AndroidManifest.xml Đây tập tin khai báo tất Activity sử dụng project Ngồi ra, tập tin cịn có chức cấp quyền cho ứng dụng, chẳng hạn cấp quyền truy cập internet, … - java: Chứa tất tập tin java Mỗi Activity tạo tương ứng cho tập tin java tập tin chứa Đây nơi lập trình viên viết code cho ứng dụng - assets: Mặc định thư mục chưa tồn Lập trình viên phải tạo thư mục Trong thư mục chừa hình, txt, … - res: Chứa layout, menu, animation, …Khi Activity tạo, đồng thời Android tạo tập tin Một tập tin java, chứa code Một tập tin xml, chứa layout Ngoài ra, tạo menu tạo animation (anim), thực 33 Hình 3.2 Các tập tin Android studio Giao diện Android Studio tạo thành từ số khu vực logic xác định Hình 4.2 Hình 3.3 Giao diện Android studio 34 Thanh cơng cụ cho phép thực loạt hành động, bao gồm chạy ứng dụng khởi chạy công cụ Android Thanh điều hướng giúp điều hướng qua dự án mở tệp để chỉnh sửa Nó cung cấp nhìn nhỏ gọn cấu trúc nhìn thấy cửa sổ Project Cửa sổ soạn thảo nơi tạo sửa đổi mã Tùy thuộc vào loại tệp tại, trình chỉnh sửa thay đổi Ví dụ, xem tệp bố cục, trình chỉnh sửa hiển thị trình chỉnh sửa bố cục Thanh cửa sổ công cụ chạy xung quanh bên cửa sổ IDE chứa nút cho phép mở rộng thu gọn cửa sổ công cụ riêng lẻ Các cửa sổ công cụ cung cấp quyền truy cập vào tác vụ cụ thể quản lý dự án, tìm kiếm, kiểm sốt phiên mở rộng chúng thu gọn chúng Thanh trạng thái hiển thị trạng thái dự án IDE, cảnh báo thơng báo  Tích hợp Robotium vào Android Studio Robotium công cụ viết mã nguồn mở dùng để kiểm thử hộp xám tự động dành cho ứng dụng điện thoại hệ điều hành android Với hỗ trợ Robotium, viết trường hợp kiểm thử test chức năng, hệ thống, và, bao phủ tính Android Robotium thể sử dụng cho ứng dụng test sử dụng mã nguồn có sẵn ứng dụng mà có sẵn file apk Sử dụng Robotium để tiến hành thử nghiệm ứng dụng Android Để đảm bảo chất lượng ứng dụng Android, thơng thường theo quy trình đây: Thiết kế kiểm tra đặc điểm kỹ thuật Xây dựng chương trình kiểm tra Thực thi Test Case thiết bị Thu thập kết kiểm tra Để chạy Robotium dự án kiểm thửAndroid, kiểm thử viên thêm dòng sau vào dependencies tệp build gradle bên (tệp đặt cấp với thư mục src), thay phiên robotium cho phù hợp với cài máy tính: dependencies { 35 // Unit testing dependencies androidTestCompile 'com jayway android robotium:robotium-solo:5.6.3' androidTestCompile 'junit:junit:4.12' } Tại thời điểm viết này, phiên Robotium sử dụnglà 5.6.3 Ví dụ kiểm thử Android dùng Robotium có Hình 4.3 Hình 3.4 Ví dụ kiểm thử Android dùng Robotium Sau viết xong chương trình kiểm tra, chạy thử bước bên Kết nối thiết bị Android với PC (hoặc khởi độngtrình giả lập emulator trường hợp khơng có thiết bị thực) Trong IDE, nhấp chuột phải vào Run as ->Android JUnit Test Hình 3.5 Chạy chương trình thử nghiệm Robotium 36 Sau thực kiểm tra, kiểm thử viên sẽnhận kết kiểm tra Trong chương trình thử nghiệm này, Hình 3.6 tất trường hợp thử nghiệm thơng qua Hình 3.6 Trường hợp thử nghiệm thành cơng Trong trường hợp thử nghiệm thất bại Hình 3.7 đầu hiển thị chothấy trường hợp thử nghiệm thất bại Hình 3.7 Trường hợp kiểm thử thất bại  Flashair Flashair ứng dụng chạy tảng Android IOS Trong luận văn đề cập đến việc chạy ứng dụng tảng Android Ứng dụng kèm với thẻ nhớ có tên Flashair Ứng dụng có chức sau: - Kết nối với thẻ nhớ Flashair - Xem ảnh, video, nghe nhạc trực tiếp từ thẻ nhớ - Tải ảnh từ ứng dụng thiết bị - Chỉnh sửa ảnh - Cài đặt mật cho thẻ - Chia sẻ ảnh thông qua việc phát wifi thông qua mạng xã hội 37 3.4 Dữ liệu thực nghiệm Trong thực nghiệm, sử dụng kiểm thử chức ứng dụng Flashair thiết bị di động Android Hình 3.8 minh họa giao diện Flashair Hình 3.8 Giao diện ứng dụng Flashair 3.5 Thử nghiệm liệu thực tế Chúng thực hai thí nghiệm sau với mục đích làm rõ vai trị việc sử dụng luật tốn tử đột biến kiểm thử ứng dụng Thí nghiệm Áp dụng kỹ thuật toán tử đột biến ý định, cụ thể Intent Mutation Operators ( Toán tử đột biến ý định) Khi kiểm thử chức chỉnh sửa ảnh, ảnh sau chỉnh sửa có chức Save Người sử dụng nhận dialog thơng báo có muốn lưu ảnh sau chỉnh sửa hay khơng Mơ tả testcase thí nghiệm 1: 38 Mô tả Các bước thực Kết mong đợi Kiểm tra dialog thông báo 1: Mở ứng dụng Flashair Không hiển thị nội dung lưu ảnh sau chạy 2: Click ảnh dialog lưu ảnh chương trình biến đổi 3: Chọn chức chỉnh sửa ảnh 4: Chỉnh sửa ảnh lưu lại Hàm save sau: public void onActivityBackPressed () { Intent intent = new Intent (); intent putExtra (IS_DOWNLOAD_IMAGE_FROM_EDIT, Successfully saved); mActivity setResult (Activity RESULT_OK, intent); this mIsResetAsyncTask = true; } Sử dụng kỹ thuật Intent Payload Replacement (IPR) để kiểm thử: public void onActivityBackPressed () { Intent intent = new Intent (); intent putExtra (IS_DOWNLOAD_IMAGE_FROM_EDIT, ””); mActivity setResult (Activity RESULT_OK, intent); this mIsResetAsyncTas = true; } Thí nghiệm Áp dụng kỹ thuật Xử lý toán tử đột biến, cụ thể làOnClick Event Replacement (ECR) Trong ứng dụng Flashair, Chức cài đặt ON/OFF nhiều chức nhỏ khác Để kiểm thử chức sử dụng kỹ thuật OnClick Event Replacement (ECR) Trong hình có chế độ xem theo Ngày/ Tháng/ Năm Để kiểm thử chức dựa kỹ thuật chúng tơi thay trình kiện nút Ngày trình kiện nút Năm, theo sau kiểm thử xong bấm vào nút Ngày hiển thị tồn thơng tin ảnh năm đó, thị theo Năm khác 39 Mơ tả testcase thí nghiệm 2: Mơ tả Các bước thực Kiểm tra hoạt động 1: Mở ứng dụng Flashair Kết mong đợi Hiển thị tất chức lọc ảnh theo 2: Chọn chức lọc ảnh ảnh lọc theo Năm Ngày/Tháng/Năm chạy theo Ngày chương trình biến đổi 3: Kiểm tra chức lọc ảnh theo Ngày public DisplayImage () { public void onClick (ViewDay) { int id = v getId (); ViewImageDay (); } Chương trình sau kiểm thử đột biến: public DisplayImage () { public void onClick (ViewDay) { int id = v getId (); ViewImageYear (); } Thí nghiệm Áp dụng kỹ thuật toán tử đột biến XML, cụ thể kỹ thuật Button Widget Switch (BWS) Mô tả testcase thí nghiệm 3: Mơ tả Các bước thực Kiểm tra hoạt động 1: Mở ứng dụng Flashair Kết mong đợi Chức Album chức Album chạy 2: Click Album phía hoạt động bình thường chương trình biến đổi bên phải hình 3: Kiểm tra chức Album 40 Button SelectButton = (Button) solo getView (id Select); Button AlbumButton = (Button) solo getView (id Album); int [ ] locationOfSelect = new int [2]; int [ ] locationOfAlbum = new int [2]; SelectButton getLocationInWindow (locationOfSelect); AlbumButton getLocationInWindow (locationOfAlbum); assertTrue (Select button is on the left of AlbumlocationOfSelect[0]>locationOfAlbum[0]); 3.6 Kết Đánh giá 3.6.1 Kết sau chạy thực nghiệm Sau thực nghiệm với hai thí nghiệm 1,2 thu kết sau Đối với thí nghiệm Trước kiểm thử, bấm vào biểu tượng lưu hình ảnh, dialog hiển thị lên hình Sau kiểm thử, bấm vào biểu tượng lưu hình ảnh, dialog khơng hiển thị lên hình Hình 3.9 Chức chỉnh sửa ảnh trước sau kiểm thử 41 Kết luận: Trường hợp kiểm thử thành công sau áp dụng kỹ thuật đột biến Intent Mutation Operators Đối với thí nghiệm Trước kiểm thứ, người sử dụng bấm vào nút DAY để xem ảnh theo ngày Tuy nhiên sau kiểm thử, người sử dung bấm DAY để xem ảnh theo năm Hình 3.10 Chức xem ảnh theo Ngày/Tháng/ Năm sau kiểm thử Kết luận: Trường hợp kiểm thử thành công sau áp dụng kỹ thuật đột biến OnClick Event Replacement Đối với thí nghiệm Sau đổi chỗ nút Select Album, hành vi cách thức hoạt động hai nút khơng có khác biệt so với ban đầu 42 Hình 3.11 Chức chọn ảnh Album trước sau kiểm thử Kết luận: Trường hợp kiểm thử thành công sau áp dụng kỹ thuật đột biến Button Widget Switch 3.6.2 Đánh giá kết thực nghiệm Sau áp dụng phương pháp kỹ thuật kiểm thử đột biến vào thực tế, nhận thấy có nhiều đổi so với phương pháp kiểm thử trước Hơn kiểm thử đột biến, kiểm thử viên tạo nhiều trường hợp kiểm thử khác kiểm thử sâu chức ứng dụng 3.7 Tóm tắt chƣơng Trong chương 3, luận văn ứng dụng phương pháp kỹ thuật kiểm thử đột biến trình bày chương vào thực tế Phần mềm Flashair phát triển thời gian dài kiểm thử có số mặt hạn chế trường hợp kiểm thử thất bại thường khó xảy Tuy trường hợp kiểm thử chương mô tả rõ ứng dụng phương pháp, kỹ thuật kiểm thử đột biến cách tốt 43 KẾT LUẬN VÀ ĐỊNH HƢỚNG NGHIÊN CỨU TIẾP THEO Qua tìm hiểu kiểm thử phần mềm kiểm thử đột biến ứng dụng Android, luận văn áp dụngkiến thức toán tử đột biến phương pháp toán tử đột biến để kiểm thử phần mềm [1] để nhằm nâng cao chất lượng cho ứng dụng Android Luận văn đạt kết sau đây: - Áp dụng kỹ thuật toán tử đột biến, phương pháp xử lý vịng đời tốn tử đột biến sử dụng kỹ thuật toán tử đột biến XML để kiểm thử ứng dụng Android - Kiểm thử chức phần mềm Flashair chỉnh sửa ảnh, đồng ý nhận thông báo từ nhà phát triển chức chọn ảnh, xem album từ hình Tuy nhiên hạn chế thời gian nên luận văn số hạn chế sau như: - Chưa kiểm thử nhiều chức phần mềm - Chưa kiểm thứ nhiều phần mềm chạy tảng Android Trong thời gian tới, thực với nhiều liệu, cụ thể nhiều ứng dụng chạy tảng Android để nâng cao kết thực nghiệm 44 TÀI LIỆU THAM KHẢO [1] Lin Deng, Jeff Offutt, Paul Ammann, Nariman Mirzaei Mutation operators for testing Android apps Information & Software Technology 81: 154-168 (2017) [2] Lin Deng, Jeff Offutt, David Samudio Is Mutation Analysis Effective at Testing Android Apps? QRS 2017: 86-93 [3] Birgitta Lindström, Jeff Offutt, Daniel Sundmark, Sten F Andler, Paul Pettersson Using mutation to design tests for aspect-oriented models Information & Software Technology 81: 112-130 (2017) [4] Birgitta Lindström, Sten F Andler, Jeff Offutt, Paul Pettersson, Daniel Sundmark Mutating aspect-oriented models to test cross-cutting concerns ICST Workshops 2015: 1-10 [5] Reyhaneh Jabbarvand, Sam Malek µDroid: an energy-aware mutation testing framework for Android ESEC/SIGSOFT FSE 2017: 208-219 [6] Macario Polo Usaola, Gonzalo Rojas, Isyed Rodriguez, Suilen Hernandez An Architecture for the Development of Mutation Operators ICST Workshops 2017: 143-148 [7] Hrushikesha Mohanty, J R Mohanty, Arunkumar Balakrishnan Trends in Software Testing Springer Singapore, 2017 [8] Mike Papadakis, Marinos Kintis, Jie Zhang, Yue Jia, Yves Le Traon, Mark Harman Mutation Testing Advances_An Analysis and Survey http://orbilu uni lu/bitstream/10993/31612/1/Mutation-Survey-06-17 pdf [9] Paul Ammann, Jeff Offutt Introduction to Software Testing, Cambridge University Press, 2017 [10] Ali Mili, Fairouz Tchier Software Testing_ Concepts and Operations Wiley, 2015 45