- Theo như kết quả nhóm đã thống kê từ Github, tổng số lỗi phi chức năng là 66,trong đó 23 lỗi đã được xác nhận trong quá trình kiểm thử của K45.- Lỗi phi chức năng được chia thành các n
Thống kê lỗi kiểm thử khoá 45
Thống kê các lỗi kiểm thử của khóa 45 (ST_K45_01)
Bảng thống kê các lỗi khóa K45 do nhóm 2 QA tổng hợp: https://docs.google.com/spreadsheets/d/1bJfwvWhaT6tEGq7knv7 RA_PU77QPMNau/edit#gidI0724743
- Theo số liệu mà nhóm đã thống kê từ github của khóa trước, ST_K45_01 theo github của thầy Tổng cộng có 316 lỗi đã được tìm thầy trong quá trình kiểm thử thử trên 14 trang web khác nhau Chủ yếu sử dụng 3 trình duyệt chính là Google Chrome, Microsoft Edge và Cốc cốc.
Trong tổng số các lỗi nêu trên đã có 101 lỗi đã bị close, có nghĩa là chúng không được xem là lỗi và chỉ còn 215 lỗi theo như nhóm mình đã thống kê tất cả.
Hình 1 1 Biểu đồ tròn thể hiện % số lỗi của từng loại lỗi
- Trong 215 lỗi đã được xác nhận, bao gồm 3 loại lỗi là giao diện, chức năng và phi chức năng được thống kê như sau:
1.1.1 Lỗi giao diện GUI (51.1% - 114 lỗi)
- Có thể thấy lỗi giao diện chiếm đa số, điều đó có nghĩa là bất kì trang web nào cũng đều sẽ mắc phải lỗi này – lỗi liên quan đến giao diện của người dùng Có thể mắc lỗi thiết kế, phông chữ, cấu trúc, căn chỉnh nội dung và những trải nghiệm người dùng.
1.1.2 Lỗi chức năng (35.4% - 79 lỗi) - Qua thống kê lỗi chức năng nhiều thứ 2, có thể cho ta thấy trong một sự án sẽ có một chương trình hoặc hàm không hoạt động đúng cách hoặc không thực hiện các chức năng hay tính năng mà nó được thiết kế Mà nguyên nhân gây ra chủ yếu do lỗi logic và cú pháp.
1.1.3 Lỗi phi chức năng (13.5% - 23 lỗi)- Lỗi này cho ta thấy rằng ngoài các chức năng cơ bản của trang web, còn liên quan đến khía cạnh khác đang gặp phải một số vấn đề liên quan đến hiệu suất, bảo mật, khả năng mở rộng, tương tác người dùng Đó cũng là nguyên nhân gây ảnh hưởng lớn đến trang web nếu không điều chỉnh kịp thời.
Thống kê các lỗi phi chức năng của khoá 45
Hình 1 2 Biểu đồ tròn thể hiện % số lỗi của từng loại lỗi phi chức năng
- Theo như kết quả nhóm đã thống kê từ Github, tổng số lỗi phi chức năng là 66, trong đó 23 lỗi đã được xác nhận trong quá trình kiểm thử của K45.
- Lỗi phi chức năng được chia thành các nhóm lỗi như sau: DDoS, XSS, SQL Injection, Performance, lỗi bảo mật và một số lỗi khác còn lại.
1.2.1 Lỗi DDoS (Distributed Denial of Service): 5 lỗi - Lỗi này liên quan đến tấn công trang web với với một số lượng lớn truy cập từ nhiều hệ thống khác nhau Làm cho server bị đánh sập và không thể truy cập trang web hay gián đoạn dịch vụ và ảnh hưởng đến người dùng.
1.2.2 Lỗi XSS (Cross-Site Scripting): 9 lỗi - Lỗi này liên quen đến tấn công và thường rất phổ biến Đặc biệt là nguy hiểm với các trang web Nó hoạt động bằng cách dùng một đoạn mã độc để khai tác lỗ hổng XSS, thông qua các đoạn mã script thực thi ở phía Client (người dùng) để đánh cắp dữ liệu cá nhân.
1.2.3 Lỗi SQL Injection: 1 lỗi - Loại lỗi này liên quan đến tấn công bảo mật lợi dụng các lỗ hổng trong việc kiểm tra dữ liệu trong trang web, được thực hiện bằng cách chèn đoạn mã truy vấn SQL qua đó có thể xâm nhập được database của trang web đánh cắp thông tin hay chỉnh sửa dữ liệu.
1.2.4 Lỗi Performance (hiệu năng): 3 lỗi - Lỗi này có liên quan đến hiệu suất hoạt động của trang web, làm cho trang web hoạt động chậm hơn thậm chí là không hoạt động Điều này sẽ gây một số khó khăn cho người dùng.
1.2.5 Lỗi bảo mật: 3 lỗi - Lỗi này liên quan đến các vấn đề bảo mật của trang web Bao gồm các vấn đề như các lỗ hổng bảo mật, thiết kế không an toàn và có nhiều vấn đề khác gây nguy hiểm cho trang web và ảnh hưởng đến bảo mật người dùng
1.2.6 Lỗi khác: 2 lỗi - Lỗi này xuất hiện trong quá trình kiểm thử nhưng không xác định được là lỗi giao diện hay lỗi chức năng Nhưng vẫn liên quan đến các nhóm lỗi ở trên.
- Bên dưới là bảng thống kê chi tiết các lỗi phi chức năng K45 với tên lỗi, số lỗi,trang web bị lỗi, các công cụ hỗ trợ tìm kiếm lỗi:
Tên lỗi – Số lỗi Trang web bị lỗi Các công cụ đã dùng
Các đoạn mã javascript VD:
SQL Injaction (1) Dùng các câu lệnh SQL
Lỗi hiệu năng (3) Không dùng công cụ
Lỗi bảo mật (3) Không dùng công cụ
Các lỗi khác (2) Không dùng công cụ
Bảng 1 1 Thống kê các trang web bị lỗi phi chức năng và công cụ để kiểm tra
Như vậy qua thống kê lỗi phi chức năng ở khóa 45 (ST_K45_01) có 66 lỗi phi chức năng, nhưng chỉ có 23 lỗi là được xác nhận Còn lại 43 lỗi được xác nhận là không phải lỗi chiếm đa số Điều này cho ta thấy khi mới học môn Đảm bảo kiểm soát chất lượng phần mềm thì ta dễ nhầm lẫn lỗi phi chức năng rất nhiều, nhưng đây cũng là một lỗi khó cần hiểu biết chuyên sâu về kiếm thử thì mới phát hiện ra được, nên đa số chỉ nhắm vào lỗi DDoS, XSS là chính vì đó là 2 lỗi phi chức năng cơ bản phải đc kiểm thử đầu tiên.
Test case
Trang web kiểm thử
- Nhóm chọn trang web bán hàng shopee: https://shopee.vn/
Viết test case cho phần giao diện, chức năng, phi chức năng
Kiểm tra khả năng hiển thị của các thành phần trên trang chủ
Kiểm tra tính reponsive của trang web Link web: shopee.vn
Kiểm tra các đường dẫn ở footer của trang Link web: shopee.vn
Kiểm tra khả năng hiển thị của các thành phần giao diện trên các thiết bị khác nhau Link web: shopee.vn
Kiểm tra khả năng hiển thị của các thành phần giao diện trên các trình duyệt khác nhau Link web: shopee.vn
Chức năng đăng ký trang web Shopee: phân hoạch tương đương và phân hoạch biên.
- Có hai lý do chính:
Để đảm bảo hệ thống hoạt động chính xác trong tất cả các trường hợp Phân hoạch tương đương giúp chúng ta xác định các vùng giá trị đầu vào có thể dẫn đến kết quả đầu ra khác nhau.
Phân hoạch biên giúp chúng ta xác định các giá trị đầu vào nằm ở ranh giới giữa các vùng tương đương, là những giá trị có khả năng xảy ra lỗi cao nhất.
Để giảm số lượng test case cần thiết Phân hoạch tương đương giúp chúng ta giảm số lượng test case cần thiết bằng cách chỉ cần test một giá trị đại diện cho mỗi vùng tương đương Phân hoạch biên giúp chúng ta giảm số lượng test case cần thiết bằng cách chỉ cần test các giá trị biên.
- Trong trường hợp của trang web đăng ký tài khoản của Shopee, việc sử dụng phân hoạch tương đương và phân hoạch biên giúp chúng ta đảm bảo hệ thống hoạt động chính xác trong tất cả các trường hợp, bao gồm:
Số điện thoại hợp lệ và không hợp lệ
Mã OTP hợp lệ và không hợp lệ
Mật khẩu hợp lệ và không hợp lệ - Ngoài ra, việc sử dụng phân hoạch biên giúp chúng ta phát hiện các lỗi có thể xảy ra ở các giá trị biên, chẳng hạn như:
Số điện thoại không đủ độ dài
Mã OTP không có chữ số
Mật khẩu quá dài - Dưới đây là một số lợi ích cụ thể của việc sử dụng phân hoạch tương đương và phân hoạch biên:
Cải thiện độ bao phủ kiểm thử Phân hoạch tương đương và phân hoạch biên giúp chúng ta xác định các trường hợp kiểm thử cần thiết để đảm bảo hệ thống hoạt động chính xác.
Giảm thời gian và chi phí kiểm thử Phân hoạch tương đương và phân hoạch biên giúp chúng ta giảm số lượng test case cần thiết, từ đó giảm thời gian và chi phí kiểm thử.
Nâng cao chất lượng sản phẩm Việc phát hiện và khắc phục lỗi sớm trong quá trình phát triển sản phẩm sẽ giúp nâng cao chất lượng sản phẩm.
Phân hoạch tương đương và phân hoạch biên là hai kỹ thuật kiểm thử quan trọng giúp đảm bảo hệ thống hoạt động chính xác Việc sử dụng kết hợp hai kỹ thuật này sẽ giúp chúng ta đạt được hiệu quả kiểm thử cao nhất.
Từ 2 phương pháp này thiết kế được tổng số testcase cho màn hình đăng kí là 5.
Lý do nên chọn bảng quyết định để tạo các test case đăng nhập Shopee:
Đảm bảo độ bao phủ: Bảng quyết định giúp xác định và tạo các test case để bao phủ tất cả các trường hợp đầu vào và kết quả đầu ra có thể xảy ra của hệ thống Điều này giúp đảm bảo rằng tất cả các lỗi có thể xảy ra đã được phát hiện.
Các test case đăng nhập Shopee kiểm tra các trường hợp đầu vào và kết quả đầu ra khác nhau của chức năng đăng nhập Bảng quyết định giúp xác định tất cả các trường hợp đầu vào và kết quả đầu ra có thể xảy ra của chức năng này Điều này giúp đảm bảo rằng các test case được tạo ra để bao phủ tất cả các trường hợp cần thiết để kiểm tra chức năng đăng nhập.
Tăng hiệu quả: Bảng quyết định giúp tạo ra các test case hiệu quả hơn bằng cách giảm thiểu số lượng test case không cần thiết.
Bảng quyết định giúp xác định các test case chồng chéo và loại bỏ chúng Điều này giúp tiết kiệm thời gian và công sức khi tạo các test case.
Tăng khả năng tái sử dụng: Bảng quyết định có thể được sử dụng để tạo các test case cho các phiên bản khác nhau của hệ thống. Điều này giúp tiết kiệm thời gian và công sức khi kiểm thử các phiên bản mới của hệ thống.
Bảng quyết định có thể được sử dụng để tạo các test case cho các phiên bản khác nhau của hệ thống bằng cách thay đổi các giá trị trong bảng Ví dụ, nếu hệ thống được cập nhật để thêm một trường mới cho tên tài khoản, bảng quyết định có thể được cập nhật để bao gồm trường mới này Điều này giúp đảm bảo rằng các test case được cập nhật để phù hợp với phiên bản mới của hệ thống.
Từ phương pháp chọn bảng quyết định, thiết kế được tổng số testcase cho màn hình đăng nhập là 5.
Lý do nên chọn bảng quyết định để tạo các test case thêm sản phẩm vào giỏ hàng Shopee:
Chức năng thêm sản phẩm vào giỏ hàng trên trang web Shopee là một tính năng quan trọng, đòi hỏi sự kiểm tra kỹ lưỡng các điều kiện đầu vào để đảm bảo tính đáng tin cậy của nó Điều này đặc biệt quan trọng khi chúng ta cần kiểm tra nhiều yếu tố như trạng thái đăng nhập của người dùng, số lượng sản phẩm trong kho và số lượng sản phẩm mà khách hàng đặt Phương pháp bảng quyết định là lựa chọn hiệu quả để thực hiện kiểm thử cho tính năng này.
Bảng quyết định giúp quản lý nhiều điều kiện đầu vào một cách cụ thể và tập trung vào các trường hợp quan trọng mà cần kiểm tra Điều này giúp tiết kiệm thời gian và nguồn lực, đồng thời đảm bảo rằng tính năng hoạt động đúng cách trong mọi tình huống quan trọng Bảng quyết định cũng dễ quản lý và tùy chỉnh, cho phép điều chỉnh kiểm thử theo nhu cầu cụ thể và tập trung vào các yếu tố quan trọng nhất.
Đường link đến file test case
https://docs.google.com/spreadsheets/d/1H8VzZHH2KEHUxBjcWMxqsCtQkV rcyISD/edit? fbclid=IwAR0rqIbAvfKDyS4Bz5RoILGTPQmexsmJtOWw0YJoAy6JXwlST4JSf-LyHyc#gid65856538
Đánh giá các hoạt động của nhóm QC
Quá trình tìm kiếm lỗi rõ ràng: Nhóm có thể quay video để thể hiện cách họ tìm kiếm lỗi Điều này có thể hữu ích trong việc trao đổi thông tin với nhóm QA hoặc trong việc hướng dẫn những người mới tham gia vào dự án về cách tìm lỗi.
Nhóm đảm bảo rằng họ đánh dấu đúng label và assignee cho các lỗi trên Github Điều này giúp tạo ra một quy trình quản lý lỗi rõ ràng và tiện lợi cho toàn nhóm.
Tích cực thảo luận lỗi: Nhóm liên tục thảo luận với nhóm QA thông qua messenger và trực tiếp để hiểu rõ hơn về các vấn đề và cải thiện Điều này thể hiện tinh thần hợp tác và sẵn sàng học hỏi.
Nhóm có trễ deadline 1 tuần nên bị trừ 1 điểm Và thiếu 2 lỗi chức năng, 1 lỗi phi chức năng
Nhóm có cố gắng khắc phục điểm trừ bằng cách kiếm thêm lỗi giao diện thể hiện tinh thần có trách nhiệm với việc hoàn thiện chất lượng sản phẩm.
Khẩn trương và Hoàn thành trước deadline: Nhóm luôn hoàn thành công việc kiểm tra lỗi trước khi deadline và đạt được mục tiêu KPI hàng tuần. Điều này cho thấy rất tập trung vào việc xác định và sửa lỗi.
Tích cực tìm lỗi: Mặc dù nhóm thiếu 3 lỗi phi chức năng nhưng nhóm đã cố gắng tìm dư lỗi GUI và lỗi chức năng Điều này chỉ ra rằng nhóm có sự hăng hái và cam kết trong việc tìm lỗi để cải thiện chất lượng sản phẩm.
Quá trình tìm kiếm lỗi rõ ràng: Nhóm có quay video để thể hiện cách họ tìm kiếm lỗi Điều này có thể hữu ích trong việc trao đổi thông tin với nhóm QA hoặc trong việc hướng dẫn những người mới tham gia vào dự án về cách tìm lỗi.
Nhóm đảm bảo rằng họ đánh dấu đúng label và assignee cho các lỗi trên Github Điều này giúp tạo ra một quy trình quản lý lỗi rõ ràng và tiện lợi cho toàn nhóm.
Nhóm có tích cực thảo luận về lỗi với QA khi tham gia môn học trên lớp.
Khẩn trương và Hoàn thành trước deadline: Nhóm luôn hoàn thành công việc kiểm tra lỗi trước khi deadline và đạt được mục tiêu KPI hàng tuần Điều này cho thấy rất tập trung vào việc xác định và sửa lỗi.
Tích cực tìm lỗi: Mặc dù đã bị từ chối gần 1 nữa trong tổng số lỗi đăng lên từ phía QA, nhóm vẫn cố gắng tìm và đã dư so với KPI Điều này chỉ ra rằng nhóm có sự hăng hái và cam kết trong việc tìm lỗi để cải thiện chất lượng sản phẩm.
Quá trình tìm kiếm lỗi rõ ràng: Nhóm có thể quay video để thể hiện cách họ tìm kiếm lỗi Điều này có thể hữu ích trong việc trao đổi thông tin với nhóm QA hoặc trong việc hướng dẫn những người mới tham gia vào dự án về cách tìm lỗi.
Nhóm đảm bảo rằng họ đánh dấu đúng label và assignee cho các lỗi trên Github Điều này giúp tạo ra một quy trình quản lý lỗi rõ ràng và tiện lợi cho toàn nhóm.
Tích cực thảo luận lỗi: Nhóm liên tục thảo luận với nhóm QA thông qua messenger và trực tiếp để hiểu rõ hơn về các vấn đề và cải thiện Điều này thể hiện tinh thần hợp tác và sẵn sàng học hỏi.
Khẩn trương và Hoàn thành trước deadline: Nhóm luôn hoàn thành công việc kiểm tra lỗi trước khi deadline và đạt được mục tiêu KPI hàng tuần Điều này cho thấy rất tập trung vào việc xác định và sửa lỗi.
Tích cực tìm lỗi: Mặc dù đã bị từ chối gần 1 nữa trong tổng số lỗi đăng lên từ phía QA, nhóm vẫn cố gắng tìm và đã dư so với KPI Điều này chỉ ra rằng nhóm có sự hăng hái và cam kết trong việc tìm lỗi để cải thiện chất lượng sản phẩm.
Quá trình tìm kiếm lỗi rõ ràng: Nhóm có quay video để thể hiện cách họ tìm kiếm lỗi Điều này có thể hữu ích trong việc trao đổi thông tin với nhóm QA hoặc trong việc hướng dẫn những người mới tham gia vào dự án về cách tìm lỗi.
Nhóm đảm bảo rằng họ đánh dấu đúng label và assignee cho các lỗi trên Github Điều này giúp tạo ra một quy trình quản lý lỗi rõ ràng và tiện lợi cho toàn nhóm.
Nhóm có tinh thần trách nhiệm rất tốt, thể hiện qua việc luôn hoàn thành tốt KPI GUI và chức năng mỗi tuần.
Nhóm đã hợp tác rất tích cực với nhóm QA qua việc liên tục thảo luận, trao đổi với nhóm QA về các lỗi cần cung cấp thêm những thông tin bổ sung.
Hỗ trợ rất lớn cho QA phụ trách vì cung cấp các minh chứng lỗi rất nhanh chóng và đúng trọng tâm
Nhóm thể hiện thái độ làm việc rất nhiệt huyết thông qua việc tích cực tìm kiếm cũng như sử dụng các công cụ hỗ trợ để tìm kiếm các lỗi phi chức năng.
Về quá trình hoàn thành số lượng lỗi thì nhóm đã làm khá tốt, ở lỗi phi chức năng nhóm vẫn thiếu 1 lỗi, nhưng nhóm cũng đã nhanh chóng bù lại bằng các lỗi giao diện và chức năng.
Hoàn thành các KPI: Nhóm 7 tích cực tìm lỗi trong tuần đầu tiên đã có hơn 15 lỗi hoàn thành sớm và vượt mức KPI tuần Các tuần sau đó tuy tần suất có giảm so với tuần đầu tiên nhưng nhóm vẫn hoàn thành KPI Ngoại trừ gặp phải vấn đề ở lỗi phi chức năng và không hoàn thành đủ.
Tích cực tìm lỗi: Tổng số lỗi mà nhóm đã tìm được 50 cho cả 3 lỗi.
Mặc dù đã từ chối 24 lỗi nhưng trong quá trình đó, nhóm 7 đã nổ lực tìm kiếm rất tích cực tìm và được chấp nhận 26 lỗi Tuy nhiên là việc tìm lỗi một cách không xem xét cũng là khuyết điểm của cả nhóm khi cứ thấy lỗi là post lên nên tạo ra nhiều lỗi thừa không đáng có.
Tìm kiếm lỗi minh bạch rõ ràng: Nhóm ghi rất chi tiết các lỗi và đúng cấu trúc form Tuy nhiên một số lỗi cần phải giải thích cụ thể hơn để không mất thời gian Đặc biêt trong lỗi phi chức năng DDoS nhóm đã quay video thể hiện trang web đó bị tấn công và dừng hoạt động Điều này làm cho việc chấm lỗi được nhanh chóng.
Assign & Label: Đa số các lỗi đều quên assign, Tuy nhiên về label nhóm đã thực hiện đúng với yêu cầu chung Giúp tạo ra một quy trình quản lý lỗi rõ ràng và tiện lợi cho đôi bên.
Tích cực thảo luận lỗi: Mỗi khi mình có để lại lời nhắn trên mỗi post lỗi thì nhóm 7 trả lời rất nhanh và ngồi thảo luận chi tiết các bước đã nêu trong lỗi để cải thiện và cùng đi đến kết quả cuối.
Về tinh thần làm việc, nhóm có thái độ làm việc cẩn thận và nhiệt huyết, luôn luôn hoàn thành đúng hạn KPI mỗi tuần, có chủ động tìm thêm nhiều lỗi để bù vào khi QA từ chối lỗi.
Nhóm tích cực trao đổi với QA những thông tin cần thiết về nhưng lỗi đang gây tranh cãi trên github Cũng như cung cấp nhanh chóng và đầy đủ video minh chứng những lỗi cần được xác minh.
Về kết quả, nhóm 8 thu lại kết quả chưa được khả quan, nhóm còn thiếu 3 lỗi phi chức năng, điều này dễ hiểu khi phi chức năng là loại lỗi khó có thể tìm được chính xác, bù lại nhóm cũng đã tìm thêm nhiều lỗi giao diện và chức năng để bù vào.
Thống kê lỗi của các nhóm QC
- Tổng lỗi đã rà soát : 28 - Tổng lỗi từ chối : 6 - Tổng lỗi phải thảo luận trên 3 lần : 1
Thống kê các lỗi phi chức năng:
- Trang web bị lỗi: https://alumni.ueh.edu.vn/ và https://daklak24h.com.vn/
- Số lượng lỗi phi chức năng phát hiện: 6 lỗi - Số lượng lỗi phi chức năng bị từ chối: 2 lỗi
Loại lỗi Đường dẫn tới lỗi Công cụ kiểm thử
DDOS https://github.com/UEHM onQAQC/23_902/issues/2 5 5
Không thiết lập Anti- Clickjacking https://github.com/UEHM onQAQC/23_902/issues/3 22 https://github.com/UEHM onQAQC/23_902/issues/3 23
Bảo mật https://github.com/UEHM onQAQC/23_902/issues/3 16
Bảng 3 1 Tổng hợp các lỗi phi chức năng nhóm 1
Thống kê những lỗi bị từ chối:
QA thực hiện theo nhưng không thấy lỗi
Lỗi Đường dẫn tới lỗi Loại lỗi
Trang web không thể truy cập https://github.com/UEHM onQAQC/23_902/issues/
Lỗi XSS https://github.com/UEHM onQAQC/23_902/issues/
Thiết Kế không phải lỗi
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi không đồng nhất font chữ https://github.com/UEHM onQAQC/23_902/issues/
Lỗi tìm kiếm https://github.com/UEHM onQAQC/23_902/issues/
Hiển thị không đồng bộ https://github.com/UEHM onQAQC/23_902/issues/
Layout căn chỉnh không đều https://github.com/UEHM onQAQC/23_902/issues/
Bảng 3 2 Tổng hợp các lỗi bị từ chối theo lý do nhóm 1
- Tổng lỗi đã rà soát : 35 - Tổng lỗi từ chối : 3 - Tổng lỗi phải thảo luận trên 3 lần : 0
Thống kê các lỗi phi chức năng:
- Trang web bị lỗi: https://youth.ueh.edu.vn/ và https://www.viettablet.com
- Số lượng lỗi phi chức năng phát hiện: 5 lỗi - Số lượng lỗi phi chức năng bị từ chối: 3 lỗi
Loại lỗi Đường dẫn tới lỗi Công cụ kiểm thử
DDOS https://github.com/UEHM onQAQC/23_902/issues/1 94 https://github.com/UEHM onQAQC/23_902/issues/1 95
Bảng 3 3 Tổng hợp các lỗi phi chức năng nhóm 3
Thống kê những lỗi bị từ chối:
Lỗi Đường dẫn tới lỗi Loại lỗi
Tốc độ tải lên toàn bộ trang https://github.com/UEHM Lỗi phi chức năng trên 5 giây onQAQC/23_902/issues/
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi sử dụng cookie trong nhiều phân vùng con (subdomains) thuộc cùng một miền (domain) https://github.com/UEHM onQAQC/23_902/issues/
Lỗi không đặt cờ "Secure" trênCookie https://github.com/UEHM onQAQC/23_902/issues/
Bảng 3 4 Tổng hợp các lỗi bị từ chối theo lí do nhóm 3
- Tổng lỗi đã rà soát : 58 - Tổng lỗi từ chối : 21 - Tổng lỗi phải thảo luận trên 3 lần : 0
Thống kê các lỗi phi chức năng:
- Trang web bị lỗi: https://caythuoc.vn/ và https://smartlib.ueh.edu.vn/
- Số lượng lỗi phi chức năng phát hiện: 19 lỗi - Số lượng lỗi phi chức năng bị từ chối: 14 lỗi Loại lỗi Đường dẫn tới lỗi Công cụ kiểm thử
DDOS https://github.com/UEH
Phần mềm ApacheJMeter https://github.com/UEH MonQAQC/23_902/issu es/68
Không thiết lập Anti- Clickjacking https://github.com/UEH
Tấn công XSS (Bảo mật) https://github.com/UEH
MonQAQC/23_902/issu es/260 https://github.com/UEH MonQAQC/23_902/issu es/260
Bảng 3 5 Tổng hợp các lỗi phi chức năng nhóm 4
Thống kê những lỗi bị từ chối:
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi không viết hoa đầu dòng- Trang https://caythuoc.vn https://github.com/UEH MonQAQC/23_902/iss ues/269
Dữ liệu map Vinh Long Campus bị lỗi, không hiển thị thông tin- Trang https://smartlib.ueh.edu.vn/ https://github.com/UEH MonQAQC/23_902/iss ues/172
Thanh lọc Map ngưng hoạt động khi chọn Vinh Long Campus- Trang https://smartlib.ueh.edu.vn/ https://github.com/UEH MonQAQC/23_902/iss ues/158
Lỗi XSS https://github.com/UEH
Hệ thống tiếp nhận đoạn mã code thông báo https://github.com/UEH MonQAQC/23_902/iss ues/234
QA thực hiện theo nhưng không thấy lỗi
Lỗi Đường dẫn tới lỗi Loại lỗi
Cho phép người dùng có thể truy cập và tải về tài liệu mà không cần đăng nhập https://github.com/UEH MonQAQC/23_902/iss ues/259
Hiểu sai về định nghĩa lỗi
Lỗi Đường dẫn tới lỗi Loại lỗi
Thay đổi đường link URL https://github.com/UEH
Lỗi 403 khi click vào UEH Student, Staff, ISB, ISB Westernsysney vào trang web https://github.com/UEH MonQAQC/23_902/iss ues/252
Hiển thị web blocked khi click xem chi tiết số điện thoại https://github.com/UEH MonQAQC/23_902/iss ues/220
Lỗi hiển thị sai số lượng của giỏ hàng https://github.com/UEH MonQAQC/23_902/iss
Lỗi cho phép đặt hàng khi không tick chọn phương thức thanh toán https://github.com/UEH MonQAQC/23_902/iss ues/285
Lỗi không phản hồi khi tìm kiếm quá số lượng từ https://github.com/UEH MonQAQC/23_902/iss ues/296
Lỗi layout chi tiết sản phẩm không thẳng hàng https://github.com/UEH
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi SQL Injection https://github.com/UEHMon
QAQC/23_902/issues/74 https://github.com/UEHMon QAQC/23_902/issues/215
Lỗi Path Traversal https://github.com/UEHMon
Perfomance của trang trên web ở mức thấp https://github.com/UEHMon QAQC/23_902/issues/299 https://github.com/UEHMon
QAQC/23_902/issues/298 https://github.com/UEHMon QAQC/23_902/issues/297
Lỗi giao diện bị mất khi phóng to trang 175% https://github.com/UEHMon QAQC/23_902/issues/115 https://github.com/UEHMon QAQC/23_902/issues/79
Bảng 3 6 Tổng hợp các lỗi bị từ chối theo lí do nhóm 4
- Tổng lỗi đã rà soát : 54 - Tổng lỗi từ chối : 20 - Tổng lỗi phải thảo luận trên 3 lần : 0
Thống kê các lỗi phi chức năng:
- Trang web bị lỗi: http://www.cpv.ueh.edu.vn/ và http://baolamdong.vn/
- Số lượng lỗi phi chức năng phát hiện: 7 lỗi - Số lượng lỗi phi chức năng bị từ chối: 2 lỗi Loại lỗi Đường dẫn tới lỗi Công cụ kiểm thử
DDOS https://github.com/UEH
MonQAQC/23_902/issu es/105 https://github.com/UEH MonQAQC/23_902/issu es/104
Clickjacking https://github.com/UEH
Vs code https://github.com/UEH MonQAQC/23_902/issu es/314
Tấn công XSS (Bảo mật) https://github.com/UEH MonQAQC/23_902/issu es/259
Bảng 3 7 Tổng hợp các lỗi phi chức năng nhóm 5
Thống kê những lỗi bị từ chối:
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi "ERR_CACHE_MISS" không thể tìm thấy dữ liệu https://github.com/UEH
Lỗi link liên kết https://github.com/UEH
Lỗi sử dụng chức năng đọc báo https://github.com/UEH
Lỗi đăng nhập bằng facebook khi bình luận https://github.com/UEH
Thanh lọc tìm kiếm điều kiện nhưng không lọc kết quả https://github.com/UEH MonQAQC/23_902/iss ues/26
Thiết Kế không phải lỗi
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi bố cục, khoảng trống nhiều https://github.com/UEH MonQAQC/23_902/iss ues/16
Lỗi hiển thị https://github.com/UEH
Lỗi in đậm văn bản https://github.com/UEH
Lỗi trùng lặp nội dung https://github.com/UEH
Hình ảnh ở mục trình chiếu bị giãn https://github.com/UEH
Lỗi giao diện footer không hiển thị hết https://github.com/UEH
Lỗi hiển thị thời gian https://github.com/UEH
Thiếu thẻ thuộc tính Viewport ở trong html https://github.com/UEH MonQAQC/23_902/iss ues/221
Lỗi chức năng https://github.com/UEH MonQAQC/23_902/iss ues/223
Lỗi không có trang đích ở mục trình chiếu https://github.com/UEH MonQAQC/23_902/iss ues/313
Không sử dụng HTTPS encryption để mã hóa dữ liệu https://github.com/UEH MonQAQC/23_902/iss ues/159
Không xuất kết quả từ khóa muốn tìm kiếm https://github.com/UEH MonQAQC/23_902/iss ues/310
QA thực hiện nhưng không thấy lỗi
Lỗi Đường dẫn tới lỗi Loại lỗi
Không dùng được chức năng đọc báo trên file pdf liên kết với website https://github.com/UEH MonQAQC/23_902/iss ues/4
Lỗi không đọc được báo in https://github.com/UEH
Lỗi không tương thích hiển thị trên điện thoại https://github.com/UEH MonQAQC/23_902/iss ues/311
Bảng 3 8 Tổng hợp các lỗi bị từ chối theo lý do nhóm 5
- Tổng lỗi đã rà soát : 38 - Tổng lỗi từ chối : 14 - Tổng lỗi phải thảo luận trên 3 lần : 0
Thống kê các lỗi phi chức năng:
- Trang web bị lỗi: http://yame.vn https://govirlunteer.ueh.edu.vn/, - Số lượng lỗi phi chức năng phát hiện: 10 lỗi
- Số lượng lỗi phi chức năng bị từ chối: 6 lỗi
Loại lỗi Đường dẫn tới lỗi Công cụ kiểm thử
Lỗi Performance https://github.com/UEH
MonQAQC/23_902/issu es/146 https://github.com/UEH MonQAQC/23_902/issu es/145
ClickJacking https://github.com/UEH
MonQAQC/23_902/issu es/294 https://github.com/UEH MonQAQC/23_902/issu es/295
Trang web: https://pagespeed.web.d ev/
Bảng 3 9 Tổng hợp các lỗi phi chức năng nhóm 6
Thống kê những lỗi bị từ chối:
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi phi chức năng https://github.com/UEH
Lỗi phi chức năng - Lỗi không phản hồi khi tìm kiếm quá số lượng từ
Lỗi phi chức năng https://github.com/UEH
Lỗi phi chức năng - Lỗi không phản hồi khi tìm kiếm quá số lượng từ
Lỗi phi chức năng https://github.com/UEH
Lỗi phi chức năng - Lỗi truy vấn trình duyệt
Lỗi chức năng https://github.com/UEH
Lỗi chức năng - Lỗi hiển thị sai số lượng đơn hàng
Lỗi chỉ ở mức cảnh báo, chưa có minh chứng khai thác lỗi thành công
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi phi chức năng https://github.com/UEH
Lỗi phi chức năng - Lỗi XSS
Lỗi phi chức năng https://github.com/UEH
Lỗi phi chức năng - Không có mã chống lại hình thức tấn công thông qua XSS
Lỗi phi chức năng https://github.com/UEH
Lỗi phi chức năng - Không có mã chống lại hình thức tấn công thông qua XSS
Lỗi do quy trình xử lý nghiệp vụ không hẳn là lỗi kỹ thuật
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi GUI https://github.com/UEH
Lỗi giao diện- Dấu chấm và dấu phẩy ues/151 không đồng nhất
Lỗi GUI https://github.com/UEH
Lỗi giao diện - Lỗi văn bản bị mất khi zoom
Lỗi GUI https://github.com/UEH
Lỗi giao diện - Lỗi văn bản bị cắt
Lỗi GUI https://github.com/UEH
Lỗi giao diện - Lỗi văn bản bị đè lên nhau
Lỗi GUI https://github.com/UEH
Lỗi giao diện - Lỗi căn chỉnh ảnh không đều
Lỗi GUI https://github.com/UEH
Lỗi giao diện - Văn bản viết in hoa, viết thường không đồng đều
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi GUI https://github.com/UEH
Lỗi giao diện - Lỗi không hiển thị ảnh
Bảng 3 10 Tổng hợp các lỗi bị từ chối theo lí do nhóm 6
- Tổng lỗi đã rà soát : 50 - Tổng lỗi từ chối : 24 - Tổng lỗi phải thảo luận trên 3 lần : 1
Thống kê các lỗi phi chức năng:
- Số lượng lỗi phi chức năng phát hiện: 18 lỗi - Số lượng lỗi phi chức năng bị từ chối: 16 lỗi Loại lỗi Đường dẫn tới lỗi Công cụ kiểm thử
DDOS https://github.com/UEH
MonQAQC/23_902/issu es/63 https://github.com/UEH MonQAQC/23_902/issu es/27
Bảng 3 11 Tổng hợp các lỗi phi chức năng nhóm 7
Thống kê những lỗi bị từ chối:
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi ClickJacking https://github.com/UEH
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi DDoS Lỗi truy vấn khi trình duyệt trực tiếp thao https://github.com/UEH
Lỗi phi chức năng tác với máy chủ khi giả lập 10000 người dùng ues/107
Lỗi do QC bật một số tiện ích trên web
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi nhấn vào button thông báo nhưng không thực hiện chức năng https://github.com/UEH MonQAQC/23_902/iss ues/53
Trang web chưa đủ lớn để thực hiện chức năng
Lỗi Đường dẫn tới lỗi Loại lỗi
Số điện thoại nhận bất kỳ thông tin nào https://github.com/UEH MonQAQC/23_902/issu es/317
Lỗi người khác có thể dò tim password https://github.com/UEH
Không hạn chế số lượng lượt truy cập lỗi https://github.com/UEH MonQAQC/23_902/issu es/214
Nhà phát triển web cố ý thiết lập nhưng QC cho là lỗi
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi tìm kiếm không thấy hình ảnh https://github.com/UE HMonQAQC/23_902/i ssues/219
Có nhiều document.write() làm load trang web chậm https://github.com/UEH MonQAQC/23_902/issu es/144
Lỗi các option đè lên các chức năng khác https://github.com/UEH MonQAQC/23_902/issu es/106
Cập nhật phiên bản Bootstrap https://github.com/UEH MonQAQC/23_902/issu es/71
Không có thuộc tính "alt" https://github.com/UEH
MonQAQC/23_902/issu es/67 https://github.com/UEH MonQAQC/23_902/issu es/66
Lỗi bố cục không đồng đều https://github.com/UEH MonQAQC/23_902/issu es/45
Lỗi Các thông tin bị ẩn mất khi phóng to 175% https://github.com/UEH
Lỗi Responsive https://github.com/UEH
QC làm theo nhưng không hoạt động
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi không chống mã clickjacking https://github.com/UE HMonQAQC/23_902/i ssues/217
Lỗi SQL Injection https://github.com/UEH Lỗi phi chức năng
Lỗi XSS https://github.com/UEH
Không có mã chống lại hình thức tấn công thông qua XSS https://github.com/UEH MonQAQC/23_902/issu es/143
Lỗi che thông tin khi thực hiện scroll up down liên tục https://github.com/UEH MonQAQC/23_902/issu es/83
QC test bị lỗi nhưng QA test lại không thấy lỗi
Lỗi Đường dẫn tới lỗi Loại lỗi
Không truy vấn được dữ liệu https://github.com/UE
Lỗi đặt địa chỉ email vào cặp thẻ https://github.com/UEH MonQAQC/23_902/issu es/119
Lỗi phi chức năng nhóm QC dùng công cụ khác mà không phải tự tìm ra
Lỗi Đường dẫn tới lỗi Loại lỗi
Không có mã thông báo chống CSRF https://github.com/UEH MonQAQC/23_902/issu es/70
Load trang web chậm https://github.com/UEH
Lỗi phi chức năng es/42
Bảng 3 12 Tổng hợp các lỗi bị từ chối theo lí do nhóm 7
- Tổng lỗi đã rà soát : 39 - Tổng lỗi từ chối : 10 - Tổng lỗi phải thảo luận trên 3 lần : 5
Thống kê các lỗi phi chức năng:
- Trang web bị lỗi: https://truong.hcm.edu.vn, https://shop.ueh.edu.vn/
- Số lượng lỗi phi chức năng phát hiện: 7 lỗi - Số lượng lỗi phi chức năng bị từ chối: 5 lỗi Loại lỗi Đường dẫn tới lỗi Công cụ kiểm thử
Lỗi Performance https://github.com/UEH
ClickJacking https://github.com/UEH
MonQAQC/23_902/issu es/301 security scanner
Bảng 3 13 Tổng hợp các lỗi phi chức năng nhóm 8
Thống kê những lỗi bị từ chối:
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi phi chức năng https://github.com/UEH
Lỗi phi chức năng - Lỗi ClickJacking
Lỗi chỉ ở mức cảnh báo, chưa có minh chứng khai thác lỗi thành công
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi phi chức năng https://github.com/UEH
Lỗi phi chức năng - Không có thẻ tối ưu hóa Progressive
Lỗi phi chức năng https://github.com/UEH
Lỗi phi chức năng - No redirect or canonical to HTTPS homepage from HTTP version
Lỗi phi chức năng https://github.com/UEH
Lỗi phi chức năng- Đổi email đăng kí mà không cần xác nhận chính chủ
Lỗi phi chức năng https://github.com/UEH
Lỗi phi chức năng- Đổi email đăng kí mà không cần xác nhận chính chủ
Post trễ Lỗi do quy trình xử lý nghiệp vụ không hẳn là lỗi kỹ thuật
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi GUI https://github.com/UEH
Lỗi GUI - Màu sắc không đủ tương phản
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi GUI https://github.com/UEH Lỗi giao diện - Tràn chữ
Lỗi GUI https://github.com/UEH
Lỗi giao diện - Sai chính tả
Lỗi GUI https://github.com/UEH
Lỗi GUI- Lỗi chính tả
Lỗi chức năng https://github.com/UEH
Lỗi Chức năng -Không xác thực trường dữ liệu số điện thoại
Bảng 3 14 Tổng hợp các lỗi bị từ chối theo lí do nhóm 8
- Tổng lỗi đã rà soát : 31 - Tổng lỗi từ chối : 7 - Tổng lỗi phải thảo luận trên 3 lần : 0
Thống kê các lỗi phi chức năng:
- Trang web bị lỗi: https://mwc.com.vn/ http://ueh.edu.vn/, - Số lượng lỗi phi chức năng phát hiện: 11 lỗi
- Số lượng lỗi phi chức năng bị từ chối: 7 lỗi Loại lỗi Đường dẫn tới lỗi Công cụ kiểm thử
CSRF https://github.com/UEH
MonQAQC/23_902/issu es/262 https://github.com/UEH MonQAQC/23_902/issu es/200
ClickJacking https://github.com/UEH
NotePad https://github.com/UEH MonQAQC/23_902/issu es/275
Bảng 3 15 Tổng hợp các lỗi phi chức năng nhóm 9
Thống kê những lỗi bị từ chối:
QA thực hiện theo nhưng không thấy lỗi
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi phi chức năng - Lỗi XSS https://github.com/UEH MonQAQC/23_902/iss ues/204
Trang web chưa đủ lớn để có thể hỗ trợ các thiết bị yếu
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi Testing On Low-End Devices https://github.com/UEH MonQAQC/23_902/iss ues/276
Thời gian load trang chậm https://github.com/UEH
Chỉ dừng lại ở mức số liệu hoặc cảnh báo, không có minh chứng khai thác thành công hoặc không rõ ràng
Lỗi Đường dẫn tới lỗi Loại lỗi
Lỗi phi chức năng - Lỗi ClickJacking https://github.com/UEH
Lỗi phi chức năng - Lỗi
XSS https://github.com/UEH
Lỗi phi chức năng - Lỗi clickjacking https://github.com/UEH
DDOS https://github.com/UEH
Bảng 3 16 Tổng hợp các lỗi bị từ chối theo lí do nhóm 9