kiểm thử tính khả dụng

- Xa hơn hiệu quả và hiệu suất là tiêu chí quan trọng: sự hài lòngsatisfaction.Mặc dù, ở một mức độ nào đó, các biện pháp cho vấn đề hiệu quả, hiệu suất được xác định bởi nhận thức của n

BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP HÀ NỘI

Mục lục

Lời nói đầu 3

Chương 1: Kiểm thử tính khả dụng 4

I.Một số khái niệm 4

1.Khả năng sử dụng (Usability) là gì? 4

2.Kiểm tra khả năng sử dụng là gì? 6

3.Lợi ích của việc kiểm tra khả năng sử dụng 7

4.Khi nào cần kiểm tra tính khả dụng 7

5.Tầm quan trọng của kiểm thử tính khả dụng 7

II.Một số ví dụ về đánh giá tính khả dụng 8

Chương 2: Phương pháp kiểm thử tính khả dụng 13

I.Các phương án 13

1.Kiểm thử hành lang (Walkthroughs Testing) 13

1.Khả năng sử dụng thử nghiệm từ xa 14

2.Đánh giá của các chuyên gia 15

3.Chuyên gia đánh giá tự động 15

II.Các bước thực hiện kiểm thử hành lang (Walkthroughs testing) 17

Lời nói đầu

Cứ mỗi một sản phẩm phần mềm ra đời thì nó lại cần sự kiểm tra chặt chẽ về mọi mặt, từ các dòng code cơ bản cho đến giao diện, tốc độ,… với mục tiêu là đáp ứng ngày càng nhu cầu người sử dụng Nhất là thời đại công nghệ thông tin như hiện nay, số lượng phần mềm là rất nhiều nên tính cạnh tranh rất lớn, yêu cầu phần mềm ngày càng phải cải tiến hơn, dễ dàng cho người dùng trong việc hiểu, nắm bắt, vận hành,… Thế nên, kiểm thử phần mềm luôn là 1 công đoạn quan trọng trong việc thiết kế, phát triển một phần mềm bất kỳ nào Được sự giúp đỡ từ thầy –ThS Hoàng Quang Huy, chúng em xin chọn

và tìm hiểu đề tài kiểm thử tính khả dụng.

Tuy đã cố gắng tìm hiểu nhưng chắc chắn là bài làm của chúng em vẫn còn rất nhiều thiếu sót Chúng em rất mong nhận được ý kiến đóng góp từ thầy và các bạn.

Chúng em xin chân thành cảm ơn!

- Theo tiêu chuẩn ISO 9124-11 thì khả dụng là Mức độ mà sản phẩm có thể được sử dụng bởi người dùng xác định (specific users) để đạt được mục tiêu nhất định (specified goals) có hiệu quả (effectiveness), hiệu suất (efficiency)

và sự hài lòng (satisfaction) trong một bối cảnh sử dụng xác định (a specific context of use)

- Người dùng xác định (specific users): Những người dùng mà sản phẩm đó được thiết kế hướng đến

- Mục tiêu nhất định (specified goals): Những kết quả mà sản phẩm làm được

là những điều mà người dùng xác định mong muốn

- Bối cảnh xác định (specific context of use): Sản phẩm được thiết kế ra để thực thi trong môi trường mà người dùng xác định làm việc.

- Tính hiệu quả (effectiveness) và hiệu suất (efficiency) hỗ trợ những thứ mà người dùng cần để lưu trữ các kết quả làm được với sản phẩm thông qua độ chính xác (accuracy) và tốc độ (speed) Điều này có nghĩa là sản phẩm phải làm tốt hơn cách mà người dùng đang làm hiện thời.Đây là phần giá trị thêmvào của khả năng sử dụng Nếu sản phẩm không thêm giá trị cho cách mà người sử dụng hiện đang thực hiện nhiệm vụ hoặc nhu cầu để tìm hiểu để thực hiện các nhiệm vụ thì phần mềm này vô dụng Ví dụ, nếu người dùng cảm nhận rằng tính năng thanh toán trực tuyến các hóa đơn được cung cấp bởi ngân hàng của mình không xứng đáng với nỗ lực để thiết lập và sử dụng thì cô sẽ tiếp tục để viết chi phiếu, dán tem trên bao thư, và gửi thư trong cáckhoản thanh toán của mình Khước từ các sản phẩm mới có thể là bởi vì nó không xuất hiện có hiệu quả, ngay cả khi nó chứng minh là có hiệu quả

- Xa hơn hiệu quả và hiệu suất là tiêu chí quan trọng: sự hài lòng(satisfaction).Mặc dù, ở một mức độ nào đó, các biện pháp cho vấn đề hiệu quả, hiệu suất được xác định bởi nhận thức của người sử dụng những phẩm chất này, thì không thể phủ nhận rằng các biện pháp cho sự hài lòng có nguồn gốc hoàn toàn từ nhận thức về sự hài lòng của người sử dụng.Người sử dụng có hài lòng với màn hình hiển thị các thông tin trên trang sách hay màn hình? Thiết

kế có làm hài lòng người sử dụng? Trải nghiệm tổng thể về phần mềm có tích cực không? Nếu người sử dụng nghĩ rằng câu trả lời cho những câu hỏi này là "có", quan tâm của họ trong việc sử dụng sản phẩm sẽ thường xuyên

là con át chủ bài công nhận ảnh hưởng đến hiệu quả và hiệu suất Tại sao? Bởi vì người sử dụng mong muốn sự hài lòng Đáp ứng được những mong

đợi từ người dùng sẽ quyết định xem cách phản ứng của người dùng đối với sản phẩm đó Và "yếu tố mong muốn" thường là vòng đồng khó nắm bắt mà các nhà phát triển, đặc biệt là đội ngũ tiếp thị, đang tìm kiếm cho các sản phẩm mới.

2 Kiểm tra khả năng sử dụng là gì?

- Kiểm tra khả năng sử dụng (usability testing) là một kỹ thuật để đảm bảo rằng người sử dụng của một hệ thống có thể thực hiện dự định nhiệm vụ có hiệu quả, dễ dàng và thỏa đáng Nó liên quan đến một số các loại kiểm thử khác như kiểm thử giao diện (interface testing), kiểm thử tính truy cập được (accessability testing),…

Đề cập đến kiểm tra khả năng sử dụng nghĩa là nhắc đến các hoạt động tập trung vào việc quan sát người sử dụng làm việc với một sản phẩm, thực hiện nhiệm vụ có ý nghĩa đối với họ Dù cho công nghệ đã phát triển rất nhiều, nhiềuthứ đã thay đổi thì nguyên lý cốt lõi này vẫn giữ nguyên

Mấu chốt của việc thử nghiệm khả năng sử dụng chính là để đảm bảo rằngngười dùng cuối có thể sử dụng phần mềm một cách dễ dàng và có thể hoànthành nhiệm vụ quy định một cách hiệu quả và hiệu quả Kiểm tra khả năng sửdụng có thể được chia thành các thử nghiệm khả năng sử dụng với người sửdụng và không có người sử dụng

Các kỹ thuật như nghiên cứu đánh giá hiệu suất, các lĩnh vực phân loại và được

sử dụng để tiến hành kiểm tra khả năng sử dụng khi người dùng tham gia Nórất quan trọng để có người dùng đại diện trên tất cả các hạng mục trong quátrình thử nghiệm này

Khi người dùng không có sẵn cho việc thử nghiệm khả năng sử dụng các kỹthuật khác được sử dụng để thử nghiệm khả năng sử dụng Ví dụ, chuyên gia

đánh giá, phân tích cạnh tranh và mức độ phân tích mô hình tổ hợp phím là một

số trong những kỹ thuật được sử dụng để kiểm tra khả năng sử dụng

3 Lợi ích của việc kiểm tra khả năng sử dụng

- Lợi ích của việc kiểm tra tính khả dụng có thể tóm tắt như sau:

+ Dễ dàng hơn cho đội ngũ bán hàng của mình để bán một sản phẩm có thể

sử dụng

+ Sản phẩm có thể sử dụng dễ dàng để tìm hiểu và sử dụng

+ Hỗ trợ chi phí thấp cho các sản phẩm có thể sử dụng

4 Khi nào cần kiểm tra tính khả dụng

Kiểm tra khả năng sử dụng được thực hiện trước khi phát hành để bất kỳ vấn đề quan trọng được xác định có thể được giải quyết Kiểm tra khả năng sử dụng có thểđược thực hiện ở nhiều các giai đoạn của quá trình thiết kế Trong giai đoạn

đầu.Tuy nhiên, các kỹ thuật như walkthroughs thường thích hợp hơn Kiểm tra khảnăng sử dụng không phải là một thay thế cho một con người quá trình thiết kế làm trung tâm Ta có thể chia nó làm 2 loại chính:

- Quá trình thử nghiệm (formative testing): diễn trong khi sản phẩm đang được phát triển, với một mục tiêu là chuẩn đoán và sửa chữa các vấn đề; thường dựa trên các nghiên cứu nhỏ, lặp đi lặp lại trong quá trình phát triển

- Tổng kết thử nghiệm (summative testing): diễn ra sau khi sản phẩm được hoàn thành, với một mục tiêu của việc thiết lập một đường cơ sở của các số liệu hoặc xác nhận rằng sản phẩm đáp ứng yêu cầu, đòi hỏi số lượng lớn hơncho giá trị thống kê

5 Tầm quan trọng của kiểm thử tính khả dụng

 Nó mang lại cho người dùng trải nghiệm tốt hơn: Các chi tiết người dùng

của bạn thấy thú vị trang web của bạn, nhiều khả năng họ sẽ quay lại, nhiều

khả năng họ sẽ giới thiệu nó cho người khác, và các trang web hoặc sản phẩm của bạn sẽ làm tốt hơn trong thời gian dài.

 Nó giúp bạn nổi bật so với các đối thủ cạnh tranh: Tại sao iPod bán rất

tốt? Đơn giản là vì nó đáp ứng được nhu cầu người dùng Nhỏ gọn, tiện lợi

 Đó là những gì hầu hết mọi người muốn: Cũng có một vài người thực sự

thích những thứ phức tạp và tùy chỉnh theo cả triệu cách khác nhau, thị trường đại chúng lại muốn những điều rất đơn giản, ấn nút và chạy

 Nó có nghĩa là mọi người có thể dành nhiều thời gian hơn để làm, và thời

gian học tập ít hơn: sử dụng giao diện dễ dàng, giúp người dùng tiết kiệm

nhiều thời gian hơn, thực hiện mua hàng, tương tác với trang web của bạn vàđây là mục tiêu quan trọng bạn cần đạt được

 Bạn dành ít thời gian, tiền bạc và nỗ lực hỗ trợ: Nếu trang web hoặc sản

phẩm của bạn là đơn giản và đơn giản để sử dụng nó sẽ yêu cầu hỗ trợ ít, tiếtkiệm thời gian, tiền bạc và năng lượng

Tất nhiên, có nhiều lý do nữa, nhưng đây là một số điểm thực sự cơ bản về lý

do tại sao khả năng sử dụng là rất quan trọng Bất kể ngành công nghiệp bạn đang công tác, bất kể các trang web hoặc các sản phẩm mà bạn xây dựng, khả năng sử dụng tốt sẽ tạo nên một sự khác biệt lớn

II Một số ví dụ về đánh giá tính khả dụng

Kiểm tra khả năng sử dụng được thực hiện để xác minh độ thân thiện với người

sử dụng các sản phẩm Kiểm thử khả dụng đo lường khả năng sử dụng của hệ thống, có nghĩa là một cách để đo lường cảm giác người dùng cuối khi tương tác với hệ thống: dễ dàng, trung bình hoặc luôn luôn khó khăn Kiểm thử khả dụng là một quá trình khó khăn để xác định tính khả dụng ngay cả với một trang web bình thường Nó là một xử lý kỹ thuật để phân loại một sản phẩm bằng cách thử nghiệm

nó trên người sử dụng

Mục tiêu kiểm thử khả dụng là đo một sản phẩm nhân tạo về khả năng đáp ứng đúng mục đích

VD1: Xét ví dụ bạn đang điền vào mẫu đơn trực tuyến, trong đó có nhiều trường ví

dụ như tên, Email, mật khẩu, thành phố, ngày sinh, vv… và do nhầm lẫn, bạn để trường thành phố hoàn toàn trống và bấm vào nút Submit, sau khi nhấp vào, nếu tin nhắn hiển thị xin vui lòng điền vào trường thàn phố thì đó là thân thiện với người dùng

Bây giờ sau khi cách nhấp vào nút gửi tin nhắn hiển thị mẫu của bạn không có thể được chấp nhận, nếu bạn phải điền lại toàn bộ thông tin thì đó là không thân thiện với người sử dụng, nếu bạn chỉ phải điền mỗi trường thành phố, và các trường còn lại cho thấy những thông tin mà bạn đã điền trước đó, có thể nói rằng nó thân thiệnvới người dùng

Theo như kiểm tra khả năng sử dụng là có tránh những điều sau đây có thể giúp làm cho trang web khả dụng:

 Kết luận: Tất cả các phần mềm được viết để được sử dụng Tuy nhiên, đôi khi bị lãng quên do phải vội vàng trong việc thiết kế, phát triển, và thậm chí còn thử nghiệm một sản phẩm phức tạp là bao nhiêu có thể sử dụng và làm cho cuộc sống của mình dễ dàng hơn cho người dùng cuối

 Kiểm tra khả năng sử dụng coi như là một kỹ thuật kiểm thử hộp đen Mục tiêu là để kiểm tra mọi người áp đặt các sản phẩm để tìm ra các lỗi và các khu vực cần cải thiện

Ví dụ 2:

Mac OS X

Mac OS X được biết đến bởi vì "nó chỉ hoạt động “ (It just works) Các tác vụ đơn

giản Các thông tin quan trọng dễ dàng tìm thấy Những điều đó nói rằng họ sẽ làm việc với hệ điều hành OS X “chỉ làm việc”

Đặc biệt là nếu bạn sống bên trong các hệ sinh thái của Apple, tất cả mọi thứ hoạt động một cách đơn giản và hợp lý Không có màn hình màu xanh chết chóc, không

có Clippy, không có cửa sổ pop xấu xí lên bong bóng cảnh báo Nó chỉ hoạt động.VD3:

Bảo kim – thanh toán được thực hiện dễ dàng

Bảo kim là một trang web tuyệt vời để giúp bạn tiết kiệm tiền trên internet Nếu

bạn thường xuyên đến các trang web yêu cầu nếu bạn có phiếu mua hàng, sau đó trang web này sẽ giúp bạn tiết kiệm tiền bạc Họ có mã số phiếu giảm giá cho tấn của các trang web khác nhau, và trang web được thiết kế để làm cho quá trình sử dụng các mã số phiếu giảm càng đơn giản càng tốt

Khi bạn tìm thấy một mã bạn muốn sử dụng (với chức năng, tìm kiếm đơn giản thẳng về phía trước), chỉ cần nhấp vào nó và nó sẽ được sao chép vào clipboard của bạn Nếu đó là một liên kết giới thiệu nó sẽ mở ra trong trình duyệt của bạn cho bạn Bạn có thể xem các mã được làm việc trong nháy mắt, và chia sẻ kinh nghiệm của riêng bạn với cộng đồng Một cách tuyệt vời để tiết kiệm tiền

VD4:

BIDV là một chút khác nhau từ các trang web ngân hàng Cơ cấu chuyển hướng

đáng ngạc nhiên là rõ ràng và dễ sử dụng, và cho những gì phải là một nội dung trang web nặng, không ai trong số các trang tát vào mặt bạn với nội dung quá nhiều

Những điều quan trọng có thể dễ tìm và dễ hiểu, và không bao giờ nhiều hơn một vài lớp từ nội dung bạn đang tìm kiếm

Chương 2: Phương pháp kiểm thử tính khả dụng

Tính khả dụng là một thuộc tính chất lượng hay phi chức năng Vậy nên kiểm thử tính khả dụng đơn thuần chỉ sử dụng kỹ thuật kiểm thử hộp đen (black box testing)

Thiết lập một bài kiểm tra khả năng sử dụng liên quan đến việc tạo ra một kịch bản, hoặc tình hình thực tế, trong đó người thực hiện một danh sách các nhiệm vụ bằng cách sử dụng các sản phẩm đang được thử nghiệm trong khi các quan sát viênxem và ghi chép Một số thiết bị thử nghiệm khác như kịch bản hướng dẫn

(scenario), bản mẫu bằng giấy (prototype), bảng câu hỏi (questionnaire) trước sau khi kiểm thử cũng được sử dụng để thu thập thông tin phản hồi về sản phẩm đang được thử nghiệm Ví dụ, để kiểm tra chức năng đính kèm của một chương trình e-mail, một kịch bản sẽ mô tả một tình huống mà một người cần phải gửi một file đính kèm e-mail, và yêu cầu họ thực hiện nhiệm vụ này Mục đích là để quan sát cách mọi người hoạt động trong một cách thực tế, do đó, các nhà phát triển có thể nhìn thấy các khu vực có vấn đề, và những gì người ta thích, quan tâm Kỹ thuật phổ biến được sử dụng để thu thập dữ liệu trong một bài kiểm tra khả năng sử dụngbao gồm nghĩ to giao thức, phân loại thẻ (card sorting) và theo dõi ánh mắt (eye tracking)

I Các phương án

1 Kiểm thử hành lang (Walkthroughs Testing)

Là một phương pháp kiểm tra khả năng sử dụng Thay vì sử dụng một trong nhà, được đào tạo nhóm thử nghiệm, chỉ 5-6 người ngẫu nhiên được đưa vàothử nghiệm sản phẩm, hoặc dịch vụ Tên của kỹ thuật này đề cập đến một thực tế rằng các xét nghiệm phải là những người ngẫu nhiên đi qua trong hành lang

Hành lang thử nghiệm là đặc biệt hiệu quả trong giai đoạn đầu của một thiết kế mới khi các nhà thiết kế đang tìm kiếm "những bức tường gạch," vấn đề nghiêm trọng mà người dùng chỉ đơn giản là không có thể tiến Bất cứ ai của trí thông minh bình thường khác hơn so với các nhà thiết kế và các kỹ sư có thể được sử dụng vào thời điểm này (Cả nhà thiết kế và kỹ sư không tham gia vào ca kiểm thử

vì họ đã là người làm ra sản phẩm nên dễ có tư tưởng chủ quan do đó thiếu sự mơ

hồ và đường dẫn sai.)

1 Khả năng sử dụng thử nghiệm từ xa

Trong một kịch bản đánh giá khả năng sử dụng, các nhà phát triển và người sử dụng tiềm năng nằm ở các quốc gia và múi giờ khác nhau, thì việc tiến hành một phòng thí nghiệm đánh giá khả năng sử dụng truyền thống tạo ra những thách thức

từ chi phí và hậu cần Những mối quan tâm dẫn đến nghiên cứu đánh giá khả năng

sử dụng từ xa, với người sử dụng và đánh giá cách nhau qua không gian và thời gian Thử nghiệm từ xa, tạo điều kiện đánh giá được thực hiện trong bối cảnh các nhiệm vụ khác của người sử dụng và công nghệ có thể là đồng bộ hoặc không đồng

bộ Phương pháp thử nghiệm khả năng sử dụng đồng bộ liên quan đến hội nghị truyền hình hoặc sử dụng các công cụ ứng dụng chia sẻ từ xa như WebEx Trước đây liên quan đến thời gian thực trên một thông tin liên lạc giữa các đánh giá và người sử dụng, trong khi sau này liên quan đến việc đánh giá và người sử dụng làmviệc riêng

Phương pháp không đồng bộ bao gồm bộ sưu tập tự động suối nhấp chuột của thành viên, các bản ghi người sử dụng sự cố quan trọng mà xảy ra trong khi tương tác với các ứng dụng và thông tin phản hồi chủ quan trên giao diện của người sử dụng Tương tự như phương pháp nghiên cứu trong-phòng thí nghiệm, phương pháp không đồng bộ kiểm tra khả năng sử dụng từ xa là nhiệm vụ và dựa trên những nền tảng cho phép bạn để nắm bắt các nhấp chuột và thời gian công tác Do

đó, đối với nhiều công ty lớn này cho phép bạn hiểu được lý do đằng sau ý định của các du khách khi đến thăm một trang web hoặc trang web điện thoại di

động Ngoài ra, phong cách này thử nghiệm người dùng cũng cung cấp một cơ hội

để phản hồi phân đoạn theo loại nhân khẩu học, thái độ và hành vi, Việc kiểm tra được thực hiện trong môi trường riêng của người dùng (chứ không phải là phòng thí nghiệm) giúp thêm mô phỏng kịch bản thử nghiệm thực tế cuộc sống Cách tiếpcận này cũng cung cấp một phương tiện để dễ dàng thu hút phản hồi từ người dùng

ở các vùng sâu, vùng xa một cách nhanh chóng và với các chi phí tổ chức thấp hơn

Rất nhiều công cụ có sẵn để giải quyết các nhu cầu của cả hai cách tiếp cận này WebEx và GoToMeeting là những công nghệ được sử dụng phổ biến nhất để thực hiện một bài kiểm tra khả năng sử dụng đồng bộ từ xa Tuy nhiên, thử

nghiệm đồng bộ từ xa có thể thiếu trực tiếp và ý nghĩa của "hiện diện" mong muốn

để hỗ trợ một quá trình thử nghiệm hợp tác Hơn nữa, quản lý năng động qua các rào cản về văn hóa và ngôn ngữ giữa các cá nhân có thể yêu cầu cách tiếp cận nhạycảm với các nền văn hóa có liên quan Bất lợi khác bao gồm giảm kiểm soát môi trường thử nghiệm và những phiền nhiễu và gián đoạn kinh nghiệm của những người tham gia trong môi trường tự nhiên của họ Một trong những phương pháp mới được phát triển để thực hiện một bài kiểm tra khả năng sử dụng đồng bộ từ xa

2 Đánh giá của các chuyên gia

Đánh giá của các chuyên gia là một phương pháp chung của kiểm tra khả năng

sử dụng Như tên cho thấy, phương pháp này dựa vào việc mang lại các chuyên gia

có kinh nghiệm trong lĩnh vực này (có thể là từ các công ty chuyên kiểm tra khả năng sử dụng) để đánh giá khả năng sử dụng của một sản phẩm

3 Chuyên gia đánh giá tự động

Tương tự như đánh giá chuyên gia, đánh giá của chuyên gia tự động cung cấp thử nghiệm khả năng sử dụng, nhưng thông qua việc sử dụng các chương trình đưa ra các quy tắc thiết kế tốt và chẩn đoán Mặc dù đánh giá tự động có thể không cung cấp càng nhiều chi tiết và cái nhìn sâu sắc như các ý kiến từ con người, họ có thể được hoàn thành một cách nhanh chóng và nhất quán hơn Ý tưởng của việc tạo ra người sử dụng thay thế cho kiểm tra khả năng sử dụng là một hướng đầy tham vọng cho cộng đồng trí tuệ nhân tạo

- Làm thế nào nhiều người sử dụng để kiểm tra?

Trong những năm 1990, Jakob Nielsen , tại thời điểm đó một nhà nghiên cứu

dụng kiểm tra thường với chỉ có năm môn mỗi bài kiểm tra ở các giai đoạn khác nhau của quá trình phát triển Lập luận của ông rằng, một khi nó được tìm thấy rằng hai hoặc ba người là hoàn toàn bối rối bởi trang chủ, rất ít đạt được bằng cách quan sát nhiều người bị thông qua cùng một thiết kế thiếu sót "Xây dựng các bài kiểm tra khả năng sử dụng là một sự lãng phí tài nguyên Kết quả tốt nhất đến từ các thử nghiệm không nhiều hơn năm người sử dụng và chạy như nhiều bài kiểm tra nhỏ như bạn có thể đủ khả năng" Nielsen sau đó công bố nghiên cứu của mình

và đặt ra thuật ngữ đánh giá dựa trên kinh nghiệm cải tiến

Yêu cầu bồi thường của "Năm thành viên là đủ" sau đó đã được mô tả bằng một

mô hình toán học [16] trong đó tỷ trọng của vấn đề chưa được khám phá U

trong đó p là xác suất của một đối tượng được xác định một vấn đề cụ thể và n số lượng đối tượng (hoặc các buổi thử nghiệm) Mô hình này cho thấy như là một đồ thị tiệm cận đối với số lượng các vấn đề thực hiện có (xem hình bên dưới)

Một thời gian sau tuyên bố của nghiên cứu của Nielsen đã háo hức được đặt câu hỏi với cả hai bằng chứng thực nghiệm và nâng cao hơn các mô hình toán

học Hai thách thức quan trọng để khẳng định này là:

1 Kể từ khi khả năng sử dụng liên quan đến các thiết lập cụ thể của người sử dụng, như vậy một kích thước mẫu nhỏ dường như không được đại diện chotổng dân số do đó, các dữ liệu từ một mẫu nhỏ như vậy có nhiều khả năng

để phản ánh các nhóm mẫu hơn dân số mà họ có thể đại diện

2 Không phải mọi vấn đề khả năng sử dụng cũng không kém phần dễ phát hiện Vấn đề nan giải xảy ra để giảm tốc độ quá trình tổng thể Trong nhữngtrường hợp này, sự tiến bộ của quá trình là nhiều nông hơn so với dự đoán theo công thức Nielsen / Landauer

Lưu ý rằng Nielsen không chủ trương dừng lại sau khi một thử nghiệm duy nhất với năm thành viên, quan điểm của mình là thử nghiệm với năm người sử dụng, sửa chữa những vấn đề họ phát hiện ra, và sau đó kiểm tra các trang web sửađổi với năm người sử dụng khác nhau là một sử dụng tốt hơn các nguồn tài nguyênhạn chế hơn so với chạy một bài kiểm tra khả năng sử dụng duy nhất với 10

người Trong thực tế, các bài kiểm tra được chạy một lần hoặc hai lần một tuần trong toàn bộ chu kỳ phát triển, sử dụng 3-5 đối tượng thử nghiệm cho mỗi vòng,