A Kết quả phân loại câu hỏi môn KTLT và CTDL&GT
5.2 Kết quả đánh giá hiệu năng chấm bài theo kịch bản
Thứ tự kịch bản Độ trễ trung bình1(s) Tổng thời gian hoàn thành kịchbản
(s) 1 125,7 244 2 64,3 133 3 69,8 136 4 135,9 267 Nhận xét về kết quả thực thi:
• Kịch bản 1 và 2: Với cùng một số lượng bài cần phải chấm trong cùng một khoảng thời gian, khi tăng thêm một (1) máy chủ chạy Jobe để chấm bài, tức tăng gấp đơi, thì tổng thời gian hồn thành giảm đi gần một nửa (46%) và độ trễ trung bình cũng giảm ở mức tương tự (48%). Như vậy, có thể thấy khả năng mở rộng của thiết kế hệ thống này gần như tuyến tính, một điểm rất tốt.
• Kịch bản 2 và 3: Khi giảm thời gian giữa các lần nộp từ năm (5) giây xuống còn ba (3) giây để tăng cường độ chấm bài thì cả hai tiêu chí độ trễ trung bình lẫn tổng thời gian hồn thành đều khơng chênh lệch nhau quá nhiều.
• Kịch bản 3 và 4: Hai kịch bản này chỉ thay đổi một tham số duy nhất là số lượng người dùng nộp bài đồng thời (tăng gấp đôi), tức tổng số bài nộp cần phải chấm cũng tăng lên tương ứng. Hệ thống cho thấy khả năng đáp ứng tốt cho cả hai kịch bản này, thơng qua kết quả tổng thời gian hồn thành tăng tuyến tính với số lượng bài nộp, nhưng một điểm hạn chế là độ trễ trung bình lại tăng lên đáng kể.
Như vậy, về cơ bản, hiệu năng của Jobe là đủ tốt để được sử dụng làm con chấm mới cho hệ thống, đáp ứng được cường độ sử dụng cao. Và nếu nhu cầu chấm bài có gia tăng thì khả năng mở rộng cũng là rất tốt dựa theo những đánh giá đã được thực hiện.
5.3 Thí điểm hệ thống
Sau khi đã đo đạc và đánh giá về mặt kỹ thuật, nhóm hướng đến lấy các đánh giá từ trải nghiệm thật của người dùng để xem xét khả năng đáp ứng u cầu của hệ thống. Các cơng việc gồm có: chuẩn bị, triển khai thí điểm và lấy phản hồi.
Cơng việc đầu tiên là cần chuẩn bị một lượng câu hỏi đủ lớn để người dùng vào luyện tập. Đối tượng người dùng trải nghiệm hệ thống là các sinh viên đang ôn tập thi môn KTLT học kỳ 2 năm học 2020-2021. Do đó, các câu hỏi cần nằm trong các chủ đề lập trình khác nhau và có độ khó đa dạng. Nhóm chuẩn bị 2 bài ơn tập với các thơng tin như sau:
• Số câu hỏi: 19. Bao gồm: 8 câu dễ, 10 câu trung bình và 1 câu khó.
• Các chủ đề: mảng, chuỗi, con trỏ, hàm, đệ quy.
Bên cạnh đó, nhóm cũng tạo một bài tập được gợi ý câu hỏi gồm 15 câu hỏi về chủ đề Mảng. Sinh viên có thể vào bài tập này để tự luyện tập với các câu hỏi được gợi ý tăng dần độ khó. Thơng tin của bài tập này như sau:
• Số câu hỏi dễ, trung bình, khó lần lượt là 5, 5, 5. Tổng câu hỏi là 15.
• Bộ điều kiện từ dễ lên trung bình:
– Số câu hỏi tối thiểu sinh viên cần làm: 3
– Điểm tối thiểu cần đạt của 3 lần làm bài cuối: 7.5
– Cần tối thiểu 3 câu hỏi thỏa đồng thời: điểm tối thiểu là 7.5 và số lần nộp bài tối đa là 3
• Bộ điều kiện từ trung bình lên khó:
– Số câu hỏi tối thiểu sinh viên cần làm: 3
– Điểm tối thiểu cần đạt của 3 lần làm bài cuối: 9
– Cần tối thiểu 3 câu hỏi thỏa đồng thời: điểm tối thiểu là 8.5 và số lần nộp bài tối đa là 3
Nhóm cho sinh viên đăng ký và có 60 người tham gia làm bài tập trên hệ thống. Sau khi sinh viên trải nghiệm hệ thống, nhóm nhờ các bạn đánh giá quá trình sử dụng theo mẫu tại đường dẫn sau:
5.4 Kết quả khảo sát từ người dùng
Nhóm tiến hành thu thập mẫu đơn phản hồi từ các bạn sinh viên và đã nhận được khoảng 40 phản hồi. Mẫu đơn lấy phản hồi từ người dùng gồm 3 vấn đề chính như sau:
• Bạn đánh giá như thế nào về trải nghiệm làm bài?
• Bạn đánh giá như thế nào về tính năng gợi ý câu hỏi?
• Các góp ý khác về hệ thống
Hai câu hỏi đầu tiên gồm các nhận định, được đánh giá trị từ 1 đến 5 tương ứng với rất tệ đến rất tốt. Kết quả đánh giá được tổng hợp bằng cách lấy trung bình điểm số do người dùng phản hồi. Chi tiết về các nhận định và điểm số được trình bày thơng qua các bảng 5.3, và 5.4.