6
KIỂM ĐỊNH VÀ ĐÁNH GIÁ
Trong chương này, chúng tôi xin trình bày các tiêu chí đánh giá và kiểm thử hệ thống, kết quả huấn luyện mơ hình tổng hợp, các phương thức đánh giá kết quả và so sánh với các mơ hình tương tự như Biaxial LSTM, DeepJ như đã được đề cập trong các mục lần lượt là 4.1 và 4.2 đồng thời cũng nêu những hạn chế của mơ hình.
Mục lục
6.1 Kiểm thử hệ thống - System Test . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
6.2 Phương pháp đánh giá mơ hình . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
6.1 Kiểm thử hệ thống - System Test
Kiểm thử là một giai đoạn quan trọng và không thể thiếu trong q trình phát triển phần mềm. Nó giúp chúng ta phát hiện sớm các lỗi để khắc phục kịp thời, đảm bảo phần mềm hoạt động chính xác, đúng với yêu cầu đặt ra. Có rất nhiều dạng cũng như kỹ thuật kiểm thử tuy nhiên trong phạm vi của luận văn, nhóm sẽ thực hiện một số dạng kiểm thử cơ bản là kiểm thử hệ thống (System Test).
Kiểm thử hệ thống thuộc loại kiểm thử hộp đen (black box). Kiểu kiểm thử này tập trung vào kiểm tra chức năng của hệ thống. Ở phần này nhóm sẽ tiến hành kiểm thử giao diện và chức năng, giao diện của hệ thống xem có đảm bảo đúng với yêu cầu đặt ra ban đầu.
6.1.1 Kiểm thử giao diện
Nội dung kiểm thử được mô tả cụ thể ở bảng 6.1
STT Yêu cầu test Yêu cầu kết quả Kết quả
1 Giao diện của trang web với các nút bấm, các trang hiển thị nhạc
Giao diện trang web hiển thị đầy đủ các nút bấm, các ô lựa chọn, trang hiển thị nhạc đảm bảo hiển thị các kí hiệu nhạc cơ bản đầy đủ
PASS
2 Trang web có thể sử dụng trên nhiều kích thước và độ phân giải khác nhau
Giao diện trang web đáp ứng được việc hiển thị đầy đủ trên các kích thước và độ phân giải khác nhau
PASS
Bảng 6.1:Bảng kiểm thử giao diện trang web của hệ thống
6.1.2 Kiểm thử chức năng
STT Yêu cầu test Yêu cầu kết quả Kết quả
1 Đăng ký, đăng nhập Hệ thống phản hồi khi người dùng
đăng nhập và đang ký PASS 2 Sự cố kết nối mạng Khi bị sự cố kết nối mạng, trang
web thông báo cho người dùng để kiểm tra lại kết nối
PASS 3 Hỗ trợ người dùng soạn nhạc Trang web hỗ trợ người dùng soạn
nhạc được ở mức cơ bản với các nốt nhạc và nhịp được chọn
PASS 4 Kết quả bài hát trả về người
dùng Máy chủ trả về kết quả bài hát đượcsinh ra tự động từ đầu vào nhận từ người dùng
PASS 5 Hiển thị dữ liệu bài hát người
dùng đã lưu Khi người dùng đăng nhập vào hệthống, nếu đã lưu bài hát soạn trước đó thì trang web sẽ hiển thị bài hát, nếu khơng thì khơng hiển thị
PASS
Bảng 6.2:Bảng kiểm thử các chức năng của hệ thống
6.2 Phương pháp đánh giá mơ hình
Bởi vì âm nhạc là một bộ môn nghệ thuật sáng tạo và trừu tượng, sử dụng âm thanh để diễn đạt các cung bậc cảm xúc, tình cảm của con người. Vì vậy kết quả huấn luyện của các mơ hình tự sinh âm nhạc khi được tập trung để đánh giá định lượng sẽ không thể hiện phản ánh được chất lượng của mơ hình và cần một phương thức kiểm định khảo sát đánh giá định tính dựa vào phản hồi của người nghe.
Với lý do trên, nhóm quyết định sẽ khơng tập trung vào kết quả đánh giá độ chính xác như các mơ hình của các lĩnh vực khác, vì khi tập trung vào giá trị này mơ hình sẽ chỉ đang dự đốn những bài hát có trong tập huấn luyện mà khơng phải như tên gọi của nó là tự động sinh âm nhạc, tạo tính đa dạng và đột phá của kết quả đầu ra so với tập huấn luyện. Vì vậy việc đánh giá kết quả mơ hình sẽ tập trung vào chất lượng định tính của mơ hình.
Với phương pháp đánh giá định tính, nhóm đã thực hiện khảo sát kết quả phản hồi từ người nghe. Khảo sát này được thực hiện trên 2 nhóm đối tượng: nhóm đối tượng có ít hoặc khơng có kiến thức chun sâu về âm nhạc; và nhóm đối tượng có kiến thức âm nhạc được đào tạo chuyên sâu và bài bản từ nhạc viện. Chi tiết về từng nhóm đối tượng, cũng như kết quả khảo sát trên từng nhóm, sẽ được trình bày bài ở phần tiếp theo.
6.3 Kết quả đánh giá mơ hình
6.3.1 Nhóm đối tượng có ít hoặc khơng có kiến thức chun sâu về âmnhạc nhạc
Nhóm đã tiến hành khảo sát gần 200 cá nhân nhằm để đánh giá kết quả đầu ra của mơ hình học máy tự sinh âm nhạc của nhóm. Đối tượng khảo sát chủ yếu là các bạn sinh viên trong Thành
phố Hồ Chí Minh với độ tuổi giao động từ 18 đến 24, có ít hoặc khơng có kiến thức liên quan âm nhạc. Tuy số lượng này không nhiều nhưng những phản hồi này đã đưa ra những đánh giá sâu sắc về chất lượng cũng như ưu và nhược điểm của kết quả mơ hình.
Trong bản khảo sát, nhóm đã đưa ra 3 câu hỏi nhằm để kiểm định và so sánh kết quả mơ hình với những mơ hình nền tảng của lĩnh vực tự sinh âm nhạc là Biaxial-LSTM [24] và DeepJ [31] đã được giới thiệu trong các mục trước.
6.3.1.1 Phép thử Turing
Câu hỏi đầu tiên có nội dung là "chọn những bản nhạc mà bạn nghĩ là do con người sáng tác". Những lựa chọn bao gồm 3 bản nhạc do các mơ hình học máy DeepJ, Biaxial-LSTM và MusicAutobot tạo ra. Còn bản nhạc cuối là bản Sonata XVI:33 của tác giả Franz Joseph Haydn. Phương thức khảo sát này còn được gọi là phép thử Turing. Phép thử Turing - Turing Test là một phương pháp đơn giản để xác định xem một cỗ máy có thể chứng minh trí thơng minh của nó giống với não người hay khơng, nói cách khác thì trong trường hợp này, giữa những kết quả âm nhạc do máy sinh ra so với những bản nhạc thật thì những kết quả ấy đã đủ chất lượng để thuyết phục con người rằng chúng là sản phẩm sáng tạo của con người hay khơng. Bởi vì mục đích kiểm định trên nên phương pháp này đã được đưa vào khảo sát để có một kết quả khách quan nhất về mơ hình MusicAutobot.
Kết quả khảo sát của câu hỏi trên: