nghiên cứu phương pháp tự động hóa trong nhận dạng dòng nhạc

NGUYỄN THANH HÀ BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - Nguyễn Thanh Hà CÔNG NGHỆ THÔNG TIN NGHIÊN CỨU PHƯƠNG PHÁP TỰ ĐỘNG HÓA TRONG NHẬN DẠNG DÒNG NHẠC LUẬN VĂN THẠC SĨ KHOA HỌC Công nghệ Thông tin 2009 Hà Nội – 2012 LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành tới PGS.TS Đặng Văn Chuyết, Viện Công nghệ Thông tin Truyền thông thuộc Trường Đại học Bách khoa Hà Nội cán trực tiếp hướng dẫn luận văn cho tôi, đồng thời người định hướng nghiên cứu, hỗ trợ thuật toán tạo điều kiện cho suốt trình làm luận văn Tôi xin gửi lời cảm ơn tới gia đình, bạn bè đồng nghiệp giúp đỡ để hoàn thành khóa học Cao học Tác giả thực luận văn Nguyễn Thanh Hà LỜI CAM ĐOAN Tôi xin cam đoan luận văn kết nghiên cứu, tìm hiểu riêng tôi, không chép Nội dung luận văn có tham khảo sử dụng tài liệu, thông tin đăng tải tác phẩm, tạp chí trang web theo danh mục tài liệu luận văn Tác giả thực luận văn Nguyễn Thanh Hà MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC .2 DANH MỤC CÁC TỪ VIẾT TẮT .4 DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ MỞ ĐẦU .7 Chương .9 GIỚI THIỆU CHUNG .9 1.1 LÝ DO CHỌN ĐỀ TÀI .9 1.2 TÓM TẮT LUẬN ÁN 11 1.3 TỔ CHỨC CỦA BÀI LUẬN 12 Chương 14 NHỮNG TIẾP CẬN VỀ LÝ THUYẾT PHÂN LOẠI ÂM NHẠC 14 2.1 LÝ THUYẾT CỔ ĐIỂN 14 2.2 LÝ THUYẾT NGUYÊN MẪU 15 2.3 LÝ THUYẾT LẤY MẪU 17 2.4 CONCLUSION 21 Chương 22 KHÁI NIỆM, ĐỊNH NGHĨA, PHƯƠNG PHÁP LUẬN 22 3.1 PHÂN LOẠI DÒNG NHẠC BỞI CON NGƯỜI 22 3.2 CÁC BỘ DỮ LIỆU DATASET 23 Chương 27 CÁC KỸ THUẬT TÍNH TOÁN TRONG PHÂN LOẠI DÒNG NHẠC 27 4.1 CÁC PHƯƠNG PHÁP THỐNG KÊ CƠ BẢN 27 4.1.1 Các số liệu thống kê 27 4.1.2 Chu kỳ đồ 29 4.2 CÁC BỘ MÔ TẢ 31 4.2.1 Những vấn đề tiền quan tâm 32 4.2.2 Các mô tả miền thời gian 34 4.2.3 Các mô tả âm sắc 35 4.2.4 Các mô tả liên quan đến nhịp điệu 40 4.2.5 Các mô tả âm điệu 43 4.2.6 Các mô tả liên quan Panning 46 4.2.7 Bộ mô tả phức hợp 49 4.2.8 Sự tương tác lẫn dải tiếng ồn 58 4.2.9 Sự tích hợp đặc trưng thời gian 60 4.3 NHẬN DẠNG MẪU 63 4.3.1 Láng giềng gần 63 4.3.2 Các máy vector hỗ trợ SVM 64 4.3.3 Cây định 65 4.3.4 Ada-Boost 66 4.4 CÁC PHƯƠNG PHÁP THỐNG KÊ 67 4.4.1 Phân tích thành phần PCA 67 4.4.2 SIMCA 69 4.5 KẾT LUẬN 71 Chương 73 ĐỀ XUẤT BỘ PHÂN LOẠI SIMCA CHO PHÂN LOẠI DÒNG NHẠC TỰ ĐỘNG 73 5.1 MÔ TẢ 74 5.2 CÁC KẾT QUẢ 74 5.2.1 Thử nghiệm khởi tạo 74 5.2.2 Tính quy mô 77 5.3 CÁC CÔNG VIỆC PHÂN LOẠI KHÁC 81 5.3.1 Đánh giá điệu 81 5.3.2 Âm nhạc kiểu phương Tây không thuộc phương Tây 83 5.4 KẾT LUẬN 84 Chương 87 KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TRONG TƯƠNG LAI 87 6.1 GIỚI THIỆU 87 6.2 THẢO LUẬN TỔNG THỂ 89 6.3 TÓM TẮT CÁC KẾT QUẢ ĐẠT ĐƯỢC 93 6.4 HƯỚNG PHÁT TRIỂN 95 6.5 NHỮNG SUY NGHĨ CUỐI CÙNG 96 TÀI LIỆU THAM KHẢO 98 DANH MỤC CÁC TỪ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt AMC Audio Mood Classification Phân loại âm theo nhạc DSM Delta Spectrum Magnitude Cường độ phổ Delta MIDI Musical Instrument Digital Giao diện số hóa nhạc cụ âm nhạc Interface Mel frequency cepstral Phương pháp trích chọn đặc trưng dựa coefficient hệ số Cepstral MIR Music Information Retrieval Truy xuất thông tin âm nhạc PCA Principal Components Phân tích thành phần độc lập MFCC Analysis RWC Cách sử dụng máy tính số Real World Computing trường hợp giới thực Soft Independent Modeling Phương pháp thống kê để giám sát phân of Class Analogies loại liệu SFM Spectral Flatness Measure Phương pháp đo độ dẹt Phổ STOMP Short Test of Music Bộ sở liệu nội SIMCA Preferences SVM Máy vector hỗ trợ: Một tập hợp Support Vector Machines phương pháp học có giám sát bao gồm phân tích liệu nhận dạng mẫu, sử dụng cho phân loại phân tích hồi quy ZCR Tỉ lệ qua điểm Zero Crossing Rate DANH MỤC CÁC BẢNG Bảng 3.1: Tóm tắt liệu Ballroom Dancers 24 Bảng 3.2: Tóm tắt liệu USPOP 24 Bảng 3.3: Tóm tắt liệu RWC 25 Bảng 3.4: Tóm tắt phẩn bổ dòng nhạc liệu RWC 25 Bảng 3.5: Tóm tắt liệu Tzanetakis 25 Bảng 3.6: Tóm tắt liệu STOMP 26 Bảng 4.1: Khảo sát việc có sử dụng clip hay không MIREX 2007 (Dữ liệu thu thập tháng năm 2007) 32 Bảng 4.2: Độ dài phổ biến trích đoạn MIREX 2007 (dữ liệu thu thập tháng 08 năm 2007) 32 Bảng 4.3: Những định dạng ưa thích người tham gia vào MIREX 2007 (Dữ liệu thu thập tháng năm 2007) 33 Bảng 5.1: Các kết cho Bộ phân loại SVM SIMCA liệu khác tập mô tả, thể độ xác trung bình cho 10 thử nghiệm với kết phân tách ngẫu nhiên khác cho huấn luyện thử nghiệm 75 Bảng 5.2: Các kết phân lọa SIMCA với liệu hỗn hợp Độ xác Split độ xác trung bình 10 thử nghiệm với lần phân tách ngẫu nhiên khác cho việc huấn luyện thử nghiệm liệu nhỏ Bộ liệu Other tương ứng với Tzanetakis huấn luyện với Radio ngược lại 76 Bảng 5.3: So sánh Bộ phân loại SVM Simca thử nghiệm liệu Bộ liệu Other tương ứng với Tzanetakis huấn luyện với Radio ngược lại 77 Bảng 5.4: Số trường hợp hạng mục liệu điệu 82 Bảng 5.5: Độ xác thu cho phân loại SVM SIMCA sử dụng liệu âm điệu 82 Bảng 5.6: Tổng quan liệu sử dụng cho việc phân loại nhạc phương Tây/không phải Phương Tây 83 Bảng 5.7: So sánh độ xác thu cho việc phân loại nhạc Phương Tây/không thuộc phương tây nhạc đồng quê sử dụng SVM SIMCA 84 Bảng 6.1: Sự liên quan lý thuyết phân loại với kỹ thuật máy học quan trọng 89 Bảng 6.2: So sánh phân loại SVM SIMCA với thử nghiệm liệu hỗn hợp Các mức độ xác Split trình bày độ xác trung bình 10 thử nghiệm với lần phân tách ngẫu nhiên khác để huấn luyện thử nghiệm liệu nhỏ Bộ liệu Other tương ứng với Tzanetakis huấn luyện với Radio ngược lại 91 DANH MỤC CÁC HÌNH VẼ Hình 4.1: Trạng thái hệ số MFCC5 dòng nhạc khác 39 Hình 4.2 Các giá trị MFCC6 (trục x) MFCC10 (trục y) nhạc Metal (màu xanh) Pop (màu đỏ) Mỗi điểm biểm diễn giá trị trung bình tất hệ số MFCC thời gian ngắn tính toán đoạn âm 30 giây liệu Tzanetakis (Tzanetakis & Cook, 2002) 39 Hình 4.3 ảnh chụp hình sơ đồ khối kết tính toán biểu đồ tần số tiếng đập đề xuất Tzanetakis tác giả khác (2001a) 42 Hình 4.4: Sơ đồ tổng quát đặc điểm HPCP tính toán 44 Hình 4.5: So sánh trạng thái hệ số thứ HPCP THPCP thể loại âm nhạc khác 44 Hình 4.6: Phân bố dải panning nhạc cổ điển hát nhạc pop (phương thẳng đứng không giống nhau) 48 Hình 4.7 hai ví dụ hệ số panning tiến triển theo thời gian hai đoạn nhạc cổ điển nhạc Pop 49 Hình 4.8: Các ký hiệu độ phức hợp động tính toán 10 thể loại âm nhạc 51 Hình 4.9: Các mô tả độ phức âm sắc tính toán 10 thể loại âm nhạc 53 Hình 4.10: Các mô tả khả nhảy tính toán 10 thể loại âm nhạc Các giá trị cao tương ứng với khả nhảy thấp giá trị thấp thể khả nhảy cao 55 Hình 4.11: Các mô tả độ phức thay đổi liên tục không gian tính toán 14 thể loại âm nhạc 57 Hình 4.12: Các mô tả độ phức lan toả không gian tính toán 14 thể loại âm nhạc 58 Hình 4.13: Các ma trận BLI hát nhạc Blue nhạc Jazz 60 Hình 4.14: Ví dụ phân loại láng giềng gần Các thể loại (hình tam giác hình vuông) thể vector tính chiều vẽ hình Các trường hợp phân loại phân loại thành hình tam giác với số láng giềng N = loại hình vuông N = 63 Hình 4.15: siêu mặt phẳng phân loại SVM Các vòng tròn hình tam giác màu xanh da trời nằm liệu thử nghiệm; vòng tròn hình tam giác màu xanh nằm liệu kiểm tra (Hình trích từ Hsu cộng (2008)) 64 Hình 4.16 cho thấy định điển hình liệu sáng thứ bảy có phù hợp với việc chơi tennis hay không 66 Hình 5.1: Sự phát triển từ 10 đến 10000 loại 78 Hình 5.2: Sự phát triển từ 100 đến 1000 hát cho loại Các giá trị đo thực thể hỗi quy đa thức bậc màu xanh thể màu đỏ 79 Hình 5.3: Trung bình phát triển từ 100 đến 1000 hát cho tất thể loại Các giá trị đo thực thể đường màu xanh hồi quy đa thức bậc thể đường màu đỏ 80 MỞ ĐẦU Luận án trình bày, thảo luận, làm sáng tỏ vấn đề xuất máy tính muốn tự động phân loại dòng nhạc từ tín hiệu âm Cụ thể, luận án đề xuất phương pháp phân loại dòng nhạc cách tự động, sử dụng phương pháp tính toán nhận dạng âm nhạc dựa sở âm nhạc học, với công nghệ Truy xuất thông tin âm nhạc (MIR) Chúng thiết kế loạt thử nghiệm cách kết hợp yếu tố khác ảnh hưởng đến tính xác việc phân loại miêu tả âm thanh, thuật toán máy học… Chúng đánh giá, so sánh phân tích kết tìm để giải thích tường vô hình việc phân loại dòng nhạc, đề xuất chiến lược để vượt qua Thêm vào đó, bắt nguồn từ việc xử lý âm đa âm, đưa vào luận văn việc phân tích khía cạnh thuộc âm nhạc văn hóa dòng nhạc, điều mà thường bị bỏ quên phương pháp tiếp cận tiên tiến Luận án nghiên cứu loại khác mô tả âm liên quan đến âm sắc, nhịp điệu, âm giai khía cạnh khác âm nhạc, khía cạnh mà không đề cập đến sở lý thuyết Một số mô tả âm đề xuất tác giả khác lấy từ nghiên cứu có từ trước Chúng so sánh kỹ thuật máy học thường dùng để phân loại phân tích cách mà chúng giải vấn đề phân loại thể loại nhạc Chúng thảo luận khả đại diện cho mô hình phân loại khác chúng khoa học nhận dạng Thêm vào đó, kết phân loại sử dụng kỹ thuật máy học đối chiếu với kết số thử nghiệm nghe đề xuất Phép so sánh hướng nghĩ đến mô hình cụ thể phân loại mà kiểm chứng mô tả chi tiết Một mục đích luận án so sánh kết cấu hình liệu khác nhau; có nghĩa sử dụng liệu khác nhau, trộn chúng vào với tái số tình thực sử dụng phân loại (như liệu khổng lồ) Ở phần kết luận, thảo luận cách thức mà mô hình phân loại đề xuất phá vỡ hiệu ứng tường vô hình tồn việc phân loại dòng nhạc tự động Dưới đóng góp luận án vào lĩnh vực phân loại dòng nhạc tự động:  Đưa nhận xét đa phương diện dòng nhạc cách phân loại chúng  Đánh giá chất lượng lẫn số lượng chủng loại khác mô tả âm dùng để phân loại tự động  Đánh giá kỹ thuật máy học khác ưu, nhược điểm chúng phân loại dòng nhạc  Đề xuất mô hình phân loại sau phân tích việc phân loại dòng nhạc từ lĩnh vực khác  Phân tích hoạt động mô hình đề xuất môi trường khác bao gồm liệu hỗn hợp lớn Chương KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TRONG TƯƠNG LAI 6.1 GIỚI THIỆU Trong luận án này, đưa nghiên cứu thấu đáo nhận biết dòng nhạc tự động Đầu tiên, giới thiệu số khái niệm lý thuyết dòng nhạc chẳng hạn nguyên tắc phân loại, lý thuyết mở rộng cách người nhận dạng dòng nhạc, khái niệm xử lý nội dung âm nhạc giới thiệu công nghệ tiên tiến phân loại dòng nhạc tự động so sánh phương pháp khác đạt thành công Chúng dành vài trang để trình bày tầm quan trọng MIREX toàn cộng đồng MIR Trên phương diện kỹ thuật, miêu tả chi tiết giản đồ tổng thể để phân loại, là: (1) chọn nguyên tắc phân loại liệu (2) thiết kế tính toán miêu tả âm nhạc (3) thuật toán để phân loại tự động Chúng miêu tả phần đề xuất loạt thử nghiệm qua việc vận dung ba đại lượng Thêm vào đó, quan tâm đến ý nghĩa phần trình Các miêu tả thường đại diện cho khía cạnh âm nhạc cụ thể (âm sắc, nhịp điệu, ) Chúng giới thiệu chủng loại mô tả mà thường sử dụng để phân loại dòng nhạc (trải âm12, độ phức hợp, giai điệu) Các miêu tả nhịp điệu tác giả phát triển để miêu tả nhịp điệu cách quán trường hợp nhịp điệu (một số trích đoạn nhạc cổ 12 Trải âm (panning) trải rộng tín hiệu âm vào âm 87 điển, lời nói,…) Đây ví dụ hay mục đích luận án này, nghiên cứu hoạt động phân loại nhiều tình khác Các thử nghiệm chi tiết cho thấy cách làm để có kết phân loại dòng nhạc cách tốt dựa vào đăc tính âm sắc nhịp điệu Điều nghĩa tất miêu tả khác mà thử nghiệm vô dụng Chúng (và cần phải) tính toán cho số vấn đề phân loại cụ thể (phòng khiêu vũ, lời nói/nhạc,…) vấn đề không thuộc phạm vi nghiên cứu luận án Tiếp theo, so sánh kết phân loại sử dụng liệu đơn (có thông tin tiềm ẩn mã hóa, tỉ lệ lấy mẫu, nguồn gốc số file) với việc sử dụng kết hợp nhiều liệu đơn (tổng quát hóa sưu tập) Các điểm khác biệt lớn bối cảnh trình bày hướng đến việc tìm phân tích lỗ hổng tồn việc ứng dụng thuật toán máy học tiên tiến Nếu kỹ thuật phân loại mô tả lựa chọn tách chất dòng nhạc kết không phụ thuộc nhiều vào liệu lựa chọn Chúng đưa số giải pháp cho vấn đề này, giải thích Cuối cùng, phân tích kết việc sử dung kỹ thuật máy học khác Công nghệ đại chứng minh rằng, nhìn chung, kết phân loại tốt đạt sử dụng máy Vector hỗ trợ (SVM) Nhưng máy SVM tách chất dòng nhạc thể thử nghiệm với liệu hỗn hợp Điều này, với kết có loạt thử nghiệm nghe dẫn đến việc phát triển phương pháp phân loại Phương pháp thống kê để giám sát phân loại liệu (SIMCA) trình bày tập hợp tất điều kiện cần thiết để phân loại, đáp ứng tất yêu cầu 88 Chúng trình bày kết đạt kỹ thuật so sánh chúng với phương pháp tiên tiến khác Trong chương này, trình bày kết luận toàn nghiên cứu Sau đó, tóm tắt đóng góp trình bày luận án đưa số ý tưởng để nghiên cứu tương lai 6.2 THẢO LUẬN TỔNG THỂ Ở chương 3, trình bày lý thuyết phân loại khác đảm bảo đối chiếu chúng với kỹ thuật phân loại khác sử dụng để phân loại dòng nhạc tự động Bảng 6.1 trình bày mối liên hệ thuật toán tiếng Bảng 6.1: Sự liên quan lý thuyết phân loại với kỹ thuật máy học quan trọng Các định hiểu thể lý thuyết cổ điển lý thuyết dựa khuôn mẫu, tùy thuộc vào định có mang ý nghĩa nhạc học hay không SVM kỹ thuật máy học đa cho kết tốt môi trường khác (không phân loại dòng nhạc mà vấn đề cụ thể khác MIR) miêu tả phần 5.5 Chúng đặt câu hỏi làm để phương pháp trích rút chất thực dòng nhạc Chúng 89 không muốn khơi lên tranh luận không hồi kết cách người phân loại dòng nhạc, rõ ràng, sử dụng phương pháp dựa khuôn mẫu này, chất không máy tính mô hình hóa mà có giới hạn mô hình hóa Nếu SVM mô hình hóa chất dòng nhạc, tỉ lệ xác bị giảm Con người dễ dàng phân biệt đoạn trích định không thuộc dòng nhạc cụ thể với trích đoạn thuộc thể loại cụ thể Điều hướng nghĩ đến cách phân loại khác, thấy phương pháp SIMCA hoàn toàn đáp ứng yêu cầu Cùng với phương pháp so sánh nhạc có với thể tất dòng nhạc, điều thú vị mà SIMCA mang lại sử dụng PCA, củng cố miêu tả tương đương với việc loại bỏ thông tin không liên quan Biến đổi liệu sang không gian đặc trưng (và điều quan trọng là, việc thể biến đổi độc lập cho thể loại) so sánh chúng với chênh lệch thặng dư mô hình (chúng đo khoảng cách từ thể đến thể loại cho sẵn) Về mặt khái niệm, phân loại sử dụng thông tin thực có liên quan đến thể loại âm nhạc (sự kết hợp tuyến tính phân loại âm tốt nhất) Chúng so sánh thử nghiệm với liệu hỗn hợp với phân loại SIMCA SVM, miêu tả phần 5.7 Phần so sánh trình bày bảng 6.2 Việc sử dụng liệu Tzanetakis để huấn luyện (100 hát/thể loại) liệu STOMP Radio để kiểm tra (10 50 hát/thể loại), phân loại SIMCA, đưa khác biệt mức độ xác so với sử 90 dụng phân loại SVM 13 Sau đó, kết luận SIMCA kỹ thuật phân loại mô hình hóa xác chất dòng nhạc (mặc dù xa đạt được) tương tự cách người làm Bảng 6.2: So sánh phân loại SVM SIMCA với thử nghiệm liệu hỗn hợp Các mức độ xác Split trình bày độ xác trung bình 10 thử nghiệm với lần phân tách ngẫu nhiên khác để huấn luyện thử nghiệm liệu nhỏ Bộ liệu Other tương ứng với Tzanetakis huấn luyện với Radio ngược lại Mặt khác, thử nghiệm nhiều mô tả khác Chúng so sánh mô tả dựa khung với mô tả thất bại việc sử dụng phép thống kê (trung bình, độ lệch chuẩn, hệ số lệch độ nhọn) Chỉ có mô tả trải âm hoạt động tốt, loại bỏ lượng thông tin vấn đề thực tiễn (hạn chế tính toán độ khả dụng liệu âm 13 Như thử nghiệm khả mở rộng (xem phần 5.7.2), khuyến cáo nên sử dụng 100 hát/ thể loại để trích rút xác mô hình Và hệ là, không tính đến kết bảng 6.2 phần huấn luyện với tập liệu Radio 91 nổi,…) Tính phức tạp mối tương quan độ ngân băng tần cho kết thú vị, mở rộng kết sang liệu cấu hình khác để phân loại dòng nhạc Như bảng 6.2, mô tả quang phổ, kết hợp mô tả quang phổ với mô tả nhịp điệu giai điệu thể độ xác cao nhất.Sự kết hợp cho kết tốt phân loại SVM SIMCA (xem bảng 6.3) cho tất trường hợp thử nghiệm Bảng 6.3: Kết thực phân loại SVM SIMCA thử nghiệm với liệu Tzanetakis với tập khác phân loại, thể cho độ chinh xác trung bình 10 thử nghiệm với lần phân tách ngẫu nhiên khác để huấn luyện kiểm nghiệm liệu nhỏ Như thảo luận 5.4, độ xác 99% thực gây sốc, kết đạt sử dụng phân loại SIMCA cho độ xác cao so với phương pháp truyền thống dựa SVM phần lớn trường hợp trình bày Như mô tả phần 3.3.2, số tác giả cho biết tồn tường vô hình việc phân loại dòng nhạc (Aucouturier & Pachet, 2004; Pampalk et al., 2005b) Theo quan điểm chúng tôi, tường vô hình so sánh với độ xác đạt thử nghiệm toàn diện với người, mà đáng tiếc thử nghiệm lại sẵn Lấy thử nghiệm có khả mở rộng làm ví dụ, 92 liệu thử nghiệm cố định 500 hát cho 12 thể loại, hợp lý giả định chuyên gia phân loại 6000 trích đoạn âm theo nguyên tắc phân loại có sẵn với độ xác cao Vì vậy, tường vô hình phân loại tự động tương đương với độ xác chuyên gia (tôi đoán 95%) Nếu phân loại tự đông đạt đến giá trị này, mô tả phân loại không lựa chọn thích hợp Nói theo cách khác, phân loại SVM sử dụng mô tả âm sắc quang phổ nâng độ xác lên 70% việc phân loại thể loại tự động có tường vô hình liên quan đến mức độ phức tạp cấu trúc vấn đề Mà mô tả kỹ thuật phân loại cần phải nâng cấp kết hợp lại Theo quan điểm chúng tôi, SIMCA xuất phát điểm cho khái niệm phân loại âm nắm bắt cách phân loại người tốt 6.3 TÓM TẮT CÁC KẾT QUẢ ĐẠT ĐƯỢC Đề xuất mô tả cho phân loại dòng nhạc tự động Thông thường, phân loại thể loại dựa mô tả nhịp điệu quang phổ âm Khi đặc trưng quang phổ âm mô tả xác MFCC, trọng tâm phổ, độ dẹt phổ nhiều yếu tố khác có loạt mô tả nhịp điệu có lý thuyết Như giải thích 4.3.4, số mô tả không dùng đến mô tả âm không nhịp điệu (lời nói, nhạc cổ điển, ) Ở đây, đề xuất mô tả gọi miền nhịp điệu Đánh giá mô tả không truyền thống khác trước không thường dùng phân loại dòng nhạc tự động Cùng với mô tả âm sắc nhịp điệu, phân tích kết phân loại sử dụng phân loại THPCP đưa Gomez & Herrera (2008), mô tả độ phức tạp Streich (2007), mô tả Panning Gómez et al (2008) mô tả BLI Aylon (2006) Những đặc trưng âm điệu 93 đưa vào hệ thống thông tin có giá trị trình bày bảng 6.2 6.3 Khái quát phân loại trước liệu khác nhau, số lượng thể danh mục, số lượng danh mục,… Ý tưởng là, phân loại tốt phải nắm bắt chất danh mục cho trước vậy, phải đủ mạnh để tạo thay đổi ứng dụng vào hoàn cảnh khác Các phân loại đạt độ xác cao với môi trường cụ thể không coi phân loại tốt Hoạt động phân loại tình khác nhau: kết hợp mục trình bày Đầu tiên, so sánh kỹ thuật khác (Cây định, SVM,…) cách sử dụng liệu với tính hợp lệ chéo cao gấp 10 lần kết hợp chủng loại khác mô tả SVM chứng minh có kết xác Sau đó, sử dụng SVM để so sánh kết trộn liệu và, cuối cùng, với kết hợp tốt (cả khái niệm lẫn số học), so sánh kết với phương pháp phân loại SIMCA mà đề xuất Việc xác định kỹ thuật máy học với lý thuyết phân loại để thiết kế phân loại “giống người” Phương pháp SIMCA chấp nhận, kết việc diễn giải nhiều thử nghiệm tập trung vào việc nghiên cứu rối loạn, độ xác cấu trúc phân loại Việc mở rộng phân loại SIMCA sang vấn đền khác Truy xuất thông tin âm nhạc Chúng thử nghiệm phân loại SIMCA với vấn đề khác MIR phân loại phương tây/không phương tây phân loại nhạc thể Chúng 94 không đối chiếu thử nghiệm với công nghệ tiên tiến thực sự, không nên so sánh kết với phương pháp khác Chúng thiết kế thử nghiệm để kiểm tra xem liệu SIMCA công nghệ tốt để ứng dụng vào vấn đề phân loại âm nhạc khác 6.4 HƯỚNG PHÁT TRIỂN Có nhiều đường nghiên cứu mở phân loại theo thể loại tự động mở rộng từ luận án Khi mô tả phân loại phát triển để giải vấn đề MIR, chúng nên đưa vào công việc phân loại dòng nhạc so sánh kết với phương pháp sẵn có Trong nghiên cứu mình, đưa số nghiên cứu cụ thể cho tương lai, cộng đồng theo gợi ý này: Nghiên cứu cụ thể nhầm lẫn: nghe đoạn âm bị phân loại nhầm thú vị (chẳng hạn hát nhạc pop với quan điểm âm nhạc cho nhạc funk) Một vài trường hợp cho thấy giải thích việc phân loại nhầm Có nhiều nhầm lẫn đoạn âm với mức độ phổ cao (metal, rock) việc sử dụng mô tả nhịp điệu so với mô tả khác giảm thiểu nhầm lẫn Nghiên cứu chi tiết nhầm lẫn có ích cho (1) nâng cao tính xác phân loại, (2) giúp nhà nghiên cứu âm nhạc tìm đặc tính thể loại nhạc, (3) giải thích phát triển thể loại nhạc, tìm giải pháp mang tính hệ thống cho vấn đề Các thử nghiệm nghe: Các thử nghiệm nghe trình bày luận văn cần phải mở rộng phương diện người tham dự Chúng đề xuất việc phân tích sâu kết quả, ví dụ như, liên hệ mức độ quen thuộc thể loại âm nhạc trình bày với thời gian trả lời thử nghiệm 95 Đưa vào thể loại mới: nghiên cứu này, không tính đến việc đưa thể loại âm nhạc vào hệ thống Các thể loại âm nhạc cần đưa vào lý khác nhau: (1) chúng hệ thống từ đầu yêu cầu bắt buộc (2) thể loại xuất dạng nhóm nhỏ thể loại có, kết hợp thể loại có sẵn Trong trường hợp, phân loại SIMCA sử dụng phương pháp với tất cả, hệ thống cần phải luyện tập lại với danh mục Như thảo luận chương trước, cố thiết kế phân loại mà bắt chước hành vi người với nhiệm vụ phân loại theo thể loại Điều có nghĩa kỹ thuật SIMCA xa tiến gần đến trình não người Các biến SIMCA nghiên cứu kỹ thuật cần phải tiến hành Theo thì, kỹ thuật nên bao gồm nguyên tắc trực tuyến Đưa vào siêu liệu: luận án tập trung vào xử lý nội dung âm nhạc Tuy nhiên, thể loại âm nhạc tượng văn hóa xã hội Do vậy, kết có nên bổ sung thêm với siêu liệu biến đổi khác nhãn, ngày,… 6.5 NHỮNG SUY NGHĨ CUỐI CÙNG Cá nhân nghĩ luận án lầ nguồn tham khảo tốt cho quan tâm đến phân loại âm Không thể loại âm nhạc phương pháp trình bày mà tất so sánh sử dụng mô tả liệu khác kết hợp đa dạng chúng thú vị Tôi so sánh kích thước liệu, điểm trùng khớp chúng, cách kỹ thuật phân loại tách chất danh mục Tôi trình bày số thử nghiệm nghe hỗ trợ cho định đưa toàn trình 96 Tôi ý định tìm phân loại tốt cho vấn đề cụ thể Tôi muốn trình bày quan điểm rộng việc phân loại âm sử dụng kỹ thuật chung Tôi muốn tập trung vào âm nhạc thuật toán Theo thì, đơn giản hiệu cao Vấn đề cấn phải thực hiểu vấn đề làm để kết hợp phần có sẵn lại với để giải Phần thưởng lớn sau đọc luận án này, người đọc tiếp tục suy nghĩ để làm nâng cao thuật toán họ dựa vào ý tưởng trình bày Nếu vậy, chúc may mắn! 97 TÀI LIỆU THAM KHẢO 1) Ahrendt, P (2006) Music Genre Classification Systems - A Computational Approach Tesi Doctoral, Technical University of Denmark 2) Ahrendt, P., Larsen, J., & Goutte, C (2005) Co-occurrence models in music genre classification Machine Learning for Signal Processing, 2005 IEEE Workshop on, ps 247252 Ahrendt, P & Meng, A (2005) Music genre classification using the multivariate ar feature integration model Dins Proc ISMIR - Mirex 3) Alpaydin, E (2004) Introduction to Machine Learning Cambridge, Massachusetts: The MIT Press 4) Ashby, F G & Maddox, W T (1993) Relations between prototype, exemplar, and decision bound models of categorization Journal of Mathematical Psychology, 37:372-400 5) Aucouturier, J & Pachet, F (2003) Representing musical genre: A state of art Journal of New Music Research, 32(1):83-93 6) Bagci, E., U.; Erzin (2005) Lecture Notes in Computer Science, volum 3733, capítol Boosting Classifiers for Music Genre Classification, ps 575-584 Springer-Verlag 7) Bagci, U & Erzin, E (2006) Inter genre similarity modelling for automatic music genre classification Proc DAFx, ps 153-156 8) Bergstra, J (2006) Meta-features and adaboost for music classification Machine Learning 9) Bergstra, J., Casagrande, N., & Eck, D (2005) Two algorithms for timbre and rhythm based multiresolution audio classification Dins Proc ISMIR - Mirex 10) Bonardi, A (2000) Ir for contemporary music: What the musicologist needs Dins International Symposium on Music Information Retrieval Plymouth, USA 11) Brackett, D (1995) Intepreting Popular Music New York: Canbridge University Press 12) Breiman, L & Cutler, A (2003) Random forests manual Report tècnic, UC Berkeley 13) Brooks, L (1978) Nonanalytic concept formation and memory for instances Cognition and Categorization, ps 169-211 14) Buldyrev, S V., Goldberger, A L., Havlin, S., Mantegna, R N., Matsa, M E., Peng, C.- 98 K., Simons, M., & Stanley, H E (1995) Long-range correlation properties of coding and noncoding dna sequences: Genbank analysis Phys- ical Review E, 51(5):5084-5091 15) Burges, C (1998) A tutorial on support vector machines for pattern recognition Data Mining and Knowledge Discovery, 2(2):121-167 16) Cataltepe, Z., Yaslan, Y., & Sonmez, A (2007) Music genre classification using midi and audio features EURASIP Journal on Advances in Signal Processing 17) Celma, O (2006) Music Recommendation: a multi-faceted approach Tesi Doctoral, Universitat Pompeu Fabra 18) Chai, W & Vercoe, B (2001) Folk music classification using hidden markov models Dins Proc of International Conference on Artificial Intelligence 19) Chase, A (2001) Music discriminations by carp Animal Learning & Behavior, 29(4):336353 20) Cook, P (1999) Music, Cognition, and Computerized Sound: An Introduction to Psychoacoustics The MIT Press 21) Cope, D (2001) Computer analysis of musical allusions Dins Second International Symposium on Music Information Retrieval, ps 83-84 Bloomington, USA 22) Craft, A., Wiggins, G., & Crawford, T (2007) How many beans make five? the consensus problem in music-genre classification and a new evaluation method for singlegenre categorisation systems Dins Proc ISMIR 23) Crump, M (2002) A principal components approach to the perception of musical style Projecte F de Carrera o Tesina de L., University of Lethbridge 24) Dixon, S (2001) Automatic extraction of tempo and beat from expressive performances Journal of New Music Research, 30(1) 25) Dixon, S., Gouyon, F., & Widmer, G (2004) Towards characterisation of music via rhythmic patterns Dins Proc ISMIR 26) Downie, S (2003) Music information retrieval Annual Review of Information Science and Technology, 32:295-340 27) Draper, B., Baek, K., Bartlett, M., & Beveridge, J (2003) Recognizing faces with pca and ica Computer Vision and Image Understanding (Special Issue on Face 99 Recognition), 91(1-2):115-137 28) Ellis, D (2007) Classifying music audio with timbral and chroma features Dins Proc ISMIR 29) Epstein, J (1996) Growing Artificial Societies: Social Science from the Bottom Up The MIT Press 30) Eriksson, L., Johansson, E., Muller, M., & Wold, S (2000) On the selection of the training set in environmental qsar analysis when compounds are clustered J Chemometrics, 14:599-616 31) Fujinaga, I., Moore, S., & Sullivan, D (1998) Implementation of exemplar based learning model for music cognition Dins Proc of the International Conference on Music Perception and Cognition, ps 171-179 32) Futrelle, J & Downie, S (2003) Interdisciplinary research issues in music information retrieval: Ismir 2000-02 Journal of New Music Research, 32(2):121- 131 33) Goldberg, D., Nichols, D., Oki, B M., & Terry, D (1992) Collaborative filtering to weave and information tapestry Communications of the ACM, 35(12):61-70 34) Gomez, E (2006) Tonal Description of Music Audio Signals Tesi Doctoral, Universitat Pompeu Fabra 35) Gomez, E & Herrera, P (2008) Comparative analysis of music recordings from western and non-western traditions by automatic tonal feature extraction Empirical usicology Review, 3(3) 36) Gómez, E., Herrera, P., Cano, P., Janer, J., Serrà, J., Bonada, J., El-Hajj, S., Aussenac, T., & Holmberg, G (2008) Music similarity systems and methods using descriptors United States patent application number 12/128917 37) Hampton, J (1993) Prototype Models of Concept Representation Cognitive Science Series Academic Press, London 38) Harb, H., Chen, L., & Auloge, J (2004) Mixture of experts for audio classification: an application to male female classification and musical genre recognition Proc ICME 39) Heittola, T (2003) Automatic classifcation of music signals Master's Thesis 40) Herrera, P (2002) Setting up an audio database for music information retrieval 100 benchmarking Dins Proc ISMIR 41) Hintzman, D (1986) 'schema abstraction' in a multiple-trace-model Psychological Review, 93:411-428 42) Hofmann-Engl, L (2001) Towards a cognitive model of melodic similarity Dins Proc ISMIR 43) Holzapfel, A & Stylianou, Y (2007) A statistical approach to musical genre classification using non-negative matrix factorization Dins Acoustics, Speech and Signal Processing, 2007 ICASSP 2007 IEEE International Conference on, volum 2, ps II-693-II696 44) Homburg, H., Mierswa, I., Morik, K., Möller, B., & Wurst, M (2005) A benchmark dataset for audio classification and clustering Dins Proc ISMIR, ps 528-531 45) Hsu, C., Chang, C., & Lin, C (2008) A Practical guide to Support Vector Classification National Taiwan University 101 [...]... những người yêu nhạc Các phương pháp mới để khám phá, giới thiệu và phân loại âm nhạc phải được đưa ra từ ngành công nghiệp âm nhạc máy tính và các nhóm nghiên cứu Cộng đồng nhạc máy tính chỉ là một nhóm nhỏ trong cộng đồng khoa học máy tính rộng lớn hầu hết mọi người trong cộng đồng này đều là những người yêu nhạc cuồng nhiệt Và vấn đề thực sự nổi lên khi máy tính gặp âm nhạc Đôi khi, trong cái thế... nghĩa rất rõ ràng nhưng thỉnh thoảng lại không Chúng ta sẽ xem ở chương 4, tất cả những phương thức phân loại tự động đều mô phỏng những thuộc tính chính của công nghệ chủ đề hóa Trong chương 6, chúng tôi sẽ thảo luận xem khái niệm chủ đề hóa nào thực hiện tốt nhất những nghiên cứu của chúng tôi trong việc phân loại dòng nhạc và chúng tôi cũng sẽ so sánh với những thuật toán thường được sử dụng khác 2.1... kết quả nghiên cứu của chúng tôi về khả năng phân loại dòng nhạc của con người ở Phần 5.3) Điều này cho thấy không cần thiết phải xây dựng một mô tả lý thuyết ở mức độ trìu tượng hóa cao hơn – tương ứng đòi hỏi các phân tích lâu hơn – đối với phân loại thể loại, theo mô tả của Martin cùng cộng sự (1998) 22 Dalla (2005) nghiên cứu khả năng của con người trong việc phân loại các dòng nhạc con của nhạc cổ... âm nhạc có thể bị lãng quên và những nghiên cứu trở nên quá xa rời với mong muốn cuối cùng của người dùng Nghiên cứu của chúng tôi, tập trung vào lĩnh vực Truy xuất thông tin âm nhạc (MIR), cố gắng kết hợp hai thế giới này lại, nhưng đôi khi đây là một nhiệm vụ thật khó khăn Theo quan điểm của chúng tôi, nghiên cứu về MIR nên xem xét những khía cạnh khác nhau của âm nhạc như (1) mô tả đối tượng âm nhạc: ... tất cả các nghiên cứu chi tiết này, chúng tôi cũng trình bày các kết quả của các thử nghiệm nghe, những thử nghiệm này đã cố gắng bổ sung cho kết quả của các bộ phân loại được phân tích ở đây 1.3 TỔ CHỨC CỦA BÀI LUẬN Chúng tôi bắt đầu với phần giới thiệu các lý thuyết về phân loại dòng nhạc trong chương 2 Ở chương 3, chúng tôi nghiên cứu tổng quan các vấn đề của việc phân loại theo dòng nhạc Trong chương... Chúng tôi cũng nghiên cứu ảnh hưởng của các bộ mô tả khác nhau và đề xuất sử dụng các đặc tính mới (như là khả năng có thể khiến người ta nhảy nhót hay di chuyển) mà thường không được dùng để phân loại các dòng nhạc Kết quả nghiên cứu được minh họa thêm bằng một loạt các thử nghiệm nghe được thực hiện trên một nhóm sinh viên âm nhạc để phân biệt giữa tầm quan trọng của hai khía cạnh âm nhạc trong quá trình... khái niệm cơ bản của âm nhạc như BPM, giai điệu, âm sắc… (2) mô tả âm nhạc học về âm nhạc: các nghiên cứu chính thức có thể mang lại cho cộng đồng của chúng ta một nền tảng lý thuyết mà chúng tôi sẽ gặp khi sử dụng máy tính, và (3) các khía cạnh tâm lý học của âm nhạc: việc biết các kích thích âm nhạc khác nhau có tác động như thế nào đến hành vi của con người là rất quan trọng Âm nhạc có thể được phân... lẽ là cách mô tả âm nhạc hay được sử dụng nhất Heittola (2003) đã tìm ra cách để quản lý được các cơ sở dữ liệu khổng lồ được lưu trữ trong máy tình cá nhân bằng cách phân loại nhạc theo thể loại Phân loại nhạc theo thể loại cụ thể là một cách hữu dụng để miêu tả những đăc tính mà nó giống với những bản nhạc khác cùng thể loại và phân biệt nó với các dòng nhạc khác Nhìn chung, nhạc trong cùng một thể... nguyên mẫu nhịp điệu và nhiều những ví dụ về nhạc cụ Tất cả các kỹ thuật phân loại trong Chương 4 đều liên quan đến những khái niệm này 21 Chương 3 KHÁI NIỆM, ĐỊNH NGHĨA, PHƯƠNG PHÁP LUẬN Phân loại dòng nhạc có thể được nghiên cứu từ nhiều ngành kiến thức khác nhau Chúng tôi sẽ bắt đầu với một miêu tả ngắn gọn về phân loại dòng nhạc được thực hiện bởi con người để lấy ý tưởng đưa ra framework của chúng tôi... bởi chúng tôi và cả trong cộng đồng Truy xuất thông tin âm nhạc MIR 3.1 PHÂN LOẠI DÒNG NHẠC BỞI CON NGƯỜI Theo Cook (1999), các khía cạnh âm nhạc mà con người dùng để mô tả âm nhạc gồm có Cao độ (Pitch), Độ lớn (Loudness), Độ ngân (Duration) và Âm sắc (Timbre) tuy nhiên đôi khi âm nhạc cũng được mô tả theo các thuật ngữ như Cấu trúc (Texture) hay Phong cách (Style) Phân loại dòng nhạc bởi con người