Nghiên cứu học máy trong xây dựng gợi hệ ý âm nhạc

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - HOÀNG ANH MINH NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY TRONG XÂY DỰNG HỆ GỢI Ý ÂM NHẠC LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2016 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - HOÀNG ANH MINH NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY TRONG XÂY DỰNG HỆ GỢI Ý ÂM NHẠC CHUYÊN NGÀNH : HỆ THỐNG THÔNG TIN MÃ SỐ: LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN DUY PHƯƠNG HÀ NỘI - 2016 i LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình TÁC GIẢ Hồng Anh Minh ii LỜI CÁM ƠN Tơi xin bày tỏ lời cảm ơn sâu sắc đến người hướng dẫn Tiến sỹ Nguyễn Duy Phương tận tình giúp đỡ tơi hồn thành luận văn Cảm ơn thành viên phịng cơng nghệ thơng tin công ty iMicrosoft Việt Nam cung cấp máy chủ để triển khai ứng dụng phục vụ cho luân văn Cảm ơn tồn thể nhân viên cơng ty iMicrosoft Việt Nam hỗ trợ thử nghiệm hệ thống để hoàn thiện ứng dụng cho luận văn Trân trọng cám ơn Tác giả iii MỤC LỤC MỞ ĐẦU Lý chọn đề tài Tổng quan vấn đề nghiên cứu Mục đích nghiên cứu: Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu CHƯƠNG TỔNG QUAN VỀ HỌC MÁY TRONG HỆ GỢI Ý 1.1 Hệ gợi ý (Recommender Systems) 1.1.1 Học máy lọc 1.1.2 Học máy lọc 1.2 Hệ gợi ý âm nhạc 1.2.1 Các nghiên c 1.2.2 Tập liệu t 1.3 Kết luận chương CHƯƠNG PHƯƠNG PHÁP GỢI Ý KẾT HỢP GIỮA LỌC CỘNG TÁC VÀ LỌC NỘI DUNG 2.1 Phương pháp luận 2.1.1 Các thẻ đánh 2.1.2 Trích chọn đ 2.2 Các giá trị để tìm tương quan bả 2.2.1 Giá trị so sán 2.2.2 Giá trị so sán 2.2.3 Kết hợp 2.3 Kết luận chương CHƯƠNG XÂY DỰNG HỆ THỐNG GỢI Ý CHO WEBSITE NGHE NHẠC TRỰC TUYẾN 34 3.1 Giới thiệu toán 3.1.1 Thiết kế hệ t 3.1.2 Ứng dụng nề 3.2 Thử nghiệm hệ thống 3.3 Kết thực nghiệm giải thích kết 3.4 Kết luận chương iv KẾT LUẬN 42 Kết đạt hạn chế 42 Hướng phát triển 43 TÀI LIỆU THAM KHẢO 44 v DANH MỤC CÁC BẢNG BIỂU Bảng 2.1 Thẻ đánh dấu cho Blue Train Ornithology 17 Bảng 2.2 Chuẩn hóa số đếm thẻ trọng số 17 Bảng 2.3 Thẻ đánh dấu cho Blue Train Freak Out 18 Bảng 2.4 Chuẩn hóa số đếm thẻ trọng số Blue Train Freak Out 19 Bảng 2.5 Trung bình phương sai 20 MFCC (a) Beautiful Disaster (b) Freak Out 23 Bảng 2.6 (a) Ma trận độ lệch (b) Ma trận hiệp phương sai nghịch đảo 24 Bảng 2.7 (a) Chuyển vị ma trận (b) Tích ma trận 24 Bảng 2.8 Trung bình phương sai 20 MFCC (a) Beautiful Disaster (b) Ornithology 26 Bảng 2.9 (a) Ma trận độ lệch (b) Ma trận hiệp phương sai nghịch đảo 27 Bảng 2.10.(a) Chuyển vị ma trận (b) Tích ma trận 27 Bảng 2.11 Chuẩn hóa khoảng cách Ornithology Blue Train .29 Bảng 2.12 Các giá trị khoảng cách nhỏ Ornithology Blue Train 30 Bảng 2.13 Chuẩn hóa khoảng cách Ornithology Beautiful Disaster .31 Bảng 2.14 Các giá trị khoảng cách nhỏ Ornithology Beautiful Disaster 32 Bảng 3.1 Các công việc cần thực 35 Bảng 3.2 ví dụ rút từ thực nghiệm 40 vi DANH MỤC CÁC HÌNH VẼ Hình 1.1: Stream nhạc từ Youtube Last.fm 10 Hình 1.2: Gợi ý nghệ sỹ Last.fm 11 Hình 2.1: Tính tốn MFCC Sonic Visualisation 14 Hình 2.2: Thiết lập cấu hình mặc định 14 Hình 2.3: Dữ liệu MFCC 15 Hình 2.4: Thể 20 MFCC (a) Beautiful Disaster (b) Freak Out 22 Hình 2.5: Thể 20 MFCC (a) Beautiful Disaster (b) Ornithology 25 Hình 3.1: Luồng liệu hệ thống 34 Hình 3.2: Các bảng quan hệ sở liệu 36 Hình 3.3: Trang chủ ứng dụng 37 Hình 3.4: Trang gợi ý ứng dụng 38 Hình 3.5: Kết đánh giá hệ thống 39 MỞ ĐẦU Lý chọn đề tài Trong đời sống nay, nhu cầu giải trí người Việt Nam ngày cao Sự bùng nổ Internet kéo theo phát triển ứng dụng giải trí trực tuyến Chỉ tính riêng Việt Nam, website với ứng dụng game, xem phim, nghe nhạc trực tuyến xuất ngày nhiều vài năm trở lại Trong trình sử dụng ứng dụng giải trí trực tuyến nghe nhạc, có lúc người dùng muốn nghe nhạc họ chưa nghe lại khơng biết tìm nhạc phù hợp Nắm bắt nhu cầu website nghe nhạc trực tuyến đưa công cụ nhằm gợi ý cho người nghe nhạc mà họ cho người dùng thích dựa phương pháp học máy Các diễn đàn trao đổi phương pháp học máy để gợi ý nhạc tổ chức hàng năm đề nâng cao chất lượng cho hệ thống gợi ý Với mục đích đưa cho người sử dụng gợi ý gần nhất, tiện lợi cho người dùng, qua nâng cao chất lượng phục vụ website nghe nhạc trực tuyến Đề tài “Nghiên cứu phương pháp học máy ứng dụng xây dựng hệ gợi ý âm nhạc”, nhằm cung cấp nhìn phương pháp học máy gợi ý âm nhạc, phân tích, so sánh phương pháp lựa chọn phương pháp để xây dựng hệ thống gợi ý cho website nghe nhạc trực tuyến Tổng quan vấn đề nghiên cứu Hiện nay, thị trường Việt Nam nói riêng có website phổ biến với người dùng internet mp3.zing.vn nhaccuatui.com Hai website có số lượng người dùng đơng đảo với số lượng đồ sộ nhạc có quyền Người sử dụng dễ dàng tìm hát cần website Tuy website có ứng dụng gợi ý nhạc cho người dùng user sử dụng tính nhạc gợi ý chưa thật hợp lý Bài toán đặt phương pháp sử dụng website chưa hiệu sử dụng phương pháp đạt hiệu tốt Chúng tìm cách phần giải điều phạm vi luận văn Mục đích nghiên cứu: Nghiên cứu phương pháp xây dựng hệ gợi ý nhạc phù hợp với sở thích người sử dụng Xây dựng hệ thống gơi ý nhạc phù hợp với nhu cầu người dùng nâng cao chất lượng website nghe nhạc trực tuyến Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu bao gồm kỹ thuật, phương pháp học máy sử dụng để gợi ý liệu Các phương pháp học máy tìm hiểu phạm vi liệu nhạc, xử lý nhạc Phương pháp nghiên cứu Nghiên cứu lý thuyết: tìm hiểu phương pháp học máy phân tích siêu liệu để xử lý nhạc, yêu cầu cầu người dùng Nghiên cứu phương pháp học máy dự đoán yêu cầu người dùng Nghiên cứu thực nghiệm: xây dựng liệu thực nghiệm Phân tích, thử nghiệm phương pháp gợi ý cho người dùng Cấu trúc luận văn Nội dung luận văn trình bày ba phần sau: Phần mở đầu Phần nội dung: bao gồm ba chương Chương 1: Tổng quan Học máy Hệ gợi ý Chương 2: Phương pháp gợi ý kết hợp lọc cộng tác lọc nội dung Chương 3: Xây dựng hệ thống gợi ý cho website nghe nhạc trực tuyến Phần kết luận cho hệ gợi ý phương pháp lọc cộng tác phương pháp lọc nội dung Ngoài chương cịn đưa ví dụ cụ thể cho phương pháp, bước tính tốn để 33 hình thành liệu so sánh Các bước tính toán số liệu so sánh sử dụng để đưa vào chương trình ứng dụng xây dựng luận văn Chương trình bày cụ thể bước xây dựng, công nghệ sử dụng ứng dụng kết thử nghiệm hệ thống 34 CHƯƠNG XÂY DỰNG HỆ THỐNG GỢI Ý CHO WEBSITE NGHE NHẠC TRỰC TUYẾN 3.1 Giới thiệu toán Luồng liệu hệ thống gợi ý mơ tả hình 3.1 Cơ sở liệu chứa thông tin khoảng 1000 nhạc: tệp âm mp3 siêu liệu chúng (tên nhạc, nghệ sỹ tên tệp) Tên nhạc nghệ sỹ dùng để trích chọn thẻ đánh dấu tạo cộng đồng (những thẻ đánh dấu phổ biến nhất) từ API Last.fm có tên track.getTopTags Tệp âm dùng để trích chọn liệu MFCC (các đặc trưng âm thanh) từ Sonic Annotator 3.1.1 Thiết kế hệ thống Công việc xây dựng hệ thống chia nhỏ thành bước bảng 3.1 Trước hết việc thu thập số lượng nhạc đủ lớn Sử dụng hệ sở liệu SQL Server để thiết kế sở liệu có quan hệ Hình 3.1: Luồng liệu hệ thống Hình 3.1 mơ tả cấu trúc quan hệ thực thể sở liệu hệ thống Bảng tbl_Song nơi lưu trữ siêu liệu từ nhạc mp3 lưu 35 hệ thống Dữ liệu liên quan đến thẻ nhớ nhạc lấy từ Last.fm Các liệu MFCC trích xuất từ tệp âm nhạc lưu vào bảng tbl_mfccData Các giá trị khoảng cách dựa phương pháp lọc cộng tác, lọc dựa nội dung phương pháp kết hợp lưu vào bảng tbl_similar Đánh giá người dùng thu thập từ người tham gia thử nghiệm sản phẩm lưu ẩn danh vào bảng tbl_session Bảng 3.1 Các công việc cần thực Công việc cần thực Thu thập nhạc mp3 Thiết kế sở liệu Thu thập siêu liệu từ nhạc Thu thập thẻ đánh dấu cho nhạc Thu thập liệu đặc trưng âm nhạc Tính tốn giá trị so sánh lọc cộng tác tất nhạc sở liệu Tính tốn giá trị so sánh trích chọn đặc trưng âm nhạc tất nhạc sở liệu Tính tốn giá trị so sánh kết hợp tất nhạc sở liệu Thiết kế website để người tham gia thử nghiệm sản phẩm 36 Hình 3.2: Các bảng quan hệ sở liệu Tiếp theo, phát triển nghiệp vụ để tải sở liệu thẻ đánh dấu từ Last.fm, liệu MFCC Phát triển nghiệp vụ tính tốn giá trị so sánh đưa vào bảng tbl_similar Cuối phát triển ứng dụng Web cho phép người dùng truy cập sử dụng hệ gợi ý 3.1.2 Ứng dụng Web Hình 3.3 mơ tả trang chủ ứng dụng web Người dùng sử dụng cơng cụ tìm kiếm để tìm nhạc tên hát tên nghệ sỹ, xếp theo thứ tự tên nhạc tên ca sỹ Khi người dùng chọn nút “Gợi ý nhạc” họ xem danh sách nhạc hệ thống gợi ý Căn theo nhạc mà người dùng nghe, hệ thống đưa danh sách hình 3.4 Trong nhạc đưa gợi ý, nhạc dựa lọc cộng tác, nhạc dựa lọc dựa nội dung nhạc dựa phương pháp kết hợp, ngồi hệ thống chủ đích đưa nhạc với giá trị so sánh thấp dựa vào phương pháp kết hợp (gợi ý tồi) 37 Các nhạc gợi ý tính tốn đưa nghiệp vụ độc lập với nhau, xảy trường hợp trùng nhạc gợi ý, tất trường hợp ghi nhận Người dùng nhạc gợi ý phương pháp Người dùng nghe nhạc gợi ý nghe lại nhạc gốc Sau nghe xong nhạc, người dùng đánh giá tương đồng nhạc gợi ý nhạc gốc theo thang điểm từ đến 5, điểm giống điểm khác so với nhạc gốc Sau người dùng chấm điểm, liệu đánh giá đưa vào sở liệu Hình 3.3: Trang chủ ứng dụng 38 Hình 3.4: Trang gợi ý ứng dụng Người dùng truy vấn nhạc từ sở liệu Với thẻ đánh dấu MFCC, giá trị so sánh tính tốn cách so sánh liệu nhạc mà người dùng nghe liệu nhạc khác sở liệu Một giá trị kết hợp tính toán dựa giá trị so sánh thẻ đánh dấu giá trị so sánh MFCC Một danh sách nhạc gợi ý hệ thống đưa dựa nhạc mà người chơi nghe Để đánh giá hệ thống gợi ý luận văn này, chương trình tổ chức phương pháp gợi ý: phương pháp sử dụng gợi ý dựa lọc cộng tác từ thẻ đánh dấu Last.fm, phương pháp sử dụng trích chọn đặc trưng âm (lọc dựa nội dung), phương pháp sử dụng phương pháp kết hợp hai phương pháp Cả ba phương pháp đánh giá việc lấy ý kiến người dùng mức độ giống nhạc nghe nhạc gợi ý hệ thống 39 3.2 Thử nghiệm hệ thống Để chứng minh hệ thống đem lại hài lòng cho người dùng, thí nghiệm thực Tất thành viên công ty iMicrosoft tham gia thử nghiệm Mỗi người dùng truy cập vào ứng dụng Web truy vấn nhạc có sở liệu, hệ thống cung cấp 12 nhạc gợi ý bao gồm gợi ý dựa lọc cộng tác, gợi ý dựa lọc theo nội dung, gợi ý dựa vào phương pháp kết hợp gợi ý tồi dựa vào phương pháp kết hợp 3.3 Kết thực nghiệm giải thích kết Điểm trung bình cho kết gợi ý (thang điểm từ 1-5) Gợi ý dựa vào thẻ đánh dấu Gợi ý kết hợp Hình 3.5: Kết đánh giá hệ thống Phương pháp lọc cộng tác dựa thẻ đánh dấu nhận điểm trung bình 3,6 điểm số cao bốn kết gợi ý Tiếp theo phương pháp kết hợp dựa lọc cộng tác lọc nội dung có điểm trung bình 3,3 Phương pháp gợi ý dựa nội dung đặc trưng âm vị trí thứ với điểm trung bình 2,8 Cuối dự đốn, gợi ý tồi nhận điểm trung bình 1,5 40 Bảng 3.2 chứa nội dung chi tiết ví dụ rút từ thực nghiệm để làm bật khả hệ gợi ý âm nhạc dựa phương pháp kết hợp Cả ví dụ đưa phương pháp kết hợp Bảng 3.2 ví dụ rút từ thực nghiệm Bản nhạc chọn Tênbản nhạc Nghệ sỹ Until the Justin End of Timberlake Time Just Got Dokken Lucky Baby One More Time Britney Spears Cannonball Autumn Adderley Leaves Feat Miles Davis Rumour Adele Has It Trong ví dụ đầu tiên, nhạc “Until the End of Time” Justin Timberlake nhạc chọn nghe, nhạc “Twenty Foreplay” Janet Jackson gợi ý Khi phân tích hai nhạc, nhận hai nhạc có thể loại, khóa nhạc, có chuỗi hợp âm giống nhau, âm sắc 41 giống Bản nhạc Janet Jackson gợi ý hệ gợi ý kết hợp hai lý do: hai nhạc có thẻ đánh dấu: pop, r&b, sexy soul, có đặc trưng âm Xét cách tổng thể, dùng phương pháp kết hợp, người dùng có nhiều khả khám phá nhạc (mà chưa biết đến) phương pháp khơng dựa hồn tồn vào lọc cộng tác 3.4 Kết luận chương Trong Chương 3, trình bày bước xây dựng hồn thiện ứng dựng hệ gợi ý âm nhạc dựa phương pháp kết hợp phương pháp trình bày chương Chương đưa phương pháp thử nghiệm hệ thống, cách tiếp cận thu thập ý kiến người dùng nhằm mục đích đánh giá khả hoạt động hệ thống 42 KẾT LUẬN Kết đạt hạn chế Dựa vào kết phân tính liệu từ thực nghiệm Phương pháp gợi ý dùng lọc cộng tác thẻ đánh dấu cho kết đánh giá tốt Điều giải thích vài lý Trước hết, trang Last.fm có hàng triệu người dùng đăng ký sử dụng Điều giúp tăng hiệu gợi ý, kết tỷ lệ thuận với số người sử dụng Tuy nhiên, thẻ gợi ý chủ yếu liên quan đến tên nhạc, tên nghệ sỹ tên album nhạc Điều ảnh hưởng đên việc chấm điểm người tham gia thực nghiệm, thơng thường nhạc có nghệ sỹ biểu diễn thường đánh giá giống Mục tiêu phương pháp gợi ý âm nhạc kết hợp sử dung lọc cộng tác lọc nội dung nhìn chung thành cơng hướng theo yêu cầu đặt Tuy nhiên gợi ý khơng phải ln xác tập liệu có khoảng 500 nhạc thiếu đa dạng Trong ví dụ này, nhạc chọn nghe nhạc jazz, medium-swing có chủ đề giáng sinh biểu diễn Ellas Fitzgerald Đây nhạc Ella Fitzgerald tập liệu Ngồi ra, khơng có nhiều nhạc jazz, medium-swing, tập liệu Trên thực thế, có khoảng 3,8% nhạc tập liệu có thẻ đánh dấu jazz Điều dẫn đến việc kết gợi ý khơng xác Ví dụ, gợi ý phương pháp kết hợp “What Christmas Means to Me” biểu diễn Hanson thiên thể loại pop-rock Bản nhạc gợi ý chủ yếu là nhạc giáng sinh Những gợi ý hai phương pháp lại gặp vấn đề tương tự Bản nhạc gợi ý dựa thẻ đánh dấu, “Christmas Time” biểu diển Backstreet Boys thể loại pop-rock Bản nhạc gợi ý lý ca khúc giáng sinh Bản nhạc gợi ý trích chọn đặc trưng âm nhạc, “Know You Now” Amy Winehouse thuộc thể loại R&B Bản nhạc gợi ý vị Amy Winehouse có quãng chất giọng gần giống với Ella Fitzgerald Nhưng nhạc không giống với nhạc nghe Cụ thể hơn, chúng hoàn toàn khác thể loại nhịp điệu 43 Hướng phát triển Định hướng phát triển tiếp theo, trước hết mở rộng tập liệu, tăng đa dạng thể loại số lượng nhạc Việc giúp tăng số đo mức độ giống góp phần làm tăng xác nhạc gợi ý Tổng quát, phương pháp lọc nội dung tự động trích chọn thuộc tính MFCC thể tốt Nhưng lại xác số ba phương pháp thử nghiệm Lý phương pháp xét đến tần số âm Hệ thống tương lai mở rộng thêm số đặc trưng âm nhạc khác nhạc cụ nhịp điệu Để phục vụ cộng đồng người dùng, hệ thống phải có thêm tính động, tự động cập nhật sở liệu thẻ gợi ý mới, nhạc điều chỉnh số dựa tập liệu cập nhật Ngồi ra, hệ thống có khả tự động điều chỉnh gợi ý dựa hành vi người dùng Điều làm giúp hệ gợi ý trở nên cá nhân hóa cho người sử dụng 44 TÀI LIỆU THAM KHẢO [1] C H Chuan (2013), “Audio Classification and Retrieval Using Wavelets and Gaussian Mixture Models”, Multimedia Engineering and Management, International Journal of, vol 4, issue [2] H C Chen, A.L Chen (2001), “A Music Recommendation System Based on Music Data Grouping and User Interests”, Information and Knowledge th Management, 10 ACM International Conference on, pp 231-238 [3] W W Cohen, W Fan (2000), “Web-collaborative Filtering: Recommending Music by Crawling the Web”, Computer Networks, vol 33, no 1, pp 685698 [4] M.M Deza, E Deza (2009), Encyclopedia of Distances, Springer, New York, pp 94 [5] D Eck, P Lamere, T Bertin-Mahieux, S Green (2008) “Automatic Generation of Social Tags for Music Recommendation”, Advances in Neural Information Processing Systems, pp 385-392 [6] S.A Golder, B A Huberman (2006), “Usage Patterns of Collaborative Tagging Systems”, Journal ofInformation Science, vol 32, pp 198–208 [7] J Jenson, D Ellis, M Christensen, S Jensen (2007), “Evaluation of Distance th Measures between Gaussian Mixture Models of MFCCs”, International Conference on Music Information Retrieval, pp 107-108 [8] P Knees, T Pohle, M Schedl, G Widmer (2007), “A Music Search Engine Built upon Audio-based and Web-based Similarity Measures”, International ACM SIGIR Conference on Research and Development in Information Retrieval, pp 447-454 [9] M Levy, M Sandler (2006), “Lightweight Measures for Timbral Similarity st of Musical Audio”, ACM Workshop on Audio and Music Computing Multimedia [10] M Levy, M Sandler (2009), “Music Information Retrieval Using Social Tags and Audio”, IEEE Transactions on Multimedia, vol 11, no 3, pp 383-395 [11] M Mandel, D Ellis (2005), “Song-Level Features and Support Vector th Machines for Music Classification”, International Conference on Music Information Retrieval, pp 594-599 45 [12] X Su, T Khoshgoftaar (2009), “A Survey of Collaborative Filtering Techniques”, Advances in Artificial Intelligence [13] X Wu, L Zhang, Y Yu (2006), “Exploring Social Annotations for the Semantic Web”, 15th International Conference on World Wide Web, pp 417426 [14] http://www.Last.fm/, truy cập ngày 26/9/2016 [15] http://www.vamp-plugins.org/sonic-annotator/, truy cập ngày 26/9/2016 [16] http://www.sonicvisualiser.org/, truy cập ngày 26/9/2016 ... CHƯƠNG TỔNG QUAN VỀ HỌC MÁY TRONG HỆ GỢI Ý 1.1 Hệ gợi ý (Recommender Systems) 1.1.1 Học máy lọc 1.1.2 Học máy lọc 1.2 Hệ gợi ý âm nhạc 1.2.1 Các nghiên c 1.2.2 Tập liệu t 1.3... ứng dụng xây dựng hệ gợi ý âm nhạc? ??, nhằm cung cấp nhìn phương pháp học máy gợi ý âm nhạc, phân tích, so sánh phương pháp lựa chọn phương pháp để xây dựng hệ thống gợi ý cho website nghe nhạc trực... nghiên cứu Đối tượng nghiên cứu bao gồm kỹ thuật, phương pháp học máy sử dụng để gợi ý liệu Các phương pháp học máy tìm hiểu phạm vi liệu nhạc, xử lý nhạc Phương pháp nghiên cứu Nghiên cứu lý