Tìm kiếm âm nhạc trên cơ sở nội dung và ứng dụng

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THÙY DƯƠNG TÌM KIẾM ÂM NHẠC TRÊN CƠ SỞ NỘI DUNG VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2012 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn i MỤC LỤC Trang MỤC LỤC i LỜI CẢM ƠN ii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT iii MỞ ĐẦU .1 CHƢƠNG I TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU ÂM THANH 1.1 Cơ sở liệu đa phƣơng tiện 1.1.1 Một số khái niệm .4 1.1.2 Hệ thống quản trị sở liệu đa phƣơng tiện (MMDBMS) .5 1.1.3 Truy tìm thông tin 1.2 Quá trình chung thiết kế sở liệu âm 1.2.1 Giới thiệu chung sở liệu âm 1.2.2 Mô hình tổng quát liệu âm 1.2.3 Quá trình chung để phát triển sở liệu âm 14 CHƢƠNG 15 KỸ THUẬT TÌM KIẾM TRONG CƠ SỞ DỮ LIỆU ÂM NHẠC 15 2.1 Kỹ thuật phân loại âm thành âm nhạc, tiếng nói, tiếng động 16 2.1.1 Âm .16 2.1.2 Đặc trƣng âm 22 2.1.3 Phân lớp âm .39 2.2 Một số thuật toán trích chọn đặc trƣng âm nhạc .45 2.2.1 Đặc trƣng âm nhạc 45 2.2.2 Một số lớp âm nhạc .45 2.2.3 Chỉ số hóa truy tìm âm nhạc .49 CHƢƠNG 53 ỨNG DỤNG KỸ THUẬT TÌM KIẾM ÂM NHẠC TRONG GIẢNG DẠY 53 3.1 Cài đặt thử nghiệm hệ thống tìm kiếm âm nhạc .53 3.2 Mô hình hệ thống 54 3.3 Các tham số thực nghiệm .54 3.4 Một số chức chƣơng trình .55 3.5 Kết thực nghiệm .56 KẾT LUẬN .57 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ii LỜI CẢM ƠN Để hoàn thành chƣơng trình cao học viết luận văn này, nhận đƣợc hƣớng dẫn, giúp đỡ góp ý nhiệt tình quý thầy cô trƣờng Đại học Công nghệ thông tin - Truyền thông, Đại học Thái Nguyên Trƣớc hết, xin chân thành cảm ơn đến quí thầy cô trƣờng Đại học Công nghệ thông tin - Truyền thông, đặc biệt thầy cô tận tình dạy bảo cho suốt thời gian học tập trƣờng Tôi xin gửi lời biết ơn sâu sắc đến thầy giáo PGS.TS Đặng Văn Đức ngƣời dành nhiều thời gian, tâm huyết tận tình giúp đỡ, hƣớng dẫn cho suốt trình nghiên cứu giúp hoàn thành luận văn Nhân đây, xin chân thành cảm ơn Ban Giám hiệu trƣờng Cao đẳng Văn hóa nghệ thuật Việt Bắc đồng nghiệp Phòng Đào tạo & nghiên cứu khoa học tạo nhiều điều kiện để học tập hoàn thành tốt khóa học Đồng thời, xin cảm ơn quí anh, chị ban lãnh đạo khoa Âm nhạc, phòng thu trƣờng cao đẳng Văn hóa nghệ thuật Việt Bắc… tạo điều kiện cho điều tra khảo sát để có liệu viết luận văn Mặc dù có nhiều cố gắng hoàn thiện luận văn tất nhiệt tình lực mình, nhiên tránh khỏi thiếu sót, mong nhận đƣợc đóng góp quí báu quí thầy cô bạn Thái Nguyên, ngày tháng Học viên Nguyễn Thùy Dƣơng Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn năm 2012 iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Stt Ký hiệu Tên đầy đủ Ý nghĩa ADC Analog - to – Digital Conversion Chuyển đổi tƣơng tự số hóa ASR Automatic Speech Recognition Tự động nhận dạng tiếng nói API Application Programming Interface Giao diện lập trình ứng dụng DAC Digital – to – Analog Conversion Chuyển đổi số hóa tƣơng tự DBMS DataBase Management System Hệ quản trị sở liệu DCT Discrete Cosine Transform Biến đổi cosin rời rạc DFT Discrete Fourier Transform Biến đổi Fourier rời rạc HMM Hidden Markov Model Mô hình Markov ẩn HZCRR High Zero- Crossing Rate Ratio Tỷ lệ tốc độ vƣợt qua cao 10 IDFT Inverse Discrete Fourier Transform Biến đổi Fourier liên tục 11 IR Information Retrieval Truy tìm thông tin 12 MARS Multimedia Analysis and Retrieval System Hệ thống mục phân tích đa phƣơng tiện 13 MIDI Musical Instrument Digital Interface Giao diện số cho nhạc cụ 14 MIRS Multimedia Indexing and Retrieval System Hệ thống mục truy tìm thông tin đa phƣơng tiện Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn iv 15 MMDBMS MultiMedia DataBase Management System Hệ quản trị sở liệu đa phƣơng tiện 16 ORDBMS Open relation DataBase Management System Hệ quản trị sở quan hệ mở rộng 17 SR Silence Ratio Tỷ lệ câm 18 SNR Signal-to-noise ratio Tỷ lệ nhiễu tín hiệu 19 STFT Short Time Fourier Transform Biến đổi Fourier thời gian ngắn 20 ZCR Zero Crossing Rate Tốc độ vƣợt qua Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỞ ĐẦU Nghị Trung ƣơng II khoá VIII đặt phƣơng châm chiến lƣợc cho ngành giáo dục phải: "Đổi phƣơng pháp giáo dục đào tạo, khắc phục lối truyền thụ chiều, rèn luyện nếp tƣ sáng tạo ngƣời học, bƣớc áp dụng phƣơng pháp tiên tiến phƣơng tiện đại vào trình dạy học" Ứng dụng công nghệ thông tin vào dạy học đƣợc thực ngày nhiều bục giảng Việc thiết kế giáo án giảng dạy máy tính đoạn phim minh hoạ với hình ảnh, âm sống động, giảng thực gây ý tạo hứng thú học tập cho học sinh-sinh viên Trong điều kiện tài liệu dạy âm nhạc hỗ trợ CNTT nƣớc ta nhiều hạn chế, việc tìm giải pháp ứng dụng phần mềm CNTT vào dạy học âm nhạc yêu cầu cần thiết nhằm góp phần đổi phƣơng pháp dạy học cho môn Ứng dụng CNTT dạy học Âm nhạc trƣờng Đại học – cao đẳng trƣờng phổ thông việc làm tất yếu, giúp cho giảng viên, giáo viên âm nhạc chủ động có soạn mang tính đại tạo đƣợc tài liệu học tập, tham khảo phong phú cho sinh viên mang tính trực quan sinh động, tạo đƣợc hứng thú học tập cho học sinh Trên thị trƣờng có nhiều phần mềm dùng để soạn nhạc, hoà âm, phối khí thu âm, xử lý, biên tập âm thanh, v.v… Các phần mềm có lĩnh vực ứng dụng định có tính chuyên biệt rõ nét nhƣng nhìn chung sử dụng có đặc điểm tƣơng đối giống nên việc sử dụng dễ dàng Việc lựa chọn sử dụng cần phải đáp ứng yêu cầu sau: - Lựa chọn phần mềm đáp ứng nội dung dạy, tiết dạy - Có kỹ sử dụng khai thác phần mềm - Dễ phổ cập, phù hợp với điều kiện kỹ thuật địa phƣơng Ngày nay, việc chia sẻ hát nhạc internet trở nên phổ biến Thực tế mở nhu cầu truy cập vào thƣ viện âm khổng lồ Nhu cầu đòi hỏi công nghệ tìm kiếm hiệu để tổ chức, xếp, truy tìm Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn nội dung âm thanh, nhƣ xử lý hàng trăm tỷ trang web hỗn độn mạng thiết bị lƣu trữ máy tính cá nhân Hiện nay, số hãng tìm kiếm khổng lồ mạng nhƣ Yahoo, Google hay You Tube triển khai hoạt động nghiên cứu theo cách tìm kiếm theo nội dung thay từ khóa Ngƣời dùng cần gõ từ cụm từ liên quan đến hát Yahoo liệt kê danh sách file âm thanh, cho phép khách hàng nghe trực tuyến Công cụ tìm kiếm âm nhạc hoạt động dựa khả đọc nội dung đƣợc nhúng tệp âm thanh, đƣợc gọi metadata, để phân loại kết tìm kiếm Trong năm qua Việt Nam, công cụ tìm kiếm liệu đa phƣơng tiện, công cụ tìm kiếm nhận dạng liệu âm dần đƣợc ý Ví dụ, phòng nhận dạng công nghệ tri thức- Viện công nghệ thông tin giới thiệu số sản phẩm phần mềm có ý nghĩa thực tế cao nhƣ: tổng hợp xử lý ngôn ngữ tiếng Việt, nghiên cứu tiếp cận kỹ thuật công nghệ tổng hợp nhận dạng tiếng nói giới để áp dụng hoàn cảnh Việt nam âm tiếng Việt, nghiên cứu phƣơng pháp xử lý tín hiệu số tín hiệu tiếng nói, phƣơng pháp tìm đặc trƣng âm Các sản phẩm nêu đáp ứng đƣợc phần nhu cầu tìm kiếm nhận dạng liệu âm Tuy nhiên, công trình nghiên cứu tìm kiếm âm theo nội dung chƣa tƣơng xứng với tầm quan trọng tƣơng lai Đặc biệt sử dụng phần mềm cho công việc giảng dạy âm nhạc trƣờng chƣa đáp ứng đƣợc nhu cầu thực tế, thay phấn trắng bảng đen truyền thống, giáo viên click chuột, vài giây sau hình nội dung, âm nhạc Ứng dụng công nghệ thông tin dạy học âm nhạc đƣợc thực ngày nhiều bục giảng trƣờng đào tạo nghệ thuật Nhạc sĩ Hoàng Lân nhận xét từ trƣớc đến nay, môn âm nhạc ”dạy chay” nhiều, lôi đƣợc học sinh Nếu việc ứng dụng CNTT vào dạy học đƣợc thực có hiệu trƣờng, dẫn đến thay đổi lớn lao PPDH nhằm cung cấp Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn tƣ liệu âm nhạc cách khoa học, phong phú, toàn diện mà tác động tích cực đến thẫm mỹ, đến tƣ nhận thức học sinh… Mặt khác, việc hiểu biết sâu sắc âm nhƣ khái niệm, thuật toán liên quan giúp ta ứng dụng xây dựng hệ thống tìm kiếm âm phù hợp, hiệu Xuất phát từ vấn đề nêu trên, luận văn tập trung nghiên cứu vấn đề "Tìm kiếm âm nhạc sở nội dung ứng dụng" Cấu trúc luận văn nhƣ sau: Chƣơng 1: Tổng quan sở liệu âm Chƣơng 2: Kỹ thuật tìm kiếm sở liệu âm Chƣơng 3: Ứng dụng kỹ thuật tìm kiếm âm nhạc giảng dạy Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn CHƢƠNG I TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU ÂM THANH Ngày nay, với phát triển vƣợt bậc khoa học kỹ thuật, bùng nổ liệu đặc biệt liệu media, nhu cầu thƣởng thức âm nhạc ngƣời ngày phong phú, đa dạng dẫn đến nhu cầu thực tế nhu cầu tìm kiếm thông tin âm nhạc Hầu hết hệ thống tìm kiếm âm nhạc dựa mục Cơ sở liệu dựa mục bộc lộ nhiều nhƣợc điểm nhƣ: tìm kiếm thông tin không xác, không tìm đƣợc liệu ngƣời dùng không nhớ xác thông tin đầu vào, hay nhớ đƣợc giai điệu, nội dung hát Tìm kiếm âm nhạc theo nội dung lĩnh vực nghiên cứu đƣợc nhiều nhà nghiên cứu quan tâm Hiện có số phƣơng thức đƣợc áp dụng tìm kiếm âm nhạc theo nội dung Ghias, Logan, Chamberlin Smith đƣa phƣơng thức tƣơng tự sử dụng đầu vào nhƣ truy vấn Trong thí nghiệm vào năm 2001, M.Goto thu đƣợc kết tốt nhà nghiên cứu tiến hành thử nghiệm tính toán ƣớc lƣợng MAP sử dụng thuật toán EM Tuy nhiên, theo kết nghiên cứu Beth Logan phƣơng pháp tìm kiếm âm nhạc theo nội dung chƣa đảm bảo đƣợc độ xác thời gian tính toán, đặc biệt tìm kiếm giai điệu nhạc 1.1 Cơ sở liệu đa phƣơng tiện 1.1.1 Một số khái niệm  Loại media Multimedia Media Media (tiếng Latin: medius – means, intermediary) đề cập đến loại thông tin hay loại trình diễn thông tin nhƣ liệu văn bản, ảnh, âm video Phân loại media: Có nhiều cách phân loại, nhƣng cách chung phân loại sở khuôn mẫu (format) vật lý hay quan hệ media với thời gian Tài Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn liệu phân lớp media dựa sở chúng có chiều thời gian hay không Qui định dẫn tới hai lớp media: static dynamic  Static media: Không có chiều thời gian, nôi dung ý nghĩa chúng không phụ thuộc vào thời gian trình diễn Media tĩnh bao gồm liệu văn bản, đồ họa  Dynamic media: Có chiều thời gian, ý nghĩa độ xác chúng phụ thuộc vào tốc độ trình diễn Dynamic media bao gồm annimation, video, audio Media động phụ thuộc chặt chẽ vào tốc độ trình diễn Thí dụ để cảm nhận chuyển động trơn tru, video phải đƣợc trình chiếu với tốc độ 25 frame/sec (hay 30 frame/sec phụ thuộc vào loại hệ thống video) Tƣơng tự, ta play tiếng nói, âm nhạc, chúng đƣợc cảm nhận tự nhiên đạt đƣợc tốc độ định, không chúng làm giảm chất lƣợng ý nghĩa âm Vì media phải đƣợc trình diễn liên tục tốc độ cố định chúng đƣợc gọi media liên tục Hay gọi chúng media đẳng thời (isochronous media) quan hệ đơn vị media thời gian cố định Multimedia Khái niệm multimedia (tiếng Latin: multus- numerous) đề cập đến tập hợp kiểu media sử dụng chung, có kiểu media văn (nói cách khác có media ảnh, audio hay video) Trong tài liệu sử dụng multimedia nhƣ tính từ: thông tin đa phƣơng tiện, liệu đa phƣơng tiện, hệ thống đa phƣơng tiện, truyền thông đa phƣơng tiện, ứng dụng đa phƣơng tiện, Dữ liệu đa phƣơng tiện đề cập đến đại diện kiểu media khác mà máy tính đọc đƣợc Thông tin đa phƣơng tiện đề cập đến thông tin kiểu media truyền đạt Đôi khái niệm liệu đa phƣơng tiện thông tin đa phƣơng tiện sử dụng thay cho Multimedia hay media item (hay gọi object) thực thể tự trị hệ thống mục truy tìm thông tin đa phƣơng tiện (MIRS – Multimedia Indexing and Retrieval System) mà đƣợc truy vấn, tìm kiếm trình diễn 1.1.2 Hệ thống quản trị sở liệu đa phƣơng tiện (MMDBMS) Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read ... vào, hay nhớ đƣợc giai điệu, nội dung hát Tìm kiếm âm nhạc theo nội dung lĩnh vực nghiên cứu đƣợc nhiều nhà nghiên cứu quan tâm Hiện có số phƣơng thức đƣợc áp dụng tìm kiếm âm nhạc theo nội dung. .. sở nội dung ứng dụng" Cấu trúc luận văn nhƣ sau: Chƣơng 1: Tổng quan sở liệu âm Chƣơng 2: Kỹ thuật tìm kiếm sở liệu âm Chƣơng 3: Ứng dụng kỹ thuật tìm kiếm âm nhạc giảng dạy Số hóa Trung tâm Học... trƣng âm nhạc .45 2.2.1 Đặc trƣng âm nhạc 45 2.2.2 Một số lớp âm nhạc .45 2.2.3 Chỉ số hóa truy tìm âm nhạc .49 CHƢƠNG 53 ỨNG DỤNG KỸ THUẬT TÌM KIẾM ÂM NHẠC