Chuỗi đặc trưng và ứng dụng trong tìm kiếm dữ liệu đa phương tiện : Đề tài NCKH. QC.08.01

ĐẠI HỌC QUỐC GIA HÀ NỘI CHUỖI ĐẶC TRƯNG VÀ ỨNG DỤNG TRONG TÌM KIẾM DỮ LIỆU ĐA PHƯƠNG TIỆN Mã số: QC.08.01 Chủ nhiệm đề tài: Nguyễn Hải Châu Hà Nội - 2009 ĐẠI H Ọ C Q U Õ C G IA HÀ NỘ I TRUNG TÂM THỔNG TIN THƯ VIỆN PT/ M ục lục B ả n g g iải th íc h c c c h ữ v iế t t ắ t D a n h s c h c n b ộ th a m g ia th ự c h iệ n đ ề t i D anh m ục bảng T ó m t ắ t n h ữ n g k ế t q u ả n g h iê n c ứ u c h ín h c ủ a đ ề t i 1.1 Tên đề t i 1.2 Chủ trì đề t i 1.3 Những kết c h í n h 1.3.1 K ết khoa h ọ c 1.3.2 K ết phục vụ thực t ế 1.3.3 K ết đào t o 1.3.4 K ết nâng cao tiềm lực khoa học 1.3.5 T ình hình sử dụng kinh p h í 6 6 7 7 B áo 2.1 2.2 2.3 2.4 2.5 2.6 2.7 cáo tố n g k ết Đ ặt vấn đ ề Tổng quan tình hình nghiên cứu chuỗi đặc t r n g Các phương pháp xác định chuỗi đặc t r n g 2.3.1 Các loại đặc trư ng chuỗi tín hiệu âm t h a n h 2.3.2 Phương pháp cửa sổ g ố i 2.3.3 Phương pháp cửa sổ gối kết hợp học m y 2.3.4 Phương pháp D D A 2.3.5 Phương pháp dựa w a v e le t M ột số ứng dụng chuỗi đặc t r n g 2.4.1 Giám sát ph át t h a n h 2.4.2 Các ứng dụng liên thông âm t h a n h 2.4.3 Các lọc ứng dụng dùng chung f i l e 2.4.4 T ự động tố chức th viện âm n h c 2.4.5 M ột số ứng dụng k h c Mục tiêu nội dung nghiên cứu đề tài Dịa điểm , thời gian phương tiện nghiên c ứ u K ết nghiên c ứ u 2.7.1 K ết khoa h ọ c 8 9 10 10 10 11 11 11 11 12 12 12 12 12 13 13 Bảng giải thích chữ v iết tắ t Bảng 1: Giải thích chữ viết tắ t C h ữ v iế t t ắ t G iả i th íc h BFCC DDA FLAC LDA M FCC M PEG MP3 OPCA PCA WAV Bark Frequency C epstrum Coefficients Distortion Discriminant Analysis Free Lossless Audio Codec Linear Discrim inant Analysis Mel-Frequency C epstrum Coefficients Movie Picture E xperts G roup MPEG-1 Audio Layer Oriented Principal Com ponents Analysis Principal Com ponents Analysis Waveform Audio Form at M ục lục B ả n g g iả i th íc h c c c h ữ v iế t t ắ t D a n h s c h c n b ộ t h a m g ia th ự c h iệ n đề tà i D anh m ục bảng T ó m t ắ t n h ữ n g k ế t q u ả n g h iê n c ứ u c h ín h c ủ a đ ề t i 1.1 Tên đề t i 1.2 Chủ trì đề t i 1.3 Những kết c h í n h 1.3.1 K ết khoa h ọ c 1.3.2 K ết phục vụ thực t ế 1.3.3 K ết đào t o 1.3.4 K ết nâng cao tiềm lực khoa học 1.3.5 T ình hình sử dụng kinh p h í B áo 2.1 2.2 2.3 2.4 2.5 2.6 2.7 cáo tổ n g k ết Đ ặt vấn đ ề - Tổng quan tìn h hình nghiên cứu chuỗi đặc t r n g Các phương pháp xác định chuỗi đặc t r n g 2.3.1 Các loại đặc trư ng chuỗi tín hiệu âm t h a n h 2.3.2 Phương pháp cửa sổ g ố i 2.3.3 Phương pháp cửa sổ gối kết hợp học m y 2.3.4 Phương pháp D D A 2.3.5 Phương pháp dựa trẽn w a v e le t M ột số ứng dụng chuỗi đặc t r n g 2.4.1 Giám sát p h át t h a n h 2.4.2 Các ứng dụng liên thông âm t h a n h 2.4.3 Các lọc ứng dụng dùng chung f i l e 2.4.4 T ự động tổ chức th viện âm n h c 2.4.5 M ột số ứng dụng k h c Mục tiêu nội dung nghiên cứu đề tà i D ịa diểm, thời gian phương tiện nghiên c ứ u K ết nghiên c ứ u 2.7.1 K ết khoa h ọ c 6 6 7 7 8 9 10 10 10 11 11 11 11 12 12 12 12 12 13 13 M ự c LỰC 2.8 2.9 2.7.2 K ết đào tạo Thảo luận Kết luận kiến nghị T ài liệu th a m k h ả o P h ụ lục Bảng giải thích chữ viết tắ t Bảng 1: Giải thích chữ viết tắ t C h ữ v iế t t ắ t G iả i th íc h BFCC DDA FLAC LDA M FCC M PEG M P3 O PCA PCA WAV Bark Frequency C epstrura Coefficients D istortion Discriminant Analysis Free Lossless Audio Codec Linear Discrim inant Analysis Mel-Frequency C epstrum Coefficients Movie Picture E xperts Group M PEG-1 Audio Layer Oriented Principal Com ponents Analysis Principal Com ponents Analysis Waveform Audio Form at D anh sách cán th am gia thực đề tài Bảng 2: Đanh sách cán bộ, cộng tác viên, học viên cao học sinh viên th a thực dề tài H ọ c h m C q u a n cô n g tá c S T T H ọ tê n h ọ c vị Nguyễn Hải C hâu (chủ nhiệm đề tài) TS Nguyễn Ngọc Hóa TS Đỗ Thị M inh Việt ThS Phạm Cẩm Ngọc CN Nguyễn T hị Thùy Linh CN K hoa Công nghệ thông trường Đại học Công ng ĐHQGHN K hoa Công nghệ thông trường Dại học Công ng ĐHQGHN C entre of Excellence, Nor gian U niversity of Science t Technology (NTN Ư ), Norwa K hoa Công nghệ thông trường Dại hoc Công ng DHQGHN K hoa Công nghệ thông trường Dại hoc Công ng đhqghn D anh mục bảng Giải thích chữ viết t ắ t Danh sách cán bộ, cộng tác viên, học viên cao học sinh viên tham gia thực đề t i Tóm tắt kết n gh iên C1 đề tài 1.1 Tên đề tài C h u ỗ i đ ặ c tr n g v ứ n g d ụ n g tr o n g tìm k iế m d ữ liệ u đ a p h n g tiệ] (Acoustic fingerprint and its application in searching m ultim edia content) Mã số: QC.0fs.01 1.2 Chủ trì đề tài Người chủ trì: TS Nguyễn Hải Châu Cơ quan: Trường Dại học Cóng nghệ Dại học Quốc gia Hà Nội Dịa chỉ: 144 Xuân Thủy, c ầ u Giấy, Hà Nội Diện thoại: 04-37547813 1.3 N hữ ng kết 1.3.1 K ết khoa học • Chúng tơi nghiên cứu nhận dạng âm th an h dựa chuỗi đặc tru đề xuất bước đề xây dựn£ m nt hệ thống nhân dạng thực tế thử nghiệm xâv dưns sở liệu âm th anh, huấn luyện ( để trích rú t đặc trưng va th ủ nghiệm tìm kiếm dựa tín hiệu âm vào từ micro với đỏ xác t.ốt Các két nói đ ã trìn h tiết 01 báo khoa học gửi đcing tạp chí Tạp chí K hoa học, E Q uor cia Hà Nơi • UI bân cáo chun de (technical report COI ứng dụng f, tổng quan ve rhuỗi đ r tri T Ó M T Ắ T NHỮNG K E T q u ả n g h i ê n c ứ u c h í n h c ủ a d ề t i 1.3.2 K ết phục vụ thực tế D ã hoàn th àn h chương trìn h th nghiệm tìm kiếm âm th an h dựa chuỗi đặc trưng với độ xác cao Bộ chương trìn h tiếp tục p h t triển để hoạt động môi trường web 1.3.3 K ết đào tạo • D ã hướng dẫn tố t nghiệp 02 sinh viên bảo vệ tháng 6/2009 đề tài tín h tốn chuỗi đặc trưng âm th an h tìm kiếm liệu đa phương tiện • Đang hướng dẫn 01 học viên cao học (là m ột th àn h viên thực đề tài) thực đề tài nghiên cứu liên quan đến chuỗi đặc trưng âm th an h tìm kiếm nhạc sở liệu đa phương tiện 1.3.4 K ết nâng cao tiềm lực khoa học Nghiên cứu th u ậ t toán, phương pháp ứng dụng chuỗi đặc trưng, hướng dẫn sinh viên thực tập sinh khoa Công nghệ Thông tin trường Dại học Công nghệ vấn đề liên quan đến chuỗi đặc trưng tìm kiếm liệu đa phương tiện 1.3.5 Tình hình sử dụng kinh phí Dã sử dụng hết kinh phí dược cấp đỏ tài ĐẠI HỌC QUỐC GIA HÀ NỘI TRỪỜNG ĐẠI HỌC CÔNG NGHỆ Bùi Thanh Xuân CHUỖI ĐẶC TRƯNG ÂM THANH VÀ ỨNG DỤNG TRONG TÌM KIẾM NHẠC SỐ KHĨA LUẬN TĨT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thơng tin Cán hưóiig dẫn: TS Nguyễn Hải Châu HÀ NỘI - 2009 TÓM T Ắ T NỘ I D U N G Những năm gần chứng kiến phát triên mạnh mẽ khoa học \ ngành cơng nghiệp tính tốn đặc trưng đối tượng đa phương tiện Khi niệm chuỗi đặc trưng âm đời có ý nghĩa quan trọng việc phát triể ứng dụng liên quan đến âm nhờ mang lại nhiều tiện ích cho cuệ: sổng đại cùa người Một ứng dụng chuỗi đặc trưng âi quan tâm nhận dạng nhạc sổ Trên giới c nhiều ứng dụng nhận dạng nhạc phát triển với phương pháp khả thu nhừng kết khác nhau, song tất s chúng trả kết xác Trên sở nghiên cửu chuỗi đặc trưng âi ứng dụng nó, khóa luận hướng đến việc xây dựng h thống nhận dạng nhạc tiện ích với người dùng cho phép trả thơng tin chín xác nhạc chơi qua thiết bị di động chi với vài giây âm than Khóa luận tốt nghiệp thực khuôn khổ đề tài nghiên cửu man mã sổ QC.08.01 Đại học Quốc gia Hà Nội ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CƠNG NGHỆ EQ Vũ Thị Tu- TÌM KIẾM D LIỆU ÂM THANH BẰNG PHƯƠNG PHÁP QbH VÀ ỨNG DỤNG KHÓA LUẬN TÓT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thơng tin Cán hưóng dẫn: TS Nguyễn Hải Châu HÀ NỘI-2009 Tóm tắt Trong luận văn chúng tơi xin trình bày hiểu biêt cùa vê nhừi vấn đề sau đây: • Rút trích đặc trưng giai điệu từ đoạn thu âm người dùng • Biểu điền đặc trưng giai điệu phù hợp cho q trình tìm kiểm • Phương pháp tìm kiếm hay truy vấn giai điệu mong muốn s liệu đặc trưng chọn Âm truy vấn thu âm từ người sử dụng rút trích đường biể diễn cao độ (pitch sequence) hay gọi tần sổ f ữ Chuổi cao độ đư tháne *- nãm 200 Ý Phê d u \ệ t cua Trựờnạ ĐHCN T L HIỆU TRƯƠNG trư ng ph ò n g í ' A O ' A C í ^ - ỉ ' : ,! !-[_ r -.;r r ; ! ! T D ^ 1’ QUỐC GIA HÀ NỘI 'ƯƠNG ĐẠI HỌC CÔNG NGHỆ ~====o0o=== ồõ: ■'••6 /2008/HĐ-KHCN CỘNG HỊA XẢ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - T ự - H ạnh phúc " ====o0o=== Hà Nội, ngàvZ& tháng năm 2008 HỢP Đ ò n g t h ự c h i ệ n đ è t i NGHIÊN c u KHOA HỌC CÁP ĐẠ I H Ọ C QƯÓC G IA HÀ N Ộ I NĂM 2008 Can CU' ve Qui định vé Tố chức Hoạt động cùa Đ i học Quốc gia Hà N ội ban hành theo Ouyẻt định so 600/TCC B ngày 0Ỉ tháng 10 năm 2001 cùa Đại học Quốc gia Hà Nội qui đình quyên hạn cưa ìuẹii truơng trường đại học thành viên; Căn thông báo số 1880/TB-KHCN ngày 29 tháng năm 2008 cua Giám đốc Đại học ộu ốc gia Ha A ọ / ve viẹc giao nhiệm vụ chi tiêu kế hoạch Khoa học & Công nghệ năm 2008: - Căn để cương nghiên cứu cua đẻ lài phê duyệt, Chúng gồm: Bên giao nhiệm vụ (gọi bên A): Trư ịng Đại học Cơng nghệ - ĐHQG Hà Nội Đại diện là: PGS TS Nguyễn Ngọc Bình Chức vụ: Phó Hiệu trường Bên nhận nhiệm vụ (gọi bên B) Ơng: TS Nguyễn Hải Châu Đơn vị cơng tác: Khoa Công nghệ Thông tin - Trường Đại học Công nghệ Ký hợp đồng thực đề tài nghiên cứu khoa học đặc biệt cấp Đại học Quốc gia Hà Nội“ Tên đê tài: Mã sổ: “C h u ô i đặc trưng ứng dụng tìm kiếm d ữ liệu đa phuoTig tiện", QC.08.01, Với điều khoan thỏa thuận sau: Diều ĩ: Bên B chịu trách nhiệm tổ chức triển khai thực nội dung nghiên'đứ?i đề ài theo đ ú n g tiế n độ thự c đăng ký đê cương nghiên cứu phê duyệt • ' Diêu 2: Bên B báo cáo kêt thực đê tài giao nộp sản phâm đê tài chơ bên \ theo qui định hành Đại học Quốc gia Hà Nội Trường Đại học rông nahệ trước ngày 10/06/2009, bao gồm: *■ 01 Phần mềm thử nghiệm tìm kiếm bàn nhạc theo giai điệu 01 báo báo cáo hội nghị/hội tháo khoa học liên quan đên tìm kiêm sờ liệu multimedia 02 khóa luận tốt nghiệp - Tổng quan đề tài kèm theo file điện từ (Một bàne tiếng Việt, ban băng tiếng Anh - Highlight; bàn dài khoảng 400 từ trang giấ) khô A4 font Time New Roman, cờ chữ 13pt, cách dòng đơn: Nội dung: Tõm tắt mục tiêu, phươnu pháp nội dung nehiên cứu kết quà đạt được, đánh giá ý nghía va tạc đọng khoa học công nehệ kết quà đạt việc thực hiẹn đe tai) Diều 3; T ổne kinh phí cùa để tài phê duyệt là: 25.000.000 đông (Bang chữ: Hai m ươi lăm triệu đống chẵn ì Chi phí Diều cụ thể trone dự tốn dự trù kinh phí 4: Bẽn B có trách nhiệm sử dụne kinh phí cấp theo m ục đích, chẻ độ tài chinh hành, quvết tốn với phịne Tài vụ - Kế toán thực việc nghiệm thu đê tài theo qui định cùa Đại học Quốc aia Hà N ội Diều 5: Bên A giữ quyền sở hữu trí tuệ kết quà khoa học cùa đê tài.Tât công bố liên quan đến nội dune khoa học cúa đề tải phải ghi rõ nguồn tài trợ kinh phí nghiên cửu theo mã so đề tài sau: Đồi với báo báo cáo khoa học: ‘‘C ơng trình tài trợ m ột phân từ đê tài m ang mã số: Q C 08.01 Đại học Quốc aia H N ộ i” Dối với luận vãn (khóa lu ận ): “ Luận văn (khóa lu ậ n ) thực khuôn khổ dề tài m ang m ã số: Q C 08.01, Đại học Q uốc gia Hà Nội Đôi với báo báo cáo đăng tạp chí, kỷ yếu hội nuhị quốc tế (tiếng Anil): "This work is (partly) supported bv the research project N o Q C 08.01 granted by Vietnam N ational U niversity, H anoi” Oicu 6: Hai bên cam kết thực duns điều khoan ghi hợp đồng Trorm trình thực h(Tp đồng, hai bên có trách nhiệm thơng báo kịp thài cho n h ữ n s vấn đề vướng măc tù n g bàn bạc tích cực tìm biện pháp giai H ợp đồng tự độnẹ lý sau có biên hàn họp hội đơng khoa học danh giá nghiệm thu dề tài với kết dáp ứng qui dịnh hành llig u h Htfp dồng làm thành 05 b n bên giữ 01 ban, 02 hàn gửi cho phòng T V -K T 01 ban lưu phòng TC -H C DẠI DIỆN BÊN lì >I r /' Á TS Nguyễn Hài Châu ► SUMMARY P roject title: Acoustic fingerprint and its application in searching m ultim edia content Code number: QC.08.01 C oordinator: Dr Nguyen Hai Chau Im plem enting institution: University of Technology, V ietnam N ational University, Hanoi C ooperating institution: D uration: year, from Ju n 2008 to Jun 2009 O b je c tiv e s : This p ro ject’s aim is to investigate m ethods for searching audio con­ te n t based on acoustic fingerprint and to build a prototype system for searching audio from acoustic queries M a in c o n ten ts: We investigated audio searching m ethods and following m a­ chine learning approach to extract audio features From the featutes we calculate sim ilarity of audio snippets thus we are able to search and choose th e m ost ap­ p ropriate audio segment to a given audio query We build a prototype system, construct training d a ta and obtained high accuracy in searching audio content (over 95%) R e s u lts o b ta in e d : - R esults in science and technology: Investigation of concepts, m ethods for generating, searching and m easuring sim ilarity of audio fingerprints; build­ ing a te st audio d atabase, training our system for audio feature extraction, run audio retrieval test and obtained high accuracy (over 95%) - R esults in practical application: Successfully im plem ented a prototype ap­ plication to recognize audio content from microphone input signal or from sam ple audio snippets whose lengths are less th a n or equal to 30 seconds - R esults in training: 02 B.Sc theses com pleted in Ju n 02, 2009, 01 M.Sc thesis is under supervision - Publications: 01 article to be subm ited to VNU Journal of Science 01 tech­ nical report PH IẾU Đ Ă N G K Ý ^ KẾT QUẢ N G H IÊN c ứ u CÁC ĐỀ t i K H C N T ên đề tài: Chuỗi đặc trưng ứng dụng tìm kiếm liệu đa phường tiện (Acoustic fingerprint and its application ill searching multimedia contcnt) M ã số: QC.08.01 Cơ quan quản lý đề tài: Dại học Quốc gia Hà Nội Địa chỉ: 144 Xuân Thủy, cầu Giấy, Hà Nội Diện thoại: 04-37548664 Cơ quan chủ trì đề tài: Trường Đại học Công nghệ, Dại học Quốc gia Hà Nội Địa chỉ: 144 Xuân Thủy, cầu Giấy, Hà Nội Điện thoại: 04-37547813 Tống chi p h í th ự c chi: 25.000.000 đồng Trong đó: - Từ ngân sách nhà nước: 25.000.000 đồng - Nguồn khác: đồng Thời gian nghiên cứu: 12 tháng Thời gian bắt đầu: 6/2008 Thời gian kết thúc: 6/2009 T ên c n phối hợp nghiên cứu: Chủ trì đề tài: TS Nguyễn Hải Châu Cơ quan: Bộ môn hệ thống thông tin, khoa Công nghệ thông tin, trường Dại học Công nghệ, Dại học Quốc gia Hà Nội Diện thoại: 04-37547813 Những người tham gia: STT H ọ tên H ọc hàm Cơ q u a n công tá c học vị Khoa Công nghệ thông tin, TS Nguyễn Ngọc Hóa trường Dại học Cơng nghệ, ĐHQGHISL ThS Centre of Excellence, Norwe­ Dỗ Thị Minh Việt gian University of Science andc Technology (NTNƯ), Norway CN Khoa Công nghệ thông tin, Phạm Cẩm Ngọc trường Đại học Cơng nghệ, ĐHQGHNÌ Khoa Cơng nghệ thơng tin CN Nguyễn Thị Thùy Linh trường Dại học Công nghệ, đhqghn' o T - - Ket qua phục vụ thực tế: Dã hoàn thành chương trình thử nghiệm tìm kiếm am dựa trẽn chuỗi đặc trưng với độ xác cao Bộ chương trình có the tiêp tục phát triển để hoạt động mơi trường web • Kết đào tạo: — Đã hướng dẫn tốt nghiệp 02 sinh viên bảo vệ tháng 6/2009 đề tài tính tốn chi đặc trưng âm tìm kiếm liệu đa phương tiện — Đang hướng dẫn 01 học viên cao học (là thành viên thực đề tài) thực đề tài nghiên cứu liên quan đến chuỗi đặc trưng âm thanli tìm kiếm nhạc sở liệu đa phương tiện • Kết nâng cao tiềm lực khoa học: Nghiên cứu thuật toán, phương pháp ứng dụng chuỗi đặc trưng, hướng dẫn sinh viên thực tập sinh khoa Công nghệ Thông tin trường Đại học Công nghệ vấn đề liên quan đến chuỗi đặc trưng tìm kiếm liệu đa phương tiện đê K iế n n g h ị qui m ô đối tư ợ n g p d ụ n g k ết q u ả n g h iên cứu: Các kết đề tài gồm báo cáo, báo, chương trình ứng dụng chia sẻ cho người quan tâm đến hướng nghiên cứu đề tài Chức vụ Chủ nhiệm đề tài Thủ trưởng Chủ tịch Hội Thủ trưởng quan chù trì đề đồng đánh giá qu11íGIẢMđẺ)ỔC tài nghiệm KH0A HỌ(Ị CƠNG NGHỆ !Ĩ TRƯỞNG BAN //f9 Ạ ! V S/C0N V /■■■''.'I& ísiiỉ , r - ^ _ „ < ' v/ _\ PGS.T3: J )ỉỷu ýịl %Áế$ ìsẨ ... đề tài tính tốn chi đặc trưng âm tìm kiếm liệu đa phương tiện — Đang hướng dẫn 01 học viên cao học (là thành viên thực đề tài) thực đề tài nghiên cứu liên quan đến chuỗi đặc trưng âm thanli tìm. .. nghệ vấn đề liên quan đến chuỗi đặc trưng tìm kiếm liệu đa phương tiện 1.3.5 Tình hình sử dụng kinh phí Dã sử dụng hết kinh phí dược cấp đỏ tài 2 Báo cáo tổng kết 2.1 Đ ặt vấn đề Chuỗi đặc trưng. .. tín h tốn chuỗi đặc trưng âm th an h tìm kiếm liệu đa phương tiện • Đang hướng dẫn 01 học viên cao học (là m ột th àn h viên thực đề tài) thực đề tài nghiên cứu liên quan đến chuỗi đặc trưng âm