(Luận văn thạc sĩ) tách âm dùng phương pháp phân tích thành phần độc (lập thuật toán FASTICA)

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ QUÁCH NGUYỄN LỆ HIỀN TÁCH ÂM DÙNG PHƯƠNG PHÁP PHÂN TÍCH THÀNH PHẦN ĐỘC LẬP (THUẬT TỐN FASTICA) NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 S K C0 6 Tp Hồ Chí Minh, tháng 10/2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ QUÁCH NGUYỄN LỆ HIỀN TÁCH ÂM DÙNG PHƢƠNG PHÁP PHÂN TÍCH THÀNH PHẦN ĐỘC LẬP (THUẬT TỐN FASTICA) NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 Hướng dẫn khoa học: PGS.TS Dương Hồi Nghĩa TP.Hồ Chí Minh - Tháng 10/ 2015 LÝ LỊCH KHOA HỌC I LÝ LỊCH SƠ LƢỢC: Họ& tên: Quách Nguyễn Lệ Hiền Giới tính: Nữ Ngày, tháng, năm sinh: 15/12/1988 Nơi sinh: Bình Dương Quê quán: Tân Uyên - Bình Dương Dân tộc: Kinh Địa liên lạc: Tổ 1-Khu phố 4-P.Uyên Hưng - Tx.Tân Uyên - Bình Dương Điện thoại quan: Điện thoại nhà riêng: Fax: E-mail: II QUÁ TRÌNH ĐÀO TẠO: Trung học chuyên nghiệp: Hệ đào tạo: Thời gian đào tạo từ …/…đến …/ … Nơi học (trường, thành phố): Ngành học: Đại học: Hệ đào tạo: Đại học Thời gian đào tạo từ 09/2007 đến 02/2012 Nơi học (trường, thành phố): Đại Học Sư Phạm Kỹ Thuật TPHCM Ngành học: Công Nghệ Điện Tử Viễn Thông Tên đồ án, luận án môn thi tốt nghiệp: Nhận dạng tiếng nói Ngày & nơi bảo vệ đồ án, luận án thi tốt nghiệp: 21/02/2012 - Đại Học Sư Phạm Kỹ Thuật TPHCM Người hướng dẫn: TS Trần Tiến Đức III Q TRÌNH CƠNG TÁC CHUN MƠN KỂ TỪ KHI TỐT NGHIỆP ĐẠI HỌC: Thời gian Nơi công tác Công việc đảm nhiệm i LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Tp Hồ Chí Minh, ngày 23 tháng năm 2015 (Ký tên ghi rõ họ tên) Quách Nguyễn Lệ Hiền ii LỜI CẢM TẠ Trong suốt trình học tập, nghiên cứu hồn thành luận văn này, tơi nhận hướng dẫn, giúp đỡ quý báu thầy giáo, anh chị bạn Với lịng biết ơn sâu sắc, xin bày tỏ lời cám ơn chân thành tới tất cá nhân tập thể tận tình giúp đỡ, đóng góp ý kiến, khích lệ tinh thần để tơi có điều kiện tốt để hồn thành luận văn Đầu tiên, xin bày tỏ biết ơn sâu sắc đến Thầy PGS TS Dương Hồi Nghĩa tận tình, tận tâm bảo, hướng dẫn định hướng cho tơi suốt q trình nghiên cứu hồn thành luận văn Tơi xin bày tỏ lịng biết ơn đến Ban giám hiệu, phịng đạo tạo sau đại học trường Đại học sư phạm kỹ thuật TP HCM tạo điều kiện thuận lợi để hồn thành tốt khóa học tốt nghiệp Cuối cùng, tơi muốn gửi lời cám ơn đến gia đình, người thân bạn bè quan tâm, động viên giúp đỡ tơi mặt suốt q trình nghiên cứu, hồn thành luận văn Tp Hồ Chí Minh, ngày 10 tháng năm 2015 Quách Nguyễn Lệ Hiền iii MỞ ĐẦU Mọi vật, tượng tự nhiên không xuất biến đổi đơn độc mà xuất đồng thời với xuất biến đổi kiện khác mối quan hệ tương tác, phụ thuộc ảnh hưởng lẫn vừa mang tính quy luật vừa mang tính ngẫu nhiên Trong âm thường xảy lập Khi có nhiều tín hiệu khoảng tần số khác trộn lại, ta lọc tín hiệu riêng biệt lúc ban đầu Cịn tín hiệu nằm khoảng tần số (ví dụ nhiều người nói, tiếng hát nhạc, nhiều nhạc chơi…), ta dùng phương pháp lọc hay phân tích phổ thơng thường để tách Quá trình gọi tách nguồn Bài tốn đặt là, từ nhiều tín hiệu trộn lẫn, làm để khôi phục lại tín hiệu nguồn riêng lẻ? Bản thân tai người thời điểm tiếp nhận nhiều nguồn âm lắng nghe nhận rõ nguồn âm có chủ định Một hệ thống xử lý, nhận dạng tiếng hay điều khiển cần đạt mục tiêu Kết tốn tách tín hiệu tiếng nói sở cho nhiều ứng dụng thực tiễn liên quan tới xử lý tiếng nói Kết q trình tách có tốt kết nhận dạng xác Trong chục năm qua, người ta phát triển phương pháp giúp giải toán tách nguồn mù (Blind Source Separation – BSS) nêu hiệu quả, phân tích thành phần độc lập (Independent Component Analysis – ICA) Trong luận văn này, người nghiên cứu thực tách âm dùng phương pháp phân tích thành phần độc lập ( thuật tốn flastICA) Trong đề cập đến lý thuyết, ứng dụng tách âm với nhiều hỗn hợp, chủ yếu tập trung vào vấn đề tách nguồn xác định nơi số nguồn số lượng kênh hỗn hợp quan sát (số trộn) iv Abstract All subjects and natural phenomena very rarely appear or transform individually but concurrently with emergence and transformation of others in the interactive relationships, dependencies and influence to each other It might be methodical or random In acoustics, isolation rarely happens When multiple signals in different frequency ranges are mixed together, we can filter out individual signal as in the beginning If the signals are in the same frequency range (for example: people are talking or singing , many songs are being played ), we can’t use filtering methods or conventional spectrum analyzer to separate them This process is called source separation.The problem here is how to separate them from each other? Human ear at the same time always received many sound sources, but we always listen and recognize the sound source intentional A processing system, recognition or control should achieve such goal Results of the problem separating voice signal is the basis for many practical applications related to speech processing The results of the process with good separation, the result of new speech processing is accurate Over the last decade, people have been developing a new method to solve blind source separation (Blind Source Separation - BSS) very efficiently, which is independent component analysis (Independent Component Analysis-ICA) In this thesis, acoustical source separation method will be performed using independentcomponent analysis(flastICAalgorithm).Themethodologyandapplication of the proposed method to mixed sounds, mainly focused on the source separation from a mixture of observations (the mixture), will be presented here v MỤC LỤC Trang tựa TRANG Lý lịch khoa học i Lời cam đoan ii Lời cảm tạ iii Mở đầu iv Abstract v Mục lục vi Danh sách hình x Danh sách bảng xii Chƣơng TỔNG QUAN 1.1 Lý chọn đề tài 1.3 Mục tiêu nghiên cứu 1.4 Nhiệm vụ nghiên cứu 1.5 Khách thể đối tƣợng nghiên cứu 1.6 Giả thuyết nghiên cứu 1.7 Phạm vi nghiên cứu 1.8 Phƣơng pháp nghiên cứu 1.9 Kế hoạch thực Chƣơng KỸ THUẬT PHÒNG ẢO 2.1 Kỹ thuật âm học phịng 2.2 Mơ hình âm học phịng 2.3 Phƣơng pháp theo sóng 2.4 Phƣơng pháp theo tia 2.4.1 Phƣơng pháp vạch tia 2.4.2 Phƣơng pháp nguồn ảnh 2.5 Minh họa giải thuật 10 vi 2.6 Kết luận 11 Chƣơng 3.GIỚI THIỆU TỔNG QUAN VỀBÀI TOÁN XỬ LÝ MÙ 13 3.1 Giới thiệu toán phân tách nguồn mù Blind Signal Processing (BSP) 21 3.2 Các mơ hình đặc trƣng 23 3.3 Ứng dụng toán BSS 13 3.3.1 Xử lý văn 14 3.3.2 Xử lý tín hiệu y sinh 15 3.3.3 Dự báo tài 17 3.3.4 Hệ thống viễn thông 19 3.3.5 Xử lý âm 21 Chƣơng PHÂN TÍCH THÀNH PHẦN ĐỘC LẬP 26 4.1 Đặt vấn đề - tốn cooktail-party 27 4.2 Mơ hình ICA 30 4.3 Các điểm không xác định ICA 31 4.4 Sự độc lập thống kê 32 4.4.1 Bất tƣơng quan 32 4.4.2 Độc lập thống kê 33 4.4.3 Tính phi Gauss 33 4.4.4 Hạn chế ICA 34 4.5 Ƣớc lƣợng ICA 34 4.5.1 Phƣơng pháp ICA sử dụng tính phi Gauss 35 4.5.2 Phƣơng pháp ICA sử dụng thông tin hỗ tƣơng 43 4.5.3 Phƣơng pháp ICA sử dụng tính phi tƣơng quan phi tuyến 44 4.6 PCA ICA 45 4.7 Kết luận 48 Chƣơng THUẬT TOÁN FASTICA 49 5.1 Tiền xử lý ICA 49 5.1.1 Qui tâm 49 5.1.2 Trắng hóa 50 vii 5.2 Xấp xỉ hóa negentropy 53 5.3 Thuật tốn FastICA 54 Chƣơng THỰC NGHIỆM TÁCH ÂM 58 6.1 Mơ hình thực 58 6.2 Chuẩn đánh giá 59 6.3 Thực nghiệm kết 60 6.4 Kết luận 77 Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 78 TÀI LIỆU THAM KHẢO 82 PHỤ LỤC 84 Thuật toán FastICA 84 viii Hình 6.12: Tín hiệu ước lượng y1, y2, y3, y4, y5 Thực nghiệm 5: Lai ghép từ tập nhiều loại tín hiệu: tiếng nói, tiếng hát, nhạc khơng lời, người hát có nhạc, tất mười nguồn âm Kết tách (ước lượng) y thu đánh giá dạng sóng kết đánh giá tốt 72 Hình 6.13: Tín hiệu nguồn s1, s2,, s10 73 Hình 6.14: Tín hiệu trộn x1, x2,, x10 74 Hình 6.15: Tín hiệu ước lượng y1, y2,, y10 75 Hình 6.13, 6.14, 6.15: Biểu diễn tín hiệu thực nghiệm tương ứng tín hiệu nguồn, tín hiệu lai trộn tín hiệu ước lượng Tín hiệu tách thu từ hỗn hợp trơn âm khơng có lẫn lộn nguồn âm khác Và thực nghiệm trước, tín hiệu âm tách không đảm bảo biên độ thứtự nguồn phát Tuy nhiên, đặc trưng tần số, dạng sóng tín hiệu kết đánh giá khách quan tốt Thứ tự nguồn âm nhận kết đánh sau: Nguồn si Tín hiệu tách yi E MSE s1 y2 5.0099 1,0886 s2 y5 4.5652 0,9142 s3 y4 4.5080 1,1124 s4 y6 4.2282 1,1304 s5 y1 5.1247 1,0842 s6 y3 4.5932 1,1077 s7 y9 4.5641 1,1092 s8 y8 3.9794 0,8908 s9 y7 4.1771 0,8996 s10 y10 4.1429 1,1366 Bảng 6.5: Kết đánh giá thực nghiệm 76 6.4 Kết luận Với thực nghiệm trình bày, thực nghiệm trường hợp khác nhìn chung tất cho kết tốt thể tính hiệu sức mạnh kỹ thuật phân tách tín hiệu mơ hình ICA thuật tốn fastICA Hệ số đánh giá khách quan E hệ số MSE đạt mức thích hợp Nhưng rõ ràng với minh hoạ dạng sóng tín hiệu ước lượng, việc cảm nhận chủ quan điều cần thiết trực quan Nguồn sử dụng đa dạng từ tiếng nói, tiếng hát, nhạc khơng lời, thân người nghe không tập trung khó nhận rõ thành phần Trong lúc quan sát dạng sóng ước lượng, dễ dàng nhận nguồn tín hiệu đầu vào thực nghiệm tương ứng 77 Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Như vậy, người thực phần thực thành công ứng dụng kỹ thuật ICA giải toán BSS việc tách âm Các thực nghiệm tiến hành với đặc trưng âm nguồn giọng nam, giọng nữ, tiếng nhạc Các kết thực nghiệm đánh giá khách quan với tỉ số S/N chủ quan việc quan sát dạng sóng tín hiệu, nghe âm phát lại đạt kết tốt Qua phân tích cở sở lý thuyết chương 3,4,5 đồng thời thực nghiệm tách âm chương có nhìn tổng quan kỹ thuật ICA:  LÝ THUYẾT ICA Sửdụng mơ hình biến thống kê đưa mơ hình định nghĩa ICA sở (bỏ qua ảnh hưởng nhiễu tác động thay đổi môi trường) Vectơ liệu khảo sát x tổ hợp tuyến tính vectơ thành phần độc lập thống kê s: x  As Điểm phân biệt kỹ thuật ICA kỹ thuật truyền thống PCA, FA (factor analysis ) cấu trúc phi Gauss liệu khảo sát ICA sử dụng thông tin thống kê bậc cao (bậc 4) so với PCA sử dụng thơng tin thống kê bậc 2, kỹ thuật ICA phân tách thành phần độc lập mà điều không khả thi với kỹ thuật PCA Dữkiệu khảo sát tiền xử lý trắng hoá (whitening) tận dụng thống kê bậc hai ma trận hiệp phương sai: z  Vx  VA s biến đổi tuyến tính VA biến đổi trực giao, nghĩa phép quay Chúng ta tìm ma trận trực giao W cho y  Wz ước lượng thành phần độc lập Tiền xử lý trắng hoá giúp giảm khoảng phân nửa hệ số cần ước lượng, nghĩa giải tốn ICA 78 Bên cạnh số giải pháp tăng cường sức mạnh cho ICA xem bước tiền xử lý Lọc thông thấp thể tính hữu hiệu giảm nhiễu, lọc thơng cao làm tăng tính độc lập phi Gauss thành phần Kết hợp hai kiểu lọc sẽđem lại xử lý thích hợp, có ích Một phương pháp hữu ích khác giảm số chiều liệu theo PCA: giảm nhiễu tránh overlearning, đồng thời giải tốn liệu có số thành phần độc lập nhỏ thua số hỗn hợp Nguyên lý ước lượng ICA dựa đặc tính phi Gauss sở lý thuyết định lý giới hạn trung tâm Các thành phần độc lập tìm thấy qua xác định hướng theo liệu thể tính tính phi Gauss cực đại Đặc tính phi Guass đánh giá qua phép đo kurtosis phép đo dựa negentropy Cùng với phép đo này, mơ hình ICA ước lượng phương pháp gradient lặp điểm cố định (fixed-point) Xử lý nhiều thành phần độc lập cách tìm nhiều hướng phi Gauss đạt cực đại theo ràng buộc giảm tương quan Minh hoạ đơn giản ICA phép chiếu hình học hàm mật độ đồng thời tín hiệu thu (hai ví dụ hình 4.12, 4.14) Việc phát triển kỹ thuật định lượng đặc trưng phi Gauss xác mang đến kết tin cậy Rõ ràng thay phép đo cổ điển kurtosis negentropy đem lại sức mạnh cho ICA Tuy nhiên, nhiều phép đo khác phát triển điều nằm phạm vi đề tài  THỰC NGHIỆM TÁCH ÂM Tiến hành thực nghiệm với nhiều tập tín hiệu khác nhau, từ nguồn đến nhiều nguồn, có nguồn đặc trưng giọng nam, nguồn đặc trưng giọng nữ, có nguồn nhạc khơng lời, lại có nguồn tiếng hát nhạc Có nghĩa tập liệu thực nghiệm không nhiều đặc tả số trường hợp thường gặp Nhận thấy rằng, kết cho sau phép phân tích ICA hồn tồn khả quan, nguồn độc lập phân tách cách rõ ràng so với đầu vào tín hiệu 79 hỗn hợp chúng.Kết phân tách cho nguồn tách thể tính riêng biệt nguồn âm Khả bảo đảm dạng tín hiệu gốc (so với tín hiệu mẫu chưa lai trộn) thuộc tính mạnh mẽ giải thuật ICA Một số trường hợp ảnh hưởng nguồn âm kết phân tích, nhiên âm ln thể rõ nhất, mức biên độ vượt qua rõ so với nguồn âm ký sinh  HƢỚNG PHÁT TRIỂN ĐỀ TÀI Từ việc phân tích lý thuyết ICA kết thực nghiệm tách âm, thấy số hướng phát triển từ mơ hình ICA sở sau: Ưu tiên bắt buộc phải hệ thống trực tuyếnvà thời gian thực Hiện có phần cứng cho thu âm 8, 16 nhiều tín hiệu lúc Hãng Texas Instrument đưa thiết bị với phần mềm LabView hỗ trợ phương pháp Mơ hình trễ Tín hiệu truyền không tức thời cấu trúc đường truyền định hướng nguồn phát mà sinh mức trễ khác nguồn tín hiệu Một xét đến mơ hình ICA sở khơng cịn đảm bảo tính đắn, cần xây dựng mơ hình khác có mơ tả tượng trễ Lai ghép phi tuyến Thực tế cho thấy lai ghép, cộng nguồn âm tuyến tính Một cách tổng qt mơ hình phi tuyến, lúc ma trận A khơng cịn đơn giản với số xác định trước Định vị nguồn phát Từ kết phân tách nguồn, ý tưởng khả thi xác định ngược lại vị trí nguồn phát Nhận dạng tiếng Đây ứng dụng trực tiếp kết ICA, giải tốn truyền thơng người máy Kỹ thuật ICA phương pháp xử lý tín hiệu dựa cơng cụ tốn xác suất thống kê, cho phép xử lý nhiều nguồn tín hiệu thay nguồn tín hiệu đơn dựa đặc tính phổ Thật phương pháp ICA trở thành 80 cơng cụ phân tích thống kê bên cạnh kỹ thuật truyền thống PCA, FA Các kỹ thuật phân tích nguồn mù mau sớm phát triển giới hạn điều kiện ràng buộc mơ hình ICA sở giải tương lai gần 81 TÀI LIỆU THAM KHẢO [1] David B.Roe, Jay G.Wilpon, “Voice Communication Between Humans and Machines”.National Academy of Sciences, 1994 [2] Hyvarinen, A and Oja A fast fixed-point algorithms for independent component analysis Neural Computation, 9:1483-1492,1997 [3]Hyvarinen, A.Fast and robust fixed-point algorithms for independent component analysis IEEE Trans On Neural Networks, 2001 [4]Hyvarinen, A Survey on independent component analysis Neural Computing urveys,2: 94:128,2000 [5] Hyvarinen, A., Karhunen,J., and Oja, E.independent component analysis John Wiley & Sons, Inc, 2001 [6] Lauri Savioja, “Modeling Techniques foer Virtual Acoustics” Helsinki University of Technology, 1999 [7] A.Kulowski Algorithmic representation of the ray tracing technique Applied Acoustics, 1985 [8] J Borish Extension of the image model to arbitrary polyhedra J.Acoust Soc Am., 75(6): 1827-1836 1984 [9] D.Botteldooren Finite-difference tim-domain simulation of lowfrequency room acoustic problems.J.Acoust.Soc.Am., 98(6):3302-3308, 1995 [10] H Lehnert and J Blauert Rrinciples of binaural room simulation Applied Acoustics, 36(3-4):259-291, 1992 [11] Aapo Hyvarinen, Juha Karhunen, Erkkl Oja, Independent component analysis, John Wiley & Sons, Inc, 2001 [12]Aapo Hyvarinen, Erkkl Oja “Independent component analysis: Algorithms and Analysis,” Neural Networks, 13(4-5):411-430, 2000 82 [13] H Attias and C E Schreiner, “Blind source separation and deconvolution: The dynamic component analysis algorithm,” Neural Computation, vol 10, no 6, pp 1373–1424, 1998 [14]M Zibulevsky and B A Pearlmutter, “Blind source separation by sparse decomposition,” Neural Computation, vol 13, no 4, pp 863–882, 2001 [15] Nikolaos Mitianoudis,”Audio Source Separation using ICA,” PhD thesis, Queen Mary, University of London, April 2004 [16]Ricky Der., “Blind Signal Separation, Department of Electrical and Computer Engineering,” McGill University, 2001 [17] Te-Won Lee, Mark Girolami, T.J.Sejnowski, “ICA using Extended Infomax Algorithm for mixed sub-Gaussian and super-Gaussian Sources,” Neural Computation 11(2): 417-441(1999) [18]Jaya Kulchandani, Kruti J Dangarwala, " Blind Source Separation via Independent Component Analysis : Algorithms and Applications ", Jaya Kulchandani et al, / (IJCSIT) International Journal of Computer Science and Information Technologies, Vol (5) , 2014 [19]Ruitong Huang, AndrasGyorgy and CsabaSzepesvari, "Deterministic Independent Component Analysis", Proceedings of the 32nd International Conference on Machine Learning, Lille, France, 2015 [20] Trương Tấn Quang, Nguyễn Hữu Phương Tách âm dùng phương pháp phân tích thành phần độc lập , Tạp chí phát triển KH&CN, tập 9, số -2006 [21]Vương Hoàng Nam Phương pháp phân tích thành phần độc lập, luận văn tốt nghiệp chuyên đề nghiên cứu sinh trường ĐHBK Hà Nội, 2011 83 PHỤ LỤC Thuật toán FastICA Chọn m số nguồn tín hiệu cần đánh giá, gán p 1 Khởi tạo ngẫu nhiên giá trị vector đơn vị w p thoả mãn: w p 1 Gán     w  E zg  wT z   E g   wT z  w Thực trực giao hoá theo phương pháp Gram-Schmidt : p 1 wp  wp    wTp w j w j j 1 Gán wp  wp / wp Xét điều kiện hội tụ wkp 1 , wkp    Nếu thuật toán chưa hội tụ , trở lại bước Gán p  p  p  m trở lại bước Code matlab đánh giá sai số phƣơng pháp đề xuất: Tính E = ? x1 = in; x2 = out; e = x2-x1; s_e = sumsqr(e); s_x1 = sumsqr(x1); s_x2 = sumsqr(x2); error = sqrt(s_e/sqrt(s_x1*s_x2)) 84 Tính MSE = ? in = Si; out = yi; n = length(in); mse = (sum((out(:) - in(:)).^2))/n; 85 S K L 0 ... TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ QUÁCH NGUYỄN LỆ HIỀN TÁCH ÂM DÙNG PHƢƠNG PHÁP PHÂN TÍCH THÀNH PHẦN ĐỘC LẬP (THUẬT TỐN FASTICA) NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203... Analysis – ICA) Trong luận văn này, người nghiên cứu thực tách âm dùng phương pháp phân tích thành phần độc lập ( thuật tốn flastICA) Trong đề cập đến lý thuyết, ứng dụng tách âm với nhiều hỗn hợp,... thể gồm: tổng quan toán xử lý mù, phương pháp phân tích thành phần độc lập, lý thuyết mơ hình tốn thuật tốn fastICA Sau áp dụng tách nguồn mù âm thuật toán FastICA - Thực mô phần mềm mô Matlab