đề tài khoa học Chuyên đề Phương pháp phân tích thành phần độc lập

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI *************** CHUYÊN ĐỀ PHƯƠNG PHÁP PHÂN TÍCH THÀNH PHẦN ĐỘC LẬP (INDEPENDENT COMPONENT ANALYSIS) Nghiên cứu sinh: Vương Hoàng Nam Giáo viên hướng dẫn: PGS.TS Nguyễn QuốcTrung PGS.TSKH Trần Hoài Linh Hà Nội – 11/2011 LỜI NÓI ĐẦU Trong thành công chuyên đề này, xin trân trọng cám ơn đồng nghiệp Viện Điện tử - Viễn thông, Trường ĐHBK Hà Nội, bạn bè, đồng nghiệp khác nước đóng góp cho nhiều ý kiến quý báu, trợ giúp số hoạt động nghiên cứu chuyên đề „ NCS Vương Hoàng Nam Phương pháp Phân tích thành phần độc lập MỤC LỤC CHƯƠNG 1- CƠ SỞ LÝ THUYẾT BÀI TOÁN XỬ LÝ MÙ VÀ PHƯƠNG PHÁP PHÂN TÍCH THÀNH PHẦN ĐỘC LẬP 1.1 Giới thiệu toán phân tách mù nguồn tin 1.2 Phương pháp Phân tích thành phần độc lập 11 1.3 Phương pháp ICA sử dụng tính phi Gauss 11 1.4 Phương pháp ICA sử dụng thông tin hỗ tương 19 1.5 Phương pháp ICA sử dụng phi tương quan phi tuyến 20 CHƯƠNG 2- THUẬT TOÁN FASTICA VÀ COMPLEX-FASTICA 22 2.1 Thuật toán FastICA 22 2.1.1 Quá trình tiền xử lý 22 2.1.2 Xấp xỉ hóa Negentropy ………24 2.1.3 Thuật toán FastICA ………………………………………….25 2.1.4 Minh họa thuật toán FastICA .………………………………………….29 2.1.5 Thuật toán IP-FastICA ………………………………………….35 2.2 Thuật toán Complex-FastICA ……………………………………….44 TÀI LIỆU THAM KHẢO 49 DANH MỤC CÔNG TRÌNH NGHIÊN CỨU 56 _ Trường Đại học Bách Khoa Hà Nội http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập DANH MỤC TỪ VIẾT TẮT Ký tự viết tắt Tiếng Anh Tiếng Việt AP Assignment Problem Bài toán phân công việc BSP Blind Signal Processing Xử lý tín hiệu mù BSS Blind Source Separation Phân tách nguồn mù DOA Direction of Arrival Hướng góc tới DP Directional Pattern Giản đồ phương hướng ECG Electrocardiagram Tín hiệu điện tâm đồ FD-ICA Frequency Domain ICA Phương pháp ICA miền tần số FFT Fast Fourier Transform Biến đổi Fourier HA Hungarian Algorithm Thuật toán Hungary ICA Independent Component Analysis Phân tích thành phần độc lập IC Independent Component Thành phần độc lập PCA Principal Component Analysis Phân tích thành phần PDF Probability Density Function Hàm mật độ xác suất STFT Short Time Fourier Transform Biến đổi Fourier thời gian ngắn TD-ICA Time Domain ICA Phương pháp ICA miền thời gian _ Trường Đại học Bách Khoa Hà Nội http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập ⎯ CHƯƠNG ⎯ CƠ SỞ LÝ THUYẾT BÀI TOÁN XỬ LÝ MÙ VÀ PHƯƠNG PHÁP PHÂN TÍCH THÀNH PHẦN ĐỘC LẬP T rong khoảng 20 năm trở lại , xử lý tín hiệu mù Blind Signal Processing (BSP) lĩnh vực mẻ thu hút nhiều quan tâm nghiên cứu nhà khoa học đạt số thành tựu định , mở hướng phát triển tương lai Vấn đề xử lý tín hiệu mù mà điển hình toán phân tách nguồn tin mù Blind Source Separation (BSS) toán tìm nguồn tín hiệu ban đầu thông qua việc phân tích đánh giá tín hiệu cảm biến đầu , biết thông tin trình truyền đạt Trong phương pháp giải toán phương pháp phân tích thành phần độc lập Independent Component Analysis (ICA) phương pháp sử dụng phổ biến ưu điểm Trong chương này, xem xét mối liên hệ BSS ICA , đồng thời nghiên cứu phát triển phương pháp ICA cho mô hình toán khác 1.1 Giới thiệu toán phân tách mù nguồn tin Phân tách nguồn tín hiệu mù BSS phương pháp sử dụng phổ biến cho mục đích đánh giá nguồn tín hiệu ban đầu thông qua tín hiệu thu cảm biến đầu , mà không cần biết đến đặc tính hàm truyền đạt kênh truyền Mô hình toán học đơn giản toán BSS sau : Nếu gọi s = ( s1 , s2 , , s N ) T vectơ ngẫu nhiên , thành phần xem nguồn tín hiệu gốc ban đầu , x = ( x1 , x2 , , xM ) vectơ tín T hiệu thu cảm biến xác định phương trình _ Trường Đại học Bách Khoa Hà Nội http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập x = As (1.1) Hình 1.1 - Mô hình toán BSS tổng quát A ma trận trộn đặc trưng cho đặc tính truyền đạt kênh truyền Khi nhiệm vụ toán BSS phải xác định ma trận W , gọi ma trận tách , y = Wx tín hiệu nguồn khôi phục Hình 1.2 - Mô hình giải toán BSS Để minh họa cho toán BSS , xây dựng toán xử lý mù nguồn âm ( toán Cocktail ) sau : _ Trường Đại học Bách Khoa Hà Nội http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập Giả sử phòng có N nguồn âm ( tiếng nói, tiếng nhạc cụ,…) thu M microphone Trong trường hợp cụ thể nguồn âm đặc tính truyền đạt phòng ( độ trễ , kết cấu phòng , hiệu ứng tiếng vọng , … ) , toán BSS sau : khôi phục lại nguồn âm ban đầu dựa vào tín hiệu thu từ microphone Hình 1.3 – Minh họa xử lý mù toán cocktail Dựa đặc tính kênh truyền mối tương quan số lượng microphone số lượng nguồn âm thanh, toán BSS chia thành nhiều mô hình riêng Dưới mô hình đặc trưng với nhiều mức độ phức tạp khác có ý nghĩa lý thuyết thực tế: • Mô hình tuyến tính ( mô hình tức thời ) nghĩa tín hiệu thu cảm biến tổ hợp tuyến tính tín hiệu nguồn thời điểm đó: N xi ( t ) = ∑ aij si ( t ) , i = 1, , M (1.2) j =1 _ Trường Đại học Bách Khoa Hà Nội http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập • Mô hình trộn chập : tín hiệu thu microphone bao gồm tín hiệu tức thời nguồn phát tín hiệu thu qua phản xạ, tán xạ (hiện tượng trễ, đa đường tiếng vọng) N xi ( t ) = ∑∑ aijk s j ( t − k ) , i = 1, , M (1.3) j =1 k • Mô hình tuyến tính có nhiễu : Tương tự trường hợp mô hình tuyến tính có thêm nhiễu N xi ( t ) = ∑ aij si ( t ) + ni ( t ) , i = 1, , M (1.4) j =1 • Mô hình trộn chập có nhiễu : Tương tự mô hình trộn chập có thêm nhiễu N xi ( t ) = ∑∑ aijk s j ( t − k ) + ni ( t ) , i = 1, , M (1.5) j =1 k • Trường hợp M < N (underdetermined case) : với số nguồn nhiều số cảm biến Đây trường hợp toán khó • Trường hợp M > N (overdetemined case) : với số nguồn số cảm biến Hầu hết công trình nghiên cứu ban đầu lĩnh vực phân tách nguồn mù BSS mô hình tuyến tính sau mô hình trộn chập với giả thiết số lượng nguồn tín hiệu không số lượng sensor Trong thực tế , ứng dụng BSS chủ yếu mô hình trộn chập nhiên vai trò mô hình BSS tuyến tính quan trọng tiền đề để phát triển cho mô hình trộn chập Việc đánh mô hình liệu BSS thường thực cách xây dựng hàm mục tiêu thực cực đại (cực tiểu) hóa hàm Các phương pháp BSS khác thường phân biệt cách xây dựng hàm mục tiêu thuật toán tối ưu sử dụng Chúng ta diễn đạt điều qua công thức sau: _ Trường Đại học Bách Khoa Hà Nội http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập Phương pháp BSS = Hàm mục tiêu + Thuật toán tối ưu (1.6) Các thuộc tính phương pháp BSS phụ thuộc vào hai thành phần vế phải (1.6) sau : • Các thuộc tính thống kê ,đặc trưng phương pháp BSS phụ thuộc vào cách chọn lựa hàm mục tiêu • Các thuộc tính giải thuật ( tốc độ hội tụ , khối lượng tính toán , nhớ đòi hỏi … ) phụ thuộc vào thuật toán tối ưu Hai lớp thuộc tính độc lập Điều có nghĩa thuật toán tối ưu khác sử dụng cho hàm mục tiêu , thuật toán tối ưu dùng cho hàm mục tiêu khác Để đưa hàm mục tiêu phải sử dụng đặc trưng tín hiệu nguồn Trong khuôn khổ đồ án chủ yếu sử dụng tính độc lập hỗ tương nguồn tín hiệu với giả thiết tín hiệu từ nguồn khác xem độc lập thống kê với Đây phương pháp phổ biến thành công lĩnh vực BSS trình bày phần 1.2 Phân tích thành phần độc lập (ICA) tuyến tính Một phương pháp giải phổ biến toán BSS phương pháp phân tích thành phần độc lập ICA [1,58] Phương pháp ICA dựa giả thiết thực tế nguồn tín hiệu gốc độc lập thống kê hỗ tương Phương pháp giới thiệu lần đầu Jutten - Hérault vào năm 1988 với tên gọi “Independent Component Analysis” phương pháp gần giống với phương pháp “Pricipal Component Analysis” (Phân tích thành phần chính) [12] Đến năm 1994, công trình nghiên cứu [52], P.Common khẳng định vai trò phương pháp ICA từ ICA xem hướng nghiên cứu mới, nhiều tiềm ứng dụng nhiều lĩnh vực Trước trình bày phương pháp ICA , đưa số định nghĩa Ký hiệu s1 , s , , s m số biến ngẫu nhiên với hàm phân bố mật độ _ Trường Đại học Bách Khoa Hà Nội http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập xác suất chung f ( s1 , s , , s m ) Để đơn giản hóa , ta giả thiết biến có trị trung bình Các biến si xem độc lập thống kê với ( hỗ tương ) hàm mật độ xác suất thỏa mãn : f ( s1 , , sm ) = f1 ( s1 ) f ( s2 ) f m ( sm ) (1.7) fi ( si ) ký hiệu mật độ phân bố lề si Chú ý khái niệm độc lập cần phân biệt với khái niệm bất tương quan Hai biến si , s j định nghĩa bất tương quan thỏa mãn điều kiện sau : E { si s j } − E { si } E { s j } = ∀i ≠ j (1.8) Hai biến ngẫu nhiên si , s j xem độc lập cần phải thỏa mãn : { } { } E g1 ( si ) g ( s j ) − E { g1 ( si )} E g ( s j ) = ∀i ≠ j (1.9) với g1 g hàm biến đổi phi tuyến xác định Do theo định nghĩa , khái niệm bất tương quan trường hợp riêng khái niệm độc lập Độc lập nhìn chung thủ tục mạnh so với bất tương quan , độc lập đưa đến bất tương quan , bất tương quan đưa đến độc lập Tiếp theo định nghĩa ICA Ở ta xét đến trường hợp tuyến tính cho dù dạng phi tuyến ICA tồn nghiên cứu Ký hiệu x = ( x1 , x2 , , xm ) vector ngẫu nhiên m-chiều Khi ta định T nghĩa ICA tuyến tính sau: Định nghĩa ICA ICA vector ngẫu nhiên x tìm phép biến đổi tuyến tính y = Wx ( ) cho thành phần yi i = 1, m độc lập hỗ tương thông qua việc cực đại hóa hàm đo tính độc lập hỗ tương ( hàm mục tiêu ) F ( y1 , , ym ) _ Trường Đại học Bách Khoa Hà Nội 10 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập (a) (b) (c) (d) Hình 2.11- Ảnh gốc thực nghiệm Hình 2.12- Ảnh trộn thực nghiệm Hình 2.13- Ảnh khôi phục thực nghiệm Bảng 2.1 So sánh sai số PI Thuật toán Sai số PI IP-FastICA 0,10011 FastICA ( G ) 0,22006 SOBI 0,18862 INFOMAX 0,21352 _ Trường Đại học Bách Khoa Hà Nội 43 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập Bảng 2.2 So sánh PSNR PSNR(dB) Ảnh IP-FastICA FastICA SOBI INFOMAX (a) 23.25 13.67 16.34 12.86 (b) 14.69 12.75 13.23 13.01 (c) 21.13 14.32 15.02 13.43 (d) 17.18 13.26 14.21 13.54 Trong phần này, đề xuất giải pháp ICA tuyến tính dựa thuật toán FastICA sử dụng khái niệm sai số kết dự báo chuỗi tốt (Innovation Process-IP) Kết thực nghiệm nhiều trường hợp tín hiệu ban đầu có tương quan thời gian, việc phân tách mù tín hiệu phương pháp sử dụng tính độc lập tương hỗ IP cho kết tốt thuật toán ICA tuyến tính thông dụng trước 2.3 Thuật toán Complex-FastICA Thuật toán FastICA phức,là thuật toán mở rộng FastICA cho liệu trị phức, đề xuất E.Bingham A.Hyvarinen [4] Để tìm hiểu thuật toán đầu tiên, nhắc lại số lý thuyết giá trị ngẫu nhiên phức Một giá trị ngẫu nhiên phức y biểu diễn y = u + iv u v giá trị ngẫu nhiên Mật độ y f ( y ) = f ( u , v ) ∈ R Kì vọng y E { y} = E {u } + iE {v} Hai giá trị phức y1 y2 bất tương quan { } { } * * E y1 y 2* = E { y1} E y 2* , y = u − iv y liên hợp phức y Ma trận hiệp phương sai vector ngẫu nhiên phức có trị trung bình y = ( y1 , , y n ) : _ Trường Đại học Bách Khoa Hà Nội 44 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập E { yy H } ⎛ C11 C1n ⎞ ⎜ ⎟ =⎜ M ⎟ ⎜ C n1 C nn ⎟ ⎝ ⎠ (2.39) C jk = E { y j y k* } y H chuyển vị liên hợp Hermitian y Dữ liệu trắng hóa theo cách thông thường Bây tổng quát hóa cho tín hiệu phức Trong trường hợp phức, phân bố giá trị phức thường phân bố cầu mà có môđun có ý nghĩa Bởi sử dụng phép đo tính phi Gaussian dựa môđun Cơ sử dụng sau: ⎧ ⎛ ⎞⎫ ⎪⎩ ⎝ ⎠ ⎭⎪ J G ( w ) = E ⎪⎨G ⎜ w H z ⎟ ⎪⎬ (2.40) G hàm chẵn, w vector phức n chiều thỏa mãn ⎧ ⎫ E ⎨ w H z ⎬ = w = Có lựa chọn cho hàm G với đạo hàm g ⎩ ⎭ đề xuất sau [4]: G1 ( y ) = 0.1 + y , g1 ( y ) = 0.1 + y (2.41) 0.1 + y (2.42) G2 ( y ) = log ( 0.1 + y ) , g ( y ) = G3 ( y ) = y , g3 ( y ) = y (2.43) Thuật toán mở rộng để ước lượng toàn chuyển đổi ICA cách xác trường hợp liệu trị thực Phương pháp trực giao hóa sử dụng việc thay cách đơn giản thao tác chuyển đổi công thức thao tác Hermitian _ Trường Đại học Bách Khoa Hà Nội 45 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập Nếu đặt w = wr + iwi x = xr + ixi Đối với trường hợp số phức, thuật toán thực riêng biệt theo phần thực phần ảo w Ta giả thiết nguồn tín hiệu s j “trắng” , thỏa mãn điều kiện sau : Trị trung bình 0, phương sai đơn vị, phần thực phần ảo biến bất tương quan Điều có nghĩa E {ss H } = I E {ss T } = Ο Tín hiệu thu x trắng hóa để thỏa mãn E { xx H } = I ⎫ ⎧ Theo điều kiện Kuhn-Tucker, tối ưu hàm E ⎪⎨G ⎛⎜ w H x ⎞⎟ ⎪⎬ điều kiện ràng ⎩⎪ ⎝ ⎠ ⎭⎪ 2 buộc E ⎧⎨ w H x ⎫⎬ = w = đạt điểm thỏa mãn ⎩ ⎭ ⎧ ⎛ ⎩⎪ ⎝ ⎞⎫ ⎧ 2⎫ ⎠ ⎭⎪ ⎩ ⎭ ∇ E ⎪⎨G ⎜ w H x ⎟ ⎪⎬ − β ∇ E ⎨ w H x ⎬ = (2.44) β ∈  gradient tính riêng biệt theo phần thực phần ảo w Vế đầu (2.44) tính sau ⎧ ⎛ ⎪⎩ ⎝ ∇ E ⎪⎨G ⎜ ⎛ ∂ ⎜ ⎜ ∂w1r ⎜ ∂ ⎜ ⎜ ∂w1i ⎞⎫ w H x ⎟ ⎪⎬ = ⎜⎜M ⎠ ⎪⎭ ⎜ ∂ ⎜ ⎜ ∂wnr ⎜ ∂ ⎜ ⎜ ∂wni ⎝ ⎞ ⎛ ⎧ ⎟ ⎜ E ⎨ Re ⎟ ⎜ ⎩ ⎟ ⎜ ⎧ ⎟ ⎜ E ⎨ Im ⎟ ⎜ ⎩ ⎟ ⎧⎪ ⎛ H ⎞ ⎫⎪ ⎜ ⎟ ⎨G ⎜ w x ⎟ ⎬ = ⎜ ⎝ ⎠ ⎪ ⎪ ⎭ ⎟⎩ ⎜ ⎧ ⎟ ⎜ E ⎨ Re ⎟ ⎜ ⎩ ⎟ ⎜ ⎧ ⎟ ⎜ E ⎨ Im ⎟ ⎝ ⎩ ⎠ {x ( w x ) } g ⎛⎜⎝ w x {x ( w x ) } g ⎛⎜⎝ w x 1 H H * * M {x ( w x ) } g ⎛⎜⎝ {x ( w x ) } g ⎛⎜⎝ n n H H * * ⎞⎫ ⎞ ⎟⎬ ⎟ ⎠⎭ ⎟ ⎟ H ⎞⎫ ⎟⎬ ⎟ ⎠⎭ ⎟ ⎟ ⎟ H ⎞⎫ ⎟ w x ⎟⎬ ⎟ ⎠⎭ ⎟ ⎟ ⎫ w H x ⎞⎟ ⎬ ⎟ ⎠⎭ ⎠ H (2.45) Vế sau (2.44) xác định sau : _ Trường Đại học Bách Khoa Hà Nội 46 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập { } { } ⎛ Re w ⎞ ⎟ ⎜ ⎜ Im w ⎟ ⎟ ⎜ ⎧ H 2⎫ ⎜ ⎟ ∇ E ⎨ w x ⎬ = ⎜M ⎟ ⎩ ⎭ ⎜ Re {wn } ⎟ ⎜ ⎟ ⎜⎜ Im {wn } ⎟⎟ ⎝ ⎠ (2.46) với giả thiết E { xx H } = I Để giải toán (2.44), phương pháp Newton sử dụng Ma trận Jacobian ⎧ ⎫ ⎛ ⎞ ∇ E ⎪⎨G ⎜ w H x ⎟ ⎪⎬ (2.45) tính xấp xỉ sau ⎪⎩ ⎝ ⎠ ⎪⎭ ⎧ ⎛ ⎩⎪ ⎝ ⎞⎫ ⎧⎛ ⎠ ⎭⎪ ⎩⎪⎝ 2⎞ ⎛ 2⎞ ⎠ ⎝ ⎠ ∇ E ⎪⎨G ⎜ w H x ⎟ ⎪⎬ = E ⎪⎨⎜ ∇ w H x ⎟ g ⎜ w H x ⎟ T ⎞⎛ 2⎞ ⎞⎫ ⎛ ⎛ H H + ⎜ ∇ w x ⎟ ⎜ ∇ w x ⎟ g ' ⎜ w H x ⎟ ⎪⎬ ⎝ ⎠⎝ ⎠ ⎝ ⎠ ⎪⎭ ⎧ ⎛ 2⎞ ⎩⎪ ⎝ ⎠ ⎛ ⎞⎫ ⎝ ⎠ ⎭⎪ ≈ E ⎪⎨ g ⎜ wH x ⎟ + wH x g ' ⎜ wH x ⎟ ⎪⎬ I (2.47) phép biến đổi giả thiết E { xx T } = Ο (như hệ từ E {ss T } = Ο ) sử dụng Khi ma trận Jacobian β ∇ E ⎧⎨ w H x ⎫⎬ xác định sau : ⎩ ⎧ 2⎫ ⎩ ⎭ ⎭ β∇ E ⎨ wH x ⎬ = 2β I (2.48) Do ma trận Jacobian (2.47) xác định : ⎛ ⎧ ⎛ 2⎞ ⎝ ⎩⎪ ⎝ ⎠ ⎛ ⎞⎫ ⎞ ⎝ ⎠ ⎭⎪ ⎠ J = ⎜ E ⎪⎨ g ⎜ wH x ⎟ + wH x g ' ⎜ w H x ⎟ ⎪⎬ − β ⎟ I ⎜ ⎟ (2.49) _ Trường Đại học Bách Khoa Hà Nội 47 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập ma trận đường chéo, khả đảo Bước lặp Newton thuật toán xác định ⎧ w+ = w − ( ⎛ ) ⎞⎫ E ⎪⎨ x w H x g ⎜ w H x ⎟ ⎪⎬ − β w ⎩⎪ * ⎧ ⎛ ⎝ ⎞ ⎠ ⎭⎪ ⎛ ⎞⎫ E ⎪⎨ g ⎜ w H x ⎟ + w H x g ' ⎜ w H x ⎟ ⎪⎬ − β ⎩⎪ ⎝ ⎠ wnew = ⎝ (2.50) ⎠ ⎭⎪ w+ w+ (2.51) 2 ⎫ ⎧ Nếu nhân vế (2.50) với β − E ⎪⎨ g ⎛⎜ w H x ⎞⎟ + w H x g ' ⎛⎜ w H x ⎞⎟ ⎪⎬ ta có: ⎪⎩ ⎝ ⎧ ( ) ⎛ ⎠ ⎝ ⎞⎫ w + = E ⎪⎨ x w H x * g ⎜ w H x ⎟ ⎪⎬ − ⎪⎩ ⎝ ⎠ ⎭⎪ ⎠ ⎪⎭ 2⎞ 2 ⎞⎫ ⎧ ⎛ ⎛ − E ⎪⎨ g ⎜ w H x ⎟ + w H x g ' ⎜ w H x ⎟ ⎪⎬ w ⎠ ⎝ ⎠ ⎪⎭ ⎪⎩ ⎝ wnew = w+ w+ (2.52) _ Trường Đại học Bách Khoa Hà Nội 48 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập TÀI LIỆU THAM KHẢO [1] Aapo Hyvarinen, Juha Karhunen and Erkkl Oja, Independent Component Analysis, John Wiley and Sons Ltd, 2001 [2] A.Hyvarien, “Fast and robust fixed-point algorithms for independent component analysis,” IEEE Trans On Neural Networks, 10(3): 626-634, 1999 [3] Aapo Hyvarinen et al, “ Independent component analysis: Algorithms and Applications,” Neural Networks, 13(4-5):411-430, 2000 [4] Aapo Hyvarinen, “Independent component analysis for time dependent stochastic processes,” Proc.Int.Conf on Artificial Neural Networks ICANN’98 [5] A Cichocki, “Blind Signal Separation and Extraction: Recent Trends, Future Perspectives, and Applications”, Lecture Notes in Computer Science, Artificial intelligence and Soft Computing 3070, 30-37 (2004) [6] A.Cichocki et al, "A blind extraction of temporally correlated but statistically dependent acoustic signals,” Neural Network for Signal Processing, X, 2000, Proceedings of the 2000 IEEE Signal Processing Society Workshop, vol.1, pp 455464 [7] A.Belouchrani et al, “A blind source separation technique based on second order statistics,” IEEE Trans.on Signal Processing, 45(2): 434-444, 1997 [8] A.Kizilaya et al, “Estimation of the ARMA model parameters based on the equivalent MA approach,” The second IEE-EURASIP Int.Symp.on Communications, Control and Signal processing, ISCCSP’06 Marrakech,Marocco, 2006 [9] A.Ciaramella and R.Tagliaferri, “Separation of Convolved Mixtures in Frequency Domain ICA,” International Mathematical Forum no.16, pp.769-795, 2006 _ Trường Đại học Bách Khoa Hà Nội 49 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập [10] A.J.Bell and T.J Sejnowski, “ An information-maximization approach to blind separation and blind deconvolution,” Neural Computation (7):1129-1159,1995 [11] B.Gardner and K.Martin, Head Related Transfer Functions of a Dummy Head [12] C.Jutten and J.Herault, “Independent component analysis versus principal component analysis,” Signal Processing, vol.IV, pp 643-646, Elsevier, Amsterdam, 1988 [13] Ch Servière and D.-T Pham, “ Permutation correction in the frequency-domain in blind separation of speech mixtures,” EURASIP Journal on Apllied Signal Processing , 2006 [14] C.Simon et al,” Blind source separation of convolutive mixtures by maximization of fourth order cumulants: the non-iid case,” Proceedings of The Thirty-Second Asilomar Conference on Signals, Systems & Computers, November 1998, vol.2 , pp.1584-1588 [15] D.Bertsekas, “The Auction Algorithm for Assignment and Other Network Flow Problems,” Interfaces 20 (1990), pp 133-149 [16] Dinh-Tuan Pham and Jean-François Cardoso, “Blind separation of instantaneous mixtures of non stationary sources,” IEEE Trans Signal Processing, pp 18371848, vol 49, no 9, 2001 [17] Don.H.Johnson and Sinan Sinanovic, “Symmetrizing the Kullback-Leibler Distance,” IEEE Transactions on Information Theory, 2001 [18] E.Bingham and A.Hyvarinen,“A fast fixed-point algorithm for independent component analysis of complex-valued signals, ” International Journal of Neural Systems 10, pp.1-8, 2000 [19] Emmanuel Vincent et al, “Performance Measurement in Blind Audio Source Separation,” IEEE Trans on Audio,Speech and Language Processing, Vol.14,No.4, pp 1462-1469, July 2006 [20] F.Abrard et al,”Blind source separation in convolutive mixtures:a hybrid approach for colored sources,” IWANN 2001, LNCS2085, pp 802-809,2001 _ Trường Đại học Bách Khoa Hà Nội 50 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập [21] G.Agrawal et al, “Reduction of artifacts in 12-channel ECG signals using FastICA algorithm,” Journal of Scientific & Industrial Research, vol.67, 2008, p.43-48 [22] http://sound.media.mit.edu/ica-bench/ [23] http://www.media.mit.edu/~westner [24] http://tsi.enst.fr/icacentral/Algos/prasad/Bss4Speech.zip [25] http://www.kecl.ntt.co.jp/icl/signal/sawada/demo/bss2to4/index.html [26] http://www.ism.ac.jp/~shiro/research/blindsep.html [27] http://bass-db.gforge.inria.fr/BASS-dB?show =browse&id=toolbox [28] http://media.paisley.ac.uk/campbell/Roomsim/ [29] http://physionet.org/physiotools/ecgsyn/ [30] H.Sawada et al., “A robust and precise method for solving the permutation problem of frequency-domain blind source separation,” IEEE Trans Speech Audio Process, vol.12, no.5, pp.530-538, Sep.2004 [31] H Sawada et al, “A robust approach to the permutation problem of frequencydomain blind source separation,” IEEE International Conference on Acoustic, Speech and Signal Processing (ICASSP 2003), vol.5, 2003 [32] H Saruwatari, S Kurita, K Takeda, F Itakura, T Nishikawa, and K Shikano, “Blind Source Separation Combining Independent Component Analysis and Beamforming," EURASIP Journal on Applied Signal Processing, Vol.2003, No.11, pp.1135 1146, 2003 [33] He Taigang et al, “Application of independent component analysis in removing artefacts from the ECG,” Neural Comput & Appl., 2006, pp.105-116 [34] J.Benesty, S.Makino and J.Chen, Speech Enhancement Springer, 2005 [35] Jean-François Cardoso, High-order contrasts for independent component analysis, Neural Computation, vol 11, no 1, pp 157 192, Jan 1999 _ Trường Đại học Bách Khoa Hà Nội 51 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập [36] Jean-François Cardoso, Blind signal separation: statistical principles, Proceedings of the IEEE, vol 90, n 8, pp 2009-2026, Oct 98, special issue on blind identification and estimation [37] Jean-François Cardoso and Antoine Souloumiac, “ Jacobi angles for simultaneous diagonalization,” SIAM Journal of Matrix Analysis and Applications, Vol 17, No 1, pp 161-164, Jan 1996 [38] J.Munkres, "Algorithms for the Assignment and Transportation Problems," Journal of the Society of Industrial and Applied Mathematics, 5(1): 32-38, 1957 March [39] J.K.Tugait, “Identification and deconvolution of multichannel linear nonGaussian processes using higher order statistics and inverse filter criteria,” IEEE Transactions on Signal Processing, vol.45, No 3, March 1997 [40] Johan Thomas et al “Time Domain Fast Fixed Point Algorithms for Convolutive ICA,” IEEE Signal Processing Letters, Vol 13, No 4, April 2006 [41] J.Thomas, Y.Deville, S.Hoseini “Differential fast fixed-point algorithms for underdetermined instantaneous and covolutive partial blind source separation,” IEEE Transactions on Signal Processing, vol.55, no.7, July 2007 [42] K.Kokkinakis and A.K.Nandi, “ Multichannel blind deconvolution for source separation in convolutive mixtures of speech,” IEEE transactions on audio, speech and language processing, vol.14, no.1 , January 2006 [43] L.Molgedey and H.G.Schuster, “Separation of a mixture of independent signals using time delayed correlations,” Physical Review Letter, 72(23): 3634-3637, 1994 [44] L.R.Rabiner and R.W.Schafer, Digital Processing of Speech Signals, Prentice-Hall, Upper Saddle River, NJ, USA, 1983 [45] Lang Tong, “ Identification multichannel MA parameters using higher order statistics,” Elsevier, Signal processing 53 (1996), pp 195-209 _ Trường Đại học Bách Khoa Hà Nội 52 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập [46] Monson H.Hayes, Statistical Digital Signal Processing and Modeling , John Wiley & Sons,Ltd, 1996 [47] M.Knaak,S.Araki and S Makino, “Geometrically Constrained Independent Component Analysis,”' IEEE Trans Speech and Audio Processing, vol 15, no 2, pp.715 726, 2007 [48] N Delfosse and P Loubaton, "Adaptive blind separation of convolutive mixtures," ICASSP’96:Proceedings of the Acoustics,Speech, and Signal Processing, 1996 IEEE International Conference, vol 5, pp.2940-2943 [49] N.Mitianoudis and M.E.Davies,”Audio source separation of convolutive mixtures,” IEEE Transactions on Speech Audio Process, vol.11, no.5, pp 489-497, Sep.2003 [50] N.Mutara, S.Ikeda and A.Ziehe, “An approach to blind source separation based on temporal structure of speech signals,” Neurocomputing, 41, 2001, pp.1-24 [51] P.Smaragdis, “ Blind separation of convolved mixtures in frequency domain,” Neurocomputing, No.22, pp 21-34, 1998 [52] P.Common, “Independent Component Analysis - a new concept ?,” Signal Processing, 36(3): 287-314, 1994 [53] P.Tichavsky and Z.Koldovsky, “Optimal pairing of signal components separated by blind techniques,” IEEE Signal Processing Letters,Vol 11, No.2 pp 119-122, 2004 [54] Peng Xie and S.L.Grant, “A fast and efficient frequency domain method forconvolutive blind source separation, ” Region IEEE Conference 2008 Kansas City MO, pp.1-4, April, 2008 [55] Rajkishore Prasad, Hiroshi Saruwatari, and Kiyohiro Shikano, “An ICA algorithm for separation of convolutive mixture of speech signals,”International Journal of Signal Processing, Vol.1, No.3, pp.250-259, 2004 [56] R.Jonker and A.Volgenant, “A Shortest Augmenting Path Algorithm for Dense and Sparse Linear Assignment Problems,” Computing 38, pp.325-340,1987 _ Trường Đại học Bách Khoa Hà Nội 53 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập [57] S Araki, S Makino, R Mukai, T Nishikawa, and H Saruwatari, ``The fundamental limitation of frequency domain blind source separation for convolutive mixtures of speech," IEEE Transactions on Speech and Audio Processing, Vol.11, No.2, pp.109-116, March 2003 [58] S.Douglas et al., “Natural gradient multichannel blind deconvolution and speech separation using causal FIR filters,” IEEE Transactions on Speech and Audio Processing, vol.13, issue 1, pp 92-104, 2004 [59] S.I.Amari and A.Cichocki, Adaptive Blind Signal and Image Processing, John Wiley & Sons, 2002 [60] S Makino, H Sawada, R Mukai, and S Araki, “`Blind source separation of convolutive mixtures of speech in frequency domain,”' IEICE Trans Fundamentals, Vol.E88-A, No.7, pp.1640-1655, 2005 (invited) [61] S.Makino, Te-Won Lee, and H Sawada, Blind Speech Separation, Springer, Sept 2007 [62] S Choi, A Cichocki, H._M Park and S.-Y Lee: "Blind source separation and independent component analysis: A review", Neural Information Processing Letters and Reviews, Vol 6, No.1, pp.1-57, January 2005 [63] T.Yoshioka et al, “Dereverberation by using time-variant nature of speech production system,” EURASIP Journal on Advances in Signal Processing, vol.2007 [64] T Nishikawa, H Saruwatari, and K Shikano, "Blind Source Separation Based on Multi-Stage ICA Combining Frequency-Domain ICA and Time-Domain ICA," Proceedings of IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP2002), pp 2938-2941, May 2002 [65] T.W.Lee, M.Girolami and T.J.Sejnowski, “ Independent component analysis using extended infomax algorithm for mixed sub-gauss and super-gauss sources,” Neural Computing, 12(2), 2000 _ Trường Đại học Bách Khoa Hà Nội 54 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập [66] V.G.Reju, Separation of Speech Mixtures, Doctoral Dissertation, School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore, 2009, http://www3.ntu.edu.sg/home/Reju/THESIS2009.pdf [67] Y.Haneda, S.Makino and Y.Kaneda, “Common acoustical poles independent of sound directions and modeling of head-related transfer functions, ” J Acoust Soc Jpn (E), vol 15, no 4, pp 277-279, July 1994 _ Trường Đại học Bách Khoa Hà Nội 55 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập Các báo đăng [1] Vuong Hoang Nam, Nguyen Quoc Trung, Tran Hoai Linh, “Blind Speech Separation in Convolutive Mixtures Using Negentropy Maximization,” Journal on Information Technologies & Communications, Ministry of Information and Communications Volume E-1, No.3(7),pp 36-43, December 2010 [2] Vương Hoàng Nam, Nguyễn Quốc Trung, Trần Hoài Linh, “Một phương pháp phân tách mù nguồn tin sử dụng sai số dự báo tốt thuật toán FastICA,” Tạp chí Khoa học & Công nghệ Trường Đại học Kỹ thuật ,trang 1-6, Số 81, tháng 3/2011 [3] Vuong Hoang Nam, Tran Hoai Linh, Nguyen Quoc Trung “A method of convolutive blind source separation in the frequency domain, “Journal of Science and Technology, pp 1-5, No 83B, May 2011 [4] Nam Vuong-Hoang, Trung Nguyen-Quoc, Linh Tran-Hoai, “Blind Speech Separation in Convolutive Mixtures Using Non-Gaussianity Maximization and Inverse Filters,” In the proceedings of The Third International Conference on Communications and Electronics (ICCE), pp 190-194, Nha Trang August 2010 [5] Vuong Hoang Nam, Nguyen Quoc Trung, Tran Hoai Linh, “Assignment Problem-based Approach for Solving Permutation Ambiguity in Frequency Domain Convolutive Source Separation,” in the proceedings of The 2011 International Conferences on Advanced Technologies for Communications (ATC 2011),pp 291-294, Da Nang August 2011 [6] Vuong Hoang Nam, Nguyen Quoc Trung, Tran Hoai Linh, “Blind Speech Separation Combining DOA Estimation and Assignment Problem Approaches,” The 2nd International Symposium on Information and Communication Technology (SoICT 2011), pp.159-164, Ha Noi , October 2011 [7] Vuong Hoang Nam, Nguyen Quoc Trung, Tran Hoai Linh, “Blind Speech Separation in the Frequency Domain using Assignment Problem Approach,” Journal on Information Technologies & Communications, Ministry of _ Trường Đại học Bách Khoa Hà Nội 56 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập Information and Communications , Volume E-1, No.4(8), pp.49-56, October 2011 [8] Vương Hoàng Nam, Trần Hoài Linh, Nguyễn Quốc Trung “Loại bỏ nhiễu tín hiệu điện tim ECG phương pháp phân tích thành phần độc lập,” Hội nghị toàn quốc điều khiển tự động hóa VCCA 2011, pp.813-817, ngày 2526/ 11, 2011 (là số công trình tiêu biểu hội thảo chọn đăng tạp chí "Tin học Điều khiển học" có mã số ISSN 1813-9663 Viện Khoa học Công nghệ Việt Nam) _ Trường Đại học Bách Khoa Hà Nội 57 http://www.ebook.edu.vn [...]... nguồn độc lập hỗ tương s1 ( t ) và s2 ( t ) có phân bố đều : _ Trường Đại học Bách Khoa Hà Nội 14 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập x1 ( t ) = a11s1 ( t ) + a12 s2 ( t ) (1.14) x2 ( t ) = a21s1 ( t ) + a22 s2 ( t ) s2 (t) s1 (t) Hình 1.8- Sự phân bố chung của các thành phần độc lập. .. Trắng hóa _ Trường Đại học Bách Khoa Hà Nội 22 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập Cho các biến ngẫu nhiên , có thể đơn giản biến đổi tuyến tính chúng thành các biến bất tương quan bằng phương pháp phân tích thành phần chính PCA (Pricipal Component Analysis) , quá trình này được gọi... trị dương tín hiệu đó sẽ có phân bố superGauss và ngược lại sẽ có phân bố sub-Gauss Điều này có nghĩa là nếu thực hiện cực đại hóa trị tuyệt đối kurtosis của các tín hiệu tách chúng ta sẽ thu được các thành phần độc lập Negentropy: _ Trường Đại học Bách Khoa Hà Nội 17 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập ... http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập ⎧ 1 p ( x ) = ⎪⎨ b − a ⎪0 ⎩ khi a ≤ x ≤ b (1.13) khi x < a & x > b Hình 1.6 - Phân bố đều Nguyên lý thực hiện phương pháp ICA sử dụng tính phi-Gauss dựa trên định lý giới hạn trung tâm như sau “ Hàm phân bố của tổng nhiều biến ngẫu nhiên độc lập luôn có xu hướng hội tụ tới phân bố Gauss ” Tín hiệu... của phân bố Gauss Hình 1.5 - Hàm mật độ của phân bố Laplace • Phân bố sub-Gauss : Hàm phân bố dạng sub-Gauss có phân bố xác suất tù ( dẹt ) hơn phân bố Gauss Điều đó có nghĩa hàm phân bố này có sự phân bố đồng đều hơn tại mọi giá trị biến Một ví dụ minh họa cho phân bố sub-Gauss là phân bố đều _ Trường Đại học Bách Khoa Hà Nội 13 http://www.ebook.edu.vn Phương. .. chúng ta cần xác định W để các thành phần được tách càng độc lập thống kê.Từ định nghĩa về entropy (1.18), chúng ta có thể viết lại như sau: { } H ( yi ) = − E log p ( yi ) (1.22) Do đó chúng ta có thể viết lại (1.21) như sau: _ Trường Đại học Bách Khoa Hà Nội 19 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập ... u 2 ) = 0 (1.26) _ Trường Đại học Bách Khoa Hà Nội 20 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập Khái niệm phi tương quan phi tuyến được xem là một tiêu chuẩn đo tính độc lập thống kê Hai biến y1, y2 được coi là độc lập thống kê nếu : { } { } { } E f ( u1 ) g ( u 2 ) = E f ( u1 ) E g ( u 2... biến ngẫu nhiên phân bố xác suất Gauss có cùng ma trận hiệp phương sai với biến y _ Trường Đại học Bách Khoa Hà Nội 18 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập Negentropy nhận giá trị bằng 0 khi và chỉ khi biến y có phân bố xác suất Gauss và luôn nhận giá trị dương khi y có phân bố xác suất... xây dựng như sau : X = BS (2.25) trong đó S là một ma trận kích thước MxN gồm các thành phần độc lập, B là ma trận trộn kích thước MxM , X là ma trận các tín hiệu thu kích thước MxN _ Trường Đại học Bách Khoa Hà Nội 31 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập Khi đó M , d là các tham số lựa... 250 300 350 400 450 500 5 0 -5 2 0 -2 5 0 -5 _ Trường Đại học Bách Khoa Hà Nội 30 http://www.ebook.edu.vn Phương pháp Phân tích thành phần độc lập Hình 2.4- Những tín hiệu được ước lượng theo phương pháp ICA Trong phần minh họa tiếp theo, chúng ta sẽ ứng dụng thực tiễn của ICA để loại bỏ nhiễu trong tín hiệu điện