Ứng dụng mạng neoron và mô hình laguerre vào triệt tiếng vọng

Đại Học Quốc Gia Tp Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA - LUẬN VĂN THẠC SĨ ỨNG DỤNG MẠNG NEURON VÀ MÔ HÌNH LAGUERRE VÀO TRIỆT TIẾNG VỌNG CHUYÊN NGÀNH: KỸ THUẬT VÔ TUYẾN – ĐIỆÄN TỬ MÃ SỐ NGÀNH : 2.07.01 NGUYỄN DUY THẢO TP HỒ CHÍ MINH, tháng năm 2004 CÔNG TRÌNH ĐƯC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học: Tiến só DƯƠNG HOÀI NGHĨA Cán chấm nhận xét 1: Phó giáo sư – Tiến só LÊ TIẾN THƯỜNG Cán chấm nhận xét 2: Tiến só NGUYỄN THỊ PHƯƠNG HÀ Luận văn thạc só bảo vệ HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày 16 tháng năm 2004 Đại Học Quốc Gia Tp Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc Lập – Tự Do – Hạnh Phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: NGUYỄN DUY THẢO Phái: Nam Ngày, tháng, năm sinh: 06 / 11 / 1976 Nơi sinh: Bình Định Chuyên ngành: Kỹ thuật Vô tuyến – Điện tử Mã số: 2.07.01 I - TÊN ĐỀ TÀI: ỨNG DỤNG MẠNG NEURON VÀ MÔ HÌNH LAGUERRE VÀO TRIỆT TIẾNG VỌNG II - NHIỆM VỤ VÀ NỘI DUNG: • Tìm hiểu triệt tiếng vọng âm stereo dùng lọc thích nghi • Tìm hiểu mạng neuron • Tìm hiểu mô hình Laguerre • Hệ thống triệt tiếng vọng dùng mạng neuron kết hợp với mô hình Laguerre III - NGÀY GIAO NHIỆM VỤ: 09 / 02 / 2004 IV - NGAØY HOAØN THAØNH NHIỆM VỤ: 16 / / 2004 V - HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: TS DƯƠNG HOÀI NGHĨA VI - HỌ VÀ TÊN CÁN BỘ CHẤM NHẬN XÉT 1: PGS-TS LÊ TIẾN THƯỜNG VII - HỌ VÀ TÊN CÁN BỘ CHẤM NHẬN XÉT 2: TS NGUYỄN THỊ PHƯƠNG HÀ CÁN BỘ HƯỚNG DẪN CÁN BỘ NHẬN XÉT CÁN BỘ NHẬN XÉT TS DƯƠNG HOÀI NGHĨA PGS-TS LÊ TIẾN THƯỜNG TS NGUYỄN THỊ PHƯƠNG HÀ qua Nội dung đề cương luận văn thạc só Hội Đồng Chuyên Ngành thông Ngày TRƯỞNG PHÒNG QLKH-SĐH tháng năm 2004 CHỦ NHIỆM NGÀNH PGS-TS VŨ ĐÌNH THÀNH LỜI CẢM ƠN Đề tài “Ứng dụng mạng neuron mô hình Laguerre vào triệt tiếng vọng” hoàn thành với hướng dẫn giúp đỡ nhiệt tình Thầy – Tiến só Dương Hoài Nghóa Em xin bày tỏ lòng biết ơn sâu sắc lời cảm ơn chân thành tới Thầy Dương Hoài Nghóa, người trực tiếp hướng dẫn giúp đỡ em nhiều trình hoàn thành đề tài Em xin chân thành cảm ơn Thầy Cô giáo giảng dạy chương trình Cao học Vô tuyến – Điện tử trường Đại học Bách Khoa Tp.Hồ Chí Minh trang bị cho em kiến thức quý giá giúp đỡ em nhiều toàn khóa học Em xin chân thành cảm ơn Thầy Lê Viết Phú, Thầy Lê Cảnh Trung Thầy Cô khoa Điện – Điện tử trường Đại học Sư phạm Kỹ thuật Tp.Hồ Chí Minh tạo điều kiện cho em hoàn thành khóa học Em xin gởi đến gia đình mình, nơi dành cho em tất tình thương chuẩn bị mặt để em có kết ngày hôm nay, anh chị bạn bè động viên, cổ vũ nhiệt tình mặt tinh thần cho em trình thực Luận văn lời cảm ơn chân thành Tp.Hồ Chí Minh, tháng 7/2004 Học viên thực Nguyễn Duy Thảo TÓM TẮT LUẬN VĂN Triệt tiếng vọng vấn đề nghiên cứu từ lâu Hiện nay, vấn đề hội thảo từ xa, hội nghị truyền hình ngày trở nên phổ biến Chính thế, triệt tiếng vọng trở thành vấn đề nghiên cứu thiết thực [2] Các phương pháp triệt tiếng vọng có sử dụng lọc thích nghi FIR (Finite Impulse Response) với thuật toán thích nghi LMS (Least Mean Square), NLMS (Normalized LMS), ε-LMS, RLS (Recursive Least Square), FRLS (Fast RLS) vaø APA (Affine Projection Algorithm) [2, 9,10] Lọc thích nghi FIR có nhược điểm sau: Số hệ số nhận dạng h(m) lớn, hiệu đường truyền tiếng vọng phi tuyến [4] Trong thực tế đường truyền phi tuyến, chủ yếu tồn đáp ứng loa, micro Do đó, vấn đề triệt tiếng vọng cách hiệu vấn đề cần nghiên cứu thiết thực Để khắc phục nhược điểm lọc thích nghi FIR, luận văn giới thiệu hệ thống triệt tiếng vọng dùng mạng neuron kết hợp với mô hình Laguerre Đó kết hợp ưu điểm mạng neuron ưu điểm mô hình Laguerre Nội dung luận văn: • Thực hệ thống triệt tiếng vọng dùng mạng neuron miền thời gian kết hợp mô hình Laguerre để giảm số nút vào cho mạng • Thực hệ thống triệt tiếng vọng dùng mạng neuron miền tần số • So sánh hệ thống triệt tiếng vọng với hệ thống triệt tiếng vọng có ABSTRACT Echo cancellation has been studied for some decades Nowaday, teleconference, multi-participant destop conference, … have become more and more popular Thus, echo cancellation is a practical problem of universal interest [2] The existing echo cancellation methods use FIR (Finite Impulse Response) with Adaptive Algorithms such as: LMS (Least Mean Square), NLMS (Normal LMS), ε -LMS, RLS (Recursive Least Square), FRLS (Fast RLS), and APA (Affine Pojection Algorithm) [2, 9, 10] However, Adaptive FIR have some disadvantages: the number of identified coefficients, h(m) is high and the effect is low in case of nonlinear ascoutic path [4] The real ascoutic paths have nonlinear property which exists in speaker response and micro response Therefore, a practical solution for echo cancellation is a problem which attracts many researcher’s interest In order to overcome the disadvantages of Adaptive FIR, this thesis introduces a new echo cancellation system using neural network together with Laguerre Model That is the combination of the advantages of neural network and Laguerre Model The thesis contains some main parts: • Echo cancellation system using neural network and Laguerre Model in timedomain for reducing the number of input nodes of network • Echo cancellation system using neural network in frequency-domain • Comparing the basis echo cancellation systems with the proposed echo cancellation systems MỤC LỤC Trang Lời cảm ôn i Tóm tắt luận văn .ii Muïc luïc iii Danh mục chữ viết tắt .iv Danh muïc hình vẽ v MỞ ĐẦU Chương 1: Tiếng vọng phương pháp triệt tiếng vọng .2 1.1 Tiếng vọng .2 1.2 Các vấn đề triệt tiếng vọng âm stereo 1.3 Các giải thuật lọc thích nghi 13 Chương 2: Giới thiệu mạng neuron 20 2.1 Tổng quan mạng neuron .20 2.2 Mạng Perceptron lớp 29 2.3 Mạng truyền thẳng nhiều lớp 33 2.4 Trình tự thiết kế mạng neuron ứng dụng 42 2.5 Caùc ứng dụng mạng neuron 44 Chương 3: Xây dựng hệ thống triệt tiếng vọng dùng mạng neuron 45 3.1 Hệ thống triệt tiếng vọng sở mô hình FIR 45 3.2 Hệ thống triệt tiếng vọng sở mô hình Laguerre 47 3.3 Hệ thống triệt tiếng vọng miền tần số 49 Chương 4: Kết thực nghiệm 50 4.1 Lọc thích nghi 50 4.2 Triệt tiếng vọng dùng mạng neuron 64 4.3 Triệt tiếng vọng đường truyền phi tuyến 70 4.4 So sánh kết luận 71 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 73 TÀI LIỆU THAM KHAÛO .74 PHUÏ LUÏC .76 DANH MỤC CÁC CHỮ VIẾT TẮT Trang AF: Adaptive Filter ANN: Artificial Neural Networks 20 APA: Affine Projection Algorithm 16, 17 BFGS: Broyden, Fletcher, Goldfarb and Shanno 38, 39, 40 DFT: Discrete Fourier Transform 18, 19, 49 ERLE: Echo Return Loss Enhancement 50, 53, 54, 59, 60, 63, 65÷72 FFT: Fast Fourier Transform 63, 69 FIR: Finite Impulse Response 1, 45÷49, 53, 54, 60, 64÷66, 68, 70÷72 FRLS: Fast Recursive Least Square 1, 14 IDFT: Inverse Discrete Fourier Transform 18, 19, 49 LGU: Linear Graded Unit .31 LMS: Least Mean Square 1, 15, 18, 52 LTU: Linear Threshold Unit 33 LU: Linear Unit 30 MSE: Mean Square Error .50 NLMS: Normalized Least Mean Square 1, 15 RBF: Radial Basis Function Network 27 RLS: Recursive Least Square 1, 13, 14, 16 SAEC: Stereophonic Acoustic Echo Cancellation 14 DANH MỤC CÁC HÌNH VẼ Trang Hình 1.1: Nguyên cứu trình âm vang Hình 1.2: Kiểm tra xuất tiếng vọng nhại tiếng Hình 1.3: Sự xuất tiếng vọng điện thoại Hình 1.4: Nguyên nhân xuất tiếng vọng điện thoại Hình 1.5: Bộ triệt tiếng vọng điện thoại Hình 1.6: Sơ đồ nguyên lý hệ thống triệt tiếng vọng âm stereo Hình 1.7: Lọc thích nghi miền tần số 18 Hình 2.1: Mô tả cấu trúc neuron sinh học 20 Hình 2.2: Mô hình neuron Mc Culloch Pitts .21 Hình 2.3: Đồ thị số hàm tác động 22 Hình 2.4: Các cấu trúc mạng neuron .23 Hình 2.5: Học có giám sát .24 Hình 2.6: Học tăng cường .25 Hình 2.7: Học giám sát 25 Hình 2.8: Luật học trọng số .26 Hình 2.9: Mạng radial basis 27 Hình 2.10: Mạng Hopfield ba nút 28 Hình 2.11: Mạng perceptron lớp với m -1 tín hiệu vào n tín hiệu 29 Hình 2.12: Mạng truyền thẳng ba lớp .33 Hình 3.1: Mô hình FIR 45 Hình 3.2: Mạng neuron kết hợp mô hình FIR .46 Hình 3.3: Mô hình Laguerre 47 Hình 3.4: Mạng neuron kết hợp mô hình Laguerre 48 Hình 3.5: Sơ đồ triệt tiếng vọng miền tần số 49 Hình 3.6: Mạng neuron miền tần số 49 Hình 4.1: Mô hình triệt tiếng vọng dùng lọc thích nghi 50 Hình 4.2: Phòng phát 51 Hình 4.3: Phòng thu 51 Hình 4.4: Bộ dự báo dùng lọc thích nghi 52 Hình 4.5: Đồ thị quan hệ bậc M lọc thích nghi FIR ERLE 53 Hình 4.6: Đồ thị quan hệ hệ số μ (FIR12) ERLE .53 Hình 4.7: Kết lọc thích nghi FIR với M = 12 μ = 0.4 54 ) Hình 4.8: Sự biến thiên hệ số H11 M =12 58 Hình 4.9: Đồ thị quan hệ bậc P lọc thích nghi Laguerre ERLE 59 Hình 4.10: Đồ thị quan hệ hệ số μ (Laguerre6) ERLE 59 Hình 4.11: Kết lọc thích nghi Laguerre với P = μ = 0.3 60 ) Hình 4.12: Sự biến thiên hệ số H11 P = 62 Hình 4.13: Đồ thị quan hệ L (số điểm lấy FFT) ERLE (lọc thích nghi) 63 Hình 4.14: Kết lọc thích nghi (miền tần số) L = 16 μ = 0.05 63 Hình 4.15: Mô hình triệt tiếng vọng dùng mạng neuron 64 Hình 4.16: Bộ dự báo dùng mạng neuron .64 Hình 4.17: Đồ thị quan hệ bậc M mô hình FIR ERLE 65 Hình 4.18: Đồ thị quan hệ số neuron lớp ẩn N (FIR12) ERLE 65 Hình 4.19: Kết mạng neuron kết hợp với mô hình FIR M = 12 .66 Hình 4.20: Đồ thị quan hệ bậc P mô hình Laguerre ERLE .67 Hình 4.21: Đồ thị quan hệ số neuron lớp ẩn N (Laguerre4) ERLE 67 Hình 4.22: Kết mạng neuron kết hợp với mô hình Laguerrre P = 68 Hình 4.23: Đồ thị quan hệ L (số điểm lấy FFT) ERLE (mạng neuron) .69 Hình 4.24: Kết mạng neuron (miền tần số) L = 69 Hình 4.25: Kết lọc thích nghi đường truyền phi tuyến (FIR15) 70 Hình 4.26: Kết mạng neuron đường truyền phi tuyến (FIR15) 70 Hình 4.27: So sánh lọc thích nghi FIR lọc thích nghi Laguerre .71 Hình 4.28: So sánh mạng neuron kết hợp mô hình FIR mô hình Laguerre .71 Phụ lục PHỤ LỤC I MÔ HÌNH FIR (FINITE IMPULSE RESPONSE) [4] Phương trình lọc FIR: M y(n) = ∑ h(m)x(n − m) (1) m =0 M H(z) = ∑ h(m)z − m (2) m =0 Trong đó: h(m), m = 0, 1, , M đáp ứng xung lọc H(z) hàm truyền lọc M bậc lọc M+1 chiều dài lọc Lọc FIR có đặc điểm sau: • Mô hình nhận dạng ổn định • Đáp ứng pha tuyến tính • Đơn giản dễ thực Đặc điểm quan trọng lọc FIR có đáp ứng pha tuyến tính [4] Biên độ pha tín hiệu bị thay đổi tùy theo đặc tính pha biên độ lọc mà qua Đối với lọc có đặc tính pha phi tuyến làm méo pha tín hiệu Trễ pha: Tp = − θ(ω) ω Tg = − dθ( ω ) dω , (θ(ω) góc pha) (3) Trễ nhóm: (4) Hai quan hệ góc pha: θ(ω) = -αω (5) θ(ω) = β - αω (6) Trong α β số Một lọc gọi có đáp ứng pha tuyến tính thỏa hai quan hệ pha (5) (6) Bên cạnh ưu điểm trên, mô hình FIR có nhược điểm: Số hệ số nhận dạng h(m) lớn (M lớn), khối lượng tính toán nhiều khó đáp ứng thời gian thực Trang 76 Phụ lục II MÔ HÌNH LAGUERRE [7] Giới thiệu Khái niệm mô hình tuyến tính theo thông số: y(t) = G(q,θ)u(t) + H(q,θ)e(t) (7) Trong đó: θ vector chứa thông số mô hình, θ ∈D ⊂ Rd y(t) tín hiệu ngõ u(t) tín hiệu ngõ vào q toán tử sớm, qu(t) = u(t+T), (T: chu kỳ lấy mẫu, t = kT, k=1,2,…) e(t) nhiễu (giả sử e(t) chuỗi ngẫu nhiên độc lập với trị trung bình không phương sai λ) H(q,θ) hàm truyền lọc nhiễu (giả sử H(q,θ) có pha cực tiểu chuẩn hóa H(∞,θ) = 1) Ước lượng tối öu cuûa y(t): ) y(t | θ) = H −1 (q, θ)G(q, θ)u(t) + [1 − H −1 (q, θ)]y(t) (8) ) Phương trình (3.8) mô hình dự báo thông số tuyến tính, y(t | θ) tuyến tính theo θ H-1(q,θ) ổn định, H(q,θ) G(q,θ) có cực không ổn định thể hiện: ∞ H −1 (z, θ)G(z, θ) = ∑ b k z − k , |z| ≥ (9) k =1 ∞ H −1 (z, θ) - = ∑ a k z − k , |z| ≥ (10) k =1 Đặt θ = (a1 an b1 bn)T, k = n Cho {ak} = tương ứng với mô hình FIR (FIR trường hợp đặc biệt Laguerre), {bk} = tương ứng mô hình AR Đặc tính ổn định hội tụ mô hình ước lượng FIR, ARX AR phân tích bậc n số liệu quan sát Trong thực tế, hội tụ công thức (3.9) (3.10) bị giới hạn bởi: ∞ ∑ k = n +1 | ak | , ∞ ∑b k = n +1 (11) k tốc độ tổng tiến đến n → ∞ Trang 77 Phụ lục Mô hình Laguerre liên tục Giả sử hàm G(s) xác định (G(∞)=0), phân tích miền thực dương s > liên tục miền Đặt a > 0, tồn chuỗi {g k } : 2a ⎛ s − a ⎞ G(s) = ∑ g k ⎜ ⎟ s + a⎝ s + a ⎠ k =1 ∞ k −1 , Re s ≥ (12) Bieán đổi hai chiều từ miền s sang z ngược laïi: z= s+a z +1 ⇔s=a s−a z −1 (13) Hệ thống thời gian rời rạc G( a (z+1)/(z-1)) phân tích |z| >1, liên tục |z| ≥ zero với z=1 (vì G(∞) = 0) ∞ ⎛ z +1⎞ G⎜ a (1 − z −1 )∑ g k z −(k −1) ⎟= 2a ⎝ z −1⎠ k =1 , | z |≥ (14) Với g(t) đáp ứng xung G(s), g(t) ∈ L2(0,∞)∩ L1(0,∞) Việc tính tổng thành phần trực tiếp không cung cấp dạng gần G(s) Giả sử tổng hệ số Laguerre {g k } hội tụ tuyệt đối tổng thành phần xấp xỉ 2a ⎛ s − a ⎞ gk ⎜ ⎟ ∑ s+a ⎝s+a ⎠ k =1 n k −1 (15) hội tụ n → ∞ Đặt G(s) hàm truyền hữu hạn với cực {pi} Tốc độ hội tụ xác định độ lớn tương ứng điểm cực mặt phẳng z ⎧ pi + a ⎫ ⎨ ⎬ ⎩ pi − a ⎭ (16) Trong mặt phẳng z điểm cực gần tới đường tròn đơn vị tốc độ hội tụ chậm Thông thường để đạt tốc độ hội tụ nhanh phải chọn 1/ a thuộc lân cận thời hệ thống xấp xỉ Giả sử a thực, cực cộng hưởng cao gây tốc độ hội tụ chậm Vì a lớn nhỏ so với –pi điểm cực mặt phẳng z tiến gần tới –1 Trong trường hợp điểm cực phân tán tốc độ hội tụ chậm Trang 78 Phụ lục Mô hình Laguerre rời rạc Giả sử hàm G(z) xác định (G(∞)=0), phân tích miền |z| > liên tục miền |z| ≥ Đặt –1 < a < 1, tồn chuỗi {g k } : ∞ G(z) = ∑ g k k =1 K ⎛ − az ⎞ ⎜ ⎟ z−a⎝ z−a ⎠ k −1 , | z | ≥ , K = (1 − a )T (17) Tương tự (3.13) ta có biến đổi hai chieàu: w= w+a z−a ⇔z= + aw − az (18) , −1 < a < ∞ Giaû sử G(z) liên tục Lipschitz bậc 1/2+δ, δ > 0, ( ∑ | g k |< ∞ ) L∞ laø chuẩn lọc k =1 Laguerre: sup ω K e iω T ⎛ − ae iωT ⎜⎜ iωT ⎝ e −a ⎞ ⎟⎟ ⎠ k −1 ≤ K 1− | a | (19) Trong L1 chuẩn (tổng tuyệt đối đáp ứng xung), ta có: K ⎛ − az ⎞ ⎜ ⎟ z−a⎝ z−a ⎠ k −1 ≤ 2k K 1− | a | (20) Laguerre rời rạc viết lại: K ⎛ − aq ⎞ ⎜ ⎟ q − a ⎜⎝ q − a ⎟⎠ k −1 = (1 + a)a δ+a ⎛ a − δ + T aδ ⎞ ⎜ ⎟ ⎝ δ+a ⎠ k −1 (21) Trong đó: a =(1-a)/T, δ = (q-1)/T, a → T → a =1/T (a=0) Chúng ta biết a lớn tốc độ hội tụ chậm Ưu điểm bật mô hình Laguerre khắc phục nhược điểm mô hình FIR, đồng thời giữ lại ưu điểm Dựa vào hàm truyền mô hình Laguerre (3.17) thấy a ( -1< a