BÀI tập lớn đề bài NGHIÊN cứu THUẬT TOÁN ICA và ỨNG DỤNG ước LƯỢNG độ sâu ẢNH mặt NGƯỜI

BỘ MÔN LÝ THUYẾT MẠCH ĐO LƯỜNG MÔN HỌC KỸ THUẬT XỬ LÝ ẢNH BÀI TẬP LỚN ĐỀ BÀI: NGHIÊN CỨU THUẬT TOÁN ICA VÀ ỨNG DỤNG ƯỚC LƯỢNG ĐỘ SÂU ẢNH MẶT NGƯỜI Giáo viên hướng : Trung tá, PGS.TS Phạm Minh Nghĩa dẫn Học viên : Đại úy Ngô Trường Sơn thực Lớp : Kỹ thuật Điện tử K33 Hà Nội, tháng 11 năm 2022 MỤC LỤC I NGHIÊN CỨU THUẬT TOÁN ICA (INDEPENDENT COMPONENT ANALYSIS) 1.1 Giới thiệu ICA 1.2 Phân tích thành phần độc lập (ICA) 1.3 Sự độc lập thống kê 1.4 Ước lượng ICA 1.5 Tiền xử lý ICA II ỨNG DỤNG CỦA ICA VÀO ƯỚC LƯỢNG ĐỘ SÂU ẢNH MẶT NGƯỜI 12 2.1 Xây dựng mơ hình cICA 12 2.2 Xây dựng mơ hình khởi tạo ma trận hủy trộn 15 2.3 Tích hợp mơ hình cho nhiều hình ảnh khn mặt khơng nhìn trực diện 18 2.4 Kết thực 19 DANH MỤC HÌNH VẼ Hình 1 Tín hiệu gốc Hình Tín hiệu sau trộn Hình Tín hiệu phục hồi Hình Phân bố siêu Gauss Hình Mơ hình CANDIDE-3 với 113 đỉnh 168 bề mặt tam giác 12 Hình 2 Vị trí 22 điểm đặc trưng đánh dấu sở liệu 17 Hình So sánh tín hiệu tham chiếu dựa mơ hình CANDIDE giá trị độ sâu thực cho khuôn mặt riêng biệt 17 Hình Lưu đồ phương pháp tích hợp mơ hình 18 Hình Hình ảnh khn mặt đối tượng tư khác sở liệu Bosphorus 20 Hình So sánh kết hoạt động FastICA cICA mối tương quan Các điểm đánh dấu đại diện cho mối tương quan trung bình đường thẳng đứng qua điểm đánh dấu thể phạm vi hệ số tương quan tương ứng 21 Hình So sánh hoạt động FastICA có khơng sử dụng ma trận không trộn ban đầu 22 Hình So sánh hiệu suất gICA cICA đối tượng khuôn mặt khác 22 Hình So sánh hoạt động gICA sử dụng không sử dụng thao tác làm trắng 23 Hình 10 So sánh hiệu suất thuật tốn SM cICA 23 Hình 11 Các đường cong lặp lại Đối tượng 1, 6, 11, 16, 21 26 cách sử dụng mô hình phương pháp tích hợp 24 Hình 12 So sánh hiệu suất thuật toán cICA cICA_MI 25 Hình 13 Giá trị độ sâu thực giá trị độ sâu ước lượng đặc điểm khn mặt có sở liệu Bosphorus 25 Hình 14 So sánh hoạt động thuật tốn cICA dựa mơ hình ICA q mức bình thường 27 Hình 15 So sánh hệ số tương quan c (MZb, Mzc) c (Mxfn Mz) cho 30 đối tượng 27 Hình 16 So sánh hệ số tương quan thu cách sử dụng thống kê bậc khác với phương pháp tích hợp mơ hình cho 30 đối tượng 28 Hình 17 Hệ số tương quan Đối tượng 1,6, 11,16,21 26 thu cách sử dụng phương pháp tích hợp mơ hình với số lượng mẫu khác 29 DANH MỤC BẢNG BIỂU Bảng Hệ số tương quan gia trị độ sâu thực giá trị ước lượng thu với hình ảnh khuôn mặt người khác cho FastICA, gICA, SM, cICA 24 Bảng 2 Gía trị trung bình μ độ lệch chuẩn σ thu phương pháp hệ số lương quan cMzbzb,, Mzc 105 đối tượng 30 I NGHIÊN CỨU THUẬT TOÁN ICA (INDEPENDENT COMPONENT ANALYSIS) 1.1 Giới thiệu ICA Independent Component Analysis (phân tích thành phần độc lập) phương pháp thống kê xây dựng để tách rời tín hiệu nhiều chiều thành thành phần tín hiệu độc lập ẩn sâu bên liệu Kỹ thuật đòi hỏi phải đặt giả thuyết tồn nguồn tín hiệu bên nongaussianity độc lập thống kê đơi Thuật tốn ICA có nhiều ứng dụng rộng rãi nhiều toán khác xử lý tín hiệu, kinh tế học, sinh tin học,… Ví dụ phịng mà có người nói chuyện với Bạn dùng micro, đặt vị trí khác Các microphone thu tín hiệu đồng thời Ta phải xác định x1(t), x2(t) x3(t) với x1 ,x2, x3 cường độ âm thanh, t thời gian Chúng ta biểu diễn hệ phương trình tuyến tính x1 ( t )=a11 s1 +a12 s2+ a13 s3 x2 ( t )=a21 s1 +a22 s2+a23 s3 x3 ( t )=a31 s1 +a32 s2+ a33 s3 a ,a ,a ,a ,a ,a ,a ,a ,a Trroonng 11 12 13 21 22 23 31 32 33 số phụ thuộc vào khoảng cách từ microphone đến người nói Điều tiện lợi việc xấp xỉ nguồn tín hiệu gốc (tiếng nói người phòng ) s1 ( t) ,,s2 ( t ) s3 ( t ) từ tín hiệu thu x1 ( t ) ,,x2 (t ) ,,x3 ( t) Ví dụ gọi tốn cocktailparty Theo thời gian ta bỏ qua thời gian trễ nhiễu thêm vào từ mơ hình trộn đơn giản Hình 1 Tín hiệu gốc Hình Tín hiệu sau trộn Vấn đề cần khơi phục lại tín hiệu gốc như hình 1.1 từ tín hiệu trộn hình 1.2 Nếu biết hệ số aij, giải hệ phương trình tuyến tính theo phương pháp thơng thường tìm đươc tín hiệu ban đầu Tuy nhiên ta hệ số aij tốn trở nên phức tạp Kỹ thuật phân tích thành phần độc lập ICA xấp xỉ aij dựa thơng tin độc lập tín hiệu Điều cho phép chia tín hiệu gốc từ tín hiệu trộn x ( t ) ,,x t ( ) ,,x t ( ) Hình Tín hiệu phục hồi Trong phương pháp SM, kích thước tổng cộng số lần lặp lại tối đa thuật toán di truyền đặt 800 200 Hình 10 So sánh hiệu suất thuật tốn SM cICA 24 Hình 2.10 cho thấy kết thực nghiệm thu cách sử dụng thuật toán SM cICA Chúng ta thấy phương tiện dựa cICA cao so với phương tiện dựa SM Do đó, cICA có mức độ xác ước lượng độ sâu cao so với SM Ngoài ra, độ lệch chuẩn dựa cICA rõ ràng nhỏ so với độ lệch chuẩn dựa SM Do đó, kết luận cICA xác mạnh mẽ SM Lấy Bài tập làm ví dụ, Bảng I cho thấy hệ số tương quan giá trị độ sâu thực giá trị ước lượng tương ứng cho hình ảnh khn mặt khác cách sử dụng thuật toán FastICA, gICA, SM cICA Có thể thấy thuật tốn cICA đạt hiệu suất giống hình ảnh khn mặt khác vượt trội ba thuật tốn cịn lại tương quan trung bình ( μ) độ lệch chuẩn (σ ) Bảng Hệ số tương quan gia trị độ sâu thực giá trị ước lượng thu với hình ảnh khn mặt người khác cho FastICA, gICA, SM, cICA PR_D FaassttIICCA 0,,7777776 gllCCA SM 0,,6666551 0,,9933112 cIICCA 0,,8888222 2.4.2.4 So sánh thực nghiệm cICA cICAMI: Để đánh giá phương pháp tích hợp mơ hình, cICA_MI sử dụng để ước lượng độ sâu hình ảnh khn mặt cho 30 đối tượng Trong thử nghiệm, người ta thấy hiệu suất thường trở nên ổn định số lần lặp lại tối đa ( Niter) khoảng 1500 Lấy Đối tượng 1, 6, 11, 16, 21 26 làm ví dụ, đường cong lặp lại tương ứng dựa Phương pháp tích hợp mơ hình mơ tả Hình 2.11 Hình 11 Các đường cong lặp lại Đối tượng 1, 6, 11, 16, 21 26 cách sử dụng mơ hình phương pháp tích hợp 25 Tất kết cho thấy hiệu suất hội tụ trở nên ổn định số lần lặp thực nhiều 1000 nhiều 1500 Hình 12 So sánh hiệu suất thuật tốn cICA cICA_MI Hình 2.12 cho thấy kết thực nghiệm thu sử dụng cICA cICA_MI Trong hầu hết trường hợp, hệ số tương quan thu sử dụng cICA_MI cao giá trị trung bình thu sử dụng cICA kết tốt số đối tượng Do đó, kết luận phương pháp tích hợp mơ hình cải thiện cách hiệu độ xác ước tính chiều sâu phương pháp cICA Hình 13 Giá trị độ sâu thực giá trị độ sâu ước lượng đặc điểm khn mặt có sở liệu Bosphorus 26 Hình 2.13 cho thấy giá trị độ sâu thực giá trị độ sâu ước tính điểm đặc trưng khn mặt thu cách sử dụng cICA_MI Để so sánh, tất giá trị độ sâu hiển thị Hình 2.13 chuẩn hóa thành khoảng [0, 1] Giá trị ước lượng độ sâu M z 22 điểm đặc trưng chuẩn hóa sau: M 'z = M −min M z z max M −minM z (2.27) z M 'z giá trị độ sâu chuẩn hóa Mz , M z max M z giá trị độ sâu tối thiểu tối đa Cần lưu ý trình chuẩn hóa sử dụng để hiển thị giá trị độ sâu M z, không sử dụng quy trình ước lượng giá trị độ sâu việc tính tốn hệ số tương quan Có thể thấy từ Hình 2.13 giá trị độ sâu hầu hết điểm đặc trưng khn mặt ước lượng xác khơng có thông tin trước giá trị độ sâu thực sử dụng tồn quy trình ước lượng Hệ số tương quan thu cách sử dụng cICA_MI 0,9124, cao giá trị trung bình thu phương pháp khác sử dụng hình ảnh khn mặt khơng nhìn trực diện Do đó, mức độ xác ước lượng độ sâu cải thiện cách hiệu cách sử dụng phương pháp tích hợp mơ hình đề xuất có nhiều hình ảnh khn mặt xem trực diện Giá trị ước lượng độ sâu điểm đặc trưng sử dụng ước lượng tư nhận dạng khuôn mặt Độ xác cao ước lượng tư nhận dạng khn mặt nói chung đạt độ xác cao ước lượng độ sâu Vì phương pháp đề xuất chứng minh có độ xác ước lượng độ sâu cao phương pháp khác, đó, cung cấp ước lượng độ sâu đáng tin cậy để sử dụng ước tính tư nhận dạng khn mặt 2.4.2.5 Mở rộng Hình 2.14 cho thấy hoạt động cICA mơ hình dạng đầy đủ dạng bình thường, tức là, đầu vào thuật toán cICA Q Chúng ta thấy thuật tốn đạt mức độ xác ước lượng độ sâu cao độ lệch chuẩn nhỏ Q sử dụng làm đầu vào thuật tốn cICA Do đó, việc sử dụng thơng tin bổ sung trước từ mơ hình mặt CANDIDE chung để chuyển đổi vấn đề mức thành mô hình ICA bình thường xác nhận hiệu để ước lượng độ sâu q 27 Hình 14 So sánh hoạt động thuật toán cICA dựa mơ hình ICA q mức bình thường Hình 15 So sánh hệ số tương quan c (MZb, Mzc) c (Mxfn Mz) cho 30 đối tượng Hình 15 cho thấy hệ số tương quan c (M zb , M z ) giá trị độ sâu thực giá trị ước lượng độ sâu thu thuật toán cICA_MI hệ số tương quan 28 ( M zb , M zc ) giá trị độ sâu thực giá trị độ sâu mơ hình CANDIDE Chúng ta thấy giá trị độ sâu ước lượng gần với giá trị độ sâu thực cho hầu hết đối tượng, so với mơ hình CANDIDE Do đó, phương pháp ước lượng xác giá trị độ sâu ảnh khn mặt Tuy nhiên, nhận thấy có số cải thiện hiệu suất số tốn Điều lý sau Như thể Hình 2.11, hiệu suất c N thường trở nên ổn định số lần lặp tối đa ( iter ) khoảng 1500 Tuy nhiên, hiệu suất tối ưu khơng đạt số toán với số lần lặp Hiện tại, chưa có tiêu chí hiệu để thực việc dừng thực sớm Mặt khác, phương pháp tích hợp mơ hình đề xuất tương tự phương pháp tích hợp mơ hình khác, chẳng hạn phương pháp tích hợp phân loại Hiệu suất cải thiện đáng kể số điều kiện thỏa mãn, ví dụ: đầu mơ hình khác đa dạng bổ sung cho Trong thuật toán cICA_MI, thống kê bậc nhất, giá trị trung bình, sử dụng để tính tốn thống kê kết thu có nhiều hình ảnh khn mặt khơng nhìn trực diện Hình 16 So sánh hệ số tương quan thu cách sử dụng thống kê bậc khác với phương pháp tích hợp mơ hình cho 30 đối tượng Hình 2.16 cho thấy kết thực nghiệm thống kê bậc khác nhau, cụ thể giá trị trung bình, trung bình, trung bình điều hịa (hmean) trungXem xétbìnhđộhìnhchínhhọcxác(gmean),vàtínhđượcmạnhsửmẽdụngcủavớiướcphươnlượng phápđộsâu,tíchHìnhhợp mơ2.16hìnhcho 29 thấy phương pháp tích hợp mơ hình đạt hiệu suất tốt giá trị trung bình sử dụng Hình 17 Hệ số tương quan Đối tượng 1,6, 11,16,21 26 thu cách sử dụng phương pháp tích hợp mơ hình với số lượng mẫu khác Hình 2.17 cho thấy hệ số tương quan hệ số phản ứng 1,6, 11,16,21 26 thu cách sử dụng phương pháp tích hợp mơ hình với số lượng hình ảnh đào tạo ngày tăng Nói chung, thấy độ xác cải thiện có nhiều hình ảnh đưa vào ước lượng Do đó, thu kết khác cách sử dụng kết hợp khác mẫu khn mặt Nếu khơng có giá trị độ sâu thực, khó xác định tiêu chí hiệu để tìm kết hợp tối ưu Trong thử nghiệm, tất mẫu đào tạo có sẵn sử dụng cho thuật toán cICA_MI Cần rằng, để thuận tiện cho việc hiển thị kết quả, 30 đối tượng đầu tiên, thay tất đối tượng hiển thị thí nghiệm Để so sánh kết thống kê tất đối tượng, Bảng 2-2 cho thấy giá trị trung bình ( μ) độ lệch chuẩn (σ ) hệ số tương quan thu năm phương pháp cho 105 đối tượng riêng biệt Vì giá trị độ sâu mơ hình tham chiếu CANDIDE sử dụng phương pháp đề xuất, nênμ σ c ( M zb , M zc ) cho tất đối tượng đưa Bảng II để thể mức độ cải thiện Ngoài ra,μ σ đầu lần lặp, tức là, hệ số tương quan giá trị độ sâu thực giá trị độ sâu tương ứng ước lượng từ tất mẫu đối tượng, đưa để điều tra xem hiệu suất cải thiện tiến hành lặp lại Có thể thấy từ Bảng II hiệu suất tương tự đạt FastICA, gICA SM Vì giá trị độ sâu điểm 30 đặc trưng mơ hình CANDIDE sử dụng FastICA SM, thấy hai phương pháp có hiệu suất tốt chút so với gICA σ SM lớn FastICA gICA thuật tốn di truyền (GA) sử dụng SM dao động lớn việc khởi tạo GA ngẫu nhiên Trong thuật tốn cICA, tín hiệu tham chiếu khơng sử dụng việc khởi tạo cấu trúc mặt 3-D để ước lượng, mà triển khai cho àm mục tiêu mơ hình cICA Khi có nhiều thơng tin điều kiện ưu tiên thực thi, cICA cICA_MI có độ xác ước lượng độ sâu cao mạnh so với phương pháp khác Hơn nữa, so với cICA, giá trị trung bình tăng khoảng 3% cICA_MI Do đó, phương pháp tích hợp mơ hình đề xuất cải thiện độ xác ước lượng độ sâu Ngồi ra, thấy cICA_MI có giá trị trung bình cao c ( M zb , M zc ) Do đó, giá trị ước lượng độ sâu gần với giá trị độ sâu thực so với mơ hình CANDIDE Chúng ta thấy hệ số trung bình cICA_MI khơng lặp lại thấp cICA_MI Do đó, hiệu suất cải thiện cho cICA_MI với nhiều lần lặp Kết luận, phương pháp đề xuất ước lượng độ sâu ảnh khn mặt xác phương pháp khác Bảng 2 Gía trị trung bình μ độ lệch chuẩn σ thu phương pháp hệ số lương quan c ( M zb , M zc ) 105 đối tượng FaassttIICCA gllCCA SM cIICCA cIICCA_MI (KKhhôônng lặặp lạạii) cllCCA_MI c ( M zb , M zc ) Hai loại thuật toán phổ biến để ước lượng cấu trúc 3-D thu hút nhiều nhà nghiên cứu: ước lượng độ sâu điểm đặc trưng tái tạo bề mặt 3-D Phương pháp đề xuất thuộc kiểu cũ, sử dụng trực tiếp ước lượng tư nhận dạng khn mặt Sau có giá trị độ sâu điểm đặc trưng liên quan, thiết lập mơ hình mặt 3-D dựa điểm đặc trưng Tư ước lượng thông qua khoảng cách tương tự điểm đặc trưng hình ảnh khn mặt 2-D có liên quan điểmlàcáccthamiếu khnNgồi tươngsốcầnứngđượcủatốimơưu ra,mặtmơ3- hónh D,hìnhtrong3-Dđóđượccác xâythamdựngsốtưcũngthế sử dụng để nhận dạng khn mặt Vì số điểm tính 31 chọn sử dụng nhận dạng khuôn mặt, nên dư thừa Tái tạo bề mặt 3-D phương pháp phù hợp để phục hồi cấu trúc 3-D đầy đủ khuôn mặt Giá trị độ sâu điểm lấy trực tiếp từ bề mặt tái tạo 3-D cách sử dụng phương pháp nội suy Sau có bề mặt 3-D, số phương pháp trích xuất đối tượng, chẳng hạn PCA, thường áp dụng đám mây điểm để trích xuất đối tượng Tính trích xuất sau sử dụng để nhận dạng khn mặt Nhìn chung, hai phương pháp sử dụng để nhận dạng khn mặt với quy trình khác Việc khai thác tính khơng cần thiết cấu trúc khơng chuyển động Chúng chọn để xây dựng mơ hình mặt 3-D cho ứng dụng điều kiện thực tế Như vậy, thuật tốn ước lượng độ sâu xác cho hình ảnh khn mặt đề xuất dựa mơ hình cICA Việc sử dụng thơng tin trước từ mơ hình mặt 3-D CANDIDE chuyển đổi tốn khó ban đầu thành mơ hình ICA bình thường, mơ hình chứng minh hiệu xác để tái tạo cấu trúc mặt 3-D dựa nhiều hình ảnh khn mặt Khi có nhiều hình ảnh khn mặt khơng nhìn trực diện, phương pháp tích hợp mơ hình đề xuất, phương pháp cải thiện hiệu độ xác độ mạnh ước lượng Đối với phương pháp tích hợp mơ hình, giá trị trung bình thống kê xác minh tốt thống kê bậc khác, chẳng hạn giá trị trung bình, trung bình điều hịa trung bình hình học So với FastICA, gICA SM, phương pháp có độ xác ước tính độ sâu cao độ mạnh mẽ tốt Kết thử nghiệm với sở liệu Bosphorus chứng minh tính khả thi xác phương pháp ... 1.4 Ước lượng ICA 1.5 Tiền xử lý ICA II ỨNG DỤNG CỦA ICA VÀO ƯỚC LƯỢNG ĐỘ SÂU ẢNH MẶT NGƯỜI 12 2.1 Xây dựng mơ hình cICA ... có W , việc ước lượng ma trận gốc A cho Suy A=E D −1/2 Do W trực giao nên W−1=Wτ 12 AI ỨNG DỤNG CỦA ICA VÀO ƯỚC LƯỢNG ĐỘ SÂU ẢNH MẶT NGƯỜI Trong nhiều năm qua, mẫu mặt CANDIDE 3-D sử dụng rộng... 168 bề mặt tam giác 2.1 Xây dựng mơ hình cICA 13 Các đặc điểm hình ảnh biểu thị tọa độ (x, y) điểm đặc trưng khn mặt, sử dụng thuật tốn để ước tính giá trị độ sâu tương ứng z, tức tọa độ z Giả