TÌM HIỂU ICA TRONG xử lý ẢNH

Xử lý ảnh là một lĩnh vực mang tính khoa học và công nghệ. Nó là một ngành khoa học khá mới mẻ so với nhiều ngành khoa học khác nhưng tốc độ phát triển của nó rất nhanh; kích thích các trung tâm nghiên cứu, ứng dụng, đặc biệt là máy tính chuyên dụng riêng của nó. Các phương pháp xử lý ảnh bắt đầu từ các ứng dụng chính: nâng cao chất lượng ảnh và phân tích ảnh. Ứng dụng đầu tiên được biết đến là việc nâng cao chất lượng hình ảnh báo truyền qua giữa đường cáp London và Nchork vào năm 1920. Tuy nhiên việc xử lý, nâng cao chất lưọng ảnh ban đầu còn rất sơ khai, chỉ đon giản là xử lý phân bố các mức sáng (Mức xám và độ phân giải của ảnh). Việc nâng cao chất lưọng ảnh được phát triển vào khoảng những năm 1955. Điều này có thể giải thích được Vì sau thế chiến thứ hai, máy tỉnh phát triển nhanh tạo điều kiện cho quá trình xử lý ảnh số thuận lợi.

TRƯỜNG ĐẠI HỌC QUY NHƠN KHOA CÔNG NGHỆ THÔNG TIN TÊN ĐỀ TÀI: TÌM HIỂU ICA TRONG XỬ LÝ ẢNH TIỂU LUẬN MƠN HỌC XỬ LÝ ẢNH Nhóm học viên thực hiện: Lớp: Khoa học máy tính MỤC LỤC Chương I: GIỚI THIỆU Giới thiệu chung Giới thiệu chung MATLAB 2.1 Các đặc điểm MATLAB 2.2 Phát triển giải thuật ứng dụng 2.3 Phân tích tiếp cận liệu 2.4 Tiếp cận liệu 2.5 Hình ảnh hóa liệu 2.6 Xuất kết triển khai ứng dụng Xử lý ảnh (số) khái niệm liên quan 3.1 Xử lý ảnh (số) 3.1.1 Phần thu nhận ảnh (Image Acquisition) 3.1.2 Tiền xử lý (Image Processing) 10 3.1.3 Phân đoạn (Segmentation) hay phân vùng ảnh 10 3.1.4 Biểu diễn ảnh (Image Representation) 10 3.1.5 Nhận dạng & nội suy ảnh (Image Recognition - Interpretation) 11 3.1.6 Cơ sở tri thức (Knowledge Base) 11 3.2 Các khái niệm liên quan 11 3.2.1 Điểm ảnh(Picture Element) 11 3.2.2 Độ phân giải ảnh 11 3.2.3 Mức xám (Gray level) 12 3.2.4 Nhận dạng ảnh (recognition and classification of image partterns) 12 Matlab xử lý ảnh 13 4.1 Ảnh định số ( Indexed Images ) 13 4.2 Ảnh cường độ (lntensity Images ) 14 4.3 Ảnh nhị phân (Binary Images ) 14 4.4 Ảnh RGB (RGB Images ) 14 4.5 Các hàm chuyển đổi kiểu ảnh 15 4.6 Chuyển đổi không gian màu 16 4.7 Đọc ghi liệu ảnh 16 4.7.1 Đọc ảnh đồ họa 17 4.7.2 Đọc nhiều ảnh từ file đồ hoạ 17 4.7.3 Ghi ảnh đồ hoạ 17 4.8 Truy file đồ hoạ 19 4.9 Chuyển đổi định dạng file ảnh 19 Chương II: PHÂN TÍCH THÀNH PHẦN ĐỘC LẬP (ICA) 20 Giới thiệu ICA 20 Phân tích thành phần độc lập (ICA) 23 Sự độc lập thống kê 25 3.1 Bất tương quan 25 3.2 Độc lập thống kê 25 3.3 Phi Gauss độc lập 26 3.4 Các giả sử mơ hình ICA 26 Ước lượng ICA 27 4.1 Đo tính phi Gauss kurtosis 27 4.2 Đo tính phi Gauss Negentropy 28 Tiền xử lý ICA 32 5.1 Qui tâm 32 5.2 Trắng hóa 32 Chương I: GIỚI THIỆU Giới thiệu chung Xử lý ảnh lĩnh vực mang tính khoa học cơng nghệ Nó ngành khoa học mẻ so với nhiều ngành khoa học khác tốc độ phát triển nhanh; kích thích trung tâm nghiên cứu, ứng dụng, đặc biệt máy tính chuyên dụng riêng Các phương pháp xử lý ảnh ứng dụng chính: nâng cao chất lượng ảnh phân tích ảnh Ứng dụng biết đến việc nâng cao chất lượng hình ảnh báo truyền qua đường cáp London Nchork vào năm 1920 Tuy nhiên việc xử lý, nâng cao chất lưọng ảnh ban đầu sơ khai, đon giản xử lý phân bố mức sáng (Mức xám độ phân giải ảnh) Việc nâng cao chất lưọng ảnh phát triển vào khoảng năm 1955 Điều giải thích Vì sau chiến thứ hai, máy tỉnh phát triển nhanh tạo điều kiện cho trình xử lý ảnh số thuận lợi Năm 1964, máy tính có khả xử lý nâng cao chất lưọng ảnh từ mặt trăng Vệ tinh Ranger Mỹ bao gồm: làm nối đường biên, lưu ảnh Tư năm 1964 đến nay, phương tiện xử lý, nâng cao chất lưọng, nhận dạng ảnh phát triển không ngưng Các phưong pháp tri thức nhân tạo mạng neural nhân tạo, thuật toán xử lý đại cải tiến, công cụ nén ảnh ngày áp dụng rộng rãi thu nhiều kết khả quan Trong y học, thuật tốn máy tính nâng cao độ tương phản, mã hóa mức sáng thành màu đề nội suy ảnh X-quang ảnh y sinh học dễ dàng Các nhà địa Vật lý dùng kỹ thuật tương tư để nghiên cứu mẫu Vật chất từ ảnh Vệ tinh Trong thiên văn học, phương pháp xử lý ảnh nhằm khôi phục ảnh bị nhiễu bị bóng sau chụp Trong Vật lý, người ta dùng kỹ thuật xử lý ảnh để nâng cao chất lưọng ảnh lĩnh vực plasmas microscopy điện từ Ngoài ra, xử lý ảnh xử dụng rộng rãi viễn thám, sinh học, y tế, hạt nhận, quân sự, công nghiệp, Những vấn đề kỹ thuật xử lý ảnh ứng dụng nhiều thực tế kể đến như: tự động nhận dạng đặc trưng, máy nhin công nghiệp để điều khiển kiểm tra sản phẩm, nhận dạng mục tiêu quân sự, nhận dạng vân tay, thi lên hình anh Xquang mẫu máu, xử lý ảnh chụp từ vệ tinh để dự báo thời tiết, nén ảnh để lưu trữ truyền liệu truyền hình Giới thiệu chung MATLAB MATLAB có nguồn gốc từ chữ matrix laboratory, Cleve Moler phát minh vào cuối thập niên 1970, chủ nhiệm khoa mảy tỉnh Đai học New Mexico, ngơn ngữ máy tính dùng để tính tốn kỹ thuật Trải qua nhiều phiên bản, năm 2004 MATLAB phát hành, có khả xác đơn kiểu nguyên, hỗ trợ hàm lồng nhau, công cụ điểm, phát triển thuật toán tuong tác Ban đầu MATLAB lập để giải phép toản ma trận, điều làm cho MATLAB có ứng dụng lớn nhiều ngành kỹ thuật khác so với ngơn ngữ lập trình khác tính toản số vơ hướng MATLAB kết hợp tính tốn lập trình đồ họa mơi trường phát triển tương tảc, thời gian lập trình phần nhỏ so với ngơn ngữ lập trình khác nhờ vào hàm có sẵn MATLAB sản phẩm công ty The Mathworks Inc với địa www.mathworks.com sử dụng MATLAB phải có quyền Tuy nhiên có nhiều hàm MATLAB viết người sử dụng phổ biến mạng giúp MATLAB ngày phong phú 2.1 Các đặc điểm MATLAB - Là ngơn ngữ bậc cao dùng cho tính tốn kỹ thuật - Là mơi trường phát triển để quản lý liệu - Gồm nhiều công cụ tương tác cho việc khai thác xử lý liệu, thiết kế giải vấn đề - Các hàm đồ thị ảnh chiều cho phép hình ảnh hóa liệu - Chứa cơng cụ để xây dựng giao diện đồ thị người sử dụng - Gồm nhiều hàm chức dựa giải thuật sở nhằm tích hợp MATAB với ứng dụng ngơn ngữ lập trình khác như: C, C++, Fortran, Java, Microsoft excel 2.2 Phát triển giải thuật ứng dụng MATLAB ngôn ngữ bậc cao tích hợp cơng cụ phát triển giúp người sử dụng phát triển phân tích giải thuật ứng dụng cách nhanh chóng Ngơn ngữ lập trình MATLAB hỗ trợ phép tốn ma trận vector sở cho vận đề kỹ thuật khoa học Việc lập trình phát triển giải thuật MATLAB có tốc độ nhanh so với ngơn ngữ lập trình truyền thống MATLAB bỏ qua công việc điều khiến bậc thấp khai báo biến, khai báo mẫu liệu xác định vùng nhớ Trong nhiều trường hợp, MATLAB bỏ qua cần thiết vòng lặp “for” Kết là, dòng lệnh viết MATLAB tương đương với nhiều dịng lệnh C hay C++ Là công cụ lập trình mạnh, MATLAB hỗ trợ đặc tính ngơn ngữ lập trình truyền thống như: tốn tử số học, cấu trúc vòng, cậu trúc dạng liệu đặc tính gỡ rơi VD: Chương trình biểu diễn thuật tốn điều chế tín hiệu truyền thơng tạo 1024 điểm, thực điều chế, thêm nhiều phức Gauss vẽ lại kết % tạo vector N bit N = 1024; bits = rand(N,l)>0.5; % chuyển sang ký tự Tx= l -2*bits; % thêm vào nhiều Gauss trang P=0.4 Nz=P*(randn(N,l)+i*randn(N,l)); Rx= Tx + Nz; % hiển thị kết plot(Rx,'.'); axix([-2 -2 2]); axis squarc, grid; Trong phần lớn ngơn ngữ lập trình truyền thống phải trải qua giai đoạn dịch (compilation) liên kết (linking) MATLAB cho phép người sử dụng thực thi lệnh nhóm lệnh lúc Điều làm cho tốc độ xử lý MATLAB nhanh đáng kể so với ngôn ngữ truyền thống 2.3 Phân tích tiếp cận liệu Trong q trình phân tích liệu, MATLAB hỗ trợ hầu hết cơng đoạn như: thu nhận liệu từ thiết bị ngoại vi, phân tích số học, tiến xử lý, hình ảnh hóa Phân tích liệu: Chương trình MATLAB cung cấp công cụ tương tác hàm điều khiến theo dịng cho việc tính tốn phân tích liệu bao gồm:  Các phép nội suy  Trích chọn tính chất  Chọn ngưỡng lọc nhiễu  Tương quan, phân tích Fourier lọc  Phát điểm đính, đáy điểm khơng  Thơng kế chuẩn hóa đường cong  Phân tích ma trận 2.4 Tiếp cận liệu Việc tiếp cận liệu từ thư mục, ứng dụng, sở liệu thiết bị ngoại vi MATLAB dễ dàng MATLAB hỗ trợ nhiều loai định dang file: ASCII, nhị phân, file hình anh âm hay chí file định dang HDF Trong MATLAB có nhiều hộp cơng cụ (toolbox) hỗ trợ cho việc tiếp cận liệu như: hộp công cụ sở liệu (Database Toolbox), hộp công cụ thu nhận liệu (Data Acquisition Toolbox) hay hộp công cụ điều khiển thiết bị (Instrument Control Toolbox) 2.5 Hình ảnh hóa liệu Tất đặc tính hình ảnh cần thiết cho hình ảnh hóa liệu khoa học kỹ thuật tích hợp MATLAB Những đặc tính bao gồm: hàm vẽ ảnh chiều, hàm thể tích chiều, cơng cụ tương tác tạo ảnh, khả xuất kết dạng file ảnh thông thường VD: Vẽ hàm y= sin(x) với -pi < x < pi Mã chương trình: >>x = -piz:.1:pi; >>y = sin(x); >> plot (x, y) Hình 1.2: Đồ thị hàm y = sin(x) 2.6 Xuất kết triển khai ứng dụng MATLAB đưa nhiều đặc tính giúp báo cáo chia cơng việc Các đoạn code viết MATLAB tích họp với ngôn ngữ ứng dụng khác Đồng thời triển khai thuật tốn ứng dụng chưong trình khối phần mềm riêng biệt Xuất kết quả: Sau hồn thành cơng việc, người sử dụng cần xuất kết thường hình ảnh báo cáo MATLAB có hỗ trợ file hình ảnh với nhiều định dang khác việc xuất kết đồ thị hay file ảnh dễ dàng Ngồi ra, muốn chuyển code từ MATLAB dang khác: HTML, Word, Latex Kết hợp mã MATLAB với loại ngôn ngữ ứng dụng khác: MATLAB cung cấp sẵn hàm cho việc kết hợp mã ngôn ngữ lập trình khác C, C++, Fortran hay Java với mà chương trình Sử dụng thư viện cơng cụ (engine library) MATLAB, người sử dụng gọi đoạn mà từ C, C++ hay Fortran Triển khai ứng dụng: Các sản phẩm sau xử lý MATLAB thường đoạn mã Các đoạn mã cung cấp cho người khác ứng dụng vào sản phẩm phần cứng phần mềm cụ thể Xử lý ảnh (số) khái niệm liên quan 3.1 Xử lý ảnh (số) Xử lý ảnh (số) dạng xử lý tín hiệu đầu vào hình ảnh (các ảnh, khung hình) đầu trình xử lý ảnh hình ảnh khác tập chứa tính chất tham số liên quan tới hình ảnh Phần lớn kỹ thuật xử lý ảnh thường quy việc xử lý hình ảnh tín hiệu hai chiều sử dụng kỹ thuật xử lý tín hiệu để xử lý Hình mơ tả bước xử lý ảnh Hình 1.3 Các bước xử lý ảnh 3.1.1 Phần thu nhận ảnh (Image Acquisition) Ảnh nhận qua camera màu đen trắng Thường ảnh nhận qua camera ảnh tương tự có loai camera số hố Camera thường dùng loại qt dịng; ảnh tạo có dạng hai chiều Chất lượng ảnh thu nhận phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh) Do ảnh đầu thiết bị thu nhận ảnh ảnh số hay ảnh tương tự nên ta cần chuẩn hóa chúng ảnh số để tiện sử lý Tiếp theo ảnh mã hóa lưu lại trước vào trình tiền sử lý Đây trình định dạng cho ảnh Quá trình phải đảm bảo cho thông tin quan trọng ảnh cấu trúc, kích thước, màu sắc khơng bị sai lệch so với ảnh gốc Lúc ảnh xử lý máy tính dạng số Tùy thuộc vào tiêu chuẩn khác có cách định dạng khác Dưới số định dạng: Ảnh Bitmap — Microsoft Windows Bitmap (*.bmp): Ảnh Bitmap ảnh định dạng theo chuẩn Microsoft đưa Với định dạng ảnh đươc chuyển mã lưu lại đầy đủ thông tin Tuy nhiên định dạng thông tin ảnh không nén lại nên dung lượng thường lớn Dung lượng tập tin Bitmap phụ thuộc nhiều vào số lượng màu sặc ảnh Ảnh GIF — Graphic Interchanger Format (*.gif): Ảnh Gif ảnh định theo chuẩn nén LZW dựa lặp lại số nhóm điểm ảnh thay mã loạt dài định dang khác nên dung lượng lưu trữ nhỏ Ánh gif thưòng dùng để lưu trữ ảnh đơn giản có chuyển đổi màu vùng ảnh ảnh đồ họa hay đồ thị, biểu đồ .Tuy nhiên định dạng cho chất lượng ảnh cao, độ phân giải cao, hiển thị hầu hết phân mềm hoa Ảnh JPEG — Joint Photographic Expert Group ( *.JPEG hay *.JPG): Ảnh JPEG chuẩn nén ánh tĩnh có mát, thường dùng để lưu ảnh màu ảnh đa mức xám khơng có u cầu cao ảnh giải nén phải gần giống ảnh gốc Dung lượng ảnh JPEG thường nhỏ, người dùng chủ động định dung lượng ảnh cách chọn tỉ lệ nén nhiều hay ne'n Ánh lưu với định dang JPG lưu 24 bits/picxel liệu màu (tương đương 16 triệu màu) 3.1.2 Tiền xử lý (Image Processing) Sau thu nhận, ảnh nhiều độ tương phản thấp nên cần đưa vào tiền xử lý để nâng cao chất lượng Chức tiền xử lý lọc nhiễu, nâng độ tuong phán để làm ảnh rõ hơn, nét Như tiền xử lý ảnh phép biến đổi ảnh đảm bảo thông tin quan ảnh lưu giữ ảnh gốc ban đầu, đồng thời làm bật số đặc tính ảnh Tiền xử lý ảnh khơng phải làm tăng lượng thơng tin vốn có ảnh mà làm bậc đặc tính chọn, tạo tiền đề cho cho q trình phân tích ảnh Tùy theo ứng dụng cụ thể, trình tiến xử lý bao gồm tồn q trình hay phần Một số bước tiến xử lý như: cận sáng tối, nâng cao độ tưong phản, khử nhiễu 3.1.3 Phân đoạn (Segmentation) hay phân vùng ảnh Phân vùng ảnh tách ảnh đầu vào thành vùng thành phần để biểu diễn phân tích, nhận dạng ảnh Ví dụ: để nhận dạng chữ (hoặc mã vạch) phong bì thu cho mục đích phân loại bưu phẩm, cần chia câu, chữ địa tên người thành từ, chữ, số (hoặc vạch) liêng biệt để nhận dạng Đây phần phức tạp khó khăn xử lý ảnh dễ gây lỗi, làm độ xác ảnh Kết nhận dạng ảnh phụ thuộc nhiều vào công đoạn 3.1.4 Biểu diễn ảnh (Image Representation) Đầu ảnh sau phân đoạn chứa điểm ảnh vùng ảnh (ảnh phân đoạn) cộng với mã liên kết với vùng lận cận Việc biến đổi số liệu thành dạng thích hợp cần thiết cho xử lý máy tính Việc chọn tính chất để ảnh gọi trích chọn đặc trưng (Feature Selection) gắn với việc tách đặc tính ảnh dạng thơng tin định lượng làm sở để phân biệt lớp đối tượng với đối tượng khác phạm vi ảnh nhận Ví dụ: Trong nhận dạng ký tự phong bì thu, miêu tả đặc trưng ký tự giúp phân biệt ký tự với ký tự khác Chương II: PHÂN TÍCH THÀNH PHẦN ĐỘC LẬP (ICA) Giới thiệu ICA Hãy thử tưởng tượng bạn phòng mà có người nói chuyện với Bạn dùng micro, đặt vị trí khác Các microphone thu tín hiệu đồng thời Ta phải xác định x1(t), x2(t) x3(t) với x1 ,x2, x3 cường độ âm thanh, t thời gian Chúng ta biểu diễn hệ phương trình tuyến tính [1]: x1 (t )  a11s1  a12 s2  a13 s3 x2 (t )  a21s1  a22 s2  a23 s3 x3 (t )  a31s1  a32 s2  a33 s3 Trong a11 , a12 , a13 , a21 , a22 , a23 , a31 , a32 , a33 số phụ thuộc vào khoảng cách từ microphone đến người nói Điều tiện lợi việc xấp xỉ nguồn tín hiệu gốc ( tiếng nói người phòng ) s1(t), s2(t) s3(t) từ tín hiệu thu x1(t), x2(t) x3(t) Ví dụ gọi tốn cocktail-party Theo thời gian ta bỏ qua thời gian trễ nhiễu thêm vào từ mơ hình trộn đơn giản Hình 2.1 Tín hiệu gốc Hình 2.2 Tín hiệu trộn Dĩ nhiên chúng khơng phải tín hiệu tiếng nói thực đủ cho minh họa Tín hiệu tiếng nói gốc giống hình 2.1 tín hiệu trộn có dạng 2.2 vấn đề cần khơi phục lại tín hiệu gốc 2.1 từ tín hiệu trộn 2.2 Nếu biết hệ số aij, giải hệ phương trình tuyến tính theo phương pháp thơng thường tìm đươc tín hiệu ban đầu Tuy nhiên ta hệ số aij tốn trở nên phức tạp Một hướng để giải toán sử dụng thơng tin đặc trưng thống kê tín hiệu si(t) để xấp xỉ aij Và điều lưu ý tín hiệu s1(t), s2(t) s3(t), thời điểm t, độc lập thống kê Tuy nhiên thực tế khơng hồn tồn xác Các hướng phát triển gần kĩ thuật phân tích thành phần độc lập ICA xấp xỉ aij dựa thơng tin độc lập tín hiệu Điều cho phép chia tín hiệu gốc từ tín hiệu trộn x1(t), x2(t) x3(t) Hình 2.3 Tín hiệu phục hồi Ví dụ tín hiệu điện não thể điện não đồ (EEG) Dữ liệu EEG bao gồm tín hiệu thu từ điện cực gắn vị trí khác vùng đầu người Những tín hiệu thu từ điện cực thông tin tổng hợp từ thành phần hoạt động não Vấn đề tương tự tốn cocktail- party: cần tìm thành phần gốc hoạt động não, quan sát tín hiệu trộn lẫn thành phần ICA phát thơng tin hoạt động não cách tìm thành phần độc lập Một ví dụ khác, ICA dùng để trích đặc trưng Vấn đề quan trọng xử lý tín hiệu số tìm biễu diễn phù hợp cho hình ảnh, âm loại liệu khác thích hợp Biểu diễn liệu thường dựa vào biến đổi tuyến tính Biến đổi tuyến tính ứng dụng rộng rãi xử lý ảnh số biến đổi Fourier Haar, biến đổi cosin Mỗi phép biến đổi có ưu điểm riêng Tất ứng dụng xây dựng thành mơ hình tốn học thống nhất, ICA Đây giải pháp ứng dụng cho nhiều mục đích khác việc xử lý tín hiệu phân tích liệu Phân tích thành phần độc lập (ICA) Để định nghĩa ICA ta dùng mơ hình thống kê “làm chậm biến số”- ”latent varialbe” Giả sử, ta quan sát n tổ hợp tuyến tính x1,…,xn n thành phần độc lập [1] x j  a j1s1  a j s2   a jn sn (2.1) Chúng ta bỏ qua số thời gian t (trong mơ hình ICA), ta giả sử tổ hợp xj ứng với thành phần độc lập sk biến ngẫu nhiên, thay cho tín hiệu theo thời gian thích hợp Giá trị quan xj(t), tín hiệu thu từ microphone tốn cocktail-party, mẫu biến số ngẫu nhiên Khơng tính tổng quát, ta giả sử biến trộn lẫn thành phần độc lập có giá trị trung bình khơng Nếu thực tế khơng đúng, đưa biến số quan sát xi gía trị trung tâm cách trừ với mẫu trung bình Điều thuận tiện dùng ký hiệu ma trận vector thay cho dạng tổng công thức trước Điều cho thấy với vector ngẫu nhiên x, thành phần tổ hợp x1 , x2 , , xn tương tự vector ngẫu nhiên s với thành phần s1 , s2 , , sn Chúng ta quan sát ma trận A với phần tử aij Tất vector được hiểu vector cột; xT chuyển vị x ,là vector hàng, sử dụng ký hiệu ma trận vector, mơ hình hỗn hợp viết lại là: x  As (2.2) Thỉnh thoảng, cần cột ma trận A; điều có nghĩa mơ hình aj viết lại sau n X   si (2.3) i 1 Mơ hình thống kê (2.2) gọi phân tích thành phần độc lập, hay mơ hình ICA Mơ hình ICA mơ tả cách thức tạo liệu quan sát trình trộn đối tượng si Các đối tượng độc lập biến số ẩn, có nghĩa ta khơng thể quan sát chúng cách trực tiếp Vì ma trận trộn xem khơng biết Tất ta quan sát vector ngẫu nhiên x, phải dùng x để xấp xỉ A s Điểm khởi đầu ICA thừa nhận đơn giản thành phần si độc lập thống kê Tiếp theo phải thừa nhận thành phần độc lập phải có phân bố khơng Gauss Tuy nhiên, mơ hình không cần biết phân bố Một cách đơn giản, cần giả thiết ma trận trộn chưa biết ma trận vng Sau ta xấp xỉ ma trận A, tính ma trận ngược (là W), thành phần độc lập tính cơng thức: S = Wx (2.4) ICA tương tự phương pháp “phân chia nguồn mù” (BBS) phân chia tín hiệu chưa biết.”Nguồn” có nghĩa tín hiệu gốc, thành phần độc lập, tương tự toán cocktail-party.”Mù” có nghĩa biết ICA phương pháp ứng dụng rộng rãi việc trình bày trình phân chia nguồn mù Trong nhiều ứng dụng, giả thiết có thêm nhiễu q trình đo đạc, có nghĩa phải thêm thành phần nhiễu vào mơ hình tính tốn Để đơn giản đơi ta bỏ qua thành phần nhiễu Các điểm không xác định ICA: Trong mô hình ICA (2.2), thấy điểm không xác định sau:  Chúng ta xác định thành phần biến (số cột ma trận tương quan) thành phần độc lập Lý S A không biết, phép nhân vơ hướng nguồn si khử cách chia cho cột tương ứng A với hướng (2.3) Hệ quả, phải hiệu chỉnh biên độ thành phần độc lập; ta biết, ICA biến ngẫu nhiên, cách đơn giản ta giả sử nguồn có thành phần biến số đơn vị Sau ma trận A đáp ứng với phương pháp giải ICA để khắc phục hạn chế Ta loại bỏ dấu hiệu bất định này: ta nhân thành phần độc lập với -1 mà không làm ảnh hưởng đến mơ hình tính Trong hầu hết ứng dụng yếu tố dấu khơng có nghĩa  Chúng ta khơng thể xác định thứ tự thành phần độc lập Lý S A khơng biết, thay đổi tùy ý trật tự phép tính cơng thức (2.3), gọi thành phần độc lập thành phần Ma trận hoán vị P phép biến đổi ngược thay công thức x  AP1Ps Các phần tử Ps thành phần biến độc lập gốc sj, theo thứ tự khác Ma trận AP-1 biết ma trận trộn chưa biết dùng để giải toán ICA Sự độc lập thống kê 3.1 Bất tương quan Các phân bố xác suất giả sử có trị trung bình khơng Nếu khơng phải ta trừ phân bố với trị trung bình nó, qui tâm (centering) Để ý hiệp phương sai (covariance) tương quan (correlation) trị trung bình khơng Đối với vector ngẫu nhiên x ma trận hiệp phương sai Cxx = E {(x – mx)(x – mx)T} (2.5) Trong E {.} tốn tử lấy trung bình, mx vector trung bình Hiệp phương sai hai vector ngẫu nhiên x1, x2T (có trị trung bình khơng) là: Cx1x2 = E {x1x2 } (2.6) Khi Cx1x2 = hai vector bất tương quan (uncorrelated) Đối với vector ngẫu nhiên x thành phần xi bất tương quan thì: Cxx = D (2.7) Trong D ma trận chéo n×n, với phương sai thành phần nằm đường chéo 3.2 Độc lập thống kê Tính bất tương quan nêu chưa đủ để ước lượng thành phần độc lập ICA Ta cần đặc tính mạnh hơn, độc lập thống kê, nghĩa biết thành phần ta khơng thể suy thành phần cịn lại Xem hai vector ngẫu nhiên x1và x2 với hàm mật độ xác suất riêng biệt p(x1), p(x2) hàm mật độ xác suất liên kết p(x1x2) độc lập thống kê thỏa: p(x1.x2) = p(x1) p(x2) (2.8) Khi có nhiều vector thừa số hóa tương tự Định nghĩa kỹ thuật dẫn đến đặc tính sau biến ngẫu nhiên Xem f(x1) f(x2) biến đổi phi tuyến hai vector ngẫu nhiên x1 x2 có hàm phân bố nói trên, chứng minh được: E{f1(x1)f2(x2)} = E{f1(x1)}E{f2(x2)} (2.9) Như độc lập thừa số hóa tương quan phi tuyến Đây đặc tính quan trọng giải thích nhấn mạnh vai trị phi tuyến ICA Khi đặt f(x1) = x1 f(x2) = x2 ta thấy độc lập bao gồm bất tương quan (nhưng bất tương quan không đương nhiên độc lập) Cụ thể ta giả sử s phương trình (2.2) độc lập thống kê nên tín hiệu nguồn si thành phần độc lập Chính nhờ độc lập thống kê mà ta phân ly s từ (2.2) 3.3 Phi Gauss độc lập Mơ hình ICA đặt hạn chế thành phần độc lập phải có tính phi Gauss (non-gaussianity), tức khơng có phân bố (hàm mật độ xác suất) Gauss Lý tính phi Gauss nằm chổ biến ngẫu nhiên Gauss xác định hoàn toàn thống kê bậc (trị trung bình) bậc hai (phương sai), thống kê bậc cao không Trong lúc, thấy sau, mơ hình ICA cần thống kê bậc cao thành phần độc lập để thực phân ly (ước lượng thành phần độc lập) Như vậy, phi tuyến, tính phi Gauss dẫn đến độc lập thống kê 3.4 Các giả sử mơ hình ICA Mơ hình ICA tuyến đặt đòi hỏi giả thiết sau cho việc phân ly (ước lượng) thành phần độc lập: Các nguồn s độc lập thống kê nhau, nghĩa biết nguồn suy nguồn lại Các hàm phân bố xác suất nguồn có trị trung bình khơng Khơng có nguồn (thành phần độc lập) có phân bố Gauss (thật mơ hình cho phép có tối đa thành phần có phân bố Gauss) Ma trận trộn A ma trận vuông tức số lượng nguồn số lượng trộn Nếu vậy, tốn khó Ước lượng ICA Ước tính ICA cơng việc chi li Người ta phát triển nhiều cách để giải tốn [1]:  Cực đại hóa tính phi Gauss (nongaussianity)  Ước lượng khả cực đại (maximum likelihood)  Cực tiểu hố thơng tin hỗ tương (mutual information)… Trong phương pháp, trước tiên định hàm đối tượng (objective function), gọi hàm trị giá (cost function), dùng thuật tốn tối ưu hóa để cực đại hóa cực tiểu hóa (nói chung cực đại hóa trị tuyệt đối) hàm đối tượng để ước lượng thành phần độc lập Theo định lý giới hạn trung tâm (central limit theorem), tổng nhiều biến ngẫu nhiên có phân bố gần Gauss biến ngẫu nhiên gốc Ở mơ hình ICA (2.2) vector ngẫu nhiên x gồm biến ngẫu nhiên trộn tuyến vector biến ngẫu nhiên nguồn s Các nguồn giả sử độc lập trộn lại (cộng nhau) trộn trở nên gần Gauss Nếu việc trộn đảo ngược lại theo cách tín hiệu nhận Gauss Do ước lượng ICA nhắm đến cực tiểu hóa tính Gauss tức cực đại hóa tính phi Gauss điều cho ta thành phần độc lập 4.1 Đo tính phi Gauss kurtosis Đầu tiên phép đo dựa kurtosis biến ngẫu nhiên y có trung bình không cumulant bậc bốn: kurt(y) = E{y4} – (E{y2}2 (2.10) Thật ta giả sử y có phương sai đơn vị, nên kurtosis kurt(y) = E{y4} – 3, tức kurtosis phiên chuẩn hóa momen thứ tư E{y4} Khi y có phân bố Gauss momen thứ tư 3(E{y2})2 nên kurtosis không biến ngẫu nhiên Gauss Hầu hết biến ngẫu nhiên Gauss kurtosis khác không Nếu kurtosis dương biến ngẫu nhiên có phân bố siêu Gauss (supergaussian), cịn kurotsis âm biến ngẫu nhiên có phân bố Gauss (subgaussian) Phân bố siêu Gauss khơng cịn dạng hình chng Gauss mà tăng nhanh trung tâm tương tự phân bố Laplace, cịn phân bố Gauss khơng nhơ lên phần Gauss mà tiến đến phân bố với biên độ nhỏ xa trung tâm Hình thể rõ điều Việc đo tính phi Gauss kurtosis có vài bất lợi giá trị tính từ mẫu quan sát được, kurtosis bị ảnh hưởng trị biên (outlier) quan sát hai đuôi phân bố 4.2 Đo tính phi Gauss Negentropy Một số đo tính phi Gauss quan trọng negentropy Negentropy đại lượng dựa lý thuyết thông tin gọi entropy vi sai Entropy biến ngẫu nhiên số đo lượng thơng tin trung bình Càng ngẫu nhiên, biến khơng có cấu trúc entropy lớn Các biến chặt chẽ entropy gần chiều dài mã hóa biến ngẫu nhiên Entropy (vi sai) H vector ngẫu nhiên y có hàm phân bố f(y) định nghĩa sau: H ( y)   P( y  )log P( y  ) Trong giá trị có Y Đây định nghĩa tiếng dùng để tổng hợp cho biến hay vector ngẫu nhiên có giá trị liên tục, trường hợp thường gọi entropy vi phân Entropy vi phân vector ngẫu nhiên y với mật độ f(y): H ( y)   f ( y) log f ( y)dy Đặc tính quan trọng entropy biến ngẫu nhiên Gauss có entropy lớn biến ngẫu nhiên có phương sai Như entropy, negentropy định nghĩa theo entropy, dùng để đo tính phi Gauss biến ngẫu nhiên Thực tế, điều phân bố Gauss “ngẫu nhiên nhất” hay cấu trúc tất phân bố Entropy nhỏ, phân bố tập trung số giá trị định, biến số hội tụ, hay hàm mật độ phân bố có dạng nhọn Để có số đo tính phi Gauss cho không biến Gauss không âm, người ta định nghĩa negentropy vector ngẫu nhiên y: J(y) = H(yGauss) – H(y) yGauss vector ngẫu nhiên Gauss ma trận hiệp phương sai (hay ma trận tương quan liệu giả sử có trung bình khơng) Do đặc tính đề cập ,negentropy khơng âm, khơng y có phân bố dạng Gauss Negentropy có đặc tính hay, đại lượng bất biến phép biến đổi tuyến tính ngược Ưu điểm negentropy, hay tương đương entropy vi phân, đại lượng đo đạc tính phi Gauss thỏa mãn lý thuyết thống kê Trong thực tế, negentropy số chiều xấp xỉ tối ưu hóa phi Gauss Khó khăn việc ứng dụng negentropy việc tính tốn phức tạp Việc xấp xỉ negentropy định nghĩa cần phải xấp xỉ hàm mật độ xác xuất Cho nên, việc đơn giản hóa việc xấp xỉ negentropy cần thiết Tuy nhiên tính tốn negentropy lại khó khăn Một số tính tốn xấp xỉ phát triển, mà là: J ( y )  [ E{G ( y )}  E{G ( yGauss )}]2 Hàm phi tuyến G(.) chọn theo hai biểu thức sau: G1 ( y )  log cosh a1 y a1 G2 ( y )   exp( y2 ) G3 ( y )  y với   thường chọn a1 = Trong mơ hình ICA, ta muốn tìm hàng ma trận W Khi dùng negentropy người ta xây dựng thuật toán FastICA dựa thuật toán điểm cố định (fixed-point algorithm) FastICA cho đối tượng: Chúng ta xem xét loại đơn vị FastICA Chúng ta quy việc tính tốn mức đơn vị, mạng neural nhân tạo, có vector trọng số mà neural cập nhật theo luật học Đối với fastICA luật học tìm hướng vector đơn vị w cho hình chiếu wTx cực đại tính phi Gauss Tính phi Gauss đo đạc theo xấp xỉ negentropy J(wTx) Các phương sai wTx phải đưa dạng đơn vị Tương tự trình làm trắng hóa đưa w dạng chuẩn đơn vị FastICA dựa mơ hình điểm cố định lập lập lại nhiều lần nhằm tìm giá trị cực đại wTx Nó bắt nguồn từ phép lặp Newton [1] Bước 1: Chọn vector ngẫu nhiên w Bước 2: w  E{zg (wT z )}  E{g ( wT z )}w w  w/ w Nếu không hội tụ quay lại bước Hội tụ có nghĩa giá trị cũ điểm w phải có hướng , tích vơ hướng chúng Tuy nhiên thực tế ta chọn ngưỡng hội tụ Sig cho trước cho: Sig  wnew  wold Trong g đạo hàm hàm G1, G2, G3 Fast ICA cho nhiều đối tượng Tuy nhiên thường ta khơng có thành phần độc lập đơn (chỉ mà thơi), phải tính nhiều hàng W Lúc dòng w khác ma trận W hội tụ đến cực đại hàm đối tượng Để khắc phục vấn đề này, vector w1, w2, … wn phải trực giao hóa sau lần lặp Để tránh trường hợp vector hội tụ hướng phải giải tương quan ngõ w1Tx,…, wnTx sau lần lặp lại Chúng ta đề cập đến phương pháp giải vấn đề Một cách giải tương quan đơn giản mơ hình hạ cấp ma trận dựa lý thuyết giải tương quan Gram-Schmidth Điều có nghĩa ta xấp xỉ đối tượng tương quan xấp xỉ p đối tượng độc lập, hay p vector w1,…,wp chạy thuật toán fixed-point đơn vị cho vector wp+1 sau bước lập lại wp+1 từ hình chiếu (wp+1T wj)wj ; j=1…p p vector trước đó, sau chuẩn hóa wp+1 Các bước thực Bước 1: Chọn số đối tượng độc lập cần xấp xỉ m , chọn p=1 Bước 2: Chọn ngẫu nhiên wp Bước 3: wp  E{zg (wpT z)}  E{g(wpT z)}wp p 1 Bước 4: wp  wp   ( wTp w j )w j j 1 Bước 5: wp  wp / wp Bước 6: wp không hội tụ quay lại bước Bước 7: Đặt p  p  tăng p thêm đến p= m Khi chọn xong wp ta lưu lại ma trận W (wp ứng với cột W) Các tính chất FastICA :  Sự hội tụ có dạng lập phương; điều chống lại thuật tốn ICA thơng thường dựa theo phương pháp gradient descent (trong nói hội tụ tuyến tính) Điều có nghĩa hội tụ diễn nhanh, kiểm chứng thí nghiệm dựa liệu thực  Chống lại lý thuyết dựa gradient, khơng có bước lựa chọn thơng số tham số kích thước Điều có nghĩa thuật tốn dễ sử dụng  Thuật tốn tìm trực tiếp đối tượng độc lập phân bố phi Gauss dùng hàm khơng tuyến tính  Các đối tượng độc lập xấp xỉ Do hữu hiệu phân tích liệu thăm dị, cắt giảm tính tốn trường hợp cần xấp xỉ số đối tượng đôc lập  Phương pháp Fast ICA có tất tiện lợi thuật tốn neural Nó có tính song song, phân bố, dễ tính tốn, cần khơng gian nhớ Tiền xử lý ICA Thường trước ước lượng ICA cho liệu quan sát người ta áp dụng hai tiền xử lý để việc ước lượng ICA thuận lợi [1] 5.1 Qui tâm Như nêu trước, tín hiệu trộn quan sát x phải có trị trung bình m = E[x] khơng, điều có nghĩa tín hiệu nguồn s có trị trung bình khơng Nếu tín hiệu chưa có trị trung bình khơng ta thực phép qui tâm tức trừ phân bố biến ngẫu nhiên với trị trung bình chúng: x  x  E{x} x vector ngẫu nhiên chưa có trung bình khơng Sau ước lượng ma trận A thành phần s ta thêm trở lại trị trung bình chúng Khi vector ngẫu nhiên x (hoặc s) có trị trung bình khơng hiệp phương sai tương quan giống 5.2 Trắng hóa Sau qui tâm biến ngẫu nhiên x, ta áp dụng biến đổi tuyến tính x để vector trắng Sự làm trắng hay trắng hóa whitening), cịn gọi cầu hóa (sphering), có mục đích làm cho liệu bất tương quan Giả sử ta có vector ngẫu nhiên x bất tương quan, tức xuyên phương sai phần tử không, dẫn đến ma trận hiệp phương sai ma trận chéo có số hạng chéo tương ứng với phương sai phần tử x Nếu phương sai cho , nghĩa ma trận hiệp phương sai cho với ma trận đồng I vector ngẫu nhiên x trắng: E[xxT] = I (x trắng) Việc làm trắng biến đổi tuyến tính z = Vx x liệu cần làm trắng, V ma trận làm trắng, z liệu trắng hóa Cách thường dùng để tìm ma trận làm trắng thực phân ly trị riêng (Eigenvalue Decomposition - EVD) ma trận hiệp phương sai: E[xxT] = EDET E ma trận trực giao vector riêng E[xxT] D ma trận chéo trị riêng chúng, D = chéo(d1, d2, …,dn), n số lượng nguồn quan sát x Ma trận làm trắng là: V= ED-1/2ET Trong D 1/  chéo(d1-1/2 , , d -1/2 n ) ma trận làm trắng biểu diễn như: V  E[ xxT ]1/  Cxx1/ Trong Cxx  E[ xxT ] ma trận hiệp phương sai Vậy z  Vx  VAs  As Trong A  VA ma trận trộn làm trắng Mặt khác z liệu làm trắng nên E={xxT}=I E{zzT }  E{ As[ As]T }  AE{ssT } AT  I Ta cần ý thành phần độc lập si giả sử có phương sai đơn vị Vậy ma trận làm trắng trực giao (ở ma trận trực giao nghịch đảo chuyển vị: A1  AT ) Ta biết ma trận n x n không trực giao chứa n2 độ tự do, trực giao chứa n(n-1)/2 độ tự Với liệu hai chiều điều có nghĩa độ tự cho biến đổi trực giao Khi số chiều lớn, độ tự ma trận trực giao phân nửa độ tự ma trận không trực giao Do người ta nói làm trắng giải phân nửa tốn ICA Bởi trắng hóa thủ tục đơn giản thuật toán ICA nên tiền xử lý thông dụng Sau ước lượng ma trận trắng hóa, việc ước lượng thành phần độc lập s trở thành: s = Wz W đảo nghịch Với ma trận vuông việc lấy nghịch đảo thuận lợi Sau có W, việc ước lượng ma trận gốc A cho A  VA  D 1/ E T A  A  ED 1/ A  ED 1/ 2W 1  ED 1/ 2W T Do W trực giao nên W-1=WT ... thuật xử lý tín hiệu để xử lý Hình mơ tả bước xử lý ảnh Hình 1.3 Các bước xử lý ảnh 3.1.1 Phần thu nhận ảnh (Image Acquisition) Ảnh nhận qua camera màu đen trắng Thường ảnh nhận qua camera ảnh. .. đầu vào hình ảnh (các ảnh, khung hình) đầu q trình xử lý ảnh hình ảnh khác tập chứa tính chất tham số liên quan tới hình ảnh Phần lớn kỹ thuật xử lý ảnh thường quy việc xử lý hình ảnh tín hiệu... sau xử lý MATLAB thường đoạn mã Các đoạn mã cung cấp cho người khác ứng dụng vào sản phẩm phần cứng phần mềm cụ thể Xử lý ảnh (số) khái niệm liên quan 3.1 Xử lý ảnh (số) Xử lý ảnh (số) dạng xử lý