Tổng quan về xử lý ảnh......................................................................................... 2 2. Những nguyên tắc cơ bản (FUNDAMENTALS)................................................. 2 3. Xử lý hình thái học (MORPHOLOGICAL IMAGE PROCESSING) ................. 3 4. Biến đổi Fourier .................................................................................................... 4 5. Bộ lọc và cân bằng Histogram. ............................................................................. 4 6. Bộ lọc trong miền tần số. ...................................................................................... 6 7. GUIDE. ................................................................................................................. 6 8. Phân đoạn và tách biên.......................................................................................... 6 9. Mạng Neural. ........................................................................................................ 7
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐIỆN-ĐIỆN TỬ BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP Y SINH BÁO CÁO MÔN HỌC XỬ LÝ ẢNH Y SINH GVHD: Th.S NGÔ BÁ VIỆT Sinh viên thực MSSV Nguyễn Ngọc Phương Uyên 17129060 TP.Hồ Chí Minh, tháng 11, năm 2019 BÁO CÁO MÔN XỬ LÝ ẢNH MỤC LỤC I LÝ THUYẾT MÔN HỌC Tổng quan xử lý ảnh 2 Những nguyên tắc (FUNDAMENTALS) Xử lý hình thái học (MORPHOLOGICAL IMAGE PROCESSING) Biến đổi Fourier Bộ lọc cân Histogram Bộ lọc miền tần số GUIDE Phân đoạn tách biên Mạng Neural II KẾT QUẢ THỰC HIỆN Tổng quan xử lý ảnh 10 Xử lý hình thái học (MORPHOLOGICAL IMAGE PROCESSING) 11 Bộ lọc cân Histogram 15 Biến đổi Fourier 16 GUIDE 17 Phân đoạn tách biên 19 BÁO CÁO MÔN XỬ LÝ ẢNH I LÝ THUYẾT MÔN HỌC Tổng quan xử lý ảnh a Điểm ảnh: ( M , N ) : Kích thước ảnh L : Số mức xám L 2n n: số bit biểu diễn mức xám cho điểm ảnh b Dung lượng ảnh (b): b M N n (bit) b CR M N n (1.1) (byte) b(bytes) Filesize(bytes) (1.2) c Ảnh màu ảnh xám: - Mơ hình RGB biểu diễn màu điểm hình hộp đơn vị RGB, màu đen có tọa độ (0 0) màu trắng (1 1) - Nếu dùng bit để biểu diễn màu bàn màu đen (0 0) màu trắng (255 255 255) - Ảnh xám hệ thống màu có mơ hình màu đơn giản với 256 cấp độ xám biến thiên từ màu đen đến màu trắng Sản phẩm xuất có màu trắng đen Những nguyên tắc (FUNDAMENTALS) a Biến đổi âm bản: G ( x, y ) ( L 1) F ( x, y ) Ảnh đầu Phép biến đổi (2.1) Ảnh đầu vào b Biến đổi theo làm Log: BÁO CÁO MÔN XỬ LÝ ẢNH G ( x, y ) c log(1 F ( x, y )) (2.2) c Biến đổi theo lũy thừa: G ( x, y ) c f ( x, y ) (2.3) Xử lý hình thái học (MORPHOLOGICAL IMAGE PROCESSING) a Giãn nở: imdilate - Làm ảnh to hay dầy - Cho SE B di chuyển ảnh A, gốc B phải trùng với điểm ảnh giá trị A, ảnh C phản xạ B phải có phần giao với A Hình 3.1 Sử dụng mặt nạ SE B di chuyển ảnh A ta Ảnh C - Với ảnh xám, cho SE di chuyển ảnh A, cường độ sáng điểm ảnh gốc SE giá trị cực đại pixel bao SE b Ăn mòn: imerode c Kết hợp hai: - Khi cần lắp lỗ dùng CLOSING (giãn nở - ăn mịn) - OPENING: Erosim Dilatim, làm trơn biên BÁO CÁO MÔN XỬ LÝ ẢNH d Quan hệ điểm ảnh: - Giả sử điểm ảnh p toạ độ (x, y) p(x,y) có điểm lân cận gần theo chiều dọc ngang (có thể coi lân cận điểm ảnh theo hướng: Đông, Tây, Nam, Bắc) N ( p) ( x 1, y ); ( x, y 1); ( x, y 1); ( x 1, y ) (3.1) - Các điểm lân cận chéo ND(p): coi lân cận chéo điểm ảnh theo hướng: Đông-Nam, Đông-Bắc, Tây-Nam, Tây-Bắc N ( p) ( x 1, y 1); ( x 1, y 1); ( x 1, y 1); ( x 1, y 1) (3.2) e Các liên kết điểm ảnh: - Liên kết 4: Hai điểm ảnh p q gọi liên kết q nằm lân cận p, tức q thuộc N4(p) - Liên kết 8: Hai điểm ảnh p q nằm lân cận p, tức q thuộc N8(p) - Tập hợp pixel liên kết với gọi thành phần liên kết (connected component) - Các pixel thành phần gán số gọi nhãn đặt ma trận nhãn Label Matrix Biến đổi Fourier M 1 N 1 G(u, v) g ( x, y )e x 0 y 0 g ( x, y ) MN j 2 ( ux ) 2 j ( vy) M N (4.1) (4.2) Bộ lọc cân Histogram - Histogram gọi lược đồ xám - Cho biết chất lượng ảnh, ảnh tối biểu đồ dời bên trái, ánh sáng biểu đồ dời bên phải - Có L mức xám khác, hàm rời rạc, có biểu thức: h(rk ) nk (5.1) rk : Gọi mức xám thứ k đoạn 0, L 1 n k số pixels có giá trị mức xám rk : h=imhist(f,b) BÁO CÁO MÔN XỬ LÝ ẢNH - Để cải thiện chất lượng ảnh ta cân histogram, cho số điểm ảnh mức sáng tương đương k S k T (rk ) ( L 1) pr (rj ) j 0 (5.2) ( L 1) k S k T (rk ) n j ;0 k L M N j (5.3) Ví dụ: k 0; s0 T (r0 ) 7 pr (rj ) pr (0) 1.33 j 0 k 1; s1 T (r1 ) 7 pr (r j ) 7.( pr (0) pr (1)) 3.08 j 0 k 2; s2 T (r2 ) 7 pr (r j ) 7.( pr (0) pr (1) pr (2)) 4.55 j 0 s3 5.67 6; s4 6.23 6; s5 6.65 7; s6 6.86 7; s7 7.00 ORIGINAL HISTOGRAM TRANSFER FUNCTION EQUALIZED HISTOGRAM BÁO CÁO MÔN XỬ LÝ ẢNH Bộ lọc miền tần số a Bộ lọc miền không gian: (Linear spatical filtering) 1 g (0,0) w( s, t ) f ( x s, y t ) s 1t 1 (6.1) b Bộ lọc trung bình: (Làm ảnh mờ đi) I K a b w(s, t ) f ( x s, y t ) s at b (6.2) m 1 n 1 Với K w( s, t ) với m, n kích thước lọc w( s, t ) s 0 t 0 g=imfilter(f,h,’conv’); c Lọc trung vị: (Giúp lọc nhiễu muối tiêu, không làm mờ ảnh) d=medfilt2(c); GUIDE Phân đoạn tách biên a Phân đoạn: - Phương pháp Otsu dùng để chọn ngưỡng: Tìm ngưỡng k cho cực đại hóa phương sai hai lớp đinh nghĩa sau nq Pr (rq ) q 0,1,2, L (8.1) n B2 0 ( T ) 1 ( 1 T ) (8.2) Trong đó: k 1 0 pq (rq ) q 0 (8.3) L 1 1 pq (rq ) q k (8.4) BÁO CÁO MÔN XỬ LÝ ẢNH k 1 qpq (rq ) / 0 q 0 L 1 1 qpq (rq ) / 1 q k (8.5) L 1 T qpq (rq ) q 0 - (8.6) Cú pháp: T=graythresh(f) b Tách biên: - Quy trình phát biên: B1: Lọc nhiễu B2: Nổi biên sử dụng toán tử B3: Định vị biên (loại bỏ biên giả) B4: Liên kết trích chọn biên - Phương pháp Gradient (đạo hàm bậc 1): G x F H x Fx (8.7) G y F H y Fy (8.8) G G x2 G y2 arctg T (8.9) Gy Gx max(G) min(G) (8.10) (8.11) Mạng Neural a Nhận dạng đối tượng: Nhận dạng đối tượng ứng dụng rộng rãi đời sống ngày hệ thống giám sát, quản lý, tìm kiếm thơng tin, điều khiển tự động BÁO CÁO MƠN XỬ LÝ ẢNH - Tính ảnh trung bình m M xi , i 1, m m i 0 (9.1) a11 a12 a13 a1m m1 a a a a 21 m2 22 23 2m 1 M a31 a32 a33 a3m m3 m a a a a n n n nm mn (9.2) Hay - Tính sai lệch ảnh đầu vào so với trung bình Nhằm tạo giãn tương đối giá trị pixel ảnh a1m m1 a11 m1 a12 m1 a m m2 a 21 m2 a 22 m2 n1 a31 m3 , n2 a32 m3 , , nnm a3m m3 a n1 mn a n mn a nm mn (9.3) Xây dựng ma trận từ vector tìm A n1 , n2 , , nm (9.4) BÁO CÁO MÔN XỬ LÝ ẢNH Tính ma trận hiệp phương sai C A AT (9.5) Vì ma trận C có kích thước q lớn (NxN) nên để tìm eigenvector C ta tìm eigenvector eigenvalue ma trận L: L AT A (9.6) Trong Matlab dung lệnh eig(L) để tìm eigenvalue L Trị riêng (eigenvalue λi), vectơ riêng (eigenvectơ xi) ma trận hợp phương sai đặc trưng thành phân thiết yếu ảnh b Nhận dạng đối tượng mạng nơron - Mạng nơron bao gồm phần tử đơn giản (còn gọi nơron) hoạt động song song nối với liên kết có trọng số để kích thích ức chế nơron - Có nhiều cấu trúc mạng nơron khác mạng hồi qui (feedback), mạng tự tổ chức (self-organizing), mạng truyền thẳng (feedforward), mạng truyền thẳng đa lớp với thuật toán lan truyền ngược (back propagation) - Huấn luyện mạng Quá trình huấn luyện mạng q trình huấn luyện mẫu học S = {S1, S2, …,Sm} để giá trị cuối T = {T1, T2, …,Tn} ta mong muốn Để chọn số nút ẩn cho mạng ta làm bước sau: + Bước1 : Chọn số nút ẩn đủ để mạng hội tụ + Bước 2: Tính sai số tập kiểm tra Nếu sai số tập kiểm tra tăng theo số lần luyện mạng chưa đủ nút ẩn để khớp Tăng nút ẩn sai số giảm đến giá trị mong muốn BÁO CÁO MÔN XỬ LÝ ẢNH - Khởi tạo mạng cần có: net: loại mạng nơ-ron P: vector ngõ vào T: vector ngõ - Matlab: [1] net = newff(minmax(P),[S1 S2],{'tansig‘ 'logsig'},'traingdx'); %Hàm kích hoạt cho ngõ lớp vào tansig lớp logsig Thuật toán học theo phương pháp thích nghi, số nút lớp ẩn S1, số ngõ S2 [2] Các thơng số mạng nơron: net.performFcn = 'sse'; % Sum-Squared Error performance function [3] net.trainParam.goal = 0.001; %Sum-squared error goal [4] net.trainParam.epochs = 2000; % Số lần học - Khi huấn luyện mạng đạt sai số mong muốn dừng lại để kiểm tra II KẾT QUẢ THỰC HIỆN: Tổng quan xử lý ảnh Đề: Phát phân loại màu (BT1) [1] Imread % Đọc hình ảnh từ tập tin đồ họa [2] Imshow % Hiển thị hình ảnh 10 BÁO CÁO MÔN XỬ LÝ ẢNH [3] rgb2gray % Chuyển ảnh màu sang ảnh xám [4] R = a(:,:,1); % ảnh xám thành phần R [5] G = a(:,:,2); % ảnh xám thành phần G [6] B = a(:,:,3); % ảnh xám thành phần B Hình 1: Hiển thị màu đỏ vàng thông qua lựa chọn điểm ảnh Xử lý hình thái học (MORPHOLOGICAL IMAGE PROCESSING) 1.1 Đếm số đồng xu ảnh tìm đồng xu có diện tích lớn nhất.(BT2) Trong tập này, có: [1] im2bw %Chuyển đổi ảnh sang ảnh nhị phân 11 BÁO CÁO MÔN XỬ LÝ ẢNH [2] se= strel('disk',3); %strel yếu tố cấu trúc hình thái, Tạo phần tử cấu trúc hình đĩa có bán kính [3] BW2 = imfill(b,'holes') % lấp đầy lỗ hổng hình ảnh nhị phân đầu vào b [4] cc = bwconncomp(BW2,4); %Tìm thành phần kết nối ảnh nhị phân Trả thành phần kết nối định kết nối mong muốn cho thành phần kết nối [5] labeled = labelmatrix(cc) %Tạo ma trận từ bwconncomp [6] cc.NumObjects %Trả số lượng đối tượng 12 BÁO CÁO MƠN XỬ LÝ ẢNH Hình 1: Kết sau đổi ảnh xám thành ảnh nhị phân lấp đầy vùng thiếu [7] c1 = bwareafilt(coin2,1) %Trích xuất đối tượng từ hình ảnh nhị phân theo kích thước 13 BÁO CÁO MƠN XỬ LÝ ẢNH Hình 4: Kết sau tìm đồng xu có diện tích lớn 1.2 Nhận dạng cắt đoạn văn ảnh (BT3) [1] ocrResults = ocr(I) %Nhận dạng văn nhận dạng ký tự Hình 5: Nhận diện cắt đoạn văn 14 BÁO CÁO MÔN XỬ LÝ ẢNH Bộ lọc cân Histogram Đề: Lọc nhiễu trung bình trung vị.(BT5) [1] b=imnoise(a,'salt & pepper',0.02); % Thêm nhiễu muối tiêu vào ảnh [2] c=medfilt2(b); % Hàm lọc nhiễu trung vị [3] d=imfilter(b,h,'conv'); % Hàm lọc nhiễu trung bình Conv thực lọc đa chiều cách sử dụng tích chập 15 BÁO CÁO MƠN XỬ LÝ ẢNH Hình 6: Kết sau sử dụng lọc nhiễu trung bình trung vị sau cho nhiễu muối tiêu vào ảnh xám Biến đổi Fourier Đề: Các nhóm nộp file nén gồm file matlab mô chương trình tìm ký tự a (số thành viên lẻ) e (số thành viên chẵn) ảnh (Số thành viên chẵn) 16 BÁO CÁO MƠN XỬ LÝ ẢNH Hình 7: Sau dùng fourier chữ vị trí chữ „e‟ ảnh xác định vị trí GUIDE Đề: Tạo GUIDE Hình 8: GUI sau tạo 17 BÁO CÁO MƠN XỬ LÝ ẢNH Hình 9: Sau load ảnh vào nhiễu đưa vào ảnh Hình 10: Ảnh sau lọc lọc trung bình 18 BÁO CÁO MƠN XỬ LÝ ẢNH Hình 11: Ảnh lưu từ phần „SAVE IMG‟ Phân đoạn tách biên 6.1 Sử dụng Sobel Gradient: (BT8) Đề: Sử dụng Sobel Gradient để tách biên [1] rgb2gray %Chuyển ảnh màu sang ảnh xám [2] Gx=((2*I(i+2,j+1)+I(i+2,j)+I(i+2,j+2))- (2*I(i,j+1)+I(i,j)+I(i,j+2))); Gy=((2*I(i+1,j+2)+I(i,j+2)+I(i+2,j+2))(2*I(i+1,j)+I(i,j)+I(i+2,j))); B(i,j)=sqrt(Gx.^2+Gy.^2); %Sử dụng mặt nạ Sobel cho hướng x y 19 BÁO CÁO MÔN XỬ LÝ ẢNH Hình 12: Ảnh sau phát biên 6.2 Sử dụng Gabor: (BT9) Trong Matlab này, ta sử dụng “Phân đoạn kết cấu lọc Gabor” [1] A = imresize(A,0.25); % Hàm imresize để thay đổi kích thước ảnh Bài thu nhỏ hình ảnh để làm cho chương trình chạy nhanh [2] wavelengthMin = 4/sqrt(2); %Bước sóng mẫu cơng suất tăng hai / sqrt (2) chiều dài cạnh huyền hình ảnh đầu vào 20 BÁO CÁO MÔN XỬ LÝ ẢNH [3] for i = 1:length(g) sigma = 0.5*g(i).Wavelength; K = 3; gabormag(:,:,i) = imgaussfilt(gabormag(:,:,i),K*sigma); end %Hậu xử lý hình ảnh cường độ Gabor thành tính Gabor Q trình xử lý đăng bao gồm làm mịn Gaussian, thêm thông tin không gian bổ sung vào tính năng, định hình lại tính thành dạng mong đợi hàm pca kmeans, bình thường hóa thơng tin tính thành phương sai ý nghĩa chung K để kiểm soát mức độ làm mịn áp dụng cho phản ứng cường độ Gabor [4] X = 1:numCols; Y = 1:numRows; %Bản đồ thông tin vị trí khơng gian X Y Thơng tin bổ sung cho phép trình phân loại thích nhóm gần mặt khơng gian [5] X = reshape(featureSet,numRows*numCols,[]); % Định hình lại liệu thành ma trận X có dạng mong đợi hàm kmeans [6] L = kmeans(X,2,'Replicates',5); % Lặp lại k-nghĩa phân cụm năm lần để tránh cực tiểu cục Có hai khu vực riêng biệt trường hợp [7] label2rgb % Để thấy vùng phân nhãn 21 BÁO CÁO MÔN XỬ LÝ ẢNH [8] BW = L == 2; BW = repmat(BW,[1 3]); Aseg1(BW) = A(BW); Aseg2(~BW) = A(~BW); % Kiểm tra hình ảnh trước kết từ mặt nạ BW liên kết với ma trận nhãn L Hình 13: Ảnh trước sau xử lý phân đoạn ảnh sử dụng phương pháp GABOR 6.3 Phân biệt hoa: (BT10) 22 BÁO CÁO MƠN XỬ LÝ ẢNH Hình 14: Sau cho ngõ vào mong muốn Hình 14: Kết sau chạy chương trình học xác định ngõ Hình 13: Ngõ dự đốn 23 ... 19 BÁO CÁO MÔN XỬ LÝ ẢNH I LÝ THUYẾT MÔN HỌC Tổng quan xử lý ảnh a Điểm ảnh: ( M , N ) : Kích thước ảnh L : Số mức xám L 2n n: số bit biểu diễn mức xám cho điểm ảnh b Dung lượng ảnh (b):...BÁO CÁO MÔN XỬ LÝ ẢNH MỤC LỤC I LÝ THUYẾT MÔN HỌC Tổng quan xử lý ảnh 2 Những nguyên tắc (FUNDAMENTALS) Xử lý hình thái học (MORPHOLOGICAL IMAGE... x, y ) Ảnh đầu Phép biến đổi (2.1) Ảnh đầu vào b Biến đổi theo làm Log: BÁO CÁO MÔN XỬ LÝ ẢNH G ( x, y ) c log(1 F ( x, y )) (2.2) c Biến đổi theo l? ?y thừa: G ( x, y ) c f ( x, y )