NHẬN DẠNG SỐ QUA CAMERA GVHD NHỮ QUÝ THƠ MỤC LỤC Lời nói đầu 2 Phần một LÝ THUYẾT XỬ LÝ ẢNH 3 Chương 1 Giới thiệu hệ thống xử lý ảnh 3 Chương 2 Thu nhận ảnh 4 Chương 3 Phân tích ảnh 6 Chương 4 Nhận dạ[.]
NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ MỤC LỤC Lời nói đầu……………………………………………………………….……….…2 Phần một:LÝ THUYẾT XỬ LÝ ẢNH……………………………….…………… Chương 1:Giới thiệu hệ thống xử lý ảnh……………………………………………3 Chương 2:Thu nhận ảnh…………………………………………………………….4 Chương 3:Phân tích ảnh……………………………………… ….……….… ….6 Chương 4:Nhận dạng ảnh …………………………………………………… … 21 Phần hai:THỰC NGHIỆM…………………………………………………………24 Kết luận…………………………………………………………………………….30 Tài liệu tham khảo………………………………………………………………….30 NHÓM 08 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ LỜI MỞ ĐẦU Trong thập kỷ gần xử lý ảnh nghiên cứu mạnh mẽ có nhiều ứng dụng thực tế Như y học xử lý ảnh dùng để phát nhận dạng khối u, cải thiện ảnh X quang, nhận dạng đường biên mạch máu từ ảnh chụp tia X Trong truyền thông nghiên cứu vũ trụ xử lý ảnh dùng để phân tích ảnh hành tinh , thiên hà thu từ tàu vũ trụ hay kính thiên văn Đặc biệt Robot ngày thiếu yếu tố xử lý ảnh , nhờ xử lý ảnh robot phát nhận dạng đối tượng ngồi mơi trường Từ giải tốn tránh vật cản ,tìm đường, nhận dạng đối tượng … Q trính xử lý ảnh chia làm bước sau đây: thu nhận ảnh , phân tích ảnh định Nội dung đồ án :Nhận dạng chữ số qua camera kết nối với máy tính Có thể tóm tắt nội dung đồ án qua lược đồ sau đây: Thu thập ảnh Xử lý kết Ảnh đầu vào nguyên gốc Nhận dạng ký tự Xử lý mức xám Trích lấy biên ảnh Giới hạn thiết kế đồ án :Do xử lý ảnh lĩnh vực khó, khơng có nhiều tài liệu nước tham khảo nên chúng em thiết kế đồ án gồm webcam kết nối máy tính thơng qua toolbox xử lý ảnh Matlab để thực Mục đích đồ án:Tìm hiểu q trình xử lý ảnh từ trình thu thập ảnh , lọc nhiễu , phân đoạn ảnh , tách biên , đến trình nhận dạng ảnh Sản phẩm đồ án trước hết ứng dụng vào mục đích nghiên cứu giảng dạy trường , nghiên cứu sâu ứng dụng vào thực tế hệ thống nhận dạng số chứng minh thư nhân dân , biển số xe … NHÓM 08 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ PHẦN MỘT:LÝ THUYẾT XỬ LÝ ẢNH CHƯƠNG MỘT:GIỚI THIỆU HỆ THỐNG XỬ LÝ ẢNH Một hệ thống xử lý ảnh bao gồm ba bước : thu thập ảnh , phân tích xử lý ảnh , xử lý kết , tóm tắt sơ đồ sau : Thiết bị thu nhận ảnh (camera , sensor ) Xử lý kết đưa định Ảnh thu nhận Nhận dạng Số hóa Phân tích ảnh ( lọc nhiễu , phân đoạn ảnh , trích biên) 1.1 Thu nhận ảnh: Việc thu nhận ảnh thơng qua camera Camera loại tương tự loại số Nếu ảnh thu loại tương tự phải lấy mẫu lượng tử hóa trước phân tích , xử lý 1.2 Phân tích ảnh: Ở giai đoạn ảnh xử lý qua nhiều công đoạn nhỏ lọc nhiễu , cải thiện ảnh , khơi phục ảnh để làm số đặc tính ảnh hay làm cho ảnh gần với ảnh gốc , phát đặc tính biên cạnh góc ,phân vùng 1.3 Nhận dạng ảnh: Nhận dạng trình xác định ảnh Quá trình thường xác định việc so sánh với mẫu có từ trước Theo lý thuyết nhận dạng ảnh có hai loại nhân dạng sau: -Nhận dạng theo tham số -Nhận dạng theo cấu trúc Một số đối tượng nhận dạng phổ biến áp dụng khoa học công nghệ : nhận dạng ký tự , nhận dạng vân tay , nhận dạng văn , nhận dạng mặt người … NHÓM 08 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ CHƯƠNG HAI: THU NHẬN ẢNH 2.1 Thiết bị thu nhận ảnh: Chức thiết bị số hóa băng tần số tín hiệu tín hiệu vào từ camera hay đầu máy thu tín hiệu ảnh Ảnh thu ảnh đen trắng ảnh màu , ảnh thu thường loại tương tự có loại camera số hóa loại photodiot tạo cường độ sáng điểm ảnh Chất lượng ảnh thu phụ thuộc vào chất lượng thiết bị thu môi trường (ánh sáng ,phong cảnh) 2.2 Hệ tọa độ màu: Tổ chức quốc tế chuẩn hóa CIE đưa số chuẩn để biểu diễn màu Các hệ có chuẩn riêng đề cập hệ tọa độ màu CIE-RGB ( hệ tọa độ dùng màu red , green , blue ) pixel Px viết: Px = red green blue Người ta dùng hệ tọa độ màu R-G-B (tương ứng với trục tọa độ x,y,z) để biểu diễn màu sau: Blue(lơ) (0,0,1) lơ tím (1,0,1) (0,0,1) tím xanh (1,1,1) vàng đậm (0,0,0) đen (1,0,0) đỏ (0,1,0) lục Green (lục) (1,1,0) vàng Red(đỏ) Trong cách biểu diễn đỏ +lục + lơ =1 , công thức gọi cơng thức Maxell , hình vẽ tam giác tạo ba đường đứt đoạn tam giác Maxell 2.3 Lấy mẫu lượng tử hóa: 2.3.1 Lấy mẫu: Lấy mẫu q trình ảnh tạo nên vùng liên tục chuyển thành giá trị rời rạc nguyên Quá trình gồm bước là: -Khoảng lấy mẫu -Cách thể dạng lấy mẫu NHÓM 08 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ Khoảng lấy mẫu nhỏ ảnh thu giống với ảnh nguyên gốc Dạng lấy mẫu cách trí điểm lấy mẫu khơng gian chiều Một số dạng lấy mẫu điểm ảnh cho dạng tam giác , chữ nhật , lục giác 2.3.2 Lượng tử hóa: Lượng tử hóa ánh xạ từ số thực mô tả giá trị lấy mẫu thành dải số thực , nói cách khác q trình số hóa biên độ 2.4 Biểu diễn ảnh: Ảnh thường biểu diễn số phương pháp sau đây: - Biểu diễn mã loạt dài (Run length code) - Biểu diễn mã xích ( Chain code ) - Biểu diễn mã tứ phân (Quad tree code ) 2.4.1 Biểu diễn mã loạt dài: Thường dùng biểu diễn ảnh nhị phân , vùng ảnh R biểu diễn đơn giản nhờ ma trận nhị phân : u(m,n) = (m,n) R khác 2.4.2 Biểu diễn mã xích: Thường biểu diễn biên ảnh Thay lưu trữ tồn người ta lưu trữ dãy điểm ảnh A, B, ….M 2.4.3 Biểu diễn mã tứ phân: Theo phương pháp vùng ảnh coi bao kín hình chữ nhật Vùng chia làm vùng vùng gồm toàn điểm đen (1) điểm trắng (0) khơng cần chia tiếp ngược lại lại chia vùng làm vùng nhỏ , tiếp tục chia đến vùng đồng gồm điểm đen điểm trắng thơi Q trình tạo thành chia theo phần gọi tứ diện NHÓM 08 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ CHƯƠNG : PHÂN TÍCH ẢNH 3.1 Khái niệm pixel pixel lân cận : Pixel phần tử nhỏ ảnh cấu tạo nên ảnh Mỗi pixel có tọa độ p(x,y) có màu xác định P1(x-1,y-1) P2(x-1,y) P4(x,y-1) P6(x+1y-1) P3(x-1,y+1) P(x,y) P5(x,y+1) P7(x+1,y) P8(x+1,y+1) Hình minh họa :Pixel P lân cận P Một pixel P(x,y) có pixel lân cận theo chiều dọc chiều ngang P2(x-1,y) ; P4(x,y-1) ; P5(x,y+1) ; P7(x+1,y); chúng ký hiệu N4(p) Ngoài pixel cịn pixel lân cận chéo góc P1(x-1,y-1) ; P3(x-1,y+1) ; P6(x+1,y-1) ; P8(x+1,y+1) ; chúng ký hiệu ND(p) Tập pixel tạo thành lân cận P(x,y) ký hiệu N8(p) 3.2 Một số cơng cụ trợ giúp xử lý ảnh: 3.2.1 Tích chập: Toán tử chập định nghĩa sau: + trường liên tục g(x,y) = h(x,y) f(x,y) = h( x x ' , y y ' ) f ( x ' , y ' )dx ' dy ' + trường rời rạc y(m,n) = h(m,n) x(m,n) = h(m m' , n n' ) x (m' , n' ) 3.2.2 Kỹ thuật lọc số: Chất lượng hình ảnh nhiều nguyên nhân gây nhiễu điện tử máy thu chất lượng số hóa Phần tìm hiểu lọc dùng xử lý ảnh để khắc phục nhiễu ảnh thu Có nhiều lọc thiết kế để xử lý ảnh nhiễu giới hạn đồ án môn học nên phần không giới thiệu 3.3 Các phép biến đổi ảnh: NHÓM 08 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ - Sự biểu diễn toán học cho ảnh thường hàm với hai biến không gian f(x,y) Giá trị hàm vị trí ( x,y ) đại diện cho cường độ ảnh vị trí Thuật ngữ biến đổi ( transform ) nhằm nói đến biểu diễn toán học tương tự ảnh 3.3.1 Phép biến đổi Fourier ( phần dịch từ matlab ) - Phép biến đổi Fourier biểu diễn ảnh tổng hàm mũ phức biên độ , tần số pha biến đổi Biến đổi Fourier chiếm vai trò quan trọng ứng dụng xử lý ảnh bao gồm : làm giàu ảnh ( hay cải thiện chất lượng ảnh – enhancement ) , phân tích , phục hồi nén ảnh a - Định nghĩa phép biến đổi Fourier - Nếu f(m,n) hàm với hai biến không gian độc lập m n , biến đổi Fourier hai chiều hàm f(m,n ) đượcđịnh nghĩa quan hệ : F (1 , 2 ) f (m, n)e j1m e j2n m n Biến 1 2 biến tần số Hàm F (1 , 2 ) gọi biểu diễn miền tần số hàm f(m,n) Nó hàm phức tuần hồn với chu kì 2 Do tính tuần hồn , nên 1 2 thường chọn khoảng - đến Chú ý F(0,0) tổng tất giá trị f(m,n) Vì lý F(0,0) thường gọi thành phần không đổi thành phần chiều DC biến đổi Fourier - Biến đổi Fourier ngược cho công thức : f (m, n) F (1 , 2 )e j1me j2n d12 4 1 2 Nói chung , phương trình có nghĩa f(m,n) đại diện tổng vô hạn hàm mũ phức với tần số khác Biên độ pha thành phần tần số (1 , 2 ) lưu F (1 , 2 ) Biểu diễn trực quan biến đổi Fourier - Để minh hoạ , ta xem hàm f(m,n) nhận giá trị khoảng hình chữ nhật ( xem hình ) điểm khác Để đơn giản sơ đồ f(m,n) coi hàm liên tục m, n biến rời rạc NHÓM 08 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ - Hình biểu diễn sau biểu diễn biên độ biến đổi Fourier | F (1 , 2 ) | hàm chữ nhật - Giá trị đỉnh tâm đồ thị F(0,0) , tổng tất giá trị hàm f(m,n) Đồ thị F (1 , 2 ) có nhiều lượng vùng tần số ngang so với tần số đứng Điều phản ánh thực vùng giao ngang hàm f(m,n) ( horizontal cross sections ) xung hẹp vùng giao đứng hàm xung rộng Xung hẹp mang nhiều nội dung tần số xung hẹp Một cách khác để biểu diễn trực quan biến đổi Fourier hiển thị hàm log | F (1 , 2 ) | ảnh : NHÓM 08 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ - Sử dụng hàm lơgarit giúp cho việc nhận rõ đặc tính biến đổi Fourier vùng mà giá trị F (1 , 2 ) gần Để minh hoạ , xem biểu diễn trực quan biến đổi Fourier sau : b- Biến đổi Fourier rời rạc - Biến đổi Fourier máy tính biến đổi Fourier rời rạc ( DFT ) Có hai lý để dụng loại biến đổi Fourier sử : + Hàm vào biến đổi Fourier hàm rời rạc điều thích hợp cho thao tác biến đổi máy tính NHĨM 08 , NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ + Có giải thuật nhanh cho việc tính tốn DFT gọi biến đổi Fourier nhanh ( FFT ) - DFT thường định nghĩa cho hàm rời rạc f(m,n) khác m , n nhận giá trị m M , n N Matlab sử dụng hàm fft , fft2 fftn sử dụng thuật tốn biến đổi Fourier nhanh cho việc tính tốn DFT chiều , hai chiều N chiều tương ứng Các hàm ifft, ifft2 ifftn tính tốn DFT ngược Quan hệ với biến đổi Fourier - Ta có quan hệ biểu diễn cơng thức sau : Ví dụ : Tạo ma trận f tương tự hàm f(m,n) chữ nhật xét trước Hàm f(m,n) vùng chữ nhật vùng khác Sử dụng ảnh nhị phân để thay cho f(m,n) f = zeros(30,30); f(5:24,13:17) = 1; imshow(f,'notruesize') NHÓM 08 10 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ chuẩn quốc tế thường biết với tên JPEG ( tên nhóm phát triển đặt : Joint Photographic Experts Group ) - DCT hai chiều ma trận A có kích thước MxN định nghĩa sau : - Các giá B pq trị gọi hệ số DCT A DCT biến đổi ngược biến đổi ngược cho cơng thức : - Biểu thức DCT ngược xem xét coi ma trận A kích thước MxN tổng MN hàm có dạng : - Những hàm đựơc gọi hàm sở DCT Hệ số DCT B pq xem trọng số cho hàm sở Với ma trận 8x8 , 64 hàm sở minh hoạ ảnh sau : NHÓM 08 16 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ Ma trận biến đổi DCT - Toolbox xử lý ảnh sử dụng cách để tính DCT Cách thứ dùng hàm dct2 Hàm dct2 sử dụng giải thuật dựa FFT để tăng tốc tính tốn với ảnh có kích thước lớn Cách thứ hai sử dụng ma trận biến đổi DCT Ma trận trả từ hàm dctmtx sử dụng hiệu với ảnh có kích thước nhỏ 8x8 , 16x16 Ma trận biến đổi MxM – T cho : Với ma trận A có kích thước MxM , T*A ma trận MxM mà cột DCT chiều cột A DCT hai chiều A thu từ biểu thức : B=T*A*T’ Do T ma trận trực giao nên ma trận nghịch đảo ma trận chuyển vị nên DCT hai chiều B T’*B*T DCT nén ảnh - Trong giải thuật nén ảnh JPEG , ảnh vào chia làm khối có kích thước 8x8 16x16 DCT hai chiều tính cho khối Hệ số DCT sau lượng tử hoá , mã hoá truyền tải Bộ nhận JPEG ( chương đọc file JPEG ) giải mã hệ số lượng tử DCT , tính DCT ngược cho khối sau đặt khối lại với ảnh Với ảnh điển hình , NHÓM 08 17 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ nhiều hệ số DCT có giá trị gần , hệ số bị bỏ qua mà không ảnh hưởng nhiều đến chất lượng ảnh nén - Ví dụ sau tính DCT hai chiều khối 8x8 ảnh , bỏ qua ( đặt ) tất ngoại trừ 10 số 64 hệ số DCT khối sau xây dựng lại ảnh DCT hai chiều ngược khối Phương pháp ma trận chuyển đổi DCT sử dụng : I = imread('cameraman.tif'); I = im2double(I); T = dctmtx(8); B = blkproc(I,[8 8],'P1*x*P2',T,T'); mask = [1 1 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]; B2 = blkproc(B,[8 8],'P1.*x',mask); I2 = blkproc(B2,[8 8],'P1*x*P2',T',T); imshow(I), figure, imshow(I2) - Mặc dù chất lượng ảnh nén bị suy giảm , rõ nét chí gần 85% hệ số DCT bị bỏ qua 3.4 Xử lý nâng cao chất lượng ảnh: Nâng cao chất lượng ảnh bước quan trọng , tạo tiền đề cho xử lý ảnh Mục đích nhằm làm bật số đặc tính ảnh thay đổi độ tương phản , lọc nhiễu , biên , khuyếch đại ảnh ,…Khôi phục ảnh nhằm làm cho ảnh gần với ảnh gốc trước bị biến dạng nhiều nguyên nhân khác NHÓM 08 18 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ 3.4.1 Các kỹ thuật tăng cường ảnh: Tăng cường ảnh làm bật đặc trưng chọn , phát sớm , bao gồm bước : điều khiển mức xám , dãn độ tương phản , giảm nhiễu , làm trơn ảnh , biên ,… 3.4.1.1 Cải thiện ảnh dùng toán tử điểm: -Tăng độ tương phản -Tách nhiễu phân ngưỡng -Biến đổi âm -Cắt theo mức -Trích chọn bít -Trừ ảnh -Nén dải độ sáng -Mơ hình hóa biến đổi lược đồ xám 3.4.1.2 Cải thiện ảnh dùng tốn tử khơng gian: -Làm trơn ảnh lọc tuyến tính -Làm trơn nhiễu lọc phi tuyến -Mặt nạ gờ sai phân làm nhám -Lọc thông thấp lọc thông cao lọc dải thông -Khuếch đại nội suy ảnh -Cải thiện ảnh nhị phân -Co , dãn ảnh 3.4.2 Khôi phục ảnh: 3.5 Phát biên: 3.5.1 Khái niệm: -Điểm biên : Một điểm ảnh coi điểm biên có thay đổi nhanh đột ngột mức xám - Đường biên : Là tập hợp liên tiếp điểm biên tạo thành đường bao 3.5.2 Các phương pháp phát biên ảnh: NHÓM 08 19 NHẬN DẠNG SỐ QUA CAMERA GVHD:NHỮ QUÝ THƠ Ảnh gốc - Phương pháp phát trực tiếp : dựa chủ yếu vào biến thiên độ sáng điểm ảnh để làm biên cách lấy đạo hàm Ảnh biên + Lấy đạo hàm bậc ta có phương pháp Gradient + Lấy đạo hàm bậc hai có phương pháp Laplace Cả phương pháp gọi chung phương pháp dò biên cục - Phương pháp phát gián tiếp : Bằng cách thu vùng ảnh khác đường phân cách vùng ảnh biên Phương pháp khó thực cho kết tốt biến thiên mức xám nhỏ 3.5.2.1 Phương pháp phát biên cục bộ: a Phương pháp Gradient: b Phương pháp Laplace: CHƯƠNG BỐN : NHẬN DẠNG ẢNH 4.1 Giới thiệu: Nhận dạng giai đoạn cuối hệ thống xử lý ảnh Nhận dạng dựa lý thuyết nhận dạng , lý thuyết lý thuyết nhận dạng ảnh nói riêng đề cập đến phương pháp nhận dạng chính: - Nhận dạng dựa vào phân hoạch không gian - Nhận dạng dựa vào cấu trúc - Nhận dạng dựa vào mạng nơron NHÓM 08 20