Nhận dạng số qua camera kết nối với máy tính

ĐỒ ÁN CẢM BIẾN GVHD: NHỮ QUÝ THƠ Mục lục Lời nói đầu……………………………………………………………….……….… Phần : tổng quan matlab…………………………………………………… Phần hai:LÝ THUYẾT XỬ LÝ ẢNH……………………………….…………… Chương 1:Giới thiệu hệ thống xử lý ảnh…………………………………………… Chương 2:Thu nhận ảnh…………………………………………………………… Chương 3:Phân tích ảnh……………………………………… ….……….… … Chương 4:Nhận dạng ảnh …………………………………………………… … Phần ba:THỰC NGHIỆM………………………………………………………… Kết luận…………………………………………………………………………… Tài liệu tham khảo………………………………………………………………… ĐỀ TÀI : NHẬN DẠNG SỐ Page ĐỒ ÁN CẢM BIẾN GVHD: NHỮ QUÝ THƠ LỜI NÓI ĐẦU Xử lý ảnh mơn khó.Bộ mơn đưa vào giảng dạy trường đại học.Và Trong trường đại học, cao đẳng, xử lý ảnh trở thành môn học chuyên ngành sinh viên ngành Công nghệ Thông tin, Viễn thơng Xử lý ảnh bao gồm bước : thu nhận ảnh , phân tích xử lý ảnh ,hiện thị ảnh nhận dạng Nội dung tập lớn : nhận dạng số qua camera kết nối với máy tính Nội dung tóm tắt sau Thu thập ảnh Xử lý kết Ảnh đầu vào nguyên gốc Nhận dạng ký tự Xử lý mức xám Trích lấy biên ảnh Giới hạn làm : - Đề tài hoạt động tương đối kỹ kết hợp ngơn ngữ lập trình MatLab chúng em ĐỀ TÀI : NHẬN DẠNG SỐ Page ĐỒ ÁN CẢM BIẾN GVHD: NHỮ QUÝ THƠ - Do kiến thức chúng em hạn chế nên việc thực đề tài không tránh khỏi sai xót tính tốn thi cơng Vì mong q Thấy (Cơ) dẫn đóng góp ý kiến thêm PHẦN I : TỔNG QUAN VỀ MATLAB 1.1 MATLAB ? - MATLAB ngơn ngữ lập trình cấp cao cho mục đích tính tốn kỹ thuật, chương trình tích hợp tính tốn, đồ hoạ lập trình mơi trường dễ sử dụng nơi mà tất vấn đề lời giải biểu diễn dạng ghi toán học - MATLAB hệ thống tương tác mà tất phần tử liệu mảng không yêu cầu mặt kích thước Đây thuận lợi cho phép người sử dụng giải toán kỹ thuật đặc biệt công thức xây dựng từ ma trận hay vector 1.2 Hệ thống chương trình Matlab : - Development Environment: Tập hợp cơng cụ tiện ích cho phép người dùng sử dụng hàm file Matlab Phần lớn công cụ giao tiếp người dùng bao gồm: Matlab Desktop Command Window, Command History, Edit and Debugger, Workspace, trình duyệt hổ trợ sử dụng help ĐỀ TÀI : NHẬN DẠNG SỐ Page ĐỒ ÁN CẢM BIẾN GVHD: NHỮ QUÝ THƠ - The Matlab Mathematical Function Library: Đây thư viện tập hợp giải thuật tính tốn tập hợp hàm từ như: sum, sin, cosine, số phức hàm phức tạp như: nghịch đảo ma trận, trị riêng vecto riêng ma trận, biến đổi Fourier, - Lập trình mơi trường Matlab: Lập trình với Matlab Matlab ngơn ngữ lập trình cấp cao thực thi theo đoạn lệnh, hàm, cấu trúc liệu, cho phép xây dựng chương trình từ đơn giản, nhỏ chương trình lớn, phức tạp - Graphics: Matlab mở rộng khả cho việc thể vector ma trận dạng đồ thị ký hiệu in ấn chung Matlab cung cấp hàm nâng cao cho việc thể liệu hai, ba chiều, xử lý ảnh, chuyển động, đồ thị - The Matlab Application Program Interface (API): Đây thư viện cho phép người dùng tạo chương trình ngơn ngữ C Fortran tương tác với Matlab 1.3 Toolbox bắt ảnh xử lí ảnh : 1.3.1 Nhiệm vụ của Toolbox: Image Acquisition Toolbox Image processing tật hợp hàm MATLAB có nhiệm vụ thu thập xử lý hình ảnh số từ thiết bị thu hình Cụ thể là: - Thu nhập hình ảnh từ thiết bị thu hình khác nhau, từ loại chuyên dùng đến loại rẻ tiền Webcam ( giao tiếp qua cổng USB) - Trình chiếu (preview) luồng liệu video từ thiết bị thu hình - Trích hình ảnh từ luồng liệu video - Thiết lập callback cho kiện khác ĐỀ TÀI : NHẬN DẠNG SỐ Page ĐỒ ÁN CẢM BIẾN GVHD: NHỮ QUÝ THƠ - Chuyển liệu hình ảnh vào khơng gian workpace Matlab để xử lý ảnh 1.3.2 Các bước thu nhập với Toolbox: Bước 1: - Gắn thiết bị thu hình vào máy - Cài đặt driver (trình điều khiển) cho thiết bị, (được cho nhà sản xuất) - Xem thử hình ảnh video máy tính thơng qua phần mềm nhà sản xuất - Khởi động matlab Bước 2: - Ta cần định cho Matlab biết phần cứng dùng để lấy liệu ( có nhiều camera kết nối với PC) - Gõ lệnh imaqhwinfo để biết tên loại thiết bị dùng - Chỉ định thiết bị: Tuỳ vào loại thiết bị (adaptor name), mỗi thiết bị loại gắn vào PC gắn đánh số ID, thiết bị thứ có deviceID = 1, thiết bị thứ có deviceID=2 - Để liệt kê xem loại winvideo có thiết bị gắn vào máy tính, ta dùng lệnh imaqhwinfor với đối số winvideo: >> imaqhwinfo('winvideo') ans = AdaptorDllName: [1x81 char] AdaptorDllVersion: '3.3 (R2009a)' AdaptorName: 'winvideo' DeviceIDs: {[1]} ĐỀ TÀI : NHẬN DẠNG SỐ Page ĐỒ ÁN CẢM BIẾN GVHD: NHỮ QUÝ THƠ DeviceInfo: [1x1 struct] - Có thiết bị với DeviceID = Ta tìm hiểu thêm thơng tin thiết bị >> imaqhwinfo('winvideo',1) ans = DefaultFormat: 'RGB24_320x240' DeviceFileSupported: DeviceName: 'USB PC Camera (SN9C120)' DeviceID: ObjectConstructor: 'videoinput('winvideo', 1)' SupportedFormats: {1x11 cell} Bước 3: Tạo đối tượng đại diện vào máy để làm đề tài - Để tạo luồng liệu video, dùng lệnh videoinput >> vid = videoinput('winvideo',1) Summary of Video Input Object Using 'USB PC Camera (SN9C120)' Acquisition Source(s): input1 is available Acquisition Parameters: 'input1' is the current selected source 10 frames per trigger using the selected source 'RGB24_320x240' video data to be logged upon START Grabbing first of every frame(s) Log data to 'memory' on trigger Trigger Parameters: 'immediate' trigger(s) on START Status: Waiting for START frames acquired since starting ĐỀ TÀI : NHẬN DẠNG SỐ Page ĐỒ ÁN CẢM BIẾN GVHD: NHỮ QUÝ THƠ frames available for GETDATA Bước 4: Hiện thị luồng video hình để xem thử - Để xem trước luồng liệu video, dùng lệnh preview >> preview(vid) - Màn hình lúc lên cửa sổ video đối tượng vid - Nếu muốn kết thúc xem, dùng lệnh stoppreview Hoặc để đóng cửa sổ preview, dùng lệnh closepreview(vid) Bước 5: Lấy khung hình ảnh lưu thành file đồ hoạ - Để lấy ảnh vào xử lý ta sử dụng lệnh getsnapshot - Để lưu ảnh thành file đồ hoạ ta dùng lệnh imwrite Ví dụ: hinh = getsnapshot(vid); Imwrite(hinh,’d.jpg’); Bước 6: Làm nhớ Sau lấy liệu hình ảnh ta giải phóng bớt nhớ lệnh sau: Delete(vid) Clear Close(gcf) 1.3.3 Toolbox xử lý ảnh ( Image Processing Toolbox): 1.3.3.1 Loại file dữ liệu của ảnh: - BMP ( Microsoft Windows Bitmap) - HDF (Hierarchical Data Format) - ICO ( Windows Icon Resources) - JPG, JPEG( Joint Photographic Experts Group) - PCX (Paintbrush) ĐỀ TÀI : NHẬN DẠNG SỐ Page ĐỒ ÁN CẢM BIẾN GVHD: NHỮ QUÝ THƠ - PNG(Porable Network Graphics) - TIFF ( Tagged Image File Format) - XWD ( X Window Dump) 1.3.3.2 Các hàm đọc lưu ảnh: - Axis: vẽ trục - Image, imshow: hiển thị ảnh - Imagese: xếp liệu hiển thị ảnh - Imread: đọc ảnh từ file đồ họa - Immovie: tạo phim từ loạt nhiều khn hình - Imwrite: cất ảnh vào file đồ họa - Imfinfo: lấy thông tin ảnh từ file - Ind2rgb: đổi ảnh có số sang ảnh RGB MatLab coi ảnh ma trận hai chiều, mỗi phần tử phần tử hình pixel, ta xử lý ma trận, phần tử ma trận double (64 bit), uint 16 (16 bit), uint (8 bit) Ảnh index biễu diễn hai ma trận, ma trận liệu ảnh X ma trận màu (còn gọi đồ màu) Ma trận kiểu uint8, uint16, double Ma trận màu ma trận kích thước m x gồm thành phần thuộc kiểu double có giá trị khoảng [0 1] Mỗi hàng ma trận xác định thành phần red, green, blue màu tổng m màu sử dụng ảnh Gía trị phần tử ma trận liệu ảnh cho biết màu điểm ảnh nằm hàng ma trận 1.4 Các Hàm Xử Lý Ảnh Cơ Bản Trong MatLab: Đôi ảnh bị mờ, không nét, bị nhiễu cần phải xử lý cần phải tách chi tiết khỏi ảnh Sau số hàm xử ĐỀ TÀI : NHẬN DẠNG SỐ Page ĐỒ ÁN CẢM BIẾN GVHD: NHỮ QUÝ THƠ lý ảnh cho phép thực công việc cách dễ dàng Chú ý hàm thực độc lập, muốn thực thời gian thực cần phải dùng ngơn ngữ lập trình VB, Delphi, ta biến đổi hàm xử lý ảnh m hàm c để giảm bớt thời gian lập trình, cịn có cách để xử lý thời gian thực lập trình xử lý MATLAB, sau dùng Toolbox Com Builder biến chương trình thành COM Object ghép vào ngơn ngữ lập trình 1.4.1 Đổi màu loại ảnh: - rgb2gray: đổi ảnh màu RGB ảnh cường độ xám - gray2ind: đổi ảnh trắng đen (gray scale) thành ảnh indexed - im2bw: đổi sang ảnh nhị phân 1.4.2 Xử lý hình học: - Imcrop(A), imcrop(A.rec): xén ảnh A theo hình chữ nhật định chuột hay thông số kèm theo hàm - Imresize (A, m, mothod): thay đổi kích thước ảnh A theo tỉ lệ m theo phương pháp nội suy method - Imrotate (A, angle, method): quay ảnh A góc angle dùng phương pháp nội suy method 1.4.3 Lọc nhiễu: Các hàm lọc nhiễu dùng để tăng chất lượng ảnh Có phương pháp lọc tuyến tính, lọc trung vị lọc thích nghi ĐỀ TÀI : NHẬN DẠNG SỐ Page ĐỒ ÁN CẢM BIẾN GVHD: NHỮ QUÝ THƠ - Lọc tuyến tính: pixel ảnh biến đổi tổ hợp tuyến tính pixel lân cận pixel gốc, hàm thường dùng conv2 (tích chập), concn, filter2 - Lọc trung vị: loại lọc phi tuyến, gồm hàm medfilt2, ordfilt2 - Lọc thích nghi: wiener2 1.4.4 Phân tích ảnh: - Imhist (X, map): vẽ histogram ảnh số X theo bảng màu Cường độ ảnh từ (đen) đến 255 (trắng) chia thành n khoảng, histogram đồ thị cho biết số pixel có cường độ nằm khoảng tương ứng - Histeq: cân histogram ảnh cường độ để tăng độ tương phản - Edge: tách biên ảnh dùng thuật toán Sobel, Prewitt, Canny, Laplace,… - Qtdecomp, qtgeblk, qtsetblk: lệnh dùng phân vùng ảnh quadtree 1.4.5 Biến đổi ảnh - Fft2: biến đổi Fourier hai chiều nhanh - Ifft2: biến đổi ngược hai chiều nhanh - Dct2: biến đổi cosin rời rạc hai chiều - Idct2: biến đổi ngược cosin rời rạc 1.4.6 Đọc, ghi hiển thị ảnh: - Imread: đọc ảnh ĐỀ TÀI : NHẬN DẠNG SỐ Page 10