xử lý ảnh, nhận dạng màu biển báo giao thông

xử lý ảnh, nhận dạng màu biển báo giao thông Giới thiệu về phương ph p nhận d ng m u phương ph p diễn giải c c đặc tính v t c động của màu trong ngữ cảnh nhất định. Kh ng có m hình m u n o l đ ầy đủ cho mọi khía c nh củ m u, người ta sử dụng c c m hình m u kh c nh u đ mô tả các tính chất được nhận biết khác nhau của màu. Thí dụ: + Mô hình màu RGB: ánh sáng Red, Green và Blue ứng dụng cho màn hình, TV. + Mô hình HSV: Nhận thức củ con người. + Mô hình CYK: Máy in.

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐIỆN – ĐIỆN TỬ O C O MÔN HỌC XỬ Đề tài: Nhận ng u i n o Gi o Th ng GVHD: SVTH: Thành Phố Hồ Chí Minh, tháng 12 năm 2015 NH CHƯƠNG 1: GIỚI THIỆU 1.1 Xử lý ảnh gì? Là công nghệ r đời từ năm 1960, nhiên v o thời m cấu hình củ m y tính chư đủ m nh đ hỗ trợ công nghệ xử lý ảnh đòi hỏi tốc độ phải cao tốn nhiều nhớ lưu trữ Vào thời m có nhiều trường đ i học lớn viện nghiên cứu giới IT tr ng bị máy tính khổng lồ đ nghiên cứu công nghệ Từ năm 1970 trở đi, cấu hình m y tính m nh mẽ hơn, c c ứng dụng cải thiện nâng cao chất lượng ảnh, lưu trữ truyền ảnh bắt đầu phổ biến Còn ng y n y Xử lý ảnh đ ng công nghệ l m th y đổi sống giúp máy móc thay cho thị giác người Xử lý ảnh có th chi r l m lĩnh vực:  Cải thiện chất lượng ảnh (Improvement of pictorial information): ví dụ việc làm cho chất lượng hình ảnh cũ trở lên rõ, nét chụp c ch nhiều năm  ưu trữ Truyền ảnh (Efficient Stor ge nd tr nsmission) C c định d ng ảnh r đời nhằm làm giảm dung lượng lưu trữ v tăng tốc độ truyền nhận hình ảnh băng th ng có giới h n Các nhà nghiên cứu cho r đời định d ng ảnh jpg, png, bmp dần làm giảm đ ng k dung lượng ảnh đảm bảo chất lượng hình ảnh  Nhận diện ảnh (Im ge processing for utonomous m chine) l ứng dụng h y sử dụng dây truyền gi m s t, đ nh gi ki m tra chất lượng sản phẩm công nghiệp Ví dụ nhận diện bi n số xe bãi giữ xe, ki m tr nhãn ch i d n tiêu chuẩn hay chư , ki m tra linh kiện điện tử gắn vị trí bo m ch h y chư , giúp robot phát chữa cháy kịp thời hay quân sử dụng công nghệ xử lý ảnh đ giúp cho robot có th theo dõi v b m đuổi mục tiêu 1.2 Mục tiêu đề tài:  Tìm hi u c ch sử dụng t ch biên Sobel, Rewitt, C nny, Robert  Sử dụng phương ph p nhận d ng m u đ x c định m u cho đèn gi o th ng (Rgb, Cmy, Cmyk, Hsv)  hình ảnh từ camera chụp l i đ x c định x c m u đèn gi o th ng CHƯƠNG 2: GIỚI THIỆU VỀ CÁC BỘ TÁCH BIÊN 2.1 Cơ sở việc tách biên Biên tập hợp pixel (nằm đường biên giới vùng) liên kết với Một biên lý tưởng có thuộc tính mô hình hình 1.1 Hình 1.1: Mô hình biên lý tưởng Tuy nhiên thực tế yếu tố l chất lượng hệ thống thu nhận hình ảnh, tốc độ lấy mẫu, điều kiện chiếu sáng ảnh,… ảnh hưởng đến chất lượng hình ảnh Vì kết biên giống với đo n dốc th hình 1.2 Hình 1.2: Mô hình biên thực tế Vì đường biên mảnh (có độ dày pixel) Th y v o đó, m biên m đo n dốc biên tập hợp m liên th ng Độ dày củ đường biên x c định chiều dài củ đo n dốc, biên biến đổi từ đầu đến cuối mức xám độ dày biên Hình 1.3: Mô hình miêu tả độ dày biên 2.2 Bộ tách biên Sobel Bộ tách biên Sobel sử dụng mặt l Sobel đ tính c c đ o hàm bậc Gx Gy , nói c ch kh c đ o hàm t i m tâm lân cận tính theo tách Sobel  g  Gx2  G y2  1/  {[( z  z8  z9 )  ( z1  z  z3 )]2  [( z3  z  z9 )  ( z1  z  z )]2 }1 / Khi vị trí (x,y) pixel biên g  T, T l ngưỡng định Cú pháp tách biên Sobel [g, t] = edge (f, „sobel‟, T, dir) Trong f ảnh đầu vào g ảnh logic chứa giá trị t i nơi biên tách chứa giá trị t i nơi biên kh ng tách T =t l ngưỡng định (T=10, 20,….) dir l hướng cần t ch biên „ng ng‟, „dọc‟ „chéo‟ Ví dụ: nh cần tách biên ma trận có d ng: T tính được: |Gx1| = |3 – 4| = 1; |Gy1| = |3 – 2| = Mặt l Sobel: |Gx2| = 2; |Gy2| = 12 Khi Gx = Max (Gx1, Gx2) Gy = Max (Gy1, Gy2) => g = (22 + 122)1/2 = (148) 1/2 2.3 Bộ tách biên Canny Bộ t ch biên C nny có c c đặc tính bản: tìm biên cách tìm cực đ i đị phương củ gr dient f(x,y) Gr dient tính to n dùng đ o hàm lọc G uss Phương ph p dùng h i ngưỡng đ tách biên m nh yếu, gộp biên yếu ngõ chúng kết nối với biên m nh o phương ph p thích hợp đ tách biên yếu thực Có th tóm tắt phương ph p t ch biên t ch biên C nny s u  nh l m trơn cách sử dụng lọc Gauss với độ lệch chuẩn  đ làm giảm nhiễu Xét hàm Gauss: h ( r )  e  r2 2 Trong r  x  y  l độ lệch chuẩn H m l m trơn n y chập với ảnh làm mờ ảnh, độ mờ xác định   T ch biên l phương ph p gi n đo n giá trị cường độ Sự gián đo n tính cách sử dụng đ o hàm bậc Đ o hàm bậc lựa chọn xử lý ảnh l gr dient (độ dốc) Gradient hàm 2- f(x,y) định nghĩ d ng vector  f  G x   x  f      f  G y     y  iên độ vector này:  f  mag (f )  G x2  G y2  1/   f / x 2  f / y 2  1/ Đặc tính củ vector gr dient l c c m hướng có tỷ lệ th y đổi hàm f t i to độ (x,y) lớn Góc xảy tỷ lệ th y đổi lớn là:  Gy    ( x, y )  tan 1   G  x  Đi m biên x c định tăng lên đến c c đỉnh gr dient biên độ ảnh Sau thuật to n tìm đỉnh củ c c đỉnh n y v đặt giá trị vào tất pixel không nằm đỉnh C c pixel đỉnh đặt h i ngưỡng T1 T2 Các pixel đỉnh lớn T2 gọi l c c pixel biên “m nh” C c pixel đỉnh nằm T1 v T2 gọi l c c pixel biên “yếu”  Cuối thuật toán thực biên kết nối cách kết hợp pixel “yếu” với pixel m nh Cú pháp tách biên Canny là: [g, t] = edge (f, „c nny‟, T, sigm ) 2.4 Bộ tách biên Prewitt n Pr ewi t t Bộ tách biên Prewitt sử dụng mặt n Prewitt hình bên xấp xỉ phương ph p số theo đ o hàm bậc Gx, Gy z1 z2 z3 z4 z5 z6 z7 z8 z9 Image neighborhood -1 -1 -1 -1 0 -1 1 1 -1 Prewitt Gx  ( z7  z8  z9 )  ( z1  z2  z3 ) G y  ( z3  z6  z9 )  ( z1  z4  z7 ) Cú pháp gọi hàm: [g, t] = edge (f, „prewitt‟, T, dir) Tham số n y đồng với tham số Sobel Bộ t ch Prewitt đơn giản so với t ch biên Sobel dễ sinh nhiễu so với tách biên Sobel Việc tính toán giá trị hoàn toàn giống với tách biên Sobel 2.5 Bộ tách biên Roberts Bộ tách biên Roberts sử dụng mặt n Roberts hình bên xấp xỉ phương ph p số theo đ o hàm bậc Gx, Gy -1 0 -1 1 Roberts Cú pháp gọi hàm: [g, t] = edge (f, „roberts‟, T, dir) Tham số n y đồng với tham số Sobel Bộ tách Roberts t ch biên xư xử lý ảnh số v l t ch biên đơn giản 10 CHƯƠNG PHƯƠNG PHÁP NHẬN DẠNG MÀU 3.1 Giới thiệu phương ph p nhận d ng m u phương ph p diễn giải c c đặc tính v t c động màu ngữ cảnh định Kh ng có m hình m u n o l đầy đủ cho khía c nh củ m u, người ta sử dụng c c m hình m u kh c nh u đ mô tả tính chất nhận biết khác màu Thí dụ: + Mô hình màu RGB: ánh sáng Red, Green Blue ứng dụng cho hình, TV + Mô hình HSV: Nhận thức củ người + Mô hình CYK: Máy in 3.2 Mô hình màu RGB - Mọi m u bi u diễn kh ng gi n m u RG pha trộn thành phần m u (Red, Green, Blue) - hình m u RG bi u diễn khối lập phương với trục R, G,B Nhận xét • hình n y kh ng th bi u diễn màu phổ nhìn thấy • Đủ cho ứng dụng máy tính • n hình m y tính v TV sử dụng mô hình • Được sử dụng rộng rãi 11 • Đơn giản Xám hóa ảnh màu RGB: Màu = R + G + B Th ng thường người ta sử dụng công thức màu = 0.299R + 0.587G + 0.114B 3.3 Mô hình màu CMY - Gồm thành phần m u cyan, magenta, yellow Là bù màu không gian GRB Mối quan hệ giữ kh ng gi n m u b n đầu + màu bổ túc => trắng R + C => W Y + B => W M + B => W Phương ph p ph trộn màu sống 3.4 Mô hình màu CMYK Là mở rộng mô hình màu CMK cách thêm vào thành phần màu Black (K) Bởi với thành phần màu Black tinh khiết cho t độ tương phản cao 12 Mối quan hệ CMY CMYK K = min(C, M, Y) C=C-K M=M-K Y=Y-K 3.5 Mô hình màu HSV • Th y chọn phần tử RG đ có màu mong muốn, người ta chọn tham số màu: Hue, Saturation Value (HSV) • hình HSV suy diễn từ mô hình RGB: quan sát hình hộp RGB theo đường chéo từ White đến Black (gốc) -> ta có hình lục giác, sử dụng làm đỉnh hình nón HSV • Hue ước sóng gốc củ góc từ 00 đến 3600 nh s ng Trong m hình Hue bi u diễn • V lue Cường độ h y độ chói ánh sáng Value có giá trị [0, 1], V=0 -> m u đen Đỉnh lục gi c có cường độ màu cực đ i • S tur tion Thước đo độ tinh khiết ánh sáng gốc S khoảng [0, 1] Bi u diễn tỷ lệ độ tinh khiết màu chọn với độ tinh khiết cực đ i Nhận xét Mô hình HSV trực gi c m hình RG đầu từ Hue (H cho trước V=1, S=1) th y đổi S: Bổ sung hay bớt trắng, th y đổi V: Bổ sung hay bớt đen có màu mong muốn 13 3.6 Kỹ thuật phân ngưỡng (Thresholding) Kỹ thuật n y đặt ngưỡng đ hi n thị tông màu liên tục Giá trị ngưỡng định m có hi n thị hay không, hi n thị Tái màu: dùng cho ảnh 256 mức xám, chất củ phương ph p n y l ngưỡng dự v o lược đồ x m Ngưỡng chọn l 127 Cho ảnh số S( ,N), Tái màu: Với qui định cách m u s u 14 CHƯƠNG : GI I H Ậ CHƯƠNG NH 4.1 ưu đồ 4.2 Cơ chế ho t động nh đư v o đ xử lý ảnh màu củ đèn gi o th ng Matlab phân tích xử lý hàm củ chương trình n y Kết sau xử lý tách lấy biên hình tròn nhận d ng màu sắc củ đèn gi o th ng l m u (x nh h y đỏ) 4.3 Code chương trình %% xu ly video giao tiep qua webcam % vid=videoinput('winvideo',1); % hinh=getsnapshot(vid); 15 % imwrite(hinh,'d.jpg'); % delete(vid); % a=imread('d.jpg'); %% chuyen anh mau dang rgb sang anh xam a=imread('japan-flag.jpg'); subplot(3,2,1); imshow(a); b=rgb2gray(a); %chuyen anh muc xam c=medfilt2(b);%loc nhieu bang bo loc trung binh d=imadjust(c);%hieu chinh tuong phan subplot(3,2,2); imshow(d); %% tach bien va loai bo phan nhieu bw=edge(d,'prewitt');%tach bien subplot(3,2,3); imshow(bw); bw=bwareaopen(bw,30);%tach bien theo thong so dat truoc %% lam phang nhi phan se=strel('disk',2); bw=imclose(bw,se); bw=imfill(bw,'holes'); subplot(3,2,4); imshow(bw); %% xac dinh tam,bien,tinh khoang cach L =bwlabel(bw); 16 s =regionprops(L,'centroid'); dt =regionprops(L,'area'); cv =regionprops(L,'perimeter'); dim = size(s); BW_filled = imfill(bw,'holes'); boundaries = bwboundaries(BW_filled); for k = 1:dim(1) b = boundaries{k}; dim = size (b); for i = 1:dim(1) khoangcach{k}(1,i) = sqrt((b(i,2)-s(k).Centroid(1))^2+(b(i,1)s(k).Centroid(2))^2); end b=min(khoangcach{k}); a=max(khoangcach{k}); end %% xac dinh mau den giao thong dolech = a-b; if dolech < 255; e=imread('japan-flag.jpg'); d=imresize(e,[8 8]);%thay doi kich thuoc anh theo don vi pixel d1=d(:,:,1); d1=reshape(d1',8*8,1);%giam kich thuoc anh de xu ly d11=sum(d1); d2=d(:,:,2); d2=reshape(d2',8*8,1); 17 d22=sum(d2); d3=d(:,:,3);%ma tran mau xanh la cay d3=reshape(d3',8*8,1);%giam kich thuoc anh de xu ly d33=sum(d3); if d11>d22&&d11>d33 disp('mau do'); z=1; else if d11d33 disp('mau xanh'); z=2; else end end end 4.3 Một số ảnh đ x c định 18 19 [...]... PHƯƠNG PHÁP NHẬN DẠNG MÀU 3.1 Giới thiệu về phương ph p nhận d ng m u phương ph p diễn giải c c đặc tính v t c động của màu trong ngữ cảnh nhất định Kh ng có m hình m u n o l đầy đủ cho mọi khía c nh củ m u, người ta sử dụng c c m hình m u kh c nh u đ mô tả các tính chất được nhận biết khác nhau của màu Thí dụ: + Mô hình màu RGB: ánh sáng Red, Green và Blue ứng dụng cho màn hình, TV + Mô hình HSV: Nhận thức... công thức màu = 0.299R + 0.587G + 0.114B 3.3 Mô hình màu CMY - Gồm 3 thành phần m u cơ bản cyan, magenta, yellow Là bù màu của không gian GRB Mối quan hệ giữ 2 kh ng gi n m u b n đầu + màu bổ túc => trắng R + C => W Y + B => W M + B => W Phương ph p ph trộn màu trong cuộc sống 3.4 Mô hình màu CMYK Là sự mở rộng mô hình màu CMK bằng cách thêm vào thành phần màu Black (K) Bởi vì với thành phần màu Black... 4.1 ưu đồ 4.2 Cơ chế ho t động nh được đư v o đ xử lý là ảnh màu củ đèn gi o th ng Matlab sẽ phân tích và xử lý bằng các hàm củ chương trình n y Kết quả sau khi xử lý sẽ tách lấy biên hình tròn và nhận d ng được màu sắc củ đèn gi o th ng đó l m u gì (x nh h y đỏ) 4.3 Code chương trình %% xu ly video giao tiep qua webcam % vid=videoinput('winvideo',1); % hinh=getsnapshot(vid); 15 % imwrite(hinh,'d.jpg');... tông màu liên tục Giá trị của ngưỡng sẽ quyết định đi m có được hi n thị hay không, và hi n thị như thế nào Tái hiện 2 màu: dùng cho ảnh 256 mức xám, bản chất củ phương ph p n y l ngưỡng dự v o lược đồ x m Ngưỡng chọn ở đây l 127 Cho ảnh số S( ,N), khi đó Tái hiện 4 màu: Với qui định cách hiện 4 m u như s u 14 CHƯƠNG 4 : GI I H Ậ CHƯƠNG NH 4.1 ưu đồ 4.2 Cơ chế ho t động nh được đư v o đ xử lý là ảnh màu. .. hình màu RGB - Mọi m u được bi u diễn bởi kh ng gi n m u RG đều là sự pha trộn của 3 thành phần m u cơ bản (Red, Green, Blue) - hình m u RG được bi u diễn bởi khối lập phương với các trục R, G,B Nhận xét • hình n y kh ng th bi u diễn mọi màu trong phổ nhìn thấy • Đủ cho các ứng dụng máy tính • n hình m y tính v TV sử dụng mô hình này • Được sử dụng rộng rãi nhất 11 • Đơn giản Xám hóa ảnh màu RGB: Màu. .. V=0 -> m u đen Đỉnh lục gi c có cường độ màu cực đ i • S tur tion Thước đo độ tinh khiết ánh sáng gốc S trong khoảng [0, 1] Bi u diễn tỷ lệ độ tinh khiết của màu sẽ chọn với độ tinh khiết cực đ i Nhận xét Mô hình HSV trực gi c hơn m hình RG ắt đầu từ Hue (H cho trước và V=1, S=1) th y đổi S: Bổ sung hay bớt trắng, th y đổi V: Bổ sung hay bớt đen cho đến khi có màu mong muốn 13 3.6 Kỹ thuật phân ngưỡng... Black (K) Bởi vì với thành phần màu Black tinh khiết sẽ cho t độ tương phản cao hơn 12 Mối quan hệ CMY và CMYK K = min(C, M, Y) C=C-K M=M-K Y=Y-K 3.5 Mô hình màu HSV • Th y vì chọn các phần tử RG đ có màu mong muốn, người ta chọn các tham số màu: Hue, Saturation và Value (HSV) • hình HSV suy diễn từ mô hình RGB: hãy quan sát hình hộp RGB theo đường chéo từ White đến Black (gốc) -> ta có hình lục giác,... boundaries{k}; dim = size (b); for i = 1:dim(1) khoangcach{k}(1,i) = sqrt((b(i,2)-s(k).Centroid(1))^2+(b(i,1)s(k).Centroid(2))^2); end b=min(khoangcach{k}); a=max(khoangcach{k}); end %% xac dinh mau den giao thong dolech = a-b; if dolech < 255; e=imread('japan-flag.jpg'); d=imresize(e,[8 8]);%thay doi kich thuoc anh theo don vi pixel d1=d(:,:,1); d1=reshape(d1',8*8,1);%giam kich thuoc anh de xu ly d11=sum(d1);