Luận văn thạc sĩ VNU UET nhận dạng chữ cho ảnh màu thương hiệu 01

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN NGỌC TUẤN NHẬN DẠNG CHỮ CHO ẢNH MÀU THƯƠNG HIỆU LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội - 2015 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN NGỌC TUẤN NHẬN DẠNG CHỮ CHO ẢNH MÀU THƯƠNG HIỆU Ngành: Công nghệ thông tin Chuyên ngành: Khoa Học Máy Tính Mã số: 60480101 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS LÊ THANH HÀ Hà Nội - 2015 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Lời cam đoan Tôi xin cam đoan phần nghiên cứu thực khóa luận riêng tơi, hướng dẫn TS Lê Thanh Hà, không chép từ cơng trình nghiên cứu khác Tơi trích dẫn đầy đủ tài liệu tham khảo, cơng trình nghiên cứu liên quan nước quốc tế Nếu sai tơi xin chịu hồn tồn trách nhiệm chịu kỷ luật ĐHQG Hà Nội Nhà trường Hà Nội, ngày 22 tháng năm 2015 Học viên LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Lời cảm ơn Lời em xin bày tỏ lòng biết ơn sâu sắc tới TS Lê Thanh Hà, người hướng dẫn em tận tình suốt trình học tập, nghiên cứu viết luận văn Đồng thời giúp em lựa chọn hướng cho riêng Một lần em xin nói lời cảm ơn với Thầy Em xin bày tỏ lòng biết ơn tới thầy cô giáo Khoa Công Nghệ Thông Tin - Đại Học Công Nghệ - ĐHQGHN Các thầy cô dạy bảo, dẫn chúng em tạo điều kiện tốt cho chúng em trình học tập, đặc biệt thời gian làm luận văn tốt nghiệp Em xin cảm ơn anh chị em lớp K17KHMT trường Đại Học Công Nghệ anh chị em lớp KHMT, giúp đỡ em suốt trình học tập Cuối xin gửi tới bố mẹ tồn thể gia đình lịng biết ơn tình cảm yêu thương Hà Nội ngày 22 tháng năm 2015 Nguyễn Ngọc Tuấn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com MỞ ĐẦU Nhận dạng chữ in nói chung nhận dạng chữ in ảnh màu tốn có nhiều ứng dụng thực tế thu hút nhiều quan tâm nghiên cứu Máy tính tự động nhận dạng, xử lý ảnh đầu vào tạo liệu văn phục vụ lưu trữ, tìm kiếm, phân tích Nhờ giúp tiết kiệm chi phí, thời gian, công sức so với nhập liệu thủ công Ngày nay, cạnh tranh mạnh mẽ kinh tế, việc xây dựng hình ảnh doanh nghiệp truyền tải đến người tiêu dùng ngày trở nên quan trọng Ảnh thương hiệu (logo) phần thiếu q trình này, ln bổ sung vào sở liệu doanh nghiệp Để khai thác thông tin ảnh thương hiệu sở liệu, dựa vào hai thành phần chính: phần hình ảnh phần chữ (text) Trong đó, phần text chứa nhiều thơng tin hữu ích tên sản phẩm, tên doanh nghiệp, hiệu (slogan) , phục vụ đắc lực cho việc tìm kiếm, phân tích, lưu trữ Phương pháp đề cập luận văn nhằm giải vấn đề trích xuất liệu text từ ảnh thương hiệu cách tự động, nâng cao độ xác giảm thiểu chi phí cho hoạt động nhập liệu Quan sát số sở liệu ảnh thương hiệu, thấy ảnh thương hiệu bao gồm thông tin dạng văn (text) chiếm phần đáng kể, giải phương pháp nhận dạng chữ thông thường Tuy nhiên, phần khơng nhỏ ảnh màu thương hiệu ngồi text thường có yếu tố hình họa kèm, nhập nhằng vùng chữ in vùng hình họa làm khó khăn trích xuất text tăng lên nhiều so với nhận dạng chữ in ảnh xám truyền thống Để giải vấn đề đó, luận văn đề xuất giải pháp kết hợp phương pháp grayscale phân đoạn ảnh cải tiến, dựa khác biệt màu sắc cảm nhận mắt người, nguyên tắc thường thấy thiết kế ảnh màu thương hiệu Bài toán nhận dạng chữ in ảnh màu gồm ba công đoạn chủ yếu: tiền xử lý, nhận dạng kí tự hậu xử lý Trong luận văn tập trung chủ yếu vào giai đoạn tiền xử lý, cụ thể trình grayscale phân đoạn ảnh, nhằm đưa cải tiến để cải thiện độ xác kết nhận dạng sau Đồng thời sử dụng máy nhận dạng văn Tesseract để xây dựng thành hệ thống hoàn chỉnh Trong phần thực nghiệm luận văn, tiến hành nhận dạng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com chữ in ảnh màu thương hiệu với nhiều kích cỡ chữ, font chữ màu sắc khác Kết sau hệ thống nhận dạng chữ in cải thiện rõ rệt so sánh với phương pháp phân đoạn khác hệ thống nhận dạng Từ khóa: Nhận dạng chữ in, ảnh thương hiệu màu, biểu đồ Histogram, phân đoạn ảnh, nhị phân hóa LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mục lục TỔNG QUAN 1.1 Đặt vấn đề 1.2 Nội dung nghiên cứu luận văn 1.3 Cấu trúc luận văn 10 10 10 11 Cơ 2.1 2.2 2.3 2.4 2.5 2.6 2.7 13 13 15 17 17 18 20 21 tự động 24 24 28 28 29 29 30 Thực nghiệm đánh giá 4.1 Môi trường thực nghiệm 4.2 Thực nghiệm phân đoạn ảnh 4.3 Thực nghiệm nhận dạng 33 33 33 35 Kết luận 38 sở lý thuyết cho phân đoạn ảnh Ảnh màu thương hiệu Không gian màu (color space) Biểu đồ Histogram Chuyển đổi ảnh màu sang ảnh mức xám Phân đoạn ảnh Một số phương pháp phân đoạn Máy nhận dạng văn Tesseract Phân đoạn ảnh màu thương hiệu 3.1 Pha 1: Chuyển đổi ảnh màu sang ảnh mức xám 3.2 Pha 2: Phân đoạn ảnh phân cấp 3.2.1 Xác định khoảng cách cụm 3.2.2 Hòa nhập cụm 3.2.3 Thuật toán Arifin cải tiến lựa chọn ngưỡng 3.3 Pha 3: Nhận dạng ký tự LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh mục hình vẽ 2.1 2.2 2.3 2.4 2.5 Ảnh thương hiệu màu Không gian màu HSV Phân cụm phân ngưỡng Histogram Ảnh gốc vùng ảnh sau phân đoạn Cấu trúc Tesseract 14 16 18 19 22 3.1 3.2 Sơ đồ hệ nhận dạng ký tự cho ảnh màu thương hiệu Chuyển đổi ảnh màu sang ảnh mức xám; (a): ảnh gốc, (b) ảnh độ sáng, (c) ảnh mức xám áp dụng phương pháp Rasche, (d) ảnh mức xám áp dụng phương pháp Mark Ảnh màu thương hiệu Ảnh mức xám sau biến đổi sử dụng phương pháp Mark (a) Biểu đồ Histogram q trình hịa nhập cụm (b) Nhận dạng văn ảnh phân đoạn Tesseract 25 3.3 3.4 3.5 3.6 4.1 4.2 4.3 4.4 Ảnh thương hiệu sau phân đoạn áp dụng phương pháp Otsu Ảnh thương hiệu sau phân đoạn phương pháp phân cấp Arafin Ảnh thương hiệu sau phân đoạn phương pháp phân cấp K-means Kết nhận dạng với số RCR, RJR ER cho mơ hình 26 27 27 29 30 34 34 35 36 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh mục bảng biểu 4.1 Bảng so sánh kết thực nghiệm 37 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh sách từ viết tắt OCR RGB HSV CMYK CIE LAB LA*B* RCR RJR ER NOIP Optical Character Recognition Red Green Blue Hue Saturation Value Cyan Magenta Yellow Key International Commission on Illumination Lightness a b Lightness a* b* Recognition rate Rejection rate Error rate National Office of Intellectual Property LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 180 / PI; c=sqrt(s.val[1]+s.val[2]); ((uchar *)(dst->imageData + i*dst>widthStep))[j]= s.val[0]+(2.50.025*s.val[0])*(0.116*abs(sin(hl/2-45))+0.085)*c; } cvReleaseImage(&dst1); } Mô tả Mã nguồn Chuyển đổi ảnh màu sang ảnh mức xám, sử dụng phương pháp MarkGrundland void ConvertScale(IplImage *img, { int i,j,k; double tmp; CvMat *a) for( i=0;iwidth; i++) for (j=0;jheight; j++) for( k=0;kimageData + j*img->widthStep))[i*img->nChannels + k] ; cvmSet( a, i*img->height +j, 2-k ,tmp/255.0 ); } } void Minus(CvMat *a,CvMat *b, long *look) { long i,j; double tmp; for (i=0;irows;i++) for( j=0;jcols;j++) { cvmSet( a, i, j, cvmGet( b, i, j )cvmGet( b, look[i], j ) ); } } void ColordifferenceInit(double *a,CvMat *b, long *look, double eps) { long i,j; double tmp; for (i=0;irows;i++) { tmp=0.0; for( j=0;jcols;j++) tmp+= pow( cvmGet( b, i, j )- cvmGet( b, look[i], j ),2.0) ; a[i]=sqrt(tmp)+eps; } } void decolorizequantiles(double *x,double *q, long LUAN VAN CHAT LUONG download41: add luanvanchat@agmail.com xn,long qn, double tolerance) { sort(x,x+xn); double e= 1.0/(2.0*xn); long i,tmp; for (i=0;iwidth* img->height; CvMat *picture = cvCreateMat( pixels, 3, CV_64FC1 ); ConvertScale(img,picture); //cvDoubleMatPrint( picture ); double eps=2.22044604925031e-16; double tolerance=100*eps; CvMat* ColorConvert = cvCreateMat( 3, 3, CV_64FC1 ); cvZero( ColorConvert ); cvmSet( ColorConvert, 0, 0, 0.2989360212937753847527155 ); cvmSet( ColorConvert, 0, 1, cvmSet( ColorConvert, 0, 2, cvmSet( ColorConvert, 1, 0, 0.5870430744511212909351327 ); cvmSet( ColorConvert, 1, 1, cvmSet( ColorConvert, 1, 2, cvmSet( ColorConvert, 2, 0, 0.5 ); 1); 0.5 ); -1 ); LUAN VAN CHAT LUONG download42: add luanvanchat@agmail.com 0.1140209042551033243121518 ); cvmSet( ColorConvert, 2, 1, -1 ); cvmSet( ColorConvert, 2, 2, ); double double double double maxluminance=1; scaleluminance=0.66856793424088827189; maxsaturation=1.1180339887498948482; alter=effect*(maxluminance/maxsaturation); CvMat *image= cvCreateMat( pixels, 3, CV_64FC1 ); cvMatMul(picture,ColorConvert,image); CvMat *original; original= cvCloneMat( image ); long i; double tmp; // long *look = new long [pixels]; srand ( time(NULL) ); for (i=0;i