NHẬN DẠNG BIỂN số XE từ dữ LIỆU HÌNH ẢNH

TR NG Đ I H C K THU T - H U C N CAND KHOA CÔNG NGH THÔNG TIN BÁO CÁO CHUYểN Đ H c ph n: Nh ng v n đ m i công ngh thông tin truy n thông NH N D NG BI N S Nhóm h c viên: XE T D LI U HÌNH NH Tr nh Xuân Ti n Lê Th Nguy t Nguy n Th Huy n Trang Bắc Ninh, tháng năm 2017 TR NG Đ I H C K THU T - H U C N CAND KHOA CÔNG NGH THÔNG TIN BÁO CÁO CHUYểN Đ H c ph n: Nh ng v n đ m i công ngh thông tin truy n thông NH N D NG BI N S GIÁO VIểN H Nhóm h c viên: XE T D NG D N: TS L LI U HÌNH NH ng Khắc Đ nh Tr nh Xuân Ti n Lê Th Nguy t Nguy n Th Huy n Trang Bắc Ninh, tháng năm 2017 Tr L IC M N c h t, nhóm chúng em xin đ ợc g i l i c m n chơn thƠnh, sơu sắc đ n th y giáo TS L ng Khắc Đ nh - giáo viên gi ng d y Trong th i gian qua giám sát đư nhi t tình h ng d n, b o, trau dồi cho chúng em nh ng ki n th c quý giá v ki n th c chuyên đ S gợi ý v Ủ t ng, cung c p tài li u, s li u, h ng d n c a giám sát nh ng nhân t giúp chúng em hồn thành t t chuyên đ c a Chúng em xin chân thành c m n th y, cô giáo khoa Công ngh thông tin ậ Tr ng Đ i h c K thu t ậ H u c n CAND đư truy n đ t nh ng ki n th c c n thi t, đồng th i t o u ki n thu n lợi cho chúng em h c t p nghiên c u Đi u có Ủ nghĩa h t s c to l n đ i v i h c viên chuyên ngành Cơng ngh thơng tin Trong q trình lƠm chun đ , cịn kinh nghi m ki n th c ch a sâu sắc nên chuyên đ c a chúng em không tránh kh i nh ng sai sót Mong q giám sát thơng c m góp ý cho chúng em đ chuyên đ đ ợc hoàn chỉnh h n Em xin chân thành c m n! Bắc Ninh, tháng năm 2017 H C VIÊN M CL C DANH M C HÌNH NH III M Đ U CH NG C S LÝ THUY T Vể̀ NH N D NG T D LI U HÌNH NH 1.1 Tổng quan v nh n d ng 1.1.1 Khái niệm nhận dạng 1.1.2 Không gian biểu diễn đối tượng, không gian diễn dịch 1.1.3 Mơ hình chất trình nhận dạng .4 1.2 X lý nh 1.2.1 Quá trình xử lý ảnh 1.2.2 Các vấn đề xử lý ảnh 1.3 Công ngh Tesseract OCR .9 1.3.1 Lịch sử 1.3.2 Kiến trúc hoạt động 10 CH NG BÀI TOÁN NH N D NG BI N S XE 11 2.1 Nh n d ng bi n s xe 11 2.1.1 Khái niệm .11 2.1.2 Phân loại biển số xe 12 2.1.3 Những quy định màu sắc chữ số đặc biệt 13 2.2 H ng gi i quy t 15 2.2.1 Hướng tiếp cận phát triển vùng 15 2.2.2 Hướng tiếp cận dò biên biến đổi Hough 15 2.2.3 Hướng giải 16 2.3 Phát hi n vùng ch a bi n s xe 17 2.4 Xác đ nh xác vùng ch a bi n s xe 19 2.5 Nh n d ng ký t 20 2.5.1 Mơ hình mạng notron nhân tạo 20 2.5.2 Phương pháp thuật tốn nhận dạng kí tự .24 CH NG XỂY D NG CH NG TRÌNH NH N D NG BI N S XE .28 3.1 Công c xây d ng 28 3.1.1 Microsoft Visual Studio 2013 28 3.1.2 Microsoft Net framework 28 3.2 Ch ng trình nh n d ng bi n s xe 29 3.2.1 Giao diện phần mềm 29 3.2.2 Các bước nhận diện biển số xe 29 3.3 Đánh giá s n ph m demo .32 i 3.3.1 Giao diện .32 3.3.2 Tính năng, hiệu suất 32 3.3.3 Độ ổn định 32 K T LU N VÀ H NG PHÁT TRI N 33 TÀI LI U THAM KH O 34 ii DANH M C HÌNH NH Hình 1.1 S đồ q trình nh n d ng .6 Hình 1.2 S đồ b c c b n x lý nh Hình 1.3 Ki n trúc tesseract 10 Hình 2.1 M u bi n s xe 15 Hình 2.2 Các b Hình 2.3 Các b c phát hi n vùng ch a bi n s xe .17 c xác đ nh xác vùng ch a bi n s xe 19 Hình 3.1 Giao di n c a ph n m m .29 Hình 3.2 Button ch n hình 29 Hình 3.3 B c l a ch n hình nh có sẵn 30 Hình 3.4 Button ch p hình 30 Hình 3.5 Phát hi n vùng ch a bi n s xe .30 Hình 3.6 Nh n d ng ký t 31 Hình 3.7 X lý hình nh 31 Hình 3.8 Nh n di n ký t 31 Hình 3.9 K t qu nh n di n 32 iii M Đ U Tên đ tài “Nghiên c u nh n d ng bi n s xe t d li u hình nh” Lý ch n đ tài Cùng v i s phát tri n c a khoa h c k thu t nhu c u l i ngƠy cƠng tăng, s l ợng ph ng ti n giao thông đ ng ngày xu t hi n nhi u V i s l ợng ph ng ti n giao thơng l n, cịn khơng ng ng tăng lên nh v y đư lƠm n y sinh nhi u v n đ vi c ki m soát ph ng ti n nh công tác qu n lý, x lý vi ph m giao thông mà nguồn nhân l c ng i khó có th th c hi n đ ợc Đ gi i quy t v n đ nhu c u đặt ph i áp d ng các26 h th ng qu n lý, x lý vi ph m giao thông t động Đ xây d ng h th ng qu n lý giao thơng t động “BƠi toán nh n d ng bi n s xe” lƠ ti n đ đ xây d ng mơ hình qu n lỦ đó, nh ng hi n Vi t Nam nh ng h th ng qu n lỦ cịn ch a nhi u vƠ lĩnh v c nh n d ng cịn q trình phát tri n T nh ng th c t đó, th i gian h c môn nh ng v n đ m i công ngh thông tin, em đư quy t đ nh l a ch n tìm hi u v đ tƠi: “Nghiên c u nh n d ng bi n s xe t d li u hình nh” M c tiêu nghiên c u Chúng em th c hi n đ tƠi: “Nh n d ng bi n s xe t d li u hình nh” v i m c tiêu c th nh sau: - Tố̀m hiể u về trình x lý nh n d ng nh - Tìm hi u cơng ngh Tesseract OCR - Xây d ng ph n m m nh n d ng bi n s xe t d li u hình nh Ph ng pháp nghiên c u - Ph ng pháp nghiên c u tài li u: Nghiên c u tài li u có liên quan đ n đ tài nhằm thu th p h th ng c s lí lu n c a đ tài nghiên c u ng d ng ph ng pháp nghiên c u khoa h c ph c v cho đ tài - Ph ng pháp tham kh o t chuyên gia: L y ý ki n t giám sát cô giáo Khoa Công ngh thông tin, giáo viên h ng d n đ tài nhằm đ nh h ng trình nghiên c u vƠ đ m b o k t qu nghiên c u xác h n - Ph ng pháp th c nghi m: Nghiên c u ph n m m nh n d ng đư xơy d ng có liên quan đ ph c v vi c xây d ng m i ph n m m nh n d ng c a nhóm Ph m vi nghiên c u Trong khuôn khổ báo cáo k t thúc h c ph n môn Nh ng v n đ m i cơng ngh thơng tin, nhóm chúng em đ nh h ng đ tài nghiên c u v Công ngh Tesseract OCR nh ng ph n m m có liên quan đ n nh n d ng bi n s xe t d li u hình nh B c c báo cáo Trong báo cáo này, ph n m đ u ph n k t lu n, nội dung báo cáo đ ợc chia lƠm ch ng: Ch ng 1: C S LÝ THUY T Vể̀ NH N D NG T D LI U HÌNH NH 1.1 Tổng quan v nh n d ng 1.2 X lý nh 1.3 Công ngh Tesseract OCR Ch ng 2: BÀI TOÁN NH N D NG BI N S XE 2.1 Nh n d ng bi n s xe 2.2 H ng gi i quy t 2.3 Phát hi n vùng ch a bi n s xe 2.4 Xác đ nh xác vùng ch a bi n s xe 2.5 Nh n d ng ký t Ch ng 3: XỂY D NG CH NG TRÌNH NH N D NG BI N S XE 3.1 Công c xây d ng 3.2 Ch ng trình nh n d ng bi n s xe 3.3 Đánh giá s n phẩm Demo CH NG C S LÝ THUY T Vể̀ NH N D NG T D LI U HÌNH NH 1.1 Tổng quan v nh n d ng 1.1.1 Khái niệm nhận dạng Nh n d ng trình phân lo i đ i t ợng đ ợc bi u di n theo mô hình nƠo vƠ gán cho chúng vào l p (gán cho đ i t ợng tên g i) d a theo nh ng quy lu t m u chuẩn Quá trình nh n d ng d a vào nh ng m u h c bi t tr c g i nh n d ng có giám sát (supervised learning), tr ng hợp ng ợc l i g i h c khơng có giám sát (non supervised learning) 1.1.2 Không gian biểu diễn đối tượng, không gian diễn dịch Không gian bi u di n đ i t ợng Các đ i t ợng quan sát hay thu nh p đ ợc th ng đ ợc bi u di n b i t p đặc tr ng hay đặc tính Nh tr ng hợp x lý nh, nh sau đ ợc tăng c ng đ nâng cao ch t l ợng, phân vùng trích ch n đặc tính, đ ợc bi u di n b i đặc tr ng nh biên, mi n đồng nh tầ Ng i ta th ng phơn đặc tr ng nƠy theo lo i nh : đặc tr ng tô pô (t p m), đặc tr ng hình h c vƠ đặc tr ng ch c Vi c bi u di n nh theo đặc tr ng nƠo ph thuộc vào ng d ng ti p theo Ví d : gi s đ i t ợng X ( nh, ch vi t, d u vơn tay,ầ) đ ợc bi u di n b i n thành ph n đặc tr ng: = { , , … , }; bi u di n đặc tính Khơng gian bi u di n đ i t ợng th ng g i tắt lƠ không gian đ i t ợng A đ ợc đ nh nghĩa: � = { , ,…, } Trong bi u di n đ i t ợng Khơng gian có th vô h n, nh ng đ ti n xem xét ta xét t p h u h n Không gian di n d ch Không gian di n d ch t p tên g i c a đ i t ợng K t thúc trình nh n d ng ta xác đ nh đ ợc tên g i cho đ i t ợng t p khơng gian đ i t ợng hay nói lƠ đư nh n d ng đ ợc đ i t ợng Một hình th c g i lƠ Ω lƠ t p tên đ i t ợng: Ω = {� , � , … , � } v i � , i= 1,2,ầ.k lƠ tên đ i t ợng Quá trình nh n d ng đ i t ợng f ánh x f: AΩ v i f t p quy lu t đ đ nh ph n t A ng v i ph n t Ω N u t p quy lu t t p tên đ i t ợng bi t tr c nh nh n d ng ch vi t có (có 26 l p t AZ), ng i ta g i nh n d ng có giám sát Tr ng hợp hai nh n d ng khơng có giám sát (tr ng hợp nƠy khó khăn h n) 1.1.3 Mơ hình chất q trình nhận dạng Mơ hình q trình nh n d ng Vi c ch n l a trình nh n d ng có liên quan m t thi t đ n ki u mô t mƠ ng i ta s d ng đ đặc t đ i t ợng Trong nh n d ng, ng i ta phân chia theo hai h l p: - H mô t theo tham s - H mô t theo c u trúc Cách mô t đ ợc l a ch n s xác đ nh mơ hình c a đ i t ợng Nh v y, chúng s có lo i mơ hình: mơ hình theo tham s mơ hình c u trúc - Mơ hình tham s Mơ hình tham s s d ng vector đ đặc đ i t ợng Mỗi ph n t c a vector mô t đặc tính c a đ i t ợng Ví d nh đặc tr ng ch c năng, ng i ta s d ng hƠm c s tr c giao đ bi u di n VƠ nh v y nh s đ ợc bi u di n b i chuỗi hàm tr c giao Gi s C lƠ đ ng bao c a nh C(i,j) lƠ m th i đ ng bao v i i=1,2ầ,N ( đ ng bao gồm N m) Trong đó: � ∑ = = = � ∑ = t a độ tơm m Ta có moment trung tâm b c p, q c a đ � Vector tham s tr j=1,2,ầ,q Vi c l a ch n ph = � ∑ = − ng bao nh sau: − ng hợp moment � v i i=1,2,ầ,p vƠ ng pháp bi u di n s lƠm đ n gi n cách xây d ng nh ng vi c l a ch n đặc tr ng nƠo lƠ hoƠn toƠn ph thuộc vào ng d ng Trong nh n d ng ch , tham s d u hi u: s m ch c ba, ch c t , s m chu trình, s m ngoặt, s m k t thúc - Mơ hình c u trúc Cách ti p c n c a mơ hình d a vào vi c mô t đ i t ợng nh s khái ni m bi u th đ i t ợng c s ngôn ng t nhiên Đ mô t đ i t ợng, ng i ta dùng s d ng nguyên th y nh đo n thẳng, cung Chẳng h n hình ch nh t đ ợc đ nh nghĩa gồm đo n thẳng vng góc v i t ng đơi Trong mơ hình quay, phép t l đ đ a vùng ′ � thành hình ch nh t Khi thu đ ợc nh có nhi u nguyên nhân làm cho nh bi n s xe b nghiêng kéo theo ký t b nghiêng theo làm vi c nh n d ng khơng xác Vì v y, ta c n nắn t giác tr l i hình ch nh t nắn ký t tr nên thẳng đ ng theo tiêu chí: t l chi u dài/rộng s ký t vùng bi n s xe Tiêu chí tỷ lệ chiều dài/rộng V i qu c gia bi n s xe có kích th c nh t đ nh th hi n thông qua t l gi a c nh nằm kho ng 3.5 W/H 4.5 v i bi n s có hai hàng t l 0.8  W/H  1.4 K t qu lƠ thu đ ợc t p c a ′ � ch a bi n s xe v i s vùng nh h n hẳn s vùng mƠ ta thu đ ợc ban đ u sau bi n đổi Hough Tiêu chí số ký tự vùng biển số xe V i n c s kí t bi n khác Vi t Nam, s ký t bi n s xe th ng lƠ 6,7,8 t ng ng v i xe quơn đội, xe máy cũ vƠ xe ô tô vƠ xe máy bây gi Mỗi ký tự có đặc trưng: height Width Ta có ng ỡng s d ng [6,8] .8 N u tìm đ ợc bi n s xe đ u tiên th a mãn ta có th d ng thu t tốn chuy n sang nh n d ng ký t N u t t c bi n s xe tồn t i nh bắt buộc ph i t qua toàn vùng nh 2.5 Nh n d ng ký t 2.5.1 Mơ hình mạng notron nhân tạo Mơ hình notron nhân t o M ng notron nhân t o (Artificial Neural Network) bao gồm nút (đ n v x lỦ) đ ợc n i v i b i liên k t notron Mỗi liên k t kèm theo tr ng s đó, đặc tr ng cho đặc tính kích ho t gi a notron Có th xem tr ng s ph ng ti n lƠ ph ng ti n đ l u gi thông tin dài h n m ng nhi m v c a trinh hu n luy n (h c) m ng c p nh t tr ng s có thêm thông tin v m u h c, nói cách khác s đ ợc u chỉnh cho Trong m ng, s notron đ ợc n i v i môi tr đ u vào n bên đ u ra, Mỗi notron đ ợc n i v i nowtron khác nh n đ ợc tín hi u chúng v i tr ng s Tổng thông tin vào có tr ng s là: =∑ 20 t Ng i ta g i đơy lƠ thƠnh ph n n tính c a notron Hàm kích ho t g (hàm chuy n) đóng vai trị bi n đổi t Net sang tín hi u đ u out =� Đơy lƠ thƠnh ph n phi n c a notron Có hàm kích ho t th th c t ng đ ợc dùng Hàm dạng bước: Hàm dấu: = { ớ − Hàm sigmoid: = { = { < = { < � �