Nhận dạng ký tự số bằng mạng neuron

Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - M U K thut nhn dng hin ang c nhiu ngi quan tõm, bi õy l mt ngnh khoa hc cú rt nhiu ng dng khoa hc k thut, tin hc, sinh hc v c lnh vc an ninh quc gia Nú l mt b phn quan trng cỏc h thng thụng minh; c s dng vic dũ tỡm, x lý s liu v h tr quyt nh, Núi mt cỏch tng quỏt thỡ nhn dng l mt b mụn khoa hc cú liờn quan mt cỏch hu c n vic phõn lp, tớnh toỏn cỏc o Bi toỏn nhn dng ký t l mt bi toỏn lp bi toỏn nhn dng v x lý nh Cú rt nhiu phng phỏp khỏc gii quyt bi toỏn ny v phng phỏp ỏp dng mng neuron ó mang li hiu qu khỏ cao Nhn dng ký t s bng mng neuron l ni dung ti nhn dng cỏc ký t s tụi la chn Mng neuron lp lan truyn ngc sai s Mc dự ó cú nhiu c gng quỏ trỡnh thc hin nhng ti khụng th trỏnh c nhng thiu sút mong s gúp ý ca thy giỏo v cỏc ban Tụi xin chõn thnh cm n s hng dn ca Thy giỏo TS o Thanh Tnh Khoa CNTT HVKTQS, xin cm n s gúp ý quý bỏu ca cỏc bn hc viờn Ngi thc hin - HV Lê Tiến Công Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - mạng nơ ron nhân tạo Nhận dạng theo mạng nơ ron i tổng quan nhận dạng Nhận dạng trình phân loại đối tợng đợc biểu diễn theo mô hình gán cho chúng vào lớp (gán cho đối tợng tên gọi) dựa theo quy luật mẫu chuẩn Quá trình nhận dạng dựa vào mẫu học biết trớc gọi nhận dạng có thày hay học có thày (supervised learning); trờng hợp ngợc lại gọi học thày (non supervised learning) Chúng ta lần lợt giới thiệu khái niệm 1.1 Không gian biểu diễn đối tợng, không gian diễn dịch Không gian biểu diễn đối tợng Các đối tợng quan sát hay thu thập đợc, thờng đợc biểu diễn tập đặc trng hay đặc tính Nh trờng hợp xử lý ảnh, ảnh sau đợc tăng cờng để nâng cao chất lợng, phân vùng trích chọn đặc tính, đợc biểu diễn đặc trng nh biên, miền đồng nhất, v ,v Ngời ta thờng phân đặc trng theo loại nh: đặc trng tô pô, đặc trng hình học đặc trng chức Việc biểu diễn ảnh theo đặc trng phụ thuộc vào ứng dụng ta đa cách hình thức việc biểu diễn đối tợng Giả sử đối tợng X (ảnh, chữ viết, dấu vân tay, v ,v) đợc biểu diễn n thành phần (n đặc trng): X = {x1, x2, , xn}; xi biểu diễn đặc tính Không gian biểu diễn đối tợng thờng gọi tắt không gian đối tợng X đợc định nghĩa: X = {X1, X2, , Xm} Xi biểu diễn đối tợng Không gian vô hạn Để tiện xem xét xét tập X hữu hạn Không gian diễn dịch Không gian diễn dịch tập tên gọi đối tợng Kết thúc trình nhận dạng ta xác định đợc tên gọi cho đối tợng tập không gian đối - HV Lê Tiến Công Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - tợng hay nói nhận dạng đợc đối tợng Một cách hình thức gọi tập tên đối tợng: = {w1, w2, ,wk} với wi, i = 1, 2, , k tên đối tợng Quá trình nhận dạng đối tợng f ánh xạ f: X -> với f tập quy luật để định phần tử X ứng với phần tử Nếu tập quy luật tập tên đối tợng biết trớc nh nhận dạng chữ viết (có 26 lớp từ A đến Z), ngời ta gọi nhận dạng có thày Trờng hợp thứ hai nhận dạng thày Đơng nhiên trờng hợp việc nhận dạng có khó khăn 1.2 Mô hình chất trình nhận dạng 1.2.1 Mô hình Việc chọn lựa trình nhận dạng có liên quan mật thiết đến kiểu mô tả mà ngời ta sử dụng để đặc tả đối tợng Trong nhận dạng, ngời ta phân chia làm họ lớn: - Họ mô tả theo tham số - Họ mô tả theo cấu trúc Cách mô tả đợc lựa chọn xác định mô hình đối tợng Nh vậy, có loại mô hình: mô hình theo tham số mô hình cấu trúc Mô hình tham số sử dụng véctơ để đặc tả đối tợng Mỗi phần tử véctơ mô tả đặc tính đối tợng Thí dụ nh đặc trng chức năng, ngời ta sử dụng hàm sở trực giao để biểu diễn Và nh ảnh đợc biểu diễn chuỗi hàm trực giao Giả sử C đờng bao ảnh C(i,j) điểm thứ i đờng bao, i = 1, 2, , N (đờng bao gồm N điểm) Giả sử tiếp : x0 = N N xi i =1 - HV Lê Tiến Công Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn N y0 = yi N i =1 toạ độ tâm điểm Nh vậy, moment trung tâm bậc p, q đờng bao là: àpq = N N (xi-x0)p(yi-y0)q (1) i =1 Véctơ tham số trờng hợp moment àij với i=1, 2, ,p j=1, 2, ,q Còn số đặc trng hình học, ngời ta hay sử dụng chu tuyến , đờng bao, diện tích tỉ lệ T = 4S/p2, với S diện tích, p chu tuyến Việc lựa chọn phơng pháp biểu diễn làm đơn giản cách xây dựng Tuy nhiên, việc lựa chọn đặc trng hoàn toàn phụ thuộc vào ứng dụng Thí dụ , nhận dạng chữ, tham số dấu hiệu: - số điểm chạc ba, chạc t, - số điểm chu trình, - số điểm ngoặt, - số điểm kết thúc, 1.2.2 Bản chất trình nhận dạng Quá trình nhận dạng gồm giai đoạn chính: - Lựa chọn mô hình biểu diễn đối tợng - Lựa chọn luật định (phơng pháp nhận dạng) suy diễn trình học - Học nhận dạng Khi mô hình biểu diễn đối tợng đợc xác định, định lợng (mô hình tham số) hay định tính (mô hình cấu trúc), trình nhận dạng chuyển sang giai đoạn học Học giai đoạn quan trọng Thao tác học nhằm cải thiện, điều chỉnh việc phân hoạch tập đối tợng thành lớp Việc nhận dạng tìm quy luật thuật toán để gán đối tợng vào lớp hay nói cách khác gán cho đối tợng tên - HV Lê Tiến Công Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - Học có thày (supervised learning) Kỹ thuật phân loại nhờ kiến thức biết trớc gọi học có thày Đặc điểm kỹ thuật ngời ta có th viện mẫu chuẩn Mẫu cần nhận dạng đợc đem sánh với mẫu chuẩn để xem thuộc loại Thí dụ nh ảnh viễn thám, ngời ta muốn phân biệt cánh đồng lúa, cánh rừng hay vùng đất hoang mà có miêu tả đối tợng Vấn đề chủ yếu thiết kế hệ thống để đối sánh đối tợng ảnh với mẫu chuẩn định gán cho chúng vào lớp Việc đối sánh nhờ vào thủ tục định dựa công cụ gọi hàm phân lớp hay hàm định Hàm đợc đề cập phần sau Học thày(unsupervised learning) Kỹ thuật học phải tự định lớp khác xác định tham số đặc trng cho lớp Học thày đơng nhiên khó khăn Một mặt, số lớp không đợc biết trớc, mặt khác đặc trng lớp trớc Kỹ thuật nhằm tiến hành cách gộp nhóm chọn lựa cách tốt Bắt đầu từ tập liệu, nhiều thủ tục xử lý khác nhằm phân lớp nâng cấp dần để đạt đợc phơng án phân loại Nhìn chung, dù mô hình kỹ thuật nhận dạng sao, hệ thống nhận dạng tóm tắt theo sơ đồ sau: Trích chọn đặc tính biểu diển đối tợng Quá trình tiền xử lý phân lớp định trả lời Đánh giá Khối nhận dạng H Sơ đồ tổng quát hệ nhận dạng - HV Lê Tiến Công Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - II mạng nơ ron nhân tạo Nhận dạng theo mạng neuron 2.1 Bộ não neuron sinh học: Trớc tiên, cần xem xét số khái niệm não nh chế hoạt động mạng nơ ron sinh học Tiếp theo, để tiện theo dõi, đề cập đến ứng dụng mạng nơ ron nhận dạng chữ viết Các nhà nghiên cứu sinh học não cho ta thấy nơ ron (tế bào thần kinh) đơn vị sở đảm nhiệm chức xử lý định hệ thần kinh, bao gồm não, tuỷ sống dây thần kinh Mỗi nơ ron có phần thân với nhân bên (gọi soma), đầu thần kinh (gọi sợi trục axon) hệ thống dạng dây thần kinh vào (gọi dendrite) Các dây thần kinh vào tạo thành lới dày đặc xung quanh thân tế bào, chiếm diện tích khoảng 0,25 mm2, dây thần kinh tạo thành trục dài từ cm hàng mét Đờng kính nhân tế bào thờng 10-4m Trục dây thần kinh phân nhánh theo dạng để nối với dây thần kinh vào trực tiếp với nhân tế bào nơ ron khác thông qua khớp nối (gọi synapse) Thông thờng, nơ ron gồm vài chục hàng trăm ngàn khớp nối để nối với nơ ron khác Ngời ta ớc lợng lới dây thần kinh với khớp nối bao phủ diện tích khoảng 90% bề mặt nơ ron Các tín hiệu truyền dây thần kinh vào dây thần kinh nơ ron tín hiệu điện đợc thực thông qua trình phản ứng giải phóng chất hữu Các chất đợc phát từ khớp nối dẫn tới dây thần kinh vào làm tăng hay giảm điện nhân tế bào Khi điện đạt tới ngỡng đó, tạo xung điện dẫn tới trục dây thần kinh - HV Lê Tiến Công Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - Xung đợc truyền theo trục, tới nhánh rẽ chạm tới khớp nối với nơ ron khác giải phóng chất truyền điện Ngời ta chia làm hai loại khớp nối: khớp nối kích thích (excitatory) khớp nối ức chế (inhibitory) Phát quan trọng ngành nghiên cứu não liên kết khớp thần kinh mềm dẻo, biến động chỉnh đổi theo thời gian tuỳ thuộc vào dạng kích thích Hơn nữa, nơ ron sản sinh liên kết với nơ ron khác đôi khi, lới nơ ron di trú từ vùng sang vùng khác não Các nhà khoa học cho sở quan trọng để giải thích chế học não ngời Phần lớn trình xử lý thông tin xảy vỏ não Toàn vỏ não đợc bao phủ mạng tổ chức sở có dạng hình thùng tròn với đờng kích khoảng 0,5 mm, độ cao mm Mỗi đơn vị sở chứa khoảng 2000 nơ ron Ngời ta vùng não có chức định Điều đáng ngạc nhiên nơ ron đơn giản chế làm việc, nhng mạng nơ ron liên kết có khả tính toán, suy nghĩ, ghi nhớ điều khiển Có thể điểm qua chức não nh sau: -Bộ nhớ đợc tổ chức theo bó thông tin truy nhập theo nội dung (Có thể truy xuất thông tin dựa theo giá trị thuộc tính đối tợng) -Bộ não có khả tổng quát hoá, truy xuất tri thức hay mối liên kết chung đối tợng tơng ứng với khái niệm chung - Bộ não có khả dung thứ lỗi theo nghĩa điều chỉnh tiếp tục thực có sai lệch thông tin bị thiếu không xác Ngoài ra, não phát phục hồi thông tin bị dựa tơng tự đối tợng - Bộ não có khả xuống cấp thay Khi có trục trặc vùng não (do bệnh, chấn thơng) bắt gặp thông tin hoàn toàn lạ, não tiếp tục làm việc -Bộ não có khả học - HV Lê Tiến Công Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - So sánh khả làm việc não máy tính Máy tính Đơn vị tính toán Bộ nhớ Bộ não ngời Mạng 1011 nơ ron Bộ xử lý trung tâm với 105mạch logic sở 109 bit RAM 1011 nơ ron 1010 bit nhớ với 1014 khớp nối thần kinh Thời gian 10-8 giây 10-3 giây xử lý Thông 109 bit/giây 1014 bit/giây 105 bit/giây 1014 nơ ron/giây lợng Cập nhật thông tin Dễ dàng thấy não ngời lu giữ nhiều thông tin máy tính đại; Tuy điều mãi, lẽ não tiến hóa chậm, nhờ tiến công nghệ vi điện tử, nhớ máy tính đợc nâng cấp nhanh Hơn nữa, nhớ trở nên hoàn toàn thứ yếu so với khác biệt tốc độ tính toán khả xử lý song song Các vi xử lý tính 108 lệnh giây, mạng nơ ron xử lý chậm hơn, cần khoảng vài miligiây để kích hoạt Tuy nhiên, não kích hoạt hầu nh lúc nhiều nơ ron khớp nối, máy tính đại có số hạn chế vi xử lý song song Nếu chạy mạng nơ ron nhân tạo máy tính, phải tốn hàng trăm lệnh máy để kiểm tra nơ ron có đợc kích hoạt hay không (tiêu phí khoảng 10-8 x 102 giây/nơ ron) Do đó, dầu vi xử lý tính toán nhanh hàng triệu lần so - HV Lê Tiến Công Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - với nơ ron não, nhng xét tổng thể não lại tính toán nhanh hàng tỷ lần Cách tiếp cận mạng nơ ron nhân tạo có ý nghĩa thực tiễn lớn cho phép tạo thiết bị kết hợp khả song song cao não với tốc độ tính toán cao máy tính Tuy vậy, cần phải có khoảng thời gian dài để mạng nơ ron nhân tạo mô đợc hành vi sáng tạo não ngời Chẳng hạn, não thực nhiệm vụ phức tạp nh nhận khuôn mặt ngời quen sau không giây, máy tính phải thực hàng tỷ phép tính (khoảng 10 giây) để thực thao tác đó, nhng với chất lợng nhiều, đặc biệt trờng hợp thông tin không xác, không đầy đủ Khớp nối Dây TK vào Trục từ nơ ron khác Nhân Trục Khớp nối Hình Cấu tạo nơ ron sinh học 2.2 Mô hình mạng neuron nhân tạo: Mạng nơ ron nhân tạo (Artificial Neural Network) gọi tắt MNR bao gồm nút (đơn vị xử lý, nơ ron) đợc nối với liên kết nơ ron Mỗi liên kết kèm theo trọng số đó, đặc trng cho đặc tính kích hoạt/ ức chế nơ ron Có thể xem trọng số phơng tiện để lu thông tin dài hạn mạng nơ ron nhiệm vụ trình huấn luyện (học) mạng cập nhật trọng số có thêm thông tin mẫu học, hay nói cách khác, trọng số đợc điều chỉnh cho dáng điệu vào mô hoàn toàn phù hợp môi trờng xem xét - HV Lê Tiến Công Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - Trong mạng, số nơ ron đợc nối với môi trờng bên nh đầu ra, đầu vào 2.2.1 Mô hình nơ ron nhân tạo sj wj Các liên kết vào Net = Hàm vào g Các liên kết out Đầu Hàm kích hoạt Hình Mô hình nơ ron nhân tạo Mỗi nơ ron đợc nối với nơ ron khác nhận đợc tín hiệu sj từ chúng với trọng số wj Tổng thông tin vào có trọng số là: Net = wj sj Ngời ta gọi thành phần tuyến tính nơ ron Hàm kích hoạt g (còn gọi hàm chuyển) đóng vai trò biến đổi từ Net sang tín hiệu đầu out out = g ( Net ) Đây thành phần phi tuyến nơ ron Có dạng hàm kích hoạt thờng đợc dùng thực tế: Hàm dấu neu x < sign ( x ) = neu x >= 0 neu x < step ( x ) = Hàm dạng bớc neu x >= neu x < sign ( x ) = neu x >= neu x < step ( x ) = neu x >= - HV Lê Tiến Công 10 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - Hàm sigmoid sigmoid ( x) = 1+ e ( x + ) ngỡng đóng vai trò làm tăng tính thích nghi khả tính toán mạng nơ ron Sử dụng ký pháp véctơ, S = (s1, ,sn) véctơ tín hiệu vào, W=( w1, , wn) véctơ trọng số, ta có out = g( Net ) , Net = SW Trờng hợp xét ngỡng , ta dùng biểu diễn véctơ S'=( s1, ,sn, ), W'=( w1, , wn,-1) 2.2.2 Mạng nơ ron Mạng nơ ron hệ thống bao gồm nhiều phần tử xử lý đơn giản (nơ ron) hoạt động song song Tính hệ thống tuỳ thuộc vào cấu trúc hệ, trọng số liên kết nơ ron trình tính toán nơ ron đơn lẻ Mạng nơ ron học từ liệu mẫu tổng quát hóa dựa liệu mẫu học Trong mạng nơ ron, nơ ron đón nhận tín hiệu vào gọi nơ ron vào nơ ron đa thông tin gọi nơ ron 2.2.3 Phân loại mạng neuron Theo kiểu liên kết nơ ron: Ta có mạng nơ ron truyền thẳng (feel-forward Neural Network) mạng nơ ron qui hồi (recurrent NN) Trong mạng nơ ron truyền thẳng, liên kết nơ ron theo hớng định, không tạo thành đồ thị chu trình (Directed Acyclic Graph) với đỉnh nơ ron, cung liên kết chúng Ngợc lại, mạng qui hồi cho phép liên kết nơ ron tạo thành chu trình Vì thông tin nơ ron đợc truyền lại cho nơ ron góp phần kích hoạt chúng, nên mạng hồi qui có khả - HV Lê Tiến Công 11 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - lu giữ trạng thái dới dạng ngỡng kích hoạt trọng số liên kết nơ ron Theo số lớp: Các nơ ron tổ chức lại thành lớp cho nơ ron lớp đợc nối với nơ ron lớp tiếp theo, không cho phép liên kết nơ ron lớp, từ nơ ron lớp dới lên nơ ron lớp không cho phép liên kết nơ ron nhảy qua lớp Nơ ron vào Lớp vào Lớp ẩn Nơ ron Lớp b) Mạng nơ ron truyền thẳng a) Mạng nơ ron nhiều lớp Hình Mạng nơ ron truyền thẳng nhiều lớp Hình Mạng nơ ron hồi qui Dễ dàng nhận thấy nơ ron lớp nhận đợc tín hiệu từ lớp lúc, nguyên tắc chúng xử lý song song Thông thờng, lớp nơ ron vào chịu trách nhiệm truyền đa tín hiệu vào, không thực tính toán nên tính số lớp mạng, ngời ta không tính lớp Ví dụ, mạng nơ ron hình có lớp : lớp ẩn lớp 2.2.4 Hai cách nhìn mạng neuron: Mạng nơ ron nh công cụ tính toán: - HV Lê Tiến Công 12 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - Giả sử mạng nơ ron NN có m nơ ron vào n nơ ron ra, với véc tơ tín hiệu vào X = (x1, ,xm), sau trình tính toán nơ ron ẩn, ta nhận đợc kết Y=(y1, ,yn) Theo nghĩa mạng nơ ron làm việc với t cách bảng tra, mà không cần biết dạng phụ thuộc hàm tờng minh Y X Khi ta viết : Y = Tinh( X, NN ) Cần lu ý thêm nơ ron lớp tính toán đồng thời, độ phức tạp tính toán nói chung phụ thuộc vào số lớp mạng Các thông số cấu trúc mạng nơ ron bao gồm: + Số tín hiệu vào , số tín hiệu + Số lớp nơ ron + Số nơ ron lớp ẩn + Số lợng liên kết nơ ron (liên kết đầy đủ, liên kết phận liên kết ngẫu nhiên) + Các trọng số liên kết nơ ron Mạng nơ ron nh hệ thống thích nghi có khả học (huấn luyện) để tinh chỉnh trọng số liên kết nh cấu trúc cho phù hợp với mẫu học (samples) Ngời ta phân biệt ba loại kỹ thuật học: học có quan sát (supervised learning) hay gọi học có thầy, học giám sát (unsupervised learning) hay gọi học thầy học tăng cờng Trong học có giám sát, mạng đợc cung cấp tập mẫu học {(Xs,Ys)} theo nghĩa Xs tín hiệu vào, kết hệ phải Ys lần học, vectơ tín hiệu vào Xs đợc đa vào mạng, sau so sánh sai khác kết Ys với kết tính toán outs Sai số đợc dùng để hiệu chỉnh lại trọng số liên kết mạng Quá trình tiếp tục thoả mãn tiêu chuẩn Có hai cách sử dụng tập mẫu học: dùng mẫu lần lợt, hết mẫu đến mẫu khác, sử dụng đồng thời tất mẫu lúc Các mạng với chế học không giám sát đợc gọi mạng tự tổ chức Các kỹ - HV Lê Tiến Công 13 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - thuật học mạng nơ ron nhằm vào hiệu chỉnh trọng số liên kết (gọi học tham số) điều chỉnh, sửa đổi cấu trúc mạng bao gồm số lớp, số nơ ron, kiểu trọng số liên kết (gọi học cấu trúc) Cả hai mục đích học thực đồng thời tách biệt Học tham số: Giả sử có k nơ ron mạng nơ ron có l liên kết vào với nơ ron khác Khi đó, ma trận trọng số liên kết W có kích thớc kxl Các thủ tục học tham số nhằm mục đích tìm kiếm ma trận W cho Ys = Tinh ( Xs, W ) mẫu học S = ( Xs, Ys) Xs (1) outs Mạng nơ ron N Ys Hiệu chỉnh W Sai số Hình Học tham số có giám sát Học cấu trúc: Với học tham số ta giả định mạng có cấu trúc cố định Việc học cấu trúc mạng truyền thẳng gắn với yêu cầu tìm số lớp mạng L số nơ ron lớp nj Tuy nhiên, với mạng hồi qui phải xác định thêm tham số ngỡng nơ ron mạng Một cách tổng quát phải xác định tham số P = (L,n1, ,nl,1, ,k) k = nj cho Ys = Tinh (Xs,P) mẫu học s=( Xs, Ys) (2) Về thực chất, việc điều chỉnh vectơ tham số W (1) hay P (2) qui toán tìm kiếm tối u không gian tham số Do vậy, áp - HV Lê Tiến Công 14 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - dụng chế tìm kiếm kinh điển theo gradient hay giải thuật di truyền, lập trình tiến hóa 2.2.5 Khả tính toán biểu diễn phụ thuộc liệu mạng neuron: Mạng nơ ron truyền thẳng đơn tính toán tín hiệu dựa tín hiệu vào trọng số liên kết nơ ron xác định sẵn mạng Do chúng trạng thái bên khác vectơ trọng số W Đối với mạng hồi qui, trạng thái mạng đợc lu giữ ngỡng nơ ron Điều có nghĩa trình tính toán mạng truyền thẳng có lớp lang mạng qui hồi Nói chung, mạng qui hồi không ổn định, chí rối loạn theo nghĩa, cho vectơ giá trị đầu vào X đó, mạng cần phải tính toán lâu, chí bị lặp vô hạn trớc đa đợc kết mong muốn Quá trình học mạng qui hồi phức tạp nhiều Tuy vậy, mạng qui hồi cho phép mô hệ thống tơng đối phức tạp thực tế 2.2.6 Xác định cấu trúc mạng tối u: Nh nói trên, lựa chọn sai cấu trúc mạng dẫn tới hoạt động mạng trở nên hiệu Nếu ta chọn mạng nhỏ chúng không biểu diễn đợc phụ thuộc liệu mong muốn Nếu chọn mạng lớn để nhớ đợc tất mẫu học dới dạng bảng tra, nhng hoàn toàn tổng quát hóa đợc cho tín hiệu vào cha biết trớc Nói cách khác, giống nh mô hình thống kê, mạng nơ ron đa tới tình trạng thừa tham số Bài toán xác định cấu trúc mạng tốt xem nh toán tìm kiếm không gian tham số Một cách làm sử dụng giải thuật di truyền Tuy vậy, không gian tham số lớn để xác định trạng thái W (hoặc P) không gian đòi hỏi phải huấn luyện mạng, tốn thời gian Có thể áp dụng t tởng tìm kiếm leo đồi (hill-climbing) nhằm sửa đổi cách có lựa chọn, mang tính địa phơng cấu trúc mạng có Có hai cách làm: - HV Lê Tiến Công 15 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - + Hoặc bắt đầu với mạng lớn, sau giảm nhỏ xuống + Hoặc bắt đầu với mạng nhỏ, sau tăng dần lên Một kỹ thuật khác áp dụng gọi " Tổn thơng tối u" nhằm loại bỏ số liên kết trọng số mạng dựa cách tiếp cận lý thuyết thông tin Đơn giản liên kết có trọng số Quá trình tiếp tục nh Thực nghiệm rằng, kỹ thuật loại trừ tới 3/4 liên kết, nâng cao đáng kể hiệu mạng Ngoài việc loại trừ liên kết nơ ron thừa, ngời ta vứt bỏ nơ ron không đóng góp nhiều vào trình thực mạng Giải thuật " Lợp ngói" biến thể kỹ thuật tăng trởng mạng xuất phát từ cấu hình ban đầu tơng đối nhỏ ý tởng xác định cấu hình mạng cho phép tính mẫu học biết Sau đó, thêm dần mẫu học mới, mạng đợc phép thêm số nơ ron cho phép đoán kết học trình tiếp tục nh 2.3 Mạng nơ ron nhiều lớp lan truyền ngợc sai số (Back-propagation Neural Network) Rosenblatt tác giả khác mô tả mạng truyền thẳng nhiều lớp từ cuối năm 50, nhng họ chủ yếu nghiên cứu sâu mạng Perceptron lớp Sở dĩ nh không tìm đợc cách thay đổi trọng số liên kết lớp ẩn Quả thật, biết đợc sai số đầu ra, ngời ta cha hình dung đợc sai số đợc phân bố nh nơ ron ẩn Trong sách mạng Perceptron xuất 1969, Minsky Papert khó tổng quát hoá luật học mạng lớp sang mạng nhiều lớp Có lý giải cho vấn đề Thứ nhất, thuật giải học mạng nhiều lớp không hiệu quả, không hội tụ điểm cực trị tổng thể không gian vectơ trọng số Mặt khác, nghiên cứu lý thuyết tính toán trờng hợp tồi trình học hàm tổng quát từ mẫu học lúc giải đợc Các nguyên tắc luật học - HV Lê Tiến Công 16 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - mạng nhiều lớp đợc Bryson Ho đề xuất từ năm 1969, nhng phải tới năm 1980 vấn đề đợc quan tâm trở lại công trình nghiên cứu Rumelhart năm 1986 Một thống kê cho thấy 90% ứng dụng mạng nơ ron công nghệ hoá học sử dụng mô hình 2.3.1 Kiến trúc mạng: I1 I2 I3 Lớp (0) Ik wjk aj H4 wjij outi H5 O6 Lớp (1) Lớp (2) Hình Mạng nơ ron lớp Các nơ ron lớp thứ t đợc nối đầy đủ với nơ ron lớp thứ t+1 Trong nhiều ứng dụng thực tế, để đơn giản, ngời ta thờng sử dụng mạng có lớp ẩn, số nơ ron lớp ẩn đợc xác định dựa kinh nghiệm, dựa kỹ thuật tìm kiếm khác 2.3.2 Huấn luyện mạng: Quá trình huấn luyện mạng đợc trình bày trình học có giám sát với tập mẫu {(Xs, Ys)} Thủ tục học tóm lợc nh sau: Mỗi đa mẫu Xs = (x1 , , xn) vào mạng, ta thực công việc sau: - Lan truyền mẫu Xs qua mạng để có outs = Tinh (Xs, NN) - Tính sai số Errs mạng dựa sai lệch outs - Ys - Hiệu chỉnh trọng số liên kết nơ ron dẫn tới lớp Wij từ nơ ron j lớp ẩn cuối tới nơ ron i lớp ra: wij = wij + aj i, (15) đây: hệ số học, - HV Lê Tiến Công 17 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - aj đầu nơ ron j, i sai số mà nơ ron i lớp phải chịu trách nhiệm, đợc xác định theo công thức: i = erri g'(Neti) (16) với erri sai số thành phần thứ i Errs , Neti tổng thông tin vào có số nơ ron thứ i (Neti=wij.aj) g'(.) đạo hàm hàm kích hoạt g đợc dùng nơ ron - Hiệu chỉnh trọng số liên kết nơ ron Wjk dẫn tới tất lớp ẩn từ nơ ron thứ k sang nơ ron j (các lớp ẩn đợc xét từ dới lên) : Tính tổng sai số nơ ron j phải chịu trách nhiệm = g' (Net j ) w ij i j i Hiệu chỉnh trọng số wjk wjk = wjk + ak j (17) (18) (trờng hợp xét liên kết từ nơ ron vào thứ k sang nơ ron j lớp ẩn thứ nhất, ta có ak = Ik, tín hiệu vào) Chú ý : g ( x) = 1+ e x a) Trờng hợp xét hàm kích hoạt nơ ron ta có hệ thức g'(x)=g(x)(1-g(x)) b) Từ công thức (15), (18) ta viết lại: wij = wij + wij , wjk = wjk + wjk , với wij = aj i wjk = ak j Trong ứng dụng thực tế, ngời ta thờng hiệu chỉnh wij theo nguyên tắc có ý đến thao tác trớc Do vậy: - HV Lê Tiến Công 18 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - wij(mới) = aj i + wij(cũ), hệ số quán tính Quá trình huấn luyện mạng cần ý tới yếu tố sau: i.Các trọng số ban đầu wij đợc gán giá trị ngẫu nhiên, nhỏ ii Lựa chọn hệ số học hệ số quán tính cho + 1, với không lớn nhiều iii Các tín hiệu vào, nên đợc định cỡ nằm khoảng [0,1] Các nghiên cứu thực nghiệm nên khoảng [0.2,0.8] 2.3.4 Sử dụng mạng: Giả sử huấn luyện mạng nh hình với tập mẫu {(Xs,Ys)} để đợc ma trận trọng số W Quá trình lan truyền mạng vectơ tín hiệu vào X=(x1,x2,x3) đợc cho bởi: out = g(w64 a4 + w 65 a5) = g(w 64 g(w 41 x1 + w 42 x2 + w 43 x3) + w 65 g(w 51 x1 + w 52 x2 + w 53 x3)) = F ( X , W) Khả tính toán mạng nhiều lớp Với lớp ẩn, mạng tính toán xấp xỉ hàm liên tục biến tơng ứng tín hiệu đầu vào Với hai lớp ẩn, mạng tính toán xấp xỉ hàm Tuy vậy, số nơ ron lớp ẩn tăng theo hàm mũ số đầu vào cha có sở lý luận đầy đủ để khảo sát họ hàm xấp xỉ nhờ mạng nhiều lớp 2.3.5 Nghiên cứu hội tụ độ phức tạp trình huấn luyện mạng: Phơng pháp hiệu chỉnh trọng số liên kết nơ ron (15)(18) dựa nguyên tắc lan truyền ngợc sai số lý giải dựa nguyên lý tìm kiếm gradient E ( w) = (Yi out i ) không gian tham số W cho cực tiểu hàm sai số tổng cộng: - HV Lê Tiến Công 19 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - đây, Yi giá trị thực nghiệm quan sát đợc nơ ron i lớp ra, outi giá trị tính toán mạng nơ ron thứ i lớp mẫu Xs Khai triển E theo trọng số thành phần, ta có: E ( w) = Yi g wij a j = Yi g wij g w jk a k k i i j j E = a j (Yi outi ) g ' ( Neti ) = a j i wij Lấy đạo hàm riêng E theo wij: Việc hiệu chỉnh vectơ trọng số W = (wij) cho E(W)min dẫn tới việc xác định vectơ gia số W= (wij) ngợc hớng với vectơ gradient (E/wij) Nói E w jk = ak j cách khác, wij = -(-i aj) = i aj wjk = -(-j ak) = j ak Công thức phù hợp với công thức (15) (18) tơng ứng Độ phức tạp thời gian mạng nhiều lớp chủ yếu phụ thuộc vào thời gian huấn luyện mạng với tập mẫu Giả sử có m mẫu vào |W| trọng số Mỗi lần đa tất mẫu qua mạng (gọi vòng lặp (epoch)) phải tốn O(m|W|) thao tác nơ ron Trong trờng hợp xấu nhất, số vòng lặp phụ thuộc hàm mũ vào số đầu vào n Do vậy, chi phí thời gian O(knm|W|) Hơn trình học lúc hội tụ dẫn tới cực tiểu địa phơng hàm E Khi dùng mạng nơ ron nhiều lớp để biểu diễn tất hàm logic có n đầu vào, ta phải dùng cỡ 2n/n nút ẩn, mạng có khoảng O(2n) trọng số, phải tiêu tốn O(2n) bit để biểu diễn hàm logic - HV Lê Tiến Công 20 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - 2.3.6.Một số vấn đề mạng neuron nhiều lớp: Mạng nơ ron nhiều lớp truyền thẳng cách biểu diễn đối tợng dựa giá trị thuộc tính chúng tơng đối hiệu quả, chúng cha vét cạn hết khía cạnh khác đối tợng Cách tiếp cận mạng loại tỏ hiệu quan sát (tín hiệu vào) có miền giá trị liên tục Do vậy, xem tốt so với cách tiếp cận truyền thống dựa logic mệnh đề định Khả tổng quát hóa: mạng loại đa kết mang tính tổng quát hóa, kiểu phụ thuộc đầu đầu vào không rối rắm Khả dung thứ lỗi: Mạng đợc luyện mẫu theo nguyên tắc hồi qui tuyến tính nên chấp nhận sai số tập liệu vào Tuy vậy, mạng đa đợc kết tính toán không chắn, không xác kiểu nh mạng Bayes Mạng đợc sử dụng nh hộp đen, biểu thị quan hệ tín hiệu tín hiệu vào, mà không cần rõ dạng giải tích tờng minh mối quan hệ Tuy vậy, điểm bất lợi cách tiếp mạng chỗ lý giải kết cách rõ ràng nh suy diễn logic hay định 2.5 ứng dụng mạng nơ ron lan truyền ngợc hớng cho nhận dạng ký tự: 2.5.1 Xây dựng cấu trúc mạng lan truyền ngợc hớng hai lớp nhận dạng ký tự: Với 400 neuron đầu vào tơng ứng với 400 điểm ảnh ( ma trận pixel ảnh đa vào 20x20), 200 neuron lớp ẩn 16 neuron lớp dãy số nhị phân quy định thông tin đầu Thông tin đầu vào mẫu X=(x1,x2, ,x400) đợc xác định nh sau: neu diem trang xi = diem den neu - HV Lê Tiến Công 21 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn neu net j >= Lớp ẩn đợc xác định theo hàm anj= sign(net j ) = neu net j < 400 Do an j = wij xi với j=1200 i =1 neu net j >= Lớp đợc xác định theo công thức raj= sign(net j ) = neu net j < 200 Do j = wij ani với j=116 i =1 Sau chuyễn dãy đầu thành dãy nhị phân nh sau neu j = yj = neu j = với j=1 16 Ban đầu ta xây dựng ma trận trọng số lớp vào lớp ẩn, lớp ẩn lớp với phần tử giá trị ngẫu nhiên đoạn [-0.5,0.5] 2.5.2 Huấn luyện mạng: Hình thức học: lần học tập mẫu với mẫu học lần sau học tiếp mẫu trình lặp lặp lại 600 lần Điều chỉnh trọng số lớp ẩn lớp ra: w ij = w ij + w ij w1ij = hsh * e j * g ' (ra j ) * ani Với i=1 200; j=1 16; hsh: Hệ số học (hsh=0.14 chơng trình thử nghiệm đề tài) Nh ma trận trọng số lớp ẩn lớp ma trận 200 hàng, 16 cột Điều chỉnh trọng số lớp vào lớp ẩn: wij = wij + wij wij = hsh * x( i) * g ' (an(j))* net 16 net = ek * g ' (ra k ) * w1 jk k =1 với i=1 400; j=1 200; k=1 16 Nh ma trận trọng số lớp vào lớp ẩn ma trận 400 hàng, 200 cột - HV Lê Tiến Công 22 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - Sau huấn luyện mạng ta sữ dụng trọng số nh bảng tra với công thức phần 2.5.1 2.5.3 Chơng trình thử nghiệm kết đạt đợc: Giáo diện huấn luyện mạng (học mẩu) Giáo diện nhận dạng: Kết nhận dạng xác 100% phông chữ học với cở chữ 18 trở lên - HV Lê Tiến Công 23 Đề tài Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - Tài liệu tham khảo: Các giảng thầy giáo TS Đào Thanh Tĩnh Giáo trình xử lý ảnh TS Đổ Năng Toàn & TS Phạm Viết Bình (ĐH Thái Nguyên) Giáo trình xử lý ảnh PGS.TS Nguyễn Quang Hoan (Học Viện Công Nghệ Bu Chính Viễn Thông) Giáo trình xử lý ảnh Lơng Mạnh Bá & Nguyễn Thanh Thuỷ ( ĐH Bách Khoa Hà Nội) - HV Lê Tiến Công 24 [...]... HV Lê Tiến Công 22 Đề tài Xử lý ảnh Nhận dạng ký tự số bằng mạng neuron http://www.ebook.edu.vn - Sau khi huấn luyện mạng ta sữ dụng bộ trọng số nh một bảng tra với các công thức trên phần 2.5.1 2.5.3 Chơng trình thử nghiệm và kết quả đạt đợc: Giáo diện huấn luyện mạng (học mẩu) Giáo diện nhận dạng: Kết quả nhận dạng chính xác 100% đối với các phông... lúc Các mạng với cơ chế học không giám sát đợc gọi là các mạng tự tổ chức Các kỹ - HV Lê Tiến Công 13 Đề tài Xử lý ảnh Nhận dạng ký tự số bằng mạng neuron http://www.ebook.edu.vn - thuật học trong mạng nơ ron có thể nhằm vào hiệu chỉnh các trọng số liên kết (gọi là học tham số) hoặc... của mạng, ngời ta không tính lớp nào Ví dụ, mạng nơ ron ở hình 5 có 2 lớp : một lớp ẩn và một lớp ra 2.2.4 Hai cách nhìn về mạng neuron: Mạng nơ ron nh một công cụ tính toán: - HV Lê Tiến Công 12 Đề tài Xử lý ảnh Nhận dạng ký tự số bằng mạng neuron http://www.ebook.edu.vn - Giả sử mạng. .. - HV Lê Tiến Công 18 Đề tài Xử lý ảnh Nhận dạng ký tự số bằng mạng neuron http://www.ebook.edu.vn - wij(mới) = aj i + wij(cũ), ở đây là hệ số quán tính Quá trình huấn luyện mạng cần chú ý tới các yếu tố sau: i.Các trọng số ban đầu wij đợc gán các giá trị ngẫu nhiên, nhỏ ii Lựa chọn các hệ số học và hệ số quán tính sao cho + 1, với không... hiệu vào, mà không cần chỉ rõ dạng giải tích tờng minh của mối quan hệ đó Tuy vậy, điểm bất lợi của cách tiếp mạng chính là ở chỗ không thể lý giải các kết quả ra một cách rõ ràng nh đối với suy diễn logic hay cây quyết định 2.5 ứng dụng mạng nơ ron lan truyền ngợc hớng cho nhận dạng ký tự: 2.5.1 Xây dựng cấu trúc mạng lan truyền ngợc hớng hai lớp nhận dạng ký tự: Với 400 neuron đầu vào tơng ứng với... outs Mạng nơ ron N Ys Hiệu chỉnh W Sai số Hình 6 Học tham số có giám sát Học cấu trúc: Với học tham số ta giả định rằng mạng có một cấu trúc cố định Việc học cấu trúc của mạng truyền thẳng gắn với yêu cầu tìm ra số lớp của mạng L và số nơ ron trên mỗi lớp nj Tuy nhiên, với các mạng hồi qui còn phải xác định thêm các tham số ngỡng của các nơ ron trong mạng Một cách tổng quát phải xác định bộ tham số. .. góp phần kích hoạt chúng, nên mạng hồi qui còn có khả năng - HV Lê Tiến Công 11 Đề tài Xử lý ảnh Nhận dạng ký tự số bằng mạng neuron http://www.ebook.edu.vn - lu giữ trạng thái trong của nó dới dạng các ngỡng kích hoạt ngoài các trọng số liên kết nơ ron Theo số lớp: Các nơ ron có thể tổ... Lê Tiến Công 17 Đề tài Xử lý ảnh Nhận dạng ký tự số bằng mạng neuron http://www.ebook.edu.vn - aj là đầu ra của nơ ron j, i là sai số mà nơ ron i ở lớp ra phải chịu trách nhiệm, đợc xác định theo công thức: i = erri g'(Neti) (16) với erri là sai số thành phần thứ i trong Errs , Neti là tổng thông tin vào có trong số của nơ ron thứ i (Neti=wij.aj)...Đề tài Xử lý ảnh Nhận dạng ký tự số bằng mạng neuron http://www.ebook.edu.vn - Hàm sigmoid sigmoid ( x) = 1 1+ e ( x + ) ở đây ngỡng đóng vai trò làm tăng tính thích nghi và khả năng tính toán của mạng nơ ron Sử dụng ký pháp véctơ, S = (s1, ,sn) véctơ tín hiệu vào, W=( w1, , wn) véctơ trọng số, ta có out = g( Net ) , Net = SW... kết nơ ron (15)(18) dựa trên nguyên tắc lan truyền ngợc sai số có thể lý giải dựa trên nguyên lý tìm kiếm gradient trong E ( w) = 1 2 (Yi out i ) 2 không gian các tham số W sao cho cực tiểu hàm sai số tổng cộng: - HV Lê Tiến Công 19 Đề tài Xử lý ảnh Nhận dạng ký tự số bằng mạng neuron http://www.ebook.edu.vn ... ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - mạng nơ ron nhân tạo Nhận dạng theo mạng nơ ron i tổng quan nhận dạng Nhận dạng. .. Xử lý ảnh Nhận dạng ký tự số mạng neuron http://www.ebook.edu.vn - II mạng nơ ron nhân tạo Nhận dạng theo mạng neuron 2.1 Bộ não neuron sinh... dụng Thí dụ , nhận dạng chữ, tham số dấu hiệu: - số điểm chạc ba, chạc t, - số điểm chu trình, - số điểm ngoặt, - số điểm kết thúc, 1.2.2 Bản chất trình nhận dạng Quá trình nhận dạng gồm giai