XÂY DỰNG ỨNG DỤNG NHẬN DẠNG CHỮ VIẾT TAY

CSharp Coding Standard TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC CÔNG NGHỆ o0o BÁO CÁO Môn TRÍ TUỆ NHÂN TẠO NÂNG CAO XÂY DỰNG ỨNG DỤNG NHẬN DẠNG CHỮ VIẾT TAY Mục lục 41 Tổng quan về mạng Neural 41 1 Mạng Neural (nơron)là gì 41 2 ứng dụng trong lĩnh vực gì 42 Cấu trúc của một Neural 53 Học có giám sát và học không có giám sát 53 1 Mạng Neural (nơron)học có giám sát 53 2 Trong phương pháp học không có giám sát 64 Giải thuật lan truyền ngược 65 Learning Rate 76 Hàm Active 76 1 Mô hình hàm y = 1 (1 +.

TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC CÔNG NGHỆ -o0o - BÁO CÁO Mơn: TRÍ TUỆ NHÂN TẠO NÂNG CAO XÂY DỰNG ỨNG DỤNG NHẬN DẠNG CHỮ VIẾT TAY Mục lục TỔNG QUAN VỀ MẠNG NEURAL .4 1.1 Mạng Neural (nơron)là 1.2 ứng dụng lĩnh vực CẤU TRÚC CỦA MỘT NEURAL HỌC CÓ GIÁM SÁT VÀ HỌC KHƠNG CĨ GIÁM SÁT 3.1 Mạng Neural (nơron)học có giám sát: 3.2 Trong phương pháp học khơng có giám sát: GIẢI THUẬT LAN TRUYỀN NGƯỢC LEARNING RATE HÀM ACTIVE .8 6.1 Mơ hình hàm : y = / (1 + Exp(-x)) 6.2 Mơ hình hàm : y = x 6.3 Hình 7.3: Mơ hình hàm y = Log(1 + |x|) 6.4 Hình 4: Mơ hình hàm y = sin(x) .9 6.5 Hình 7.5: Mơ hình hàm y=Tan(x) BẢN ĐỒ TỔ CHỨC KOHONEN SOM (KOHONEN SELF -ORGANIZING MAPS) .9 HÀM NEIGHBORHOOD 11 8.1 Tổng quan 11 8.2 Hình minh họa 11 LƯỚI TOPOLOGY 12 10 MỘT SỐ HÌNH DẠNG CỦA LỚP KOHONEN 13 11 THIẾT KẾ MẠNG NEURAL 13 11.1 Số lượng lớp ẩn (trong mạng Backpropagation) 13 11.2 Mạng neurol ban đầu 14 11.3 Số mẫu huấn luyện 14 12 CÁC LĨNH VỰC ỨNG DỤNG MẠNG NEURAL 14 12.1 Giải toán 14 12.2 Phạm vi ứng dụng 14 2/19 13 CÀI ĐẶT MÔI TRƯỜNG PHÁT TRIỂN 15 13.1 Ngơn ngữ lập trình 15 13.2 Công cụ phát triển 15 14 NEURONNETWORK CLASS 15 14.1 Neuron.Core namespace 15 14.2 NeuronNetwork.Core.Initializers namespace 16 14.3 NeuronNetwork.Core.LearningRateFunctions namespace .16 14.4 NeuronNetwork.Core.BackPropagation namespace 16 14.5 NeuronNetwork.Core.SOM namespace 16 14.6 NeuronNetwork.Core.SOM.NeighborhoodFunctions namespace 17 15 MỘT VÀI ĐOẠN CODE HỮU DỤNG 17 15.1 backpropagation network .17 15.2 Đoạn mã khởi tạo Kohonen SOM 18 16 CHƯƠNG TRÌNH ỨNG DỤNG MẠNG NEURON .18 16.1 Nhận dạng ký tự bàng cách vẽ chữ 19 3/19 Tổng quan mạng Neural 1.1 Mạng Neural (nơron)là Mạng Neural (nơron)nhân tạo, Artificaial Neural (nơron)Network (ANN) gọi tắt mạng Neural (nơron)(Neural (nơron)network), mơ hình xử lý thơng tin theo cách thức xử lý thông tin hệ Neural (nơron)sinh học Nó tạo nên từ số lượng lớn phần tử (gọi phần tử xử lý hay Neural) kết nối với thông qua liên kết (gọi trọng số liên kết) làm việc thể thông để giải vấn đề cụ thể 1.2 ứng dụng lĩnh vực Một mạng Neural (nơron)nhân tạo cấu hình cho ứng dụng cụ thể (nhận dạng mẫu, phân loại liệu,…) thơng qua q trình học từ mẫu huấn luyện Về chất học q trình hiệu chỉnh trọng số liên kết Neural Cấu trúc Neural Cấu trúc tổng qt 4/19 Giải thích ký hiệu: • Tập đầu vào: tín hiệu vào (input signal) Neural, tín hiệu thường đưa dạng vector N chiều • Tập liên kết: Mỗi liên kết thể trọng số (gọi trọng số liên kết – Synaptic weight) Thông thường trọng số khởi tạo cách ngẫu nhiên thời điểm khởi tạo mạng cập nhật liên tục q trình học mạng • Bộ tổng (Summing function): thường dùng để tính tổng tích đầu vào với trọng số liên kết • Ngưỡng (còn gọi độ lệch – bias): Ngưỡng thường đưa vào thành phần hàm truyền • Hàm truyền (Transfer function): Hàm dùng để giới hạn phạm vi đầu Neural Nó nhận đầu vào kết hàm tổng ngưỡng cho • Đầu ra: Là tín hiệu đầu Neural, với Neural (nơron)sẽ có tối đa đầu Học có giám sát học khơng có giám sát 5/19 Một mạng Neural (nơron)cần đào tạo trước đưa vào sử dụng Huấn luyện liên quan đến việc đưa vào mạng Neural (nơron)mẫu huấn luyện cho phép tìm hiểu cách hiệu chỉnh trọng số liên kết thông số khác mạng nơ-ron phân loại thành hai loại dựa vào loại học tập 3.1 Mạng Neural (nơron)học có giám sát: Trong phương pháp học có giám sát, mạng Neural (nơron)học từ mẫu Tập huấn luyện bao gồm tập hợp mẫu đầu vào kết đầu mong muốn tương ứng với mẫu đầu vào Các mạng Neural (nơron)điều chỉnh trọng số liên kết để tìm hiểu mối quan hệ cặp đầu vào-đầu Mạng Neural (nơron)được huấn luyện thành cơng hể sử dụng để tìm đầu phù hợp đầu vào hợp lệ Mục tiêu việc học có giám sát mơ hình tồn cục tìm hàm f, cho sẵn tập điểm có dạng (x, f(x)) 3.2 Trong phương pháp học khơng có giám sát: Mạng Neural (nơron)chỉ nhận tập hợp đầu vào từ mơi trường bên ngồi Nó bí ẩn để tưởng tượng mạng có thể học hỏi từ thiết lập số đầu vào Tuy nhiên, để thức chứng minh mạng lưới khơng có giám sát xây dựng đại diện đầu vào sử dụng cho việc định Giải thuật lan truyền ngược Để huấn luyện mạng Neural (nơron)ta cung cấp cho huấn luyện cho phép học cách điều chỉnh trọng số liên kết mạng Một tập huấn luyện tập hợp mẫu huấn luyện Training Set = Set of training samples Một mẫu đào tạo cặp vector đầu vào mẫu vectơ đầu mong muốn Trong trường hợp đào tạo khơng có giám sát, vector đầu nên để null Chiều dài vector đầu vào nên tương tự số lượng Neural (nơron)trong lớp đầu vào, độ dài vector đầu nên số Neural (nơron)trong lớp đầu Training Sample = (input vector, desired vector) Backpropagation thuật toán thuật toán giám sát thường sử dụng để huấn luyện mạng feed-forward Nó giới thiệu lần Paul 6/19 Werbos sách 'The Roots Backpropagation' Ý tưởng xác định mạng Neural (nơron)hoạt động với đầu vào mẫu, so sánh khác hành vi mong muốn sau điều chỉnh trọng số liên kết để giảm thiểu khác biệt Quá trình lặp lặp lại cho tất mẫu đào tạo nhiều lần thiết lập để đảm bảo huấn luyện phù hợp Việc huấn luyện mạng MLP thuật toán lan truyền ngược sai số bao gồm hai trình: Quá trình truyền thẳng trình truyền ngược Trong trình truyền thẳng, vector đầu vào cung cấp cho Neural (nơron)của mạng tín hiệu lan truyền lớp mạng Cuối ta tính tập đầu thực mạng Trong suốt trình truyền thẳng, tất trọng số liên kết mạng cố định Ngược lại, trình truyền ngược, tất trọng số liên kết hiệu chỉnh theo luật hiệu chỉnh trọng số Sai số mạng đo độ sai lệch đầu thu với giá trị mục tiêu tương ứng Các sai số sau lan truyền ngược lớp mạng (từ lớp cuối đến lớp đầu tiên) Các trọng số liên kết hiệu chỉnh cho đầu thực mạng gần với giá trị mục tiêu tốt Learning Rate Learning rate thông số mà điều chỉnh việc làm để mạng noron học nhanh làm để việc huấn luyện hiệu Hãy xem xét Neural (nơron)mà trải qua trình học tập Giả định trọng số số liên kết mạng phần đào tạo 0,3 Khi mạng giới thiệu mẫu huấn luyện mới, thuật toán huấn luyện yêu cầu liên kết thay đổi trọng số đến 0,7 để học mẫu phù hợp Nếu cập nhật trọng số lập tức, mạng Neural (nơron)chắc chắn học mẫu mới, có xu hướng quên tất mẫu học trước Điều trọng số (0,3) kết tất việc học mà trải qua Vì vậy, khơng trực tiếp thay đổi trọng số tới 0,7 Thay vào đó, tăng phần nhỏ (chọn 25%) thay đổi cần thiết Vì vậy, trọng số liên kết thay đổi thành 0,4 chuyển sang mẫu đào tạo Yếu tố (0,25 trường hợp này) gọi Learning Rate Căn theo cách này, tất mẫu huấn luyên huấn luyện số thứ tự ngẫu nhiên Khi chu trình đào tạo lặp lặp lại nhiều lần, cuối mạng Neural (nơron)học tất mẫu có hiệu Learning rate giá trị khoảng từ đến Chọn giá trị gần khơng, địi hỏi số lượng lớn chu trình huấn luyện Điều làm 7/19 cho trình huấn luyện chậm Mặt khác, learning rate lớn, trọng số khác độ lệch hàm mục tiêu dao động lớn mạng đạt đến trạng thái mà việc huấn luyện diễn vơ ích Hàm Active Hàm active mạng xác định cách để có đầu neuron từ tập đầu vào dựa thuật toán bakcpropagation Các thuật toán bakcpropagation yêu cầu hàm active để thỏa mãn tính liên tục khả vi Nó u cầu cần có hàm active để dễ dàng tính tốn Một số hàm active Sigmoid, Linear, Logarit, Tan, Sin… 6.1 Mơ hình hàm : y = / (1 + Exp(-x)) Hình 7.1: Mơ hình hàm : y = / (1 + Exp(-x)) 6.2 Mơ hình hàm : y = x Hình 2: Mơ hình hàm : y = x 6.3 Hình 7.3: Mơ hình hàm y = Log(1 + |x|) 8/19 Hình 7.3: Mơ hình hàm y = Log(1 + |x|) 6.4 Hình 4: Mơ hình hàm y = sin(x) Hình 4: Mơ hình hàm y = sin(x) 6.5 Hình 7.5: Mơ hình hàm y=Tan(x) Hình 7.5: Mơ hình hàm y=Tan(x) Bản đồ tổ chức Kohonen SOM (Kohonen Self -Organizing Maps) 9/19 Bản đồ Kohonen SOM phương pháp học khơng có giám sát sử dụng rộng rãi để giảm tính đa chiều không gian đầu vào đảm bảo cấu trúc đồ thị Một kiến trúc SOM Kohonen điển hình hiển thị Bao gồm lớp đầu vào kết nối với lớp đầu (Kohonen chiều) thông qua Connector Kohonen gồm nơrôn Kohonen Mỗi tế bào nơrôn lớp Kohonen liên kết với tập nơrôn khác không gian hai chiều Lớp tế bào Neural (nơron)đầu vào với n Neural (nơron)với Lớp đầu tổ chức riêng để dựa vào đầu vào Vì gọi mơ hình tự tổ chức Trong giai đoạn đào tạo, SOM xây dựng mẫu đào tạo đại diện Mạng lưới đào tạo sử dụng đồ vector đầu vào không gian hai chiều Mục tiêu đào tạo SOM để đảm bảo phần khác mạng phản ứng tương tự vector đầu vào Vì vậy, việc đào tạo chủ yếu liên quan đến việc phân tích hành vi mạng lưới cho mẫu đào tạo điều chỉnh trọng lượng phần tử Neural (nơron)để đảm bảo mạng lưới tiến hành hành vi tương tự đầu vào giống Các thủ tục liên quan đến việc đào tạo bước sau đây: • Khởi tạo trọng giá trị nhỏ ngẫu nhiên • Chọn mẫu đào tạo ngẫu nhiên, giao cho vector đầu vào tế bào thần kinh chạy mạng • Đầu neuron tương ứng tỉ lệ với trọng lượng vector vector đầu vào Các neuron đầu có giá trị cao thơng báo người chiến thắng cho neuron đầu vào hành 10/19 • Tính tốn khoảng cách neuron đầu từ Neural (nơron)chiến thắng cách sử dụng Hàm Neighborhood • Cập nhật thơng số khớp Neural (nơron)bằng cách sử dụng công thức sau a= Thông số nơrol đầu vào Trọng số b= (Mức độ học M) * (Giá trị so với nơrol hàng xóm) * a • Tương tự vậy, đào tạo tất mẫu theo thứ tự ngẫu nhiên Điều hoàn tất thành chu trình đào tạo • Lặp lại bước để hoàn thành số quy định đào tạo Các SOM đào tạo đồ vector đầu vào thành neuron chiến thắng, hiểu vị trí vector không gian hai chiều Hàm Neighborhood 8.1 Tổng quan Trong đồ tự tổ chức, hàm neighborhood xác định thông số tế bào nơrol từ tế bào nơrol tới nơrol chiến thắng lớp Giá trị Neighnorhood neuron bị định vector trọng số với thay đổi nơrol chiến thắng Nó thay đổi từ số không (cho neuron khoảng cách xa vô hạn từ người chiến thắng) để cuối người chiến thắng 8.2 Hình minh họa Một số hàm Neighborhood Gaussian Mexican-Hat hình vẽ sau: Hình 9.1: Hàm Gaussian Neighborhood 11/19 Hình 9.2: Hàm Mexican-Hat Neighborhood Lưới Topology Trong đồ lớp Kohonen Layer lưới topology quy định cụ thể xếp Neural (nơron)lưới hai chiều tạo thành lớp Hàm Neighborhood áp dụng topology Có lưới Topology hay dùng hình lục giác hình chữ nhật Hình 10.1: Rectangular Topology Hình 10.2: Hexagonal Topology 12/19 10 Một số hình dạng lớp Kohonen NeuronNetwork hỗ trợ hàng cột vo trịn Tính dùng để tạo lớp Kohonen với hình dạng khác Hình 11.1: Dạng phẳng Hình 11.2: Dạng đường thẳng Hình 11.3:Dạng hình vịng Hình 11.4: Dạng hình trụ 11 Hình 11.5:Dạng hình xuyến Thiết kế mạng Neural Thiết kế mạng Neural (nơron)nhân tạo cho ứng dụng cụ thể liên quan đến việc lựa chọn loại mạng, tìm số thích hợp lớp ẩn, phương pháp thích hợp để khởi tạo trọng số, thuật tốn học thích hợp, đào tạo, tỷ lệ học tập số lượng mẫu đào tạo để sử dụng Hầu hết thông số phụ thuộc vào ứng dụng mà mạng Neural (nơron)đang thiết kế Dưới số hướng dẫn chung thiết kế mạng nơrron: 11.1 Số lượng lớp ẩn (trong mạng Backpropagation) Một mạng lưới Backpropagation lớp ẩn khơng thể thực phân loại khơng tuyến tính Vì vậy, lớp ẩn phải cho mạng lưới backpropagation Hơn nữa, toán học chứng minh mạng lưới backpropagation với lớp ẩn đào tạo phù hợp, dùng để xấp xỉ hàm Vì vậy, lớp ẩn lựa chọn tốt hầu hết trường hợp 13/19 Có nhiều lớp ẩn tăng tốc trình học tập mạng đào tạo phù hợp xác với mẫu đào tạo không thực tốt liệu thử nghiệm Hiệu ứng gọi overtraining nơi mạng lưới huấn luyện có xu hướng ghi nhớ mẫu huấn luyện thay học tập chúng 11.2 Mạng neurol ban đầu Khởi tạo trọng số liên kết Neural (nơron)có ảnh hưởng lớn tới việc đào tạo tốc độ xác định hiệu đào tạo Thông thường, trọng số khởi tạo với giá trị ngẫu nhiên từ -0,5 đến +0,5 (giá trị cao có xu hướng kết khu vực bão hòa sau kích hoạt, giá trị ban đầu nhỏ giá trị gần không) Mạng Neural (nơron)thực trình khởi tạo module pluggable Tuỳ chỉnh thuật tốn khởi tạo cắm vào cách thực Initializer giao diện 11.3 Số mẫu huấn luyện Quyết định để mẫu đại diện cho chức huấn luyện thực tế tốt Thông thường, lỗi học tăng so với gia tăng kích thước tập huấn luyện, đồng thời ta nhận thấy giảm lỗi mạng thực tốt liệu thử nghiệm Một mối quan hệ kích thước mạng số lượng tối ưu mẫu đào tạo tìm thấy 12 Các lĩnh vực ứng dụng mạng Neural 12.1 Giải toán Mạng trí tuệ nhân tạo (Artificial Neural (nơron)networks) ứng dụng giải toán lĩnh sau: • Bài toán Function Modeling • Bài toán phân loại (Classification Problems) • B tốn xử lý rút trích liệu (Data processing and feature extraction) 12.2 Phạm vi ứng dụng Phạm vi ứng dụng trí tuệ nhân tạo lớn: tập đoàn tài dùng để phân tích dự đốn tài chính, nhận dạng chữ ký, nhận dạng ảnh, 14/19 nhận dạng chữ viết, nhận dạng sinh trắc học, mô hình hóa hệ thống động, hệ thống tự động hóa, hệ thống chuyển từ dọng nói chữ viết, bóc tách dự liệu, trí tuệ nhân tạo dùng trị chới máy tính, hệ thống xác định đường giao thông tải, hệ thống máy bay tự lái, etc 13 Cài đặt môi trường phát triển 13.1 Ngơn ngữ lập trình Dự án viết ngôn ngữ C# Do bạn cần phải sử dụng Microsoft NET framework 13.2 Công cụ phát triển Sử dụng công cụ phát triển Visual Studio Express editions (http://www.microsoft.com/Express/ ) 14 NeuronNetwork Class Những thông tin mô tả class mơ tả mục Ví dụ như: layers, connectors, networks and TrainingSet Tất class thừa kế từ class 'ISerializable' interface 14.1 Neuron.Core namespace • INeuron : Interface mơ tả Neural (nơron)thần kinh • ISynapse : Interface mơ tả khớp nối thần kinh mạng • ILayer : Interface mơ tả Layer mạng Neural • IConnector : Interface mơ tả bô kết nối (connector) (kết nối hai layers) • INetwork : Interface mô tả mạng Neural • IInitializer : Interface dùng để khởi tạo cách thức làm việc cụ thể lớp kết nối mạng cụ thể • ILearningRateFunction : Learning Rate Function interface • Layer : Một thể mức tổng quát hóa interface 'ILayer' tập hớp 'INeuron's • Connector : Một thể mức tổng quát hóa inter 'IConnector' liên kết hai layers 15/19 • Network : Một lớp sở để thể mạng Neural Nó triển khai interface 'INetwork' • TrainingSample : Lớp thể cặp vector: vector đầu vào vector đầu mong muốn • TrainingSet : Là tập hợp TrainingSample • TrainingMethod : Thể phương thức học mạng Neural (nơron)là học có giám sát hay khơng giám sát • ConnectionMode : Thể kế nối một-một connector hay nhiều-nhiều 14.2 NeuronNetwork.Core.Initializers namespace Có nhiều phương thức khởi tạo cho mạng như: ConstantFunction, NGuyenWidrowFunction, ZeroFunction, Random Function NormalizedRandomFunction mô tả namespace 14.3 NeuronNetwork.Core.LearningRateFunctions namespace Namespace chứa hàm dùng cho Learning rate như: HyperbolicFunction, ExponentialFunction LinearFunction 14.4 NeuronNetwork.Core.BackPropagation namespace • ActivationNeuron : Neural (nơron)trong mạng lan truyền ngược • BackpropagationSynapse : Các kết nối hai activation neurons • ActivationLayer : lớp tổng qt hóa activation neurons • BackpropagationConnector : tập BackpropagationSynapses kết nối hai activation layers • BackpropagationNetwork : Một mạng lan truyền ngược • LinearLayer, LogarithmLayer, SigmoidLayer, SineLayer TanhLa yer thừa kế lớp ActivationLayer để triển khai thể hiên tương ứng với hàm activation functions 14.5 NeuronNetwork.Core.SOM namespace • PositionNeuron : Neural (nơron)a Kohonen network • KohonenSynapse : Liên kết Neural (nơron)và PositionNeuron 16/19 • KohonenLayer : layer PositionNeurons • KohonenConnector : tập hợp KohonenSynapses liên kết Kohonen Layers • KohonenNetwork : thể Self-Organizing Map • LatticeTopology : định dạng lưới lattice topology Hexagonal hay Rectangular • INeighborhoodFunction : Interface biểu diễn neighborhood function 14.6 NeuronNetwork.Core.SOM.NeighborhoodFunctions namespace • Namespace bao gôm class sau GaussianFunction MexicanHatFunction 15 Một vài đoạn code hữu dụng 15.1 backpropagation network Đoạn mã bên tạo backpropagation network có lớp đầu vào LinearLayer chứa mười Neural, lớp ẩn sigmoid chưa năm Neural (nơron)và lớp đầu sigmoid chứa bảy Neural Để tạo mạng Neural, cần khởi tạo lớp (layers), sau kết nối lớp cách tạo connectors tạo mạng Neural (nơron)bằng cách cung cấp lớp đầu vào đầu Không sửa đổi cấu trúc mạng sau tạo (Khơng tạo Layer connector tạo mạng thành công) Cần ý lớp đầu vào mạng backpropagation luôn linear layer khơng muốn thay đổi liệu đầu vào thêm độ lệch hay thực activation function 17/19 15.2 Đoạn mã khởi tạo Kohonen SOM Bất lúc thay đổi thuộc tính layers connnectors Một learning rate function liên kết với layer mạng Chúng ta thay đổi thuộc tính cho layer Nếu muốn sử dụng hàm cho lớp sử dụng hàm SetLearningRate cho network Để dạy mạng ta cần mẫu ví dụ (bao gồm đầu vào đầu ra) Chúng ta cần tạo tập hợp mẫu training samples dạy mạng chống lại training set 16 Chương trình ứng dụng mạng Neuron 18/19 16.1 Nhận dạng ký tự bàng cách vẽ chữ Đây hình chương trình nhận dạng ký tự A cách vẽ chữ A Màn hình dạy chương trình nhận dãng ký tự A 19/19 ... Phạm vi ứng dụng Phạm vi ứng dụng trí tuệ nhân tạo lớn: tập đồn tài dùng để phân tích dự đốn tài chính, nhận dạng chữ ký, nhận dạng ảnh, 14/19 nhận dạng chữ viết, nhận dạng sinh trắc học, mơ hình... training set 16 Chương trình ứng dụng mạng Neuron 18/19 16.1 Nhận dạng ký tự bàng cách vẽ chữ Đây hình chương trình nhận dạng ký tự A cách vẽ chữ A Màn hình dạy chương trình nhận dãng ký tự A 19/19... Tính dùng để tạo lớp Kohonen với hình dạng khác Hình 11.1: Dạng phẳng Hình 11.2: Dạng đường thẳng Hình 11.3 :Dạng hình vịng Hình 11.4: Dạng hình trụ 11 Hình 11.5 :Dạng hình xuyến Thiết kế mạng Neural