Đang tải... (xem toàn văn)
Số hóa bởi Trung tâm Học liệu – ĐHTN http //www lrc tnu edu vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG MAI QUỐC AN MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY TRONG NHẬ[.]
ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG MAI QUỐC AN MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY TRONG NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Ngun - 2016 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG MAI QUỐC AN MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY TRONG NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC TS Vũ Duy Linh Thái Nguyên - 2016 Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn i LỜI CAM ĐOAN Tơi xin cam đoan tồn nội dung luận văn tự sưu tầm, tra cứu xếp cho phù hợp với nội dung yêu cầu đề tài Nội dung luận văn chưa công bố hay xuất hình thức khơng chép từ cơng trình nghiên cứu Tất phần mã nguồn chương trình tự thiết kế xây dựng, có sử dụng số thư viện chuẩn thuật tốn tác giả xuất cơng khai miễn phí mạng Internet Nếu sai tơi xin hoàn toàn chịu trách nhiệm Thái Nguyên, ngày tháng 07 năm 2016 Người cam đoan Số hóa Trung tâm Học liệu – ĐHTN i http://www.lrc.tnu.edu.vn ii LỜI CẢM ƠN Trong trình học tập nghiên cứu lớp Cao học khóa 12 chuyên ngành Khoa học máy tính trường ĐH Cơng nghệ thơng tin truyền thông - Đại học Thái Nguyên, nhận nhiều bảo, dìu dắt, giảng dậy nhiệt tình thầy, giáo Viện cơng nghệ thông tin Các thầy cô giáo quản lý trường ĐH Công nghệ thông tin truyền thông - Đại học Thái Nguyên giúp đỡ, tạo điều kiện tốt cho tơi q trình cơng tác học tập Nhân dịp xin bày tỏ lời cảm ơn chân thành tới tập thể thầy, cô giáo Viện công nghệ thông tin, thầy cô giáo trường ĐH Công nghệ thông tin truyền thông - Đại học Thái Nguyên Tôi xin chân thành cảm ơn sâu sắc tới thầy giáo TS Vũ Duy Linh cho tơi nhiều ý kiến đóng góp quý báu, tận tình hướng dẫn tạo điều kiện cho tơi hồn thành tốt luận văn tốt nghiệp Tôi xin cảm ơn đồng nghiệp người thân động viên, giúp đỡ tơi q trình nghiên cứu thực luận văn Quá trình thực đề tài khơng tránh khỏi thiếu sót, mong tiếp tục nhận đóng góp ý kiến thầy, cô giáo, bạn đồng nghiệp đề tài nghiên cứu để đề tài hồn thiện Tơi xin trân trọng cảm ơn! Thái Nguyên, ngày tháng 07 năm 2016 Số hóa Trung tâm Học liệu – ĐHTN ii http://www.lrc.tnu.edu.vn iii MỤC LỤC PHẦN MỞ ĐẦU Chương 1: KHÁI QUÁT VỀ NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG VÀ TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY 1.1 Khái quát nhập điểm rèn luyện tự động 1.1.1 Quản lý nhập điểm rèn luyện tự động 1.1.2 Kiến trúc hệ thống nhận dạng điểm rèn luyện sử dụng mạng nơron nhân tạo 1.2 Khái quát trích chọn đặc trưng chữ viết tay 13 1.2.1 Đặc trưng màu sắc 15 1.2.2 Đặc trưng hình dạng 16 1.2.3 Đặc trung kết cấu 17 1.2.4 Đặc trung cục bất biến 17 Chương 2: NHẬN DẠNG PHIẾU ĐIỂM SỬ DỤNG MẠNG NƠ RON 19 2.1 Thiết kế mạng nơron nhân tạo 19 2.1.1 Các bước thiết kế 19 2.1.2 Chi tiết bước thiết kế mạng nơron 19 2.2 Các kỹ thuật trích chọn đặc trưng 24 2.2.1 Kỹ thuật trích chọn đặc trưng kết hợp biến đổi DCT thuật tốn phân tích thành phần PCA 24 2.2.2 Kỹ thuật trích đặc trưng sử dụng Momen Legendre 27 2.2.3 Kỹ thuật sử dụng mạng Neural nhân chập (Convolution neural network) 32 2.3 Huấn luyện mạng 35 2.3.1 Các phương pháp học 35 2.3.2 Học có giám sát mạng nơron 36 2.3.3 Thuật toán lan truyền ngược Back-Propagation 37 2.4 Nhận dạng sử dụng mạng nơron 49 2.4.1 Khả sử dụng mạng nơron nhận dạng 49 2.4.2 Mơ hình nhận dạng hệ thống sử dụng mạng nơron 49 2.4.3 Nhận dạng hệ thống sử dụng mạng nơron 51 Chương 3: CHƯƠNG TRÌNH THỬ NGHIỆM 52 3.1 Đặc trưng phiếu điểm 52 3.2 Bài toán 53 3.3 Tiền xử lý 54 3.4 Phân đoạn trích chọn đặc trưng 57 3.5 Huấn luyện nhận dạng 57 3.6 Hậu xử lý 58 Số hóa Trung tâm Học liệu – ĐHTN iii http://www.lrc.tnu.edu.vn iv PHẦN KẾT LUẬN 58 TÀI LIỆU THAM KHẢO 60 CÁC CHỮ VIẾT TẮT Từ viết tắt Ý nghĩa CSDL Cơ sở liệu MCP Mơ hình McCulloch Pitts MSE Mean-Square Error BP Back-Propagation PCA Principal Component Analysis OMR Optical Mark Recognition) Số hóa Trung tâm Học liệu – ĐHTN iv http://www.lrc.tnu.edu.vn v MỤC LỤC HÌNH ẢNH Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình Hình 1: Nơron đơn giản 2: Nơron phức tạp 3: mạng truyền thẳng 4: mạng hồi quy đơn giản 10 5: Perceptron 11 6: Sự khác hồi quy tuyến tính mạng nơron 12 7: Các bước hệ thống nhận dạng văn 14 8: Ví dụ xác định đặc trưng ảnh 15 9: Ảnh hưởng vector riêng, giá trị riênglên tập liệu 24 10: Các bước trích chọn đặc trưng biến DCT kết hợp PCA 26 11: Biến đổi DCT cách lấy liệu theo đường zigzag 27 12: Họ đa thức Legendre 29 13: Thao tác nhân chập 33 14: Q trình trích chọn đặc trưng sử dụng mạng Neural nhân chập 34 15: Minh họa trình lấy đặc trưng mạng Neuron nhân chập 34 16: Mơ hình học có giám sát 36 17: Mạng lan truyền với lớp ẩn 38 18: xấp xỉ mạng trường hợp i = 1, 2, 4, 42 19: Xác định tần số 47 20: Mơ hình nhận dạng 50 21: Mẫu phiếu điểm đánh giá rèn luyện 52 22: Mẫu phiếu điểm tổng kết 53 23: Nhị phân hóa ảnh 54 24: Lọc nhiễu 55 25: Chuẩn hóa kích thước ảnh số “4” “6” 55 26: Làm tròn biên chữ 56 27: Làm mảnh chữ 56 Số hóa Trung tâm Học liệu – ĐHTN v http://www.lrc.tnu.edu.vn vi Hình 28: Tách thơng tin phiếu điểm 57 Số hóa Trung tâm Học liệu – ĐHTN vi http://www.lrc.tnu.edu.vn PHẦN MỞ ĐẦU Công nghệ thông tin ngành then chố t quá trình cơng nghiêp̣ hóa hiêṇ đại hóa đất nước Viê ̣c triể n khai nghiên cứu công trình khoa học đưa vào thực tế ứng du ̣ng góp phầ n giải phóng sức lao ̣ng người, tiết kiê ̣m thời gian, nâng cao hiêụ suấ t công viê ̣c là mô ̣t viê ̣c làm hết sức có ý nghiã giai đoa ̣n này Bài toán nhâ ̣n dạng chữ viết tay xuất cách lâu ứng dụng hiệu nhiều lĩnh vực khác y tế, giáo dục, quốc phòng, nghiên cứu vũ trụ Trong q trình cơng tác, tơi nhận thấy rằng: Việc xử lý kết đánh giá rèn luyện sinh viên hầu hết trường thực cách thủ cơng Quy trình đánh giá rèn luyện học sinh - sinh viên tiến hành từ cấp lớp đến cấp khoa cấp trường Kết đánh giá rèn luyện giảng viên nhập vào bảng tổng hợp dựa phiếu đánh giá rèn luyện Việc nhập điểm thủ công tốn nhiều công sức khả nhầm lẫn cao Để giải vấn đề đòi hỏi phải xây dựng công cụ hữu hiệu việc nhận dạng chữ viết tay sẽ đem la ̣i các lơ ̣i ích sau đưa vào ứng du ̣ng thực tế: - Giảm lượng nhân công nhập điểm - Độ xác cao - Tiết kiệm thời gian, cơng sức - Dễ dàng giám sát tiến trình nhập điểm, giúp đưa cách giải phù hợp có sai sót xảy Trong phạm vi đề tài luận văn thạc sỹ, sâu vào tìm hiểu kỹ thuật trích chọ đặc trưng nhận dạng chữ viết tay phiếu đánh giá kết rèn luyện Do tơi chọn đề tài: “Một số kỹ thuật trích chọn đặc trưng chữ viết tay nhập điểm rèn luyện tự động” 2 Chương 1: KHÁI QUÁT VỀ NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG VÀ TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY 1.1 Khái quát nhập điểm rèn luyện tự động 1.1.1 Quản lý nhập điểm rèn luyện tự động Hiện nay, đánh giá kết rèn luyện học sinh, sinh viên trường đại học, cao đẳng trung học chuyên nghiệp nhằm góp phần thực mục tiêu giáo dục đào tạo người Việt Nam phát triển tồn diện, có đạo đức, tri thức, sức khỏe, thẫm mỹ nghề nghiệp, trung thành với lý tưởng độc lập dân tộc chủ nghĩa xã hội; hình thành bồi dưỡng nhân cách, phẩm chất lực công dân, đáp ứng yêu cầu xây dựng bảo vệ Tổ quốc Việc đánh giá kết rèn luyện học sinh, sinh viên việc làm thường xuyên trường Q trình đánh giá phải đảm bảo xác, cơng bằng, cơng khai dân chủ Có nhiều toán hiệu tin cậy để giải khâu nhập điểm toán điều tra xã hội học, thi tuyển sinh qua trắc nghiệm, nhập chứng từ ngân hàng, nhập tờ khai thuế Khó khăn chỗ khối lượng nhập nhiều việc kiểm soát độ xác q trình nhập Để tăng tốc độ nhập liệu, số phương pháp nghiên cứu là: - Phân tải để nhập từ nhiều nguồn, nhiều đầu mối; - Nhập qua giá mang tính trung gian để tận dụng nhiều phương pháp, nhiều đầu mối, sau dùng cơng cụ để chuyển định dạng cần thiết; - Nhập qua giao diện âm hình ảnh, hình ảnh phương pháp quan tâm nhiều Đã có nhiều thành cơng hệ thống nhận dạng chữ viết, nhận dạng form tài liệu, nhận dạng phiếu đánh dấu 3 Để tăng độ tin cậy, người ta thường phải áp dụng biện pháp tìm sai sót chỉnh sửa như: - Kiểm lỗi trực tiếp; - Nhập hai lần từ hai người khác để phát sai lệch; - Tăng cường độ tin cậy hệ nhập liệu tự động; - Phát ràng buộc toàn vẹn để đặt chế kiểm soát tự động theo ràng buộc nhiều truờng hợp tự sửa lỗi Trong hệ thống quản lý rèn luyện có vài giải pháp nhập điểm đưa vào để thực nhập liệu thủ công trực tiếp, nhập điểm trực tuyến, nhập điểm theo lô từ file, nhập điểm nhận dạng ảnh phiếu điểm Việc nhập điểm nhận dạng ảnh phiếu điểm: Một giải pháp nhập điểm khác áp dụng dùng phiếu ghi điểm viết theo định dạng đặc biệt Sau bảng điểm quét vào thành ảnh dùng phần mềm nhận dạng để biết cột đánh dấu để suy điểm ghi vào CSLD Giải pháp có ưu điểm giảm tải cho phịng Cơng tác học sinh - sinh viên, thay việc phải nhập điểm cần quét ảnh, sau chạy phần mềm nhận dạng Tuy nhiên phải in bảng điểm mời giáo viên lên ký * Quy trình chung hệ thống nhập điểm tự động Quy trình chung hệ thống nhập điểm tự động thường bao gồm: - Quét ảnh: quét ảnh phiếu điều tra lưu dạng ảnh raster: Quét trực tiếp loại phiếu điều tra thông qua máy quét Đọc xử lý 30 dạng tệp tin ảnh phổ dụng PCX, BMP, TIF, GIF, JPG, Có thể nhận dạng trực tiếp phiếu điều tra thông qua máy quét, không cần lưu trữ dạng tệp ảnh trung gian Các phiếu điều tra quét lưu trữ dạng tệp tin sở liệu 4 - Tiền xử lý: nối đường đứt nét, quay ảnh, xoá nhiễu, lấp lỗ hổng co dãn, vuốt trơn đường, phát góc nghiêng, độ dịch chuyển hiệu chỉnh cách tự động - Lựa chọn vùng: Markread hiển thị phiếu mẫu đẹp chưa điền thông tin chọn vùng điền thông tin liên quan đến chúng - Học form: vùng lựa chọn chứa nhiều hình chữ nhật ảnh mẫu tách ô chữ nhật, elip chúng sử dụng cho trường OMR * Dữ liệu đầu vào: Phiếu điểm: ảnh đen trắng đa cấp xám từ đĩa từ Scanner Khi yêu cầu chung liệu tệp ảnh có nhiễu, nghiêng dịch chuyển hạn chế, in photocopy tương đối rõ ràng Hầu hết khuôn dạng thông thường TIFF, GIF, PCX, BMP, JPG, Các ảnh gồm hình vng, chữ nhật, trịn, e-lip đánh dấu, chữ chữ số có hạn chế - Nhận dạng phiếu điểm: Tự động nhặt đối tượng theo mẫu phiếu mẫu Ở giai đoạn đối tượng cần nhận dạng tiến hành theo bước bản: Xử lý sơ bộ, trích chọn đặc trưng liên quan đến mẫu, đối sánh đặc trưng đối cần nhận dạng với mẫu - Hiệu chỉnh: Hiệu chỉnh tay tự động vị trí phiếu mẫu - Trích chọn đặc trưng mẫu: Tự động phân tích tách vùng đối tượng riêng lẻ (cô lập đối tượng) tính đặc trưng cho hình lưu vào tệp mẫu học * Dữ liệu ra: - Tệp kết nhận dạng đưa theo qui cách DBF, MDB, XLS - Mỗi phiếu ghi gồm trường tương ứng với đối tượng cần nhận dạng (hình vng, chữ nhật, hình trịn, e-lip) điền 5 - Tên trường sinh cách tự động người dùng đưa vào Tiếp cận phương pháp nhận dạng nhãn quang học đại: - Tự động xử lý kiểm tra, phiếu thăm dò, câu hỏi phiếu mẫu 1.1.2 Kiến trúc hệ thống nhận dạng điểm rèn luyện sử dụng mạng nơron nhân tạo 1.1.2.1 Khái niệm mạng nơron nhân tạo Mạng nơron nhân tạo hay thường gọi ngắn gọn mạng nơron, tiếng anh Artificial Neural Network Nó gồm có nhóm nơron nhân tạo nối với nhau, xử lý thông tin cách truyền theo kết nối tính giá trị nút Trong nhiều trường hợp, mạng nơron nhân tạo hệ thống thích ứng, tự thay đổi cấu trúc dựa thơng tin bên ngồi hay bên chảy qua mạng trình học Một mạng nơron nhân tạo cấu hình cho ứng dụng cụ thể (nhận dạng mẫu, phân loại liệu, ) thông qua trình học từ tập mẫu huấn luyện Về chất, học q trình hiệu chỉnh trọng số liên kết nơron 1.1.2.2 Lịch sử phát triển mạng nơron Một mơ hình điển hình mạng noron não người Bộ não người mạng noron có cấu tạo vô phức tạp Con người nghiên cứu hàng nghìn năm Cùng với phát triển khoa học kĩ thuật đặc biệt tiến ngành điện tử đại, người bắt đầu nghiên cứu nơron kiện đánh dấu đời mạng nơron nhân tạo vào năm 1943 nhà thần kinh học Warren McCulloch nhà toán học Walter Pitts viết báo mô tả cách thức nơron hoạt động Họ tiến hành xây dựng mạng nơron đơn giản mạch điện Năm 1949 sách Organization of Behavior Donald Hebb xuất nơron nhân tạo trở lên hiệu sau lần chúng sử dụng 6 Những tiến máy tính đầu năm 1950, dự án Dartmouth nghiên cứu trí tuệ nhân tạo năm 1956 mở thời kỳ phát triển lĩnh vực trí tuệ nhân tạo lẫn mạng nơron Những năm dự án Dartmouth, John von Neumann đề xuất việc mô nơron đơn giản cách sử dụng rơle điện áp đèn chân không Nhà sinh học chuyên nghiên cứu nơron Frank Rosenblatt bắt đầu nghiên cứu Perceptron - thuật ngữ học máy, thuật toán phân loại Sau thời gian nghiên cứu Perceptron cài đặt phần cứng máy tính xem mạng nơron lâu đời sử dụng đến ngày Năm 1974 Paul Werbos phát triển ứng dụng phương pháp học lan truyền ngược (back-propagation) Ngày nay, xa mức nghiên cứu lý thuyết, nhà khoa học nghiên cứu mạng nơron ứng dụng có khả giải toán thực tế diễn khắp nơi Các ứng dụng mạng nơron đời ngày nhiều ngày hoàn thiện 1.1.2.3 Mơ hình nơron a Nơron nhân tạo đơn giản Một nơron nhân tạo đơn giản thiết bị với nhiều đầu vào có đầu Nơron có hai chế độ hoạt động: chế độ huấn luyện chế độ sử dụng Trong chế độ huấn luyện, nơron huấn luyện với số mẫu đầu vào tới không sử dụng Trong chế độ sử dụng phát mẫu học đầu vào, đầu trở thành đầu Nếu mẫu đầu vào không thuộc vào danh sách mẫu học luật loại bỏ sử dụng để tiếp tục dùng hay loại bỏ nơron Hình mơ tả nơron đơn giản 7 Hình 1: Nơron đơn giản b Nơron phức tạp (Mơ hình McCulloch Pitts: MCP) Sự khác biệt với mơ hình đơn giản đầu vào mơ hình có trọng số, hiệu đầu vào có đưa định phụ thuộc vào trọng số đầu vào Trọng số đầu vào số mà nhân với đầu vào ta có trọng số đầu vào Những đầu vào trọng số nhóm lại với chúng vượt giá trị ngưỡng nơron bị loại bỏ Với trường hợp khác nơron khơng bị loại bỏ Hình 2:Nơron phức tạp Ví dụ ta có giá trị ngưỡng T mặt toán học, nơron bị loại bỏ bất đẳng thức sau xảy ra: X1.W1 + X2.W2 + X3.W3 + … > T Sự thêm vào trọng số đầu vào giá trị ngưỡng nơron làm cho linh hoạt mạnh Nơron MCP có khả thích nghi với hồn cảnh cụ thể thay đổi trọng số hay giá trị ngưỡng 1.1.2.4 So sánh mạng nơron với máy tính truyền thống Các mạng nơron có cách tiếp cận khác giải vấn đề so với máy tính truyền thống Các máy tính truyền thống sử dụng cách tiếp cận theo hướng giải thuật, tức máy tính thực tập câu lệnh để giải vấn đề Vấn đề giải phải biết phát biểu dạng tập lệnh rõ ràng Những câu lệnh sau phải chuyển sang chương trình ngơn ngữ bậc cao chuyển sang mã máy để máy tính hiểu Nếu bước cụ thể mà máy tính cần tn theo khơng rõ ràng, máy tính khơng làm Điều giới hạn khả máy tính truyền thống phạm vi giải vấn đề mà hiểu biết xác cách thực Các máy tính trở lên hữu ích chúng thực việc mà thân người khơng biết xác phải làm Các mạng nơron xử lý thông tin theo cách thức giống não người Mạng tạo nên từ số lượng lớn phần tử xử lý kết nối với làm việc song song để giải vấn đề cụ thể Các mạng nơron học theo mơ hình, chúng khơng thể lập trình để thực nhiệm vụ cụ thể Các mẫu phải chọn lựa cẩn thận không thời gian, chí mạng hoạt động khơng Điều hạn chế mạng tự tìm cách giải vấn đề, thao tác khơng thể dự đốn Các mạng nơron máy tính truyền thống khơng cạnh tranh mà bổ sung cho Có nhiệm vụ thích hợp với máy tính truyền thống, ngược lại có nhiệm vụ lại thích hợp với mạng nơron Thậm chí nhiều nhiệm vụ địi hỏi hệ thống sử dụng tổ hợp hai cách tiếp cận đểthực hiệu cao (thông thường máy tính truyền thống sử dụng để giám sát mạng nơron) 1.1.2.5 Một số kiến trúc mạng nơron dùng nhận dạng mẫu a Mạng truyền thẳng Mạng truyền thẳng (hình 3) cho phép tín hiệu truyền theo đường từ đầu vào tới đầu ra, phản hồi hay lặp lại Mạng có xu hướng truyền thẳng đầu vào với đầu Chúng dùng rộng rãi nhận dạng mẫu Cách tổ chức mạng truyền thẳng tham chiếu tới phương pháp từ lên từ xuống Hình 3:mạng truyền thẳng b Mạng hồi quy Mạng hồi quy có kiến trúc tương tự mạng truyền thẳng (hình 2.3) có điểm khác cho phép tín hiệu truyền theo hai hướng Mạng hồi quy truyền tín hiệu tốt trở lên phức tạp Nó có tính động; trạng thái thay đổi liên tục tới đạt tới điểm trạng thái cân Chúng trì điểm cân tới đầu vào thay đổi cần tìm một trạng thái cân Kiến trúc hồi quy tham chiếu tới việc tương tác c Các lớp mạng 10 Các loại phổ biến mạng nơron nhân tạo bao gồm ba nhóm lớp đơn vị: lớp đơn vị "đầu vào" kết nối với lớp đơn vị "ẩn", lớp đơn vị “ẩn” kết nối với lớp đơn vị"đầu ra" (xem hình 4) •Hoạt động đơn vị đầu vào mô tả thông tin thô đưa vào mạng •Hoạt động đơn vị ẩn xác định hoạt động đơn vị đầu vào trọng số kết nối đầu vào đơn vị ẩn •Hành vi đơn vị đầu phụ thuộc vào hoạt động đơn vị ẩn trọng số đơn vị ẩn đầu Hình 4:mạng hồi quy đơn giản Loại mạng hồi quy đơn giản thú vị đơn vị ẩn tự xây dựng đại diện đầu vào riêng chúng Trọng số đầu vào đơn vị ẩn xác định đơn vị ẩn hoạt động Do cách thay đổi trọng số, đơn vị ẩn chọn đại diện Chúng ta phân biệt kiến trúc lớp đơn kiến trúc nhiều lớp Tổ chức lớp đơn, tất đơn vị kết nối với nhau, tạo thành trường hợp tổng quát sức mạnh tính toán tiềm tổ chức nhiều lớp cấu trúc phân cấp Trong mạng đa lớp, đơn vị thường đánh số theo lớp, thay đánh số theo toàn hệ thống mạng 11 d Perceptrons Nghiên cứu có ảnh hưởng mạng nơron năm 60 tiến hành tiêu đề “perceptron” thuật ngữ đặt Frank Rosenblatt Perceptron (hình 5) trở thành mơ hình MCP (nơron với đầu vào trọng số) với số bổ sung, sửa chữa, tiền xử lý Các đơn vị có nhãn A1, A2, Aj, Ap gọi đơn vị kết nối nhiệm vụ chúng trích xuất đặc điểm riêng biệt từ hình ảnh đầu vào Perceptron bắt chước ý tưởng đằng sau hệ thống thị giác động vật có vú Chúng chủ yếu sử dụng mơ hình nhận dạng mẫu khả chúng mở rộng nhiều Hình 5: Perceptron 1.1.2.6.Ứng dụng mạng nơron nhân tạo Khả học xử lý song song hai đặc trưng mạng nơron nhân tạo Nó mô tả gần mối quan hệ tương quan phức tạp yếu tố đầu vào đầu trình cần nghiên cứu Thêm vào học việc kiểm tra độc lập thường cho kết tốt Sau học xong, mạng nơron nhân tạo tính tốn kết đầu tương ứng với số liệu đầu vào 12 Về mặt cấu trúc, mạng nơron nhân tạo hệ thống gồm nhiều phần tử xử lý đơn giản hoạt động song song Tính mạng nơron nhân tạo cho phép áp dụng để giải tốn lớn Về khía cạnh tốn học, theo định lý Kolmogorov, hàm liên tục f(x1, x2, , xn ) xác định khoảng In ( với I =[0,1]) biểu diễn dạng: (1.1) : χj , Ψij hàm liên tục biến Ψij hàm đơn điệu, không phụ thuộc vào hàm f Mặt khác, mơ hình mạng nơron nhân tạo cho phép liên kết có trọng số phần tử phi tuyến (các nơron đơn lẻ) tạo nên dạng hàm tổng hợp từ hàm thành phần Do vậy, sau trình điều chỉnh liên kết cho phù hợp (q trình học), phần tử phi tuyến tạo nên hàm phi tuyến phức tạp có khả xấp xỉ hàm biểu diễn trình cần nghiên cứu Kết đầu tương tự với kết đầu tập liệu dùng để luyện mạng Khi ta nói mạng nơron nhân tạo học mối quan hệ tương quan đầu vào - đầu trình lưu lại mối quan hệ tương quan thông qua trọng số liên kết nơron Do đó, mạng nơron nhân tạo tính tốn số liệu đầu vào để đưa kết đầu tương ứng Hình 6: Sự khác hồi quy tuyến tính mạng nơron ... Do tơi chọn đề tài: ? ?Một số kỹ thuật trích chọn đặc trưng chữ viết tay nhập điểm rèn luyện tự động? ?? 2 Chương 1: KHÁI QUÁT VỀ NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG VÀ TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY 1.1...ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG MAI QUỐC AN MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY TRONG NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG Chuyên ngành: Khoa học máy tính. .. TAY 1.1 Khái quát nhập điểm rèn luyện tự động 1.1.1 Quản lý nhập điểm rèn luyện tự động Hiện nay, đánh giá kết rèn luyện học sinh, sinh viên trường đại học, cao đẳng trung học chuyên nghiệp nhằm