Bộ giáo dục đào tạo Trờng đại học bách khoa hµ néi luận văn thạc sĩ khoa học công nghệ xử lí nhận dạng ảnh mặt ngời mạng nơron nhân tạo MLP ngành: kỹ thuật điện tử mà sè: vị hång vinh Ngêi híng dÉn khoa häc: GS.TS Ngun Qc Trung Hµ néi 2005 Tai ngay!!! Ban co the xoa dong chu nay!!! 17057204917941000000 Lời cam đoan Tôi xin cam đoan nội dung luận văn công sức nghiên cứu, kết làm việc cá nhân Nếu phát chép, gian lận, man trá xin chịu hoàn toàn trách nhiệm Hà nội, tháng 11 năm 2005 Ngời viết luận văn Vũ Hồng Vinh Lời cảm ơn Tôi xin chân thành gửi lời cám ơn tới toàn thể thầy cô giáo bạn bè đồng nghiệp đà tham gia đóng góp ý kiến, chia sẻ kinh nghiệm động viên khuyến khích để luận văn đợc hoàn thành tiến độ, đạt chất lợng tốt Đặc biệt, xin vô cảm ơn hớng dẫn bảo tận tình Phó giáo s, Tiến sỹ Nguyễn Quốc Trung trờng Đại học Bách khoa Hà nội đà thật hỗ trợ nhiều trình nghiên cứu Một lần cho phép bày tỏ lòng biết ơn vô hạn tới giúp đỡ quí báu tất thầy cô giáo, đồng nghiệp bạn bè đà giúp nghiên cứu thành công luận văn -5- mở đầu Một câu hỏi đặt ta nhìn thấy ảnh đối tợng ta lại phân biệt đợc đối tợng ngời hay vật xác định ? Đó nÃo ngời đà đợc học ghi nhớ hình ảnh đó, gặp lại hình ảnh này, nÃo có định nhận dạng xác Cơ chế nhận dạng ảnh nÃo ngời dựa chế học nơron thần kinh Hiện nay, nhà khoa học cố gắng thể chế nhận dạng qua kỹ thuật tính toán thông minh - kỹ thuật nhận dạng ảnh mạng nơron nhân tạo Mạng nơron nhân tạo có nhiệm vụ xử lí thông số ảnh đa kết phân lớp ảnh đối tợng thuộc lớp ứng dụng mạng nơron nhân tạo thấy nhiỊu qu©n sù, d©n sù, y häc … nh nhận dạng ảnh vân tay ứng dụng dân quân sự, nhận dạng chữ viết hệ thống kiểm tra số sản phẩm, hệ thống tự động phân loại th tín, tự động nhận biết đờng đi, nhận dạng phận thể ngời ứng dụng giải phẫu học Nhận dạng đối tợng ảnh hớng nghiên cứu cần thiết bèi c¶nh nỊn kinh tÕ më cđa níc ta hiƯn Dựa định hớng vấn đề đợc GS TS Nguyễn Quốc Trung vạch ra, với cố gắng thân, đà hoàn thành đợc luận văn với đề tài: công nghệ xử lí nhận dạng ảnh mặt ngời mạng nơron nhân tạo MLP Mục đích đề tài: Trình bày nghiên cứu lý thuyết phục vụ cho chủ đề Mạng nơron nhân tạo nhận dạng ảnh , đồng thời xây dựng modul phần mềm mạng -6- nơron thử nghiệm để nhận dạng ảnh mặt ngời với mục đích hiểu sâu cách thức mà mạng nơron tiến hành phân loại ảnh đối tợng nắm bắt đợc kiến thức môn khoa học - nhận dạng đối tợng ảnh Nội dung nghiên cứu: ã Về lý thuyết: Cơ sở lý thuyết mạng nơron, cấu trúc mạng nơron, phân loại mạng nơron, mạng nơron ứng dụng nhận dạng ảnh Đi sâu vào cấu trúc, thuật toán, chế học, thủ tục học mạng nơron nhiều lớp Perceptron MLP học theo giải thuật lan truyền ngợc sai số back-propagation làm tiền đề cho việc xây dựng mạng nơron nhận dạng đối tợng ảnh mặt ngời ã ứng dụng: Phân tích, thiết kế xây dựng modul phần mềm thử nghiệm nhận dạng đối tợng ảnh mặt ngời Kết quả: - Đà nắm bắt đợc kiến thức chủ yếu mạng nơron giải thuật học mạng nơron nhiều lớp MLP - Đà xây dựng đợc modul phần mềm mạng nơron thử nghiệm nhận dạng ảnh mặt ngời đạt đợc số kết khả quan Do thời gian nghiên cứu hạn chế nên luận văn không tránh khỏi thiếu sót Tôi mong nhận đợc lời góp ý thiếu sót luận văn để bổ xung nghiên cứu -7- chơng Lý thuyết chung mạng nơron nhân tạo 1.1 Lý thuyết mạng nơron 1.1.1 Giới thiệu mạng nơron Chóng ta cịng biÕt r»ng tri thøc cđa loµi ngời phong phú, sâu rộng đa dạng Nó bao gồm hiểu biết từ giới vi mô nh nguyên tử, điện tử, hạt nhân, hạt đến hiểu biết vĩ mô trái đất, hệ mặt trời, hệ thiên hà Thế nhng có điều mà nh nghịch lý biÕt “rÊt Ýt” vỊ chÝnh bé n·o bé cđa Mạng nơron nhân tạo - thuật ngữ nói đến ngành kỹ thuật mà đòi hỏi kiến thức từ nhiều ngành khoa học khác nh to¸n häc, vËt lý häc, hãa häc, sinh vËt häc tâm lý học, thần kinh học tất nhằm tạo máy tính hoạt động giống nh nÃo ngời 1.1.1.1 Tổ chức hoạt động nÃo ngêi: a) Tỉ chøc: Bé n·o cđa ngêi đợc hình thành từ liên kết khoảng 1011 phần tử (tế bào), có khoảng 1010 phần tử nơron, số lại khoảng 9*1010 phần tử tế bào thần kinh đệm chúng có nhiệm vụ phục vụ nh hỗ trợ cho nơron Thông thờng nÃo trung bình cân nặng khoảng pound tích 90 inches3 Cấu tạo nÃo đợc phân chia thành nhiều vùng khác Mỗi vùng kiểm soát hay nhiều hoạt động ngời Bộ nÃo có cấu trúc nhiều lớp, lớp bên thờng thấy nh nếp nhăn, lớp có cấu tạo phức tạp Đây nơi kiểm soát phát sinh hành động phức tạp nh nghe, nhìn, t -8- b) Hoạt động: Cho đến nay, có hiểu biết hoạt động cấp thấp nÃo Cụ thể: Mặc dù nơron ( xem nh phần tử xử lí hay phần tử tính ) có tốc độ chậm so với tốc độ cổng logic silicon vi chip -10-3 giây với 10-10 giây, nhng nơron liên kết với khoảng 104 nơron khác, hoạt động nÃo hoạt động cách tổng lực đạt hiệu cao Nói cách khác phần tử nÃo hoạt động cách song song tơng tác tinh vi phức tạp, hiệu hoạt động thờng cao vấn đề phức tạp Hoạt động hệ thống thần kinh bao gồm nÃo giác quan nh sau: ã Trớc hết ngời bị kích thích giác quan từ bên thể Sự kích thích đợc biến thành xung điện giác quan tiếp nhận kích thích Những tín hiệu đợc chuyển trung ơng thần kinh nÃo để xử lí Những mệnh lệnh cần thiết đợc phát sinh gửi đến phận thi hành thích hợp nh tay, chân ã Những phận thi hành biến xung điện thành liệu xuất hệ thèng Tãm l¹i bé n·o cã cÊu t¹o rÊt phøc tạp, tinh vi đợc tạo thành từ mạng nơron có hàng chục tỉ tế bào với mức độ liên kết nơron cao hoạt động dựa chế hoạt động song song nơron tạo nên Các kích thích Các tiếp nhận Mạng lới thần kinh Các tác động Các đáp ứng Hình 1.1 Biểu diễn sơ đồ khối hệ thống thần kinh -9- 1.1.1.2 Mô hình nơron sinh học Nơron phần tử tạo nên nÃo Cấu tạo hoạt động nh sau a) Cấu tạo: Một nơron điển hình có phần chính: - Phần thứ nhất: Thân phần tử hay soma (cell body or soma) Nhân nơron đợc đặt - Phần thứ hai: Các dendrite Đây mạng dạng dây thần kinh để nối soma với - Phần thứ ba: axon Đây nối kết, hình trụ dài mang tín hiệu từ Phần cuối axon đợc chia thành nhiều nhánh nhỏ Mỗi nhánh nhỏ (cả dendrite axon) kết thúc quan nhỏ hình củ hành đợc gọi synapte mà nơron đa tín hiệu vào nơron khác Những điểm tiếp nhận với synapte nơron khác dendrite hay soma Synapse Nucleus Axon Dendrites Hình 1.2: Sơ đồ nơron sinh học - 10 - b) Hoạt động: Các tín hiệu đa synapte đợc nhận dendrite kích thích điện tử Việc truyền tín hiệu nh liên quan đến trình hóa học phức tạp mà chất truyền đặc trng đợc giải phóng từ phía gửi nơi tiếp nối Điều làm tăng hay giảm điện bên thân nơron nhận Nơron nhận tín hiệu kích hoạt (fire) điện vợt khỏi ngỡng xung (hoặc điện hoạt động) với độ mạnh (cờng độ) thời gian tồn cố định đợc gửi thông qua axon tới phần nhánh tới chỗ nối synapte với nơron khác Sau fering, nơron chờ khoảng thời gian đợc gäi lµ chu kú refractory, tríc nã cã thĨ fire lại Synapses excitatory chúng cho phép kích thích truyền qua gây tình trạng fire nơron nhận Ngợc lại, chúng inhibitory chúng cho phép kích thích truyền qua làm ngăn chở trạng thái fire nơron nhận 1.1.1.3 Mô hình nơron nhân tạo Để mô tế bào thần kinh khớp nối thần kinh nÃo ngời, mạng nơron nhân tạo có thành phần có vai trò tơng tự nơron nhân tạo kết nối synapse Một nơron nhân tạo đơn vị tính toán hay đơn vị xử lý thông tin sở cho hoạt động mạng nơron Sơ đồ hình 1.2 mô hình nơron nhân tạo đây, xác định ba thành phần mô hình nơron: Một tập hợp synapse hay kết nối, mà chúng đợc đặc trng trọng số riêng Tức tín hiệu xj đầu vào synapse j nối với nơron k đợc nhân với trọng số synapse wkj - 11 - k số nơron đầu synapse xét, j điểm đầu vào synapse Các trọng số synapse nơron nhân tạo nhận giá trị âm giá trị dơng Một tổ hợp để tính tổng tín hiệu đầu vào nơron, đà đợc nhân với trọng số synapse tơng ứng; phép toán đợc mô tả tạo nên tổ hợp tuyến tính Một hàm kích hoạt (activation function) để giới hạn biên độ đầu nơron Hàm kích hoạt đợc xem xét nh hàm nén; nén (giới hạn) phạm vi biên độ cho phép tín hiệu đầu khoảng giá trị hữu hạn Mô hình nơron hình 1.3 bao gồm hệ số hiệu chỉnh tác động từ bên bk Hệ số hiệu chỉnh b k có tác dụng tăng lên giảm đầu vào thực hàm kích hoạt, tuỳ theo dơng hay âm Các tín hiệu đầu vào Hệ sè hiÖu chØnh b k x1 wk1 x2 wk1 xm wk1 Hàm kích hoạt vk (.) Bộ tổ hợp tuyến tính Các trọng số synpase Hình 1.3 Mô hình nơron nhân tạo Đầu yk