(Luận văn) mạng hopfield và ứng dụng trong nhận dạng hình ảnh

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG HỒNG CHÍ THÀNH lu an n va gh tn to MẠNG HOPFIELD VÀ ỨNG DỤNG p ie TRONG NHẬN DẠNG HÌNH ẢNH d oa nl w an lu ll u nf va LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH oi m z at nh z m co l gm @ va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN an Lu THÁI NGUYÊN - 2016 ac th si ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG HỒNG CHÍ THÀNH lu an n va MẠNG HOPFIELD VÀ ỨNG DỤNG ie gh tn to TRONG NHẬN DẠNG HÌNH ẢNH p Chun ngành: Khoa học máy tính d oa nl w Mã số: 60 48 01 01 an lu ll u nf va LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH oi m z at nh Người hướng dẫn khoa học: TS Vũ Vinh Quang z m co l gm @ va http://www.lrc.tnu.edu.vn n Số hóa Trung tâm Học liệu – ĐHTN an Lu THÁI NGUYÊN - 2016 ac th si i LỜI CẢM ƠN Xin chân thành cảm ơn Thầy TS Vũ Vinh Quang tận tình dạy, hướng dẫn tơi suốt thời gian học tập làm luận văn Tôi xin biết ơn chân thành đến Thầy giáo Viện Công nghệ Thông tin giảng dạy, giúp đỡ suốt thời gian học tập Xin cảm ơn tất anh chị em học viên Cao học khóa 13, cảm ơn cán công chức, giảng viên Trường đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên tạo điều kiện tốt cho suốt hai năm lu an học qua n va Xin cảm ơn bạn bè, đồng nghiệp bảo nhiều thời tn to gian thực luận văn ie gh Cuối cùng, xin chân thành cảm ơn thành viên gia đình p động viên tạo điều kiện thuận lợi để tơi có kết ngày nl w hôm oa Thái Nguyên, tháng 06 năm 2016 d Người viết luận văn ll u nf va an lu oi m z at nh Hoàng Chí Thành z m co l gm @ an Lu va Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn n ac th si ii LỜI CAM ĐOAN Tên tơi là: Hồng Chí Thành Sinh ngày: 14/10/1979 Học viên lớp cao học CK13A - Trường Đại học Công nghệ thông tin Truyền thông - Đại học Thái Nguyên Hiện công tác tại: Trường THPT Ngọc Hà - TP Hà Giang - Hà Giang Tôi xin cam đoan đề tài luận văn “Mạng Hopfield ứng dụng nhận dạng hình ảnh” cơng trình nghiên cứu thân Các số liệu, lu an kết nghiên cứu luận văn trung thực chưa công n va bố cơng trình khác Tơi xin chịu trách nhiệm luận văn tn to ie gh Thái Nguyên, ngày 25 tháng năm 2016 p TÁC GIẢ LUẬN VĂN d oa nl w an lu ll u nf va Hồng Chí Thành oi m z at nh z m co l gm @ an Lu va Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn n ac th si iii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii DANH MỤC CÁC BIỂU ĐỒ, HÌNH VẼ v LỜI MỞ ĐẦU CHƯƠNG I MỘT SỐ KIẾN THỨC CƠ BẢN VỀ NHẬN DẠNG ẢNH 1.1 Không gian biểu diễn đối tượng 1.2 Không gian diễn dịch lu an 1.3 Mơ hình chất q trình nhận dạng n va 1.3.1 Mơ hình 1.4 Nhận dạng ảnh 1.4.1 Nhận dạng dựa phân hoạch không gian p ie gh tn to 1.3.2 Bản chất trình nhận dạng 1.4.2 Nhận dạng dựa theo cấu trúc 10 oa nl w 1.4.3 Nhận dạng dựa vào kỹ thuật mạng neural .12 d CHƯƠNG II CƠ SỞ LÝ THUYẾT VỀ MẠNG NEURAL 13 an lu 2.1 Giới thiệu chung mạng Neural 13 va 2.1.1 Quá trình phát triển 13 ll u nf 2.1.2 Cấu trúc mạng neural nhân tạo 15 oi m 2.1.3 Cấu trúc mạng Neural sinh học 16 z at nh 2.2 Khái niệm 20 2.2.1 Neural nhân tạo mạng Neural nhân tạo 20 z 2.2.2 Khái niệm mạng Hopfield 24 @ gm 2.3 Phân loại mạng Hopfield 25 l 2.4 Mạng Hopfield rời rạc 28 m co 2.5 Mạng Hopfield liên tục 29 an Lu 2.6 Một số đặc điểm mạng Hopfield 32 2.7 Một số ứng dụng mạng Hopfield 32 va Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn n ac th si iv 2.8 Khả nhớ mẫu mạng Hopfield 32 2.9 Ưu, nhược điểm mạng Hopfield 34 2.9.1 Ưu điểm mạng Hopfield 34 2.9.2 Nhược điểm mạng Hopfield 34 CHƯƠNG ỨNG DỤNG MẠNG HOPFIELDTRONG BÀI TỐN NHẬN DẠNG HÌNH ẢNH 35 3.1 Mô tả hệ thống nhận dạng dựa mạng Hopfield 35 3.1.1 Mạng Hopfield với toán tối ưu 35 3.1.2 Các bước thành lập mạng Hopfield: 36 lu 3.2 Mạng Hopfield với tốn nhận dạng hình ảnh 37 an va 3.2.1 Bài tốn nhận dạng hình ảnh 37 n 3.2.2 Mạng Hopfield nhận dạng hình ảnh 37 to 3.2.4 Thuật toán mạng Neural Hopfield tốn nhận dạng hình ảnh 40 p ie gh tn 3.2.3 Huấn luyện mạng Hopfield 39 3.3 Ứng dụng mạng Hopfield nhận dạng ảnh 41 nl w 3.4 Đánh giá kết nghiên cứu ứng dụng mạng Hopfield nhận d oa dạng ảnh 49 an lu 3.4.1 Mục tiêu chương trình .49 va 3.4.2 Demo hình ảnh 50 u nf 3.4.3 Đánh giá kết 55 ll KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 56 m oi TÀI LIỆU THAM KHẢO 57 z at nh z m co l gm @ an Lu va Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn n ac th si v DANH MỤC CÁC BIỂU ĐỒ, HÌNH VẼ Hình 1.1 Mơ hình cấu trúc đối tượng nhà Hình 1.2 Sơ đồ tổng quát hệ nhận dạng Hình 2.1 Cấu trúc mạng neural 15 Hình 2.2 Mơ hình tế bào thần kinh 19 Hình 2.3 Mơ hình xử lý neural nhân tạo 21 Hình 2.4 Mạng Hopfield 26 Hình 2.5 Đồ thị hàm satlins 26 lu an Hình 2.6 Mơ hình mạng Hopfield 30 n va Hình 2.7 Thí nghiệm mạng với ảnh nhiễu 33 tn to Hình 3.1: Mạng Hopfield lớp với 16 neural vào 16 neural 41 p ie gh Hình 3.2 Thí nghiệm mạng với ảnh nhiễu 49 d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu va Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn n ac th si LỜI MỞ ĐẦU Kỹ thuật nhận dạng nhiều người quan tâm nay, đặc biệt anh ninh quốc phịng: nhận dạng hình ảnh, nhận dạng mẫu tóc, nhận dạng vân tay,… ngành khoa học có nhiều ứng dụng khoa học kỹ thuật, tin học, sinh học lĩnh vực an ninh quốc gia Nó phận quan trọng hệ thống thông minh; sử dụng việc dị tìm, xử lý số liệu hỗ trợ định, … Nói cách tổng quát nhận dạng mơn khoa học có liên quan cách hữu đến lu việc phân lớp, tính tốn độ đo an Trong lý thuyết nhận dạng nói chung nhận dạng ảnh nói riêng có ba va n cách tiếp cận khác nhau: to - Nhận dạng theo cấu trúc - Nhận dạng dựa vào kỹ thuật mạng neural p ie gh tn - Nhận dạng dựa vào phân hoạch không gian nl w Hai cách tiếp cận đầu kỹ thuật kinh điển Các đối tượng ảnh quan d oa sát thu nhận phải trải qua giai đoạn tiền xử lý nhằm tăng cường chất an lu lượng, làm chi tiết, trích chọn biểu diễn đặc trưng, u nf va cuối qua giai đoạn nhận dạng Cách tiếp cận thứ ba hồn tồn khác Nó dựa vào chế đốn nhận, lưu trữ phân biệt đối tượng mơ ll oi m theo hoạt động hệ thần kinh người Do chế đặc biệt, đối tượng z at nh thu nhận thị giác người không cần qua giai đoạn cải thiện mà chuyển sang giai đoạn tổng hợp, đối sánh với mẫu lưu trữ để nhận dạng Đây z cách tiếp cận có nhiều hứa hẹn Trong mạng Neural mạng Hopfield @ l gm thường sử dụng lý thuyết nhận dạng ưu điểm riêng biệt m co cấu trúc mạng Hướng nghiên cứu mạng Hopfield sử dụng nhận dạng ảnh nói chung hướng phù hợp với chuyên ngành khoa học máy tính va Số hóa Trung tâm Học liệu – ĐHTN an Lu có ứng dụng cao http://www.lrc.tnu.edu.vn n ac th si Đối tượng -Mạng Hopfield -Lý thuyết nhận dạng -Ứng dụng cài đặt toán nhận dạng Phạm vi nghiên cứu - Lý thuyết Bài toán nhận dạng ảnh - Cấu trúc mạng Hopfield - Một số thuật toán học mạng Hopfield lu Nội dung nghiên cứu luận văn trình bày ba chương an sau: va n Chương 1: Một số kiến thức nhận dạng ảnh to Chương 3: Ứng dụng mạng Hopfield tốn nhận dạng hình ảnh p ie gh tn Chương 2: Cơ sở lý thuyết mạng Neural d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu va Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn n ac th si CHƯƠNG MỘT SỐ KIẾN THỨC CƠ BẢN VỀ NHẬN DẠNG ẢNH Nhận dạng nói chung hay nhận dạng ảnh nói riêng q trình phân loại đối tượng biểu diễn theo mơ hình gán cho chúng vào lớp (gán cho đối tượng tên gọi) dựa theo quy luật mẫu chuẩn Con người thu nhận thông tin qua giác quan, thị giác đóng vai trò quan trọng Những năm trở lại với phát triển phần cứng máy tính, xử lý ảnh đồ họa phát triển cách mạnh mẽ có nhiều ứng lu dụng sống Quá trình xử lý ảnh xem trình thao tác an ảnh đầu vào nhằm cho kết mong muốn Kết đầu trình va n xử lý ảnh ảnh “tốt hơn” kết luận Quá trình nhận dạng gh tn to dựa vào mẫu học biết trước gọi nhận dạng có thầy hay học có thầy ie (supervised learning); trường hợp ngược lại gọi học khơng có thầy p (non supervised learning) Chúng ta giới thiệu khái niệm nl w Các kiến thức tham khảo từ [1], [2], [3] d oa 1.1 Không gian biểu diễn đối tượng an lu Các đối tượng quan sát hay thu thập được, thường biểu diễn u nf va tập đặc trưng hay đặc tính Như trường hợp xử lý ảnh, ảnh sau tăng cường để nâng cao chất lượng, phân vùng trích chọn đặc tính, ll oi m biểu diễn đặc trưng biên, miền đồng nhất, Người ta thường z at nh phân đặc trưng theo loại như: đặc trưng tô pơ, đặc trưng hình học đặc trưng chức Việc biểu diễn ảnh theo đặc trưng phụ thuộc z @ vào ứng dụng l gm Ở ta đưa cách hình thức việc biểu diễn đối tượng Giả sử đối m co tượng X (ảnh, chữ viết, dấu vân tay, ) biểu diễn n thành phần (n đặc trưng): X = {x1, x2, , xn}; xi biểu diễn đặc tính Khơng gian biểu diễn an Lu đối tượng thường gọi tắt không gian đối tượng X định nghĩa: va Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn n ac th si 44 } Gán trạng thái cho neural mạng: List initialState = newList(NN.N); for (int i = 0; i < imageDim; i++) for (int j=0;j Vi(t+1) = -Vi(t) Mạng đạt trạng thái cân nếu: Vi(t+1) = Vi(t) với  i= 1, 2,…, N Thủ tục tính giá trị lượng mạng: privatevoid CalculateEnergy() { doubletempE = 0; for (int i = 0; i < n; i++) lu for (int j = 0; j < n; j++) an va if (i != j) n tempE += T[i, j] * neurons[i].State * to tn neurons[j].State; p ie gh e = -1 * tempE / 2; } w Thủ tục thay đổi trạng thái neural thứ i thời điểm t+1 (trạng oa nl thái mạng neural lưu vào biến u): d publicvoid Run(List initialState) lu an { this.neurons = initialState; int u = 0; ll u nf va int k = 1; oi m while(k != 0) { k = 0; { u = 0; z @ for (int j = 0; j < n; j++) z at nh for (int i = 0; i < n; i++) lượng neural thứ i m co l gm u += T[i, j] * (neurons[j].State);// tính if (neurons[i].ChangeState(h))//ktra trang thai an Lu { k++; CalculateEnergy();// tinh nang luong va Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn n ac th si 46 OnEnergyChanged(new EnergyEventArgs(e,i)); } } } CalculateEnergy(); } Thủ tục OnEnergyChanged() viết sau: protectedvirtualvoid OnEnergyChanged(EnergyEventArgs e) lu an { n va if (EnergyChanged != null) tn to EnergyChanged(this, e); } p ie gh Hàm kiểm tra lượng neural thứ i thay đổi trạng thái nl w neural thứ i: d oa public bool ChangeState(Double field) an lu { bool res = false; va ll { u nf if (field * this.State < 0) m } z return res; z at nh res = true; oi this.state = -this.state; @ gm } l Thủ tục làm biến dạng ảnh viết sau: { m co void im_Click(object sender, EventArgs e) an Lu va Số hóa Trung tâm Học liệu – ĐHTN http://www.lrc.tnu.edu.vn n ac th si 47 ImageMagnifier.ImageMagnifier im = ImageMagnifier.ImageMagnifier)sender; this.imNNState.ImageToMagnify = im.ImageToMagnify; frmAddDistortion frmaddDistortion = newfrmAddDistortion(); frmaddDistortion.ShowDialog(); Random r = newRandom(); int p=0; int k=0; for(int i = 0;i