Nghiên cứu tiếp cận công nghệ mạng nơron tế bào CNN và ứng dụng trong xử lý ảnh

Mạng nơron tế bào ứng dụng xử lý ảnh ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN -    - ĐẶNG THỊ THO – 3 Đề tài: Nghiên cứu tiếp cận công nghệ mạng nơron tế bào CNN ứng dụng xử lý ảnh LUẬN VĂN CỬ NHÂN TIN HỌC Giáo viên hướng dẫn Ts: Hà Mạnh Đào HÀ NỘI- NĂM 2007 SVTH Đặng Thị Tho Mạng nơron tế bào ứng dụng xử lý ảnh Nhận xét giáo viên hướng dẫn - SVTH Đặng Thị Tho Mạng nơron tế bào ứng dụng xử lý ảnh Nhận xét giáo viên phản biện - SVTH Đặng Thị Tho Mạng nơron tế bào ứng dụng xử lý ảnh Lời cảm ơn Trước hết em xin chân thành cảm ơn thầy giáo, cô giáo Khoa CNTT Trường Đại học CNTT- Đại học Quốc Gia TP HCM trang bị cho em kiến thức cần thiết năm học vừa qua, để em thực tốt luận văn đủ tự tin để làm việc sau Em xin bày tỏ lòng biết ơn chân thành tới thầy giáo Hà Mạnh Đào tận tình hướng dẫn giúp đỡ em suốt thời gian vừa qua, để em hoàn thành tốt luận văn Em xin chân thành cảm ơn thầy cô bạn bè trung tâm, nơi mà em học lao động suốt bốn năm qua, tận tình giúp đỡ tạo điều kiện cho em hoàn thành luận văn Mặc dù cố gắng, khoảng thời gian cho phép,quá trình hoàn thành luận văn không tránh khỏi nhiều thiếu sót Kính mong quý thầy cô, bạn đóng góp ý kiến để luận văn hoàn thiện Sinh viên Đặng Thị Tho SVTH Đặng Thị Tho Mạng nơron tế bào ứng dụng xử lý ảnh LỜI MỞ ĐẦU Trước nhiều người tưởng hoạt động máy tính điện tử phản ánh chế hoạt động não người Tuy nhiên vấn đề trở nên rõ ràng nơron tế bào thần kinh có chế hoạt động hoàn toàn khác Đối với máy tính số việc xử lý tín hiệu âm thanh, hình ảnh, hương vị, tín hiệu tiếp xúc vấn đề phức tạp đòi hỏi độ tính toán lớn, ngược lại sinh vật sống việc xử lý chuỗi tín hiệu lại đơn giản Do cần phải có nguyên lý tính toán mới, cấu trúc để tiếp tục nâng cao khả tính toán giải vấn đề mà máy tính điện tử hành chưa giải Để chế tạo hệ thống điện tử có khả tính toán tương tự hệ nơron tính toán này, đòi hỏi ta phải thay đổi kiến trúc máy tính, thuật toán, công nghệ khả xử lý song song hàng vạn hàng triệu xử lý chíp Máy tính vạn CNN UM (Cellular Neural Network Universal Machine) đời mở hướng cho phát triển khoa học tính toán tiếp cận đến phương thức xử lý, cảm nhận hành động tổ chức thể sinh vật sống Mạng nơron tế bào CNN (Cellular Neural Network) giải pháp mở đầu cho loại máy tính vạn xử lý dòng mảng liệu đầy tiềm Đây lĩnh vực khoa học công nghệ mẻ đầy triển vọng, hứa hẹn hệ thống máy tính thông minh có chức xử lý tương tự người Chính em vấn đề rộng lớn, lại điều thúc đẩy em lựa chọn đề tài nghiên cứu mạng nơron tế bào CNN (Cellular Neural Network), bước đầu làm quen với CNN Dưới gợi ý thầy SVTH Đặng Thị Tho Mạng nơron tế bào ứng dụng xử lý ảnh giáo hướng dẫn em chọn lĩnh vực mô ứng dụng CNN vào xử lý ảnh Thời gian qua mạng tế bào CNN nhiều nước giới đầu tư nghiên cứu công nghệ xử lý song song cực mạnh đa có nhiều ứng dụng quan trọng công nghiệp, quân sự, y tế,…Trong có ứng dụng xử lý ảnh tốc độ cao Đây nhóm ứng dụng chủ yếu nhiều lĩnh vực sống mà hệ camera thông thường không đáp ứng Mạng nơron tế bào (Cellular Neural Network-CNN) hệ xử lý song song có khả xử lý 10 12 phép tính/giây với hàng chục ngàn CPU tích hợp song song chíp ứng dụng công nghệ cho phép giải nhiều toán xử lý thời gian thực mà máy tính số hành chưa thực Ứng dụng công nghệ mạng nơron tế bào xử lý ảnh tốc độ cao công nghiệp nhiều nhóm nghiên cứu giới triển khai Ở Việt Nam, lĩnh vực mẻ chưa nghiên cứu nhiều Đề tài em với mong muốn tìm hiểu nghiên cứu mạng nơron tế bào CNN, bước đầu làm quen với CNN ứng dụng CNN vào xử lý ảnh thời gian thực, em chân thành mong ủng hộ thầy cô bạn Một lần em xin cảm ơn thầy giáo hướng dẫn Ths Hà Mạnh Đào tận tình giúp đỡ em trình thực hoàn thành đề tài Em mong góp ý, giúp đỡ thầy cô bạn bè Em xin chân thành cám ơn! Hà Nội 09- 2007 Sinh viên thực Đặng Thị Tho SVTH Đặng Thị Tho Mạng nơron tế bào ứng dụng xử lý ảnh ĐỀ CƯƠNG CHI TIẾT LUẬN VĂN TỐT NGHIỆP Tên đề tài: NGHIÊN CỨU TIẾP CẬN CÔNG NGHỆ MẠNG NƠRON TẾ BÀO CNN VÀ ỨNG DỤNG TRONG XỬ LÝ ẢNH Mục đích ý nghĩa đề tài Mạng nơron nói chung mạng nơ ron tế bào nói riêng lĩnh vực khoa học trí tuệ nhân tạo, ứng dụng rộng rãi nhiều ngành khoa học, kinh tế, giáo dục, y tế, quân sự,…Mạng nơron tế bào mở hướng cho phát triển ngành khoa học tính toán Đây lĩnh vực khoa học công nghệ mẻ, đầy triển vọng đa dạng ứng dụng Công nghệ mạng nơron tế bào tạo điều kiện cho khoa học khám phá chế hoạt động nhiều tổ chức thể người quy luật sống khác Với phát triển công nghệ, ứng dụng CNN giải nhiều vấn đề mà hệ máy tính hành chưa giải Cùng tính vượt trội, ngày không xa công nghệ CNN thay ứng dụng máy tính hành thâm nhập vào hệ nhúng, hệ điện tử tạo nên sản phẩm hệ thống Với ý tưởng tiếp cận công nghệ mạng nơron tế bào, theo kịp phát triển công nghệ thông tin Em nghiên cứu, tìm hiểu ứng dụng mạng CNN nhằm mục đích làm chủ tầm lĩnh vực công nghệ quan trọng Trong giai đoạn nay, có nhiều ứng dụng mà máy tính số Turing chưa thực Đây vấn đề cần quan tâm đầu tư nghiên cứu, đặc biệt trọng nghiên cứu mạng nơron tế bào, cần sớm đưa chương trình đào tạo, mở môn học tính toán SVTH Đặng Thị Tho Mạng nơron tế bào ứng dụng xử lý ảnh nơron, công nghệ mạng nơron tế bào vào trường đại học cho bậc đào tạo đại học sau đại học Mục tiêu đề tài * Hiểu cách tổng quát mạng nơron:  Các cấu trúc mạng nơron nhân tạo + Mạng truyền thẳng +Mạng hồi qui, đặc biệt mạng Hopfield  Các loại luật học: + Học tham số + Học cấu trúc  Các ứng dụng quan trọng mạng nơ ron * Nghiên cứu hiểu sở, cấu trúc, điểm bật ứng dụng tiêu biểu mạng nơron tế bào CNN, ứng dụng xử lý ảnh, xử lý tiếng nói xử lý tín hiệu não * Ứng dụng CNN vào xử lý ảnh - Mô hình xử lý ảnh sử dụng CNN - Thuật toán xử lý ảnh CNN - Chương trình mô xử lý ảnh CNN Các nội dung cần đạt - Nắm vấn đề công nghệ mạng nơ ron nhân tạo sở hiểu mạng nơ ron tế bào CNN - Mô hình ứng dụng CNN vào xử lý ảnh - Xây dựng chương trình mô sử dụng CNN xử lý ảnh - Trình bày hướng phát triển đề tài - Hoàn thành luận văn theo qui định SVTH Đặng Thị Tho Mạng nơron tế bào ứng dụng xử lý ảnh Môi trường cài đặt - Máy tính cài đặt hệ điều hành windows 2k windows xp - Cài đặt máy ảo java phần mềm Matlab - Thực cài đặt chương trình mô sử dụng công nghệ CNN vào xử lý ảnh Thời gian thực hiện: tháng - Một tháng đầu: Tìm hiểu, nghiên cứu sở lý thuyết công nghệ mạng nơron tế bào CNN - Ba tháng sau: Tìm hiểu ứng dụng quan trọng CNN, khảo sát tình hình triển khai ứng dụng công nghệ CNN vào xử lý ảnh nước giới - Một tháng cuối cùng: Xây dựng chương trình mô sử dụng CNN xử lý ảnh Viết báo cáo hoàn thiện luận văn Giáo viên hướng dẫn Sinh viên thực TS Hà Mạnh Đào SVTH Đặng Thị Tho Đặng Thị Tho Mạng nơron tế bào ứng dụng xử lý ảnh Mục lục DANH MỤC CÁC HÌNH VẼ .13 DANH MỤC CÁC BẢNG .15 PHẦN MỘT: GIỚI THIỆU VỀ CÔNG NGHỆ Chương Giới thiệu mạng nơron nhân tạo .17 1.1 Bộ não nơron sinh học 17 1.2 Khái quát mạng nơron nhân tạo 21 1.3 Hai cách nhìn mạng nơron 22 1.4 Phân loại mạng nơron 24 1.5 Ứng dụng mạng nơron nhân tạo 26 Chương Mạng nơron tế bào CNN 27 2.1 Tổng quan mạng nơron tế bào CNN 27 2.1.1 Giới thiệu mạng nơron tế bào 27 2.1.2 Khả ứng dụng mạng CNN 30 2.1.3 Tình hình nghiên cứu mạng nơron tế bào CNN 32 2.1.3.1 Một số hướng nghiên cứu giới .32 2.1.3.2 Tình hình nghiên cứu công nghệ CNN Việt Nam 35 2.2 Cơ sở toán học hệ động lực mạng CNN .37 2.3 Một số phương pháp thiết kế mẫu cho mạng nơron tế bào CNN 42 2.3.1 Mẫu CNN 42 2.3.2 Một số phương pháp thiết kế mẫu 44 SVTH Đặng Thị Tho 10 Mạng nơron tế bào ứng dụng xử lý ảnh [11] ThS Võ Đức Khánh, “Giáo trình xử lý ảnh”, NXB Đại Học Quốc Gia Tp Hồ Chí Minh - 2003 [12] Huỳnh Ngọc Tín, “Giáo trình lập trình java”, NXB Đại Học Quốc Gia Tp Hồ Chí Minh - 2006 [13] Lương Mạnh Bá - Nguyễn Thanh Thuý, “Nhập môn xử lý ảnh số”, xuất lần thư tư, NXB Khoa học kỹ thuật - 2006 SVTH Đặng Thị Tho 95 Mạng nơron tế bào ứng dụng xử lý ảnh PHỤ LỤC Chương trình mô bao gồm lớp sau Lớp CNN.java: lớp chương trình, cho phép khai báo mảng tế bào, tạo giao diện chương trình import java.awt.*; import java.util.*; import java.applet.*; public class CNN extends Applet implements Runnable { int max_size=50, size=16; double boundary=0; CNNimage input,output; Button clear_button; TextArea textarea; Button StartButton,SuspendButton,ResumeButton,StopButton; Template Atempl,Btempl; CNNMath Calc; TextField Ivalue; Choice TemplChoice,InitCond; public double I; GridBagLayout gridbag=new GridBagLayout(); Panel panel1,panel2,panel3,Ipanel; private Thread CNNanimator=null; boolean first=true; Label outLabel; String msgStr; static double Atemplates[][][]= {{{0,0,0},{0,0,0},{0,0,0}}, {{0,0,0},{0,1,0},{0,0,0}}, {{0,0,0},{0,1.5,0},{0,0,0}}, {{0,0,0},{0,2,0},{0,0,0}}, {{0,0,0},{1,2,1},{0,0,0}}, {{0,1,0},{1,2,1},{0,1,0}}, {{0,0,0},{0,2,2},{0,0,0}}, {{0,1,0},{1,2,1},{0,1,0}}, {{0,0,0},{1,2,-1},{0,0,0}}}; static double Btemplates[][][]= {{{0,0,0},{0,0,0},{0,0,0}}, {{0,0,0},{0,-2,0},{0,0,0}}, {{0,-2,0},{-2,8,-2},{0,-2,0}}, {{-1,-1,-1},{-1,8,-1},{-1,-1,-1}}, {{0,0,0},{0,0,0},{0,0,0}}, {{0,0,0},{0,0,0},{0,0,0}}, SVTH Đặng Thị Tho 96 Mạng nơron tế bào ứng dụng xử lý ảnh {{0,0,0},{0,2,0},{0,0,0}}, {{0,0,0},{0,4,0},{0,0,0}}, {{0,0,0},{0,0,0},{0,0,0}}}; static double ConstI[]={0,0,-1,-8.5,-1,-1,0,-1,0}; static int InitStates[]={0,0,0,3,3,3,1,1,3}; public void init () { String sizeStr=getParameter("SIZE"); if (sizeStr!=null) { try { size=Integer.parseInt(sizeStr); } catch (NumberFormatException e) { // Use default size } } if (size>max_size) size=max_size; String boundaryStr=getParameter("BOUNDARY"); boundary=Str2double(boundaryStr); if (boundary>1) boundary=1; else if (boundary[...].. .Mạng nơron tế bào và ứng dụng trong xử lý ảnh 2.4 Một số ứng dụng tiêu biểu của mạng nơron tế bào 52 2.4.1 Máy tính vạn năng CNN UM .52 2.4.2 Giải phương trình vi phân đạo hàm riêng 55 PHẦN HAI: ỨNG DỤNG MẠNG CNN TRONG XỬ LÝ ẢNH Chương 3 Ứng dụng công nghệ CNN trong xử lý ảnh 60 3.1 Những vấn đề cơ bản trong xử lý ảnh 60 3.1.1 Các giai đoạn xử lý ảnh 60 3.1.2 Phương... riêng trong miền không gian, thời gian SVTH Đặng Thị Tho 28 Mạng nơron tế bào và ứng dụng trong xử lý ảnh cỡ miligiây, với tốc độ chính xác 7-8 bít Một ứng dụng tiêu biểu khác của CNN là máy tính xử lý ảnh nhanh có tốc độ xử lý trên 10 000 ảnh/ giây Thành phần mạch cơ bản của mạng nơron tế bào là tế bào Cấu trúc của mạng nơron tế bào tương tự như cơ chế hoạt động trong tế bào sinh vật, bất kỳ một tế bào. .. về mạng nơron tế bào CNN 2.1.3.1 Một số hướng nghiên cứu CNN trên thế giới Do tiềm năng về năng lực tính toán và khả năng ứng dụng rộng rãi trong nhiều lĩnh vực của cuộc sống, công nghệ CNN đã ngày càng thu hút được sự quan tâm của nhiều nhà nghiên cứu khoa học trên thế giới Các hướng nghiên SVTH Đặng Thị Tho 32 Mạng nơron tế bào và ứng dụng trong xử lý ảnh cứu trong thời gian tới về công nghệ CNN. .. khởi tạo hoặc có hình ảnh đầu vào 2.1.2 Khả năng ứng dụng của CNN - Các ứng dụng của CNN có thể được chia thành hai nhóm chính: SVTH Đặng Thị Tho 30 Mạng nơron tế bào và ứng dụng trong xử lý ảnh Các ứng dụng của xử lý ảnh tốc độ cao: đây là nhóm ứng dụng chủ yếu trong nhiều lĩnh vực của cuộc sống mà các hệ camera thông thường không đáp ứng được Các ứng dụng đòi hỏi xử lý dữ liệu lớn trong thời gian thực... Bảng 5: Đặc trưng của đối tượng ảnh 71 SVTH Đặng Thị Tho 15 Mạng nơron tế bào và ứng dụng trong xử lý ảnh PHẦN 1  GIỚI THIỆU VỀ CÔNG NGHỆ SVTH Đặng Thị Tho 16 Mạng nơron tế bào và ứng dụng trong xử lý ảnh CHƯƠNG 1 GIỚI THIỆU VỀ MẠNG NƠRON NHÂN TẠO Cách tiếp cận mạng nơron nhân tạo có ý nghĩa thực tiễn rất lớn, cho phép tạo ra thiết bị có thể kết hợp khả năng xử lý song song cao của bộ não với... năm, chứng tỏ sự phát triển không ngừng về lĩnh vực này 2.1.3.2 Tình hình nghiên cứu về công nghệ CNN ở Việt Nam Công nghệ mạng nơron tế bào CNN cũng sớm được tiếp cận và triển khai nghiên cứu ở Việt Nam, trong đó Viện Công nghệ thông tin- Viện Khoa học & Công nghệ Việt nam là đơn vị tiên phong đi đầu Hơn một năm qua Viện công nghệ thông tin đã có nhiều nghiên cứu về công nghệ mạng nơron tế bào trên... và được ứng dụng trong nhiều ngành, nhiều lĩnh vực khác nhau như:  Quân sự  Viễn thông  Máy tính song song  Các lĩnh vực khoa học  Khoa học nhận dạng  Xử lý tín hiệu  Điều khiển tự động và rô bốt  Ngân hàng, hàng không SVTH Đặng Thị Tho 26 Mạng nơron tế bào và ứng dụng trong xử lý ảnh CHƯƠNG 2 MẠNG NƠRON TẾ BÀO CNN 2.1 Tổng quan về mạng nơ ron tế bào 2.1.1 Giới thiệu về mạng nơ ron tế bào Mạng. .. thời gian vừa qua tập trung vào các vấn đề sau đây: Về nghiên cứu cơ bản:  Nghiên cứu về cơ sở toán học của mạng nơron tế bào CNN, cấu trúc động lực học phi tuyến và độ ổn định toàn cục của mạng CNN SVTH Đặng Thị Tho 35 Mạng nơron tế bào và ứng dụng trong xử lý ảnh  Nghiên cứu các mẫu ma trận trọng liên kết (A, B, z) phương pháp thiết kế các mẫu cho mạng CNN  Nghiên cứu các phương pháp giải phương... phân đạo hàm riêng sử dụng mạng nơron tế bào  Nghiên cứu các phương pháp thu thập, nhận dạng và bám đa mục tiêu di động trong thời gian thực sử dụng mạng CNN  Nghiên cứu mô hình mắt nhân tạo  Nghiên cứu các phương pháp thu thập và xử lý ảnh tốc độ cao sử dụng máy tính thị giác Bi-I Về nghiên cứu thực nghiệm  Nghiên cứu các công cụ và phương pháp lập trình phát triển các hệ xử lý ảnh tốc độ cao trên... nơron nhảy qua một lớp Lớp vào Nơron vào Lớp ẩn Nơron ra b) Mạng nơron truyền thẳng Lớp ra a) Mạng nơron nhiều lớp Hình 1.5 Mạng nơron truyền thẳng và nhiều lớp Hình 1.6 Mạng nơron hồi qui SVTH Đặng Thị Tho 24 Mạng nơron tế bào và ứng dụng trong xử lý ảnh Dễ thấy các nơron cùng một lớp nhận được tín hiệu từ lớp trên cùng một lúc, do vậy về nguyên tắc chúng có thể xử lý song song Thông thường, lớp nơron