Phân cụm dữ liệu cho nhận dạng ảnh sử dụng mạng nơron

1 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÙI ĐỨC VIỆT PHÂN CỤM DỮ LIỆU CHO NHẬN DẠNG ẢNH SỬ DỤNG MẠNG NƠRON LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN, NĂM 2012 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI CẢM ƠN Trƣớc tiên em gửi lời cảm ơn chân thành sâu sắc tới thầy cô giáo Viện Công nghệ thông tin Việt Nam, thầy cô trƣờng Đại học Công nghệ thông tin & Truyền thông - Đại học Thái Nguyên tận tình truyền đạt, giảng dạy cho em kiến thức, kinh nghiện quý báu suốt thời gian qua Đặc biệt em xin gửi lời cảm ơn đến PGS.TS Lê Bá Dũng tận tình giúp đỡ, trực tiếp bảo em suốt thời gian làm luận văn Trong thời gian làm việc với Thầy, em tiếp thu thên nhiều kiến thức bổ ích mà học đƣợc tinh thần làm việc, thái độ nghiên cứu khoa học nghiêm túc, hiệu Đây điều cần thiết cho em trình học tập công tác Sau xin gửi lời cảm ơn chân thành tới gia đình, bạn bè động viên, đóng góp ý kiến giúp đỡ trình học tâp, nghiên cứu hoàn thành đề tài Thái Nguyên, tháng 10 năm 2012 Học viên Bùi Đức Việt Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỤC LỤC MỤC LỤC DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ LỜI NÓI ĐẦU CHƢƠNG GIỚI THIỆU VỀ KHAI PHÁ DỮ LIỆU 11 1.1 Khái niệm khai phá liệu 11 1.2 Kiến trúc hệ thống khai phá liệu 11 1.3 Các giai đoạn trình khai phá 13 1.4 Các phƣơng pháp khai phá liệu 14 1.5 Các sở liệu phục vụ cho khai phá liệu 16 1.6 Các ứng dụng khai phá liệu 17 1.7 Các thách thức khó khăn khai phá liệu 17 1.8 Mạng nơron cho khai phá liệu 18 CHƢƠNG TỔNG QUAN VỀ PHÂN CỤM DỮ LIỆU 20 2.1 Khái niệm mục tiêu phân cụm liệu 20 2.1.1 Khái niệm phân cụm liệu 20 2.1.1.1 Mục tiêu phân cụm liệu 20 2.1.1.2 Các yêu cầu kỹ thuật phân cụm liệu 21 2.1.1.3 Các kiểu liệu thuộc tính phân cụm 23 2.2.Một số thuật toán phân cụm liệu 25 2.2.1 Các thuật toán phân cụm phân hoạch 25 2.2.2 Các thuật toán phân cụm phân cấp 31 2.2.3.Các thuật toán phân cụm dựa mật độ 33 2.2.4.Phân cụm dựa lƣới 34 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2.2.5.Phân cụm dựa mô hình 35 2.2.6 Phân cụm có liệu ràng buộc 36 2.3 Phân cụm cụm mờ 37 2.3.1 Tổng quan phân cụm mờ 37 2.3.2 Các thuật toán phân cụm mờ 38 CHƢƠNG 3: ỨNG DỤNG MẠNG NƠRON KOHONEN CHO PHÂN CỤM DỮ LIỆU 42 3.1 Giới thiệu chung mạng nơron 42 3.1.2 Mô hình Nơron sinh học 42 3.1.3 Mô hình Nơron nhân tạo 44 3.1.4 Mô hình Mạng Nơron nhân tạo 46 3.1.5 Đặc trƣng Mạng Nơron 50 3.1.6 Phân loại mạng 51 3.2.3 Thuật toán mạng SOM 59 3.2.4 Một vài biến thể giải thuật SOM 65 3.2.5 Một số ứng dụng SOM 66 CHƢƠNG 4: CÀI ĐẶT CHƢƠNG TRÌNH THỬ NGHIỆM 67 4.1 Giới thiệu 67 4.2 Mạng Nơron SOM cho phân cụm ảnh 68 Thiết kế mạng 68 Thuật toán học mạng 68 4.2 Giới thiệu môi trƣờng cài đặt 70 4.3 Giới thiệu giao diện chƣơng trình 70 4.3.1 Thử nghiệm 70 4.3.2 Thử nghiệm 73 4.4 Hạn chế giải thuật SOM áp dụng phân cụm màu ảnh 74 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 77 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn TÀI LIỆU THAM KHẢO 77 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT CSDL Cơ sở liệu PCDL Phân cụm liệu KPDL Khai phá liệu BNU Phần tử nơron chiến thắng MLP MultiLayer Perception BAM Bidirectional Associative Memory SOM Self Organizing Map VQ Vector Quantization LVQ Learning Vector Quantization MST Minimal Spanning Tree Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn DANH MỤC CÁC HÌNH VẼ Trang Hình 1.1: Kiến trúc hệ thống khai phá liệu 11 Hình 1.2: Quá trình khai phá liệu 12 Hình 2.1 : Biểu đồ dạng liệu 22 Hình 2.2: biểu đồ quy mô liệu 22 Hình 2.3: Cấu trúc phân cấp 27 Hình 2.4: Các cách mà cụm đƣa 28 Hình 2.5: Thiết lập để xác định danh giới cụm ban đầu 30 Hình 2.6: Tính toán trọng tâm cụm 31 Hình 2.7: Khái quát thuật toán Cure 36 Hình 2.8: Các cụm liệu đƣợc khám phá thuật toán Cure 37 Hình 2.9: Hình dạng cụm đƣợc tạo thuật toán DBSCAN 38 Hình 3.1: Mô hình nơron sinh học 49 Hình 3.2: Mô hình nơron nhân tạo 53 Hình 3.2: Mô hình mạng nơron lớp 52 Hình 3.3: Mô hình học giám sát 55 Hình 3.4: Mô hình học không giám sát 55 Hình 3.5: Mô hình mạng perceptron lớp 58 Hình 3.6: Mô hình Mạng perceptron nhiều lớp 58 Hình 3.7: Mô hình mạng hồi quy lớp 59 Hình 3.8: Cấu trúc mạng Hopfield 60 Hình 3.9: Cấu trúc mạng BAM 60 Hình 3.10: Mô hình Mạng Nơron Kohonen 63 Hình 3.11: Mô hình Mạng Nơron Kohonen thông thƣờng 65 Hình 3.12: Phần tử nơron chiến thắng BMU 66 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn Hình 3.13: Các vùng lân cận 67 Hình 4.1: Giao diện chƣơng trình 69 Hình 4.2: Khởi tạo mạng ngẫu nhiên 70 Hình 4.3: Xác định BMU 70 Hình 4.4: Kết gom cụm 71 Hình 4.5: Giao diện chọn ảnh để phân cụm 71 Hình 4.6: Kết sau phân cụm 72 Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI NÓI ĐẦU Sự phát triển công nghệ thông tin việc ứng dụng công nghệ thông tin nhiều lĩnh vực đời sống, kinh tế xã hội nhiều năm qua đồng nghĩa với lƣợng liệu đƣợc quan thu thập lƣu trữ ngày tích lũy nhiều lên Nếu cho rằng, điện tử truyền thông chất khoa học điện tử liệu, thông tin, tri thức tiêu điểm lĩnh vực để nghiên cứu ứng dụng, khám phá tri thức khai phá liệu Thông thƣờng, coi liệu chuỗi bits, số ký hiệu hay đối tƣợng với ý nghĩa gửi cho chƣơng trình dƣới dạng định Các bít thƣờng đƣợc sử dụng để đo thông tin, xem nhƣ liệu loại bỏ phần tử dƣ thừa, lặp lại rút gọn tới mức tối thiểu để đặc trƣng cách cho liệu Tri thức đƣợc xem nhƣ thông tin tích hợp, bao gồm kiện mối quan hệ chúng đƣợc nhận thức, khám phá nghiên cứu Nói cách khác, tri thức đƣợc coi liệu mức độ cao trừu tƣợng tổng quát Khám phá tri thức hay phát tri thức CSDL quy trình nhận biết mẫu mô hình liệu với tính năng: phân tích, tổng hợp, hợp thức, khả ích hiểu đƣợc Khai phá liệu bƣớc trình khám phá tri thức, gồm thuật toán khai thác liệu chuyên dùng dƣới số quy định hiệu tính toán chấp nhận đƣợc để tìm mẫu mô hình liệu Nói cách khác, mục tiêu khai phá liệu tìm kiếm mẫu mô hình tồn CSDL nhƣng ẩn khối lƣợng lớn liệu Phân cụm liệu (PCDL) trình nhóm tập đối tƣợng tƣơng tự tập liệu vào cụm cho đối tƣợng thuộc cụm tƣơng đồng đối tƣợng thuộc cụm khác không tƣơng đồng Phân cụm Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 10 liệu ví dụ phƣơng pháp học thầy Không giống nhƣ phân lớp liệu, phân cụm liệu không đòi hỏi phải định nghĩa trƣớc mẫu liệu huấn luyện Vì thế, coi phân cụm liệu cách học quan sát, phân lớp liệu học ví dụ… Hiện nay, phƣơng pháp phân cụm đƣợc phát triển áp dụng nhiều lĩnh vực khác có số nhánh nghiên cứu đƣợc phát triển sở phƣơng pháp nhƣ: Phân cụm thống kê: Dựa khái niệm phân tích hệ thống, nhánh nghiên cứu sử dụng độ đo tƣơng tự để phân hoạch đối tƣợng, nhƣng chúng áp dụng cho liệu có thuộc tính số Phân cụm khái niệm: Kỹ thuật đƣợc phát triển áp dụng cho liệu hạng mục, chúng phân cụm đối tƣợng theo khái niệm mà chúng xử lí Phân cụm mờ: Sử đụng kỹ thuật mờ để PCDL Các thuật toán thuộc loại lƣợc đồ phân cụm thích hợp với tất hoạt động đời sống hàng ngày, chúng xử liệu không chắn Luận văn gồm có chƣơng: Chương 1: Giới thiệu khai phá liệu Chương 2: Tổng quan phân cụm liệu Chương 3: Ứng dụng mạng Nơron Kohonen cho phân cụm liệu Chương 4: cài đặt thử nghiệm Luận văn trình bày số vấn đề phân cụm - kỹ thuật để khai phá liệu ứng dụng phân cụm cho nhận dạng ảnh sử dụng mạng nơron Đây hƣớng nghiên cứu có triển vọng sơ lƣợc việc hiểu khai thác CSDL khổng lồ, khám phá thông tin hữu ích ẩn liệu; hiểu đƣợc ý nghĩa thực tế liệu ứng dụng vào toán cụ thể Số hóa Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read data error !!! can't not read ... dụng mạng Nơron Kohonen cho phân cụm liệu Chương 4: cài đặt thử nghiệm Luận văn trình bày số vấn đề phân cụm - kỹ thuật để khai phá liệu ứng dụng phân cụm cho nhận dạng ảnh sử dụng mạng nơron. .. VỀ PHÂN CỤM DỮ LIỆU 20 2.1 Khái niệm mục tiêu phân cụm liệu 20 2.1.1 Khái niệm phân cụm liệu 20 2.1.1.1 Mục tiêu phân cụm liệu 20 2.1.1.2 Các yêu cầu kỹ thuật phân cụm. .. nhƣ phân lớp liệu, phân cụm liệu không đòi hỏi phải định nghĩa trƣớc mẫu liệu huấn luyện Vì thế, coi phân cụm liệu cách học quan sát, phân lớp liệu học ví dụ… Hiện nay, phƣơng pháp phân cụm đƣợc