Phân vùng ảnh nhờ sát nhập các miền động

Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ––––––––––––––––––––––––––– NGUYỄN THANH TÙNG PHÂN VÙNG ẢNH NHỜ SÁT NHẬP CÁC MIỀN ĐỘNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Ngƣời hƣớng dẫn khoa học: TS. ĐÀO NAM ANH Thái Nguyên - 2013 Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/ i LỜI CAM ĐOAN Tôi xin cam đoan luận văn là kết quả nghiên cứu của tôi, không sao chép của ai. Nội dung luận văn có tham khảo và sử dụng các tài liệu liên quan, các thông tin trong tài liệu được đăng tải trên các tạp chí và các trang website theo danh mục tài liệu của luận văn. Tác giả luận văn Nguyễn Thanh Tùng Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/ ii LỜI CẢM ƠN Lời đầu tiên, Em xin chân thành cảm ơn đến các Thầy bộ môn đã trực tiếp dạy dỗ Em như Thầy PGS.TS Ngô Quốc Tạo, PGS.TSKH Nguyễn Xuân Huy, PGS.TS Đỗ Năng Toàn,…đã giúp Em có kiến thức và ý tưởng cho luận văn. Em xin cảm ơn các Thầy trong hội đồng bảo vệ đề cương đã góp ý, giúp Em có những thay đổi phù hợp hơn trong luận văn này. Em xin cảm ơn trường đại học công nghệ thông tin và truyền thông - Đại học Thái Nguyên đã tạo rất nhiều điều kiện thuận lợi cho Em. Đặc biệt, Em xin cảm ơn Thầy TS. Đào Nam Anh đã trực tiếp hướng dẫn, giúp đỡ và tận tình chỉ bảo Em trong suốt thời gian từ khi có ý tưởng cho luận văn đến khi hoàn thành luận văn này. Tác giả luận văn Nguyễn Thanh Tùng Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/ iii MỤC LỤC Lời cam đoan i Lời cảm ơn ii Mục lục iii Danh mục các thuật ngữ, các từ viết tắt v Danh mục các hình vẽ, đồ thị vi MỞ ĐẦU 1 Chƣơng 1: TỔNG QUAN VỀ PHÂN VÙNG ẢNH, CÁC THUẬT TOÁN PHÁT TRIỂN VÙNG 4 1.1. Tổng quan về phân vùng ảnh 4 1.1.1. Phương pháp phân vùng theo ngưỡng 5 1.1.2. Phương pháp phân vùng dựa vào cạnh 5 1.1.3. Kỹ thuật phân cụm 5 1.1.4. Phương pháp dựa vào vùng 6 1.2. Các thuật toán dựa vào vùng 6 1.2.1. Phát triển vùng từ các hạt 6 1.2.2. Phát triển vùng không dùng hạt 7 1.2.3. Tách và sát nhập vùng 8 1.3. Phân vùng ảnh không giám sát đối với các vùng màu 10 1.3.1. Tiêu chí phân vùng ảnh 10 1.3.2. Thuật toán JSEG 12 1.3.4. Thuật toán quét nhanh 14 1.4. Kết luận chương 1 16 Chƣơng 2: THUẬT TOÁN PHÂN VÙNG ẢNH SÁT NHẬP CÁC MIỀN ĐỘNG 18 2.1. Phân vùng ảnh bằng cách sát nhập các miền động 18 Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/ iv 2.1.1. Bước chuẩn bị trước khi sát nhập miền 21 2.1.2. Kiểm tra tính tương đồng các đặc tính của superpixel 24 2.1.3. Sát nhập miền động 27 2.2. Tăng tốc thuật toán bằng đồ thị lân cận gần nhất 32 2.3. Độ phức tạp thuật toán DRM 34 2.4. Ứng dụng của thuật toán DRM 35 2.5. Kết luận chương 2 35 Chƣơng 3: CÀI ĐẶT THỬ NGHIỆM 36 3.1. Môi trường cài đặt 36 3.2. Lựa chọn các thông số 36 3.3. Kết quả thực nghiệm 37 3.4. Đánh giá chất lượng phân vùng 43 3.5. Kết luận chương 3 43 KẾT LUẬN 45 TÀI LIỆU THAM KHẢO 46 Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/ v DANH MỤC CÁC THUẬT NGỮ, CÁC TỪ VIẾT TẮT Boundary-based methods Phương pháp biên Clustering Phân nhóm/cụm Dissimilarity Khác biệt Dynamic region merging DRM Sát nhập các miền động Edge-Based Segmentation Method Phân vùng dựa vào cạnh Gradient Độ dốc Grow region Phát triển vùng ảnh Over-segmentation Phân vùng quá Region splitting and merging Tách vùng và sát nhập vùng Region-based methods Phương pháp miền Screen resolution Độ phân giải màn hình Seeded region growing SRG Phát triển vùng từ các hạt Sensor Cảm ứng Similarity Giống nhau Superpixel Điểm ảnh lớn Unseed region growing URG Phát triển vùng không dùng hạt Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/ vi DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1: Các kiểu kỹ thuật phân vùng 4 Hình 1.2: Biểu đồ xám và ngưỡng T 5 Hình 1.3: (a) Cấu trúc lược đồ hình cây, trong đó R đại diện cho toàn bộ vùng ảnh. (b) Phân vùng ảnh tương ứng 9 Hình 1.4: Một ví dụ về các lớp bản đồ khác nhau và giá trị J tương ứng của chúng. "+", "O", và "#" đại diện cho ba lớp của các điểm dữ liệu 11 Hình 1.5: Sơ đồ luồng các bước trong JSEG 12 Hình 1.6: Phân vùng ảnh của ảnh mức xám sử dụng JSEG 14 Hình 2.1: Một ví dụ về phân vùng và trên đồ thị liền kề miền tương ứng (RAG) 22 Hình 2.2: Một ví dụ mà P vị từ giữa R 1 và R 2 đều phù hợp 23 Hình 2.3: Quá trình sát nhập miền động như một con đường ngắn nhất trong một đồ thị phân lớp 30 Hình 2.4: Một NNG của RAG trong hình 2.1 và một chu kỳ trong NNG 32 Hình 2.5: Một ví dụ về NNG sửa đổi. Đường đứt nét đại diện cho các cạnh RAG, khi đường kẻ trực tiếp đại diện cho cạnh NNG 34 Hình 3.1: Phân vùng với sát nhập động với các lamda = 0.2, 0.6 37 Hình 3.2: Các miền lân cận với màu sắc thống nhất được sát nhập 38 Hình 3.3: Phân vùng “thấp” – under segment 39 Hình 3.4: Biên được nằm trên các địa điểm thích hợp 39 Hình 3.5: Có thể sát nhập các miền với biên có độ tương phản ngắn 40 Hình 3.6: DRM có thể bỏ đi một số biên dài nhưng yếu 40 Hình 3.7: Một số miền lớn có các biến thể đáng kể bên trong 41 Hình 3.8: Phân vùng với sát nhập động, Phân vùng “thấp” – under segment 41 Hình 3.9: Ví dụ lỗi của phương pháp DRM 42 Hình 3.10: So sánh với một số phương pháp 42 1 MỞ ĐẦU Thông tin ảnh đóng vai trò quan trọng trong hầu hết mọi lĩnh vực của cuộc sống. Ngày nay, thông tin ảnh được xử lý bằng kỹ thuật số. Xử lý ảnh (XLA) là một trong những chuyên ngành quan trọng và lâu đời của Công nghệ thông tin được áp dụng trong các ứng dụng khác nhau, từ truyền hình đến chụp cắt lớp, từ nhiếp ảnh đến in ấn, từ robot đến cảm biến từ xa. Để xử lý được một ảnh thì phải trải qua nhiều bước, nhưng bước quan trọng và khó khăn nhất đó là phân vùng ảnh. Nếu bước phân vùng ảnh không tốt thì dẫn đến việc nhận diện sai lầm về các đối tượng có trong ảnh. Hiện nay đã có nhiều thuật toán được đề xuất để giải quyết bài toán phân vùng ảnh. Các thuật toán trên hầu hết đều dựa vào hai thuộc tính quan trọng của mỗi điểm ảnh so với các điểm lân cận của nó, đó là: sự khác biệt (dissimilarity) và giống nhau (similarity). Các phương pháp dựa trên sự khác nhau của các điểm ảnh được gọi là các phương pháp biên (boundary-based methods), còn các phương pháp dựa trên sự giống nhau của các điểm ảnh được gọi là phương pháp miền (region- based methods). Phát triển vùng ảnh là một cách tiếp cận để phân vùng ảnh, trong đó các điểm ảnh lân cận được kiểm tra và gán vào vùng ảnh nếu không phát hiện được biên. Quá trình này được lặp cho mỗi điểm ảnh nằm ở biên của vùng ảnh. Nếu tìm thấy được các vùng lân cận, thuật toán sát nhập vùng được áp dụng, trong đó đường biên yếu được giải thể và đường biên mạnh được giữ lại. Phát triển vùng ảnh (grow region) có một số lợi thế hơn các kỹ thuật phân vùng thông thường. Không giống như các phương pháp gradient và Laplacian, đường biên của các vùng ảnh tìm thấy bằng cách phát triển vùng là rất mỏng và được kết nối. Thuật toán cũng rất ổn định đối với nhiễu ảnh. 2 Phương pháp phát triển vùng ảnh thường sử dụng các vùng đầu tiên như là một bước tiền xử lý cho phân vùng ảnh. Vùng đầu tiên có thể chỉ là các điểm ảnh thông thường mà cũng có thể là các điểm ảnh lớn - Superpixels. Điểm ảnh lớn là một nhóm điểm ảnh ở cạnh nhau và có đặc tính tương đồng. Superpixels được dùng để đánh giá độ sâu của ảnh, phân vùng ảnh, phát hiện đối tượng trong ảnh, và thường được áp dụng cho ảnh màu. Luận văn tập trung hướng việc phân vùng ảnh thành các đối tượng lớn bằng thuật toán sát nhập các vùng động, mà các vùng động ban đầu là các điểm ảnh lớn. Phương pháp phân vùng này có hai lợi thế. Trước tiên, các miền tiếp tục có thêm thông tin mô tả bản chất của đối tượng. Thứ hai, số lượng của các vùng đầu tiên ít hơn số điểm ảnh trong một ảnh và do đó làm tăng tốc độ sát nhập miền. Bắt đầu từ một tập hợp của các vùng đầu tiên, phân vùng được thực hiện bằng việc tiếp tục sát nhập các miền lân cận tương tự theo một điền kiện xác định. Đó là ý tưởng thuật toán phân vùng ảnh bằng cách sát nhập các miền động (Dynamic Region Merging – DRM) Mục đích chính của luận văn là nắm được các hướng tiếp cận chính trong phân vùng, đặc biệt là phân vùng theo cách phát triển vùng. Luận văn sẽ tập trung tìm hiểu và trình bày thuật toán phân vùng ảnh màu bằng cách sát nhập các miền động, có khả năng tăng tốc độ tính toán. Ngoài phần mở đầu và kết luận, luận văn được chia làm 3 chương, cụ thể nội dung các chương như sau: Chương 1: Tổng quan về phân vùng ảnh, các thuật toán phát triển vùng: Các khái niệm cơ bản trong xử lý ảnh, Ảnh và điểm ảnh, Quan hệ giữa các điểm ảnh, Mức xám của ảnh. Các mô hình phân vùng ảnh: theo ngưỡng, theo biên và theo vùng. Trong nhóm phân vùng theo miền, các thuật toán phát triển vùng sẽ được phân tích kỹ hơn. 3 Chương 2: Thuật toán phân vùng ảnh sát nhập các miền động: Phương pháp phát triển vùng ảnh thường sử dụng các vùng đầu tiên như là một bước tiền xử lý cho phân vùng ảnh. Một thuật toán hiệu quả phát triển vùng sử dụng các điểm ảnh lớn làm các vùng ban đầu sẽ được mô tả và phân tích. Các vùng ảnh sẽ được phát triển lớn lên bằng cách sát nhập các vùng liền kề với nhau. Chương 3: Kết quả thực nghiệm. Cài đặt thuật toán phân vùng ảnh màu, sát nhập các miền động bằng ngôn ngữ C++. [...]... là phân loại nghiêm ngặt các cách phân vùng ảnh [1,2,3,4] Các loại phương pháp phân vùng ảnh sau đây hay được sử dụng: 1 Phân vùng dựa vào ngưỡng 2 Phân vùng dựa vào cạnh 3 Phân vùng dựa vào phát triển vùng 4 Kỹ thuật phân nhóm Các mục tiếp theo giới thiệu một số kỹ thuật trên Các kiểu kỹ thuật phân vùng Dựa vào ngưỡng Dựa vào vùng Dựa vào cạnh Phát triển vùng Gradient Laplacien Mục đích chung Phân. .. phân nhóm có thể dễ dàng được áp dụng cho phân vùng ảnh [19,20,21] 6 1.1.4 Phương pháp dựa vào vùng Các phân vùng dựa trên vùng là phân vùng của một ảnh vào các vùng tương đồng / đồng nhất của các điểm ảnh được kết nối thông qua việc áp dụng các tiêu chuẩn đồng nhất / giống nhau giữa các tập đại diện của các điểm ảnh Mục 1.2 sẽ phân tích chi tiết về các phương pháp này 1.2 Các thuật toán dựa vào vùng. .. Ngoài ra, các tiêu chí sát nhập có thể là khác với các tiêu chí phân chia Nhƣợc điểm: Thuật toán có thể tạo ra các phân vùng ảnh dạng ô vuông đều Vấn đề phân vùng ảnh ô vuông có thể được giảm bằng cách chia tách ở cấp độ cao hơn, nhưng thời gian tính toán sẽ phát sinh 10 1.3 Phân vùng ảnh không giám sát đối với các vùng màu Hạn chế của phân vùng ảnh không giám sát là không rõ ràng bởi vì các đối tượng... là các thuật toán k-means Kết quả phân lớp 17 thuật toán thay đổi giá trị trung bình là tốt, nhưng chi phí mất nhiều thời gian tính toán Phương pháp phân vùng dựa trên cạnh, đặc biệt là đập nước, có vấn đề phân vùng, do đó thường kết hợp các công cụ đánh dấu và đường nước chảy để khắc phục vấn đề phân vùng 18 Chƣơng 2 THUẬT TOÁN PHÂN VÙNG ẢNH SÁT NHẬP CÁC MIỀN ĐỘNG 2.1 Phân vùng ảnh bằng cách sát nhập. .. hiện sát nhập miền Khi quá trình sát nhập là nội bộ, hiện tại hầu hết các thuật toán có khó khăn với một số quá trình tối ưu hoàn toàn 2.1.1 Bước chuẩn bị trước khi sát nhập miền Phân vùng ảnh động có thể được hiểu như một vấn đề suy luận Ví dụ, ta có thể quan sát màu trong một ảnh, được tạo ra bởi một số nguyên tắc không rõ ràng Trong bối cảnh phân vùng ảnh, quan sát một ảnh được đưa ra nhưng phân vùng. .. một ảnh chưa được phân vùng, có nhiều miền được sát nhập cho một phân vùng có nghĩa Bằng cách lấy sát nhập miền như là một vấn đề ghi nhãn, mục tiêu là để phân công mỗi miền một nhãn để các miền thuộc về cùng một đối tượng sẽ có cùng một nhãn Có hai nhãn quan trọng đối với một miền Ri : các nhãn ban đầu li0, mà được quyết định bởi các phân vùng đầu và nhãn cuối lin, được giao cho miền khi quá trình sát. .. quy mô nhỏ nhất, các điểm ảnh còn lại được phát triển lần lượt Các điểm ảnh còn lại đều được sắp xếp bởi các giá trị J cục bộ Các điểm ảnh được gán để gieo hạt lân cận của nó để từ giá trị J cục bộ nhỏ nhất tới giá trị lớn nhất 14 1.3.3.3 Sát nhập vùng Các phân vùng từ phát triển hạt có vấn đề phân vùng quá mức (oversegment) Sát nhập vùng là để giải quyết vấn đề này Các vùng được sát nhập dựa trên sự... đập nước được sát nhập cho đến khi chúng thuộc về miền gần như đồng nhất Trong chương này, thực hiện các thuật toán phân vùng theo cách sát nhập miền phù hợp với hiệu quả sử dụng, các miền lân cận tương tự được lặp sát nhập theo cách sát nhập mới Như đã nêu ở trên, tiêu chuẩn đồng nhất (dấu hiệu) là cần thiết cho quá trình sát nhập miền Tuy một dấu hiệu tốt là cần thiết để có được một phân vùng có giá... 6: Quay lại bước 2 2.1.3 Sát nhập miền động 2.1.3.1 Thuật toán sát nhập miền động Phần này giải thích thuật toán sát nhập miền như là một quá trình sát nhập miền động (DRM), được đề xuất để giảm thiểu hàm mục tiêu với vị từ sát nhập P được xác định trong phương trình (3) Như đã đề cập, các thuật toán DRM đề xuất được bắt đầu từ một tập hợp các vùng ban đầu Điều này là do một miền nhỏ có thể cung cấp... luồng các bƣớc trong JSEG Theo các đặc tính của giá trị J, phương pháp phát triển vùng sửa đổi có thể được ứng dụng để phân vùng ảnh Thuật toán bắt đầu việc phân vùng ảnh ở mức độ lớn nhất Sau đó lặp lại quá trình tương tự trên các vùng được phân vùng ảnh mới ở mức độ tiếp theo nhỏ hơn Sau khi kết thúc việc phân vùng ảnh cuối cùng ở mức độ nhỏ nhất, việc sát nhập vùng tuân theo việc phát triển vùng . 14 1.4. Kết luận chương 1 16 Chƣơng 2: THUẬT TOÁN PHÂN VÙNG ẢNH SÁT NHẬP CÁC MIỀN ĐỘNG 18 2.1. Phân vùng ảnh bằng cách sát nhập các miền động 18 Số hóa bởi trung tâm học liệu http://www.lrc.tnu.edu.vn/. trong ảnh, và thường được áp dụng cho ảnh màu. Luận văn tập trung hướng việc phân vùng ảnh thành các đối tượng lớn bằng thuật toán sát nhập các vùng động, mà các vùng động ban đầu là các điểm ảnh. toán phân vùng ảnh màu, sát nhập các miền động bằng ngôn ngữ C++. 4 Chƣơng 1 TỔNG QUAN VỀ PHÂN VÙNG ẢNH, CÁC THUẬT TOÁN PHÁT TRIỂN VÙNG 1.1. Tổng quan về phân vùng ảnh