Nghiên cứu và hệ thống một số phương pháp phân đoạn ảnh

LỜI CẢM ƠN Lời em xin bày tỏ lịng biết ơn sâu sắc tới thầy PGS.TS Ngơ Quốc Tạo, Viện Công Nghệ Thông Tin – Viện Khoa Học Cơng Nghệ Việt Nam, người tận tình hướng dẫn, bảo, giúp đỡ em hoàn thành đồ án tốt nghiệp Em xin gửi lời cảm ơn chân thành đến Thầy PGS.TS Đỗ Năng Tồn, Viện Cơng Nghệ Thơng Tin - Viện Khoa Học & Công Nghệ Việt Nam Em xin gửi lời cảm ơn chân thành đến thầy cô giáo môn Công nghệ thông tin trường Đại học Dân Lập Hải Phòng nhiệt tình giảng dạy, truyền đạt kiến thức cho em suốt năm học qua Cuối em xin gửi lời cảm ơn đến gia đình, bạn bè người động viên giúp đỡ em nhiều suốt trình học tập trường trình làm đồ án Hải Phòng , tháng năm 2019 Sinh viên MỤC LỤC LỜI CẢM ƠN LỜI MỞ ĐẦU CHƯƠNG TỔNG QUAN XỬ LÝ ẢNH 1.1 Giới thiệu vể xử lý ảnh 1.2 Quá trình xử lý ảnh 1.3 Tổng quan phân đoạn ảnh 1.4 Một số khái niệm 10 1.4.1 Điểm ảnh – Pixel 10 1.4.2 Mức xám - Gray level 10 1.4.3 Biên 10 1.4.4 Láng giềng 11 1.4.5 Vùng liên thông 11 1.4.6 Biểu diễn ảnh 11 1.4.7 Tăng cường khôi phục ảnh 12 1.4.8 Biến đổi ảnh 12 1.4.9 Phân tích ảnh 12 1.4.10 Nhận dạng ảnh 12 1.4.11 Nén ảnh 12 1.5 Các định dạng xử lý ảnh 12 CHƯƠNG PHÂN ĐOẠN ẢNH DỰA VÀO NGƯỠNG 13 2.1 Giới thiệu chung 13 2.2 Chọn ngưỡng cố định 14 2.3 Chọn ngưỡng dựa lược đồ (Histogram) 15 2.3.1 Thuật toán đẳng liệu 15 2.3.2 Thuật toán đối xứng 15 2.3.3 Thuật toán tam giác 17 2.3.4 Chọn ngưỡng Bimodal Histogram 17 2.4 Phân ngưỡng tối ưu dựa không ổn định lớp tính đồng vùng 19 2.4.1 Giới thiệu 19 2.4.2 Cơ sở lý thuyết thuật toán 20 CHƯƠNG PHÂN ĐOẠN THEO MIỀN ĐỒNG NHẤT 33 3.1 Giới thiệu 33 3.2 Phương pháp tách tứ phân 34 3.3 Phương pháp phân vùng hợp 37 3.4 Phương pháp tách hợp ( Split- Meger) 38 3.5 Nhận xét 39 CHƯƠNG PHÂN ĐOẠN DỰA VÀO ĐỒ THỊ 40 4.1 Giới thiệu 40 4.2 Phân đoạn dựa vào đồ thị 41 4.3 Tính chất so sánh cặp miền 42 4.4 Thuật tốn tính chất 43 4.5 Nhận xét 49 CHƯƠNG CÀI ĐẶT THỬ NGHIỆM 50 5.1 Thuật toán Đẳng liệu : 50 5.2 Thuật toán Tam giác : 54 5.3 Thuật toán GraphBased : 57 5.4 Kết đạt 60 KẾT LUẬN 62 TÀI LIỆU THAM KHẢO 65 LỜI MỞ ĐẦU Cùng với phát triển ngày mạnh mẽ khoa học kĩ thuật vài thập kỷ gần đây, xử lý ảnh ngành khoa học tương đối mẻ so với nhiều ngành khoa học khác lĩnh vực phát triển nhanh thu hút quan tâm đặc biệt từ nhà khoa học, thúc đẩy trung tâm nghiên cứu, ứng dụng lĩnh vực hấp dẫn Điều hồn tồn lý giải từ định nghĩa đơn giản: Xử lý ảnh ngành khoa học nghiên cứu trình xử lý thơng tin dạng hình ảnh, mà hình ảnh dạng thông tin vô phong phú, đa dạng phương tiện giao tiếp, trao đổi chủ yếu người Thơng tin hình ảnh ngày xử lý dễ dàng máy tính, thế, năm gần kết hợp ảnh đồ hoạ trở nên chặt chẽ lĩnh vực xử lý thông tin Mục tiêu xử lý ảnh thường là: - Xử lý ảnh ban đầu để có ảnh theo yêu cầu xác định (ví dụ ảnh mờ cần xử lý để ảnh rõ hơn) - Phân tích ảnh để thu thông tin đặc trưng giúp cho việc phân loại, nhận biết ảnh (ví dụ phân tích ảnh vân tay để trích chọn đặc trưng vân tay) - Hiểu ảnh đầu vào để có mô tả ảnh mức cao hơn, sâu (ví dụ từ ảnh tai nạn giao thơng phác họa trường tai nạn) Qua đó, ta thấy xử lý ảnh đóng vai trị quan trọng ứng dụng thực tế khoa học kĩ thuật sống thường ngày Những ứng dụng dường vô hạn với khám phá người phát triển vũ bão cơng nghệ số hóa, chẳng hạn, lĩnh vực như: sản xuất kiểm tra chất lượng, di chuyển Robot, phương tiện lại tự trị, công cụ hướng dẫn cho người mù, an ninh giám sát, nhận dạng đối tượng, nhận dạng mặt, ứng dụng y học, sản xuất, hiệu chỉnh Video, chinh phục vũ trụ… Để xử lý ảnh phải trải qua nhiều khâu khác tùy theo mục đích việc xử lý, khâu quan trọng khó khăn phân đoạn ảnh Trong số lượng lớn ứng dụng xử lý ảnh hiển thị máy tính, phân đoạn đóng vai trị yếu bước trước áp dụng thao tác xử lý ảnh mức cao như: nhận dạng, giải thích ngữ nghĩa, biểu diễn ảnh Nếu bước phân đoạn ảnh khơng tốt dẫn đến việc nhận diện sai lầm đối tượng có ảnh Phân đoạn ảnh vấn đề nhận nhiều quan tâm lĩnh vực xử lý ảnh Trong khoảng 30 năm trở lại có nhiều thuật tốn đề xuất để giải toán Các thuật tốn hầu hết dựa vào hai thuộc tính quan trọng điểm ảnh so với điểm lân cận nó, là: khác nhau(dissimilarity) giống (similarity) chúng Các phương pháp dựa khác điểm ảnh gọi phương pháp biên (boundary-based methods), phương pháp dựa giống điểm ảnh gọi phương pháp miền (region-based methods) Tuy nhiên, thuật toán theo hai hướng chưa cho kết phân đoạn tốt, hai loại phương pháp nắm bắt thuộc tính cục ảnh Do đó, thời gian gần đây, việc tìm thuật tốn nắm bắt thuộc tính tồn cục ảnh trở thành xu hướng phổ biến Nhận thấy, xử lý ảnh lĩnh vực hay khó Được khuyến khích hỗ trợ thầy giáo hướng dẫn, em chọn đề tài nghiên cứu hệ thống số phương pháp phân đoạn ảnh để làm luận văn tốt nghiệp CHƯƠNG TỔNG QUAN XỬ LÝ ẢNH 1.1 Giới thiệu vể xử lý ảnh Trong xã hội lồi người, ngơn ngữ phương tiện trao đổi thông tin phổ biến trình giao tiếp Bên cạnh ngơn ngữ, hình ảnh cách trao đổi thơng tin mang tính xác, biểu cảm cao đặc biệt không bị cảm giác chủ quan đối tượng giao tiếp chi phối Thơng tin hình ảnh phong phú, đa dạng xử lý máy tính Chính vậy, năm gần kết hợp ảnh đồ hoạ trở nên chặt chẽ lĩnh vực xử lý thông tin Cũng xử lý liệu hình ảnh đồ hoạ, việc xử lý ảnh số lĩnh vực tin học ứng dụng Việc xử lý liệu đồ hoạ đề cập đến ảnh nhân tạo, ảnh xem xét cấu trúc liệu tạo chương trình Xử lý ảnh số thao tác ảnh tự nhiên thơng qua phương pháp kỹ thuật mã hố Ảnh sau thu nhận thiết bị thu nhận ảnh biến đổi thành ảnh số theo phương pháp số hoá nhúng thiết bị kĩ thuật khác biểu diễn máy tính dạng ma trận chiều chiều Mục đích việc xử lý ảnh chia làm phần: Biến đổi làm tăng chất lượng ảnh Tự động nhận dạng, đoán ảnh, đánh giá nội dung ảnh Phương pháp biến đổi ảnh sử dụng việc xử lý ảnh chụp từ không trung (Chương trình đo đạc từ máy bay, vệ tinh ảnh vũ trụ ) xử lý ảnh y học (ảnh siêu âm, ảnh chụp cắt lát, vv…) Một ứng dụng khác biến đổi ảnh mã hóa ảnh, ảnh xử lý để lưu trữ truyền Các phương pháp nhận dạng ảnh sử dụng xử lý tế bào, nhiễm sắc thể, nhận dạng chữ viết, vv… Thực chất cơng việc nhận dạng phân loại đối tượng thành lớp đối tượng biết thành lớp đối tượng chưa biết Bài toán nhận dạng ảnh toán lớn, có nhiều ý nghĩa thực tiễn ta thấy để công việc nhận dạng trở nên dễ dàng ảnh phải tách thành đối tượng riêng biệt, mục đích tốn phân đoạn ảnh Nếu phân đoạn ảnh khơng tốt dẫn đến sai lầm trình nhận dạng ảnh, người ta xem công đoạn phân đoạn ảnh trình then chốt trình xử lý ảnh nói chung 1.2 Q trình xử lý ảnh Q trình xử lý ảnh mơ tả sơ đồ sau: Phân đoạn Biểu diễn mô tả ảnh Tiền xử lý ảnh CƠ SỞ Thu nhận TRI THỨC Nhận dạng giải thích Hình Q trình xử lý ảnh  Thu nhận ảnh: Đây cơng đoạn mang tính định trình xử lý ảnh Ảnh đầu vào thu nhận qua thiết bị camera, sensor, máy qt, vv… sau tín hiệu số hóa Các thơng số quan trọng bước độ phân giải, chất lượng màu, dung lượng nhớ tốc độ thu nhận ảnh thiết bị  Tiền xử lý: Ở bước ảnh cải thiện độ tương phản, khử nhiễu, khử bóng, khử độ lệch, vv… với mục đích làm cho chất lượng ảnh trở nên tốt thường thực lọc  Phân đoạn ảnh: Phân đoạn ảnh bước then chốt xử lý ảnh, giai đoạn nhằm phân tích ảnh thành thành phần có tính chất đó, dựa theo biên hay vùng liên thông Tiêu chuẩn đễ xác định vùng liên thơng màu, mức xám hay độ nhám, vv… Mục đích phân đoạn ảnh để có miêu tả tổng hợp từ nhiều phần tử khác cấu tạo nên ảnh thơ Vì lượng thơng tin chứa ảnh lớn, trong đa số ứng dụng cần trích chọn vài đặc trưng đó, cần có q trình để giảm lượng thơng tin khổng lồ Q trình bao gồm phân vùng ảnh trích chọn đặc tính chủ yếu  Biểu diễn mơ tả ảnh: Kết bước phân đoạn ảnh thường cho dạng liệu điểm ảnh thô, hàm chứa biên vùng ảnh, tập hợp điểm ảnh thuộc vùng ảnh Trong hai trường hợp chuyển đổi liệu thơ thành dạng thích hợp cho việc xử lý máy tính cần thiết Để chuyển đổi chúng, câu hỏi cần phải trả lời nên biểu diễn vùng ảnh dạng biên hay dạng vùng hoàn chỉnh gồm tất điểm ảnh thuộc Biểu diễn dạng biên cho vùng phù hợp với ứng dụng quan tâm chủ yếu đến đặc trưng hình dạng bên ngồi đối tượng, ví dụ góc cạnh điểm uốn biên Biểu diễn dạng vùng lại thích hợp cho ứng dụng khai thác tính chất bên đối tượng, ví dụ vân ảnh hay cấu trúc xương Sự chọn lựa cách biểu diễn thích hợp cho vùng ảnh phần việc chuyển đổi liệu ảnh thơ sang dạng thích hợp cho xử lý sau Chúng ta phải đưa phương pháp mô tả liệu chuyển đổi cho tính chất cần quan tâm đến làm bật lên, thuận tiện cho việc xử lý chúng  Nhận dạng giải thích: Đây bước cuối q trình xử lý ảnh Nhận dạng ảnh nhìn nhận cách đơn giản việc gán nhãn cho đối tượng ảnh Giải thích cơng đoạn gán nghĩa cho tập đối tượng nhận biết Chúng ta thấy rằng, khơng phải ứng dụng xử lý ảnh bắt buộc phải tuân theo bước xử lý nêu trên, ví dụ ứng dụng chỉnh sửa ảnh nghệ thuật dừng lại bước tiền xử lý Một cách tổng quát chức xử lý bao gồm nhận dạng giải thích thường có mặt hệ thống phân tích ảnh tự động bán tự động, dùng để rút trích thơng tin quan trọng từ ảnh, ví dụ ứng dụng nhận dạng kí tự quang học, nhận dạng chữ viết tay vv… 1.3 Tổng quan phân đoạn ảnh Để phân tích đối tượng ảnh, cần phải phân biệt đối tượng cần quan tâm với phần lại ảnh, hay gọi ảnh Những đối tượng tìm nhờ kĩ thuật phân đoạn ảnh, theo nghĩa tách phần tiền cảnh khỏi hậu cảnh ảnh Mỗi đối tượng ảnh gọi vùng hay miền, đường bao quanh đối tượng ta gọi đường biên Mỗi vùng ảnh phải có đặc tính đồng ( màu sắc, kết cấu, mức xám vv…) Các đặc tính tạo nên vector đặc trưng riêng vùng giúp phân biệt vùng khác Như vậy, hình dánh đối tượng miêu tả tham số đường biên tham số vùng mà chiếm giữ Sự miêu tả hình dáng dựa thơng tin đường biên yêu cầu việc phát biên Sự mơ tả hình dáng dựa vào vùng địi hỏi việc phân đoạn ảnh thành số vùng đồng Có thể thấy kĩ thuật phát biên phân vùng ảnh hai toán đỗi ngẫu Thực vậy, dò biên để thực phân lớp đối tượng phân lóp xong có nghĩa phân vùng ảnh Ngược lại, phân vùng ảnh phân lập thành đối tượng ta phát biên Có nhiều kỹ thuật phân đoạn ảnh, nhìn chung chia thành ba lớp khác nhau:  Các kỹ thuật cục (Local techniques) dựa vào thuộc tính cục điểm láng giềng  Các kỹ thuật toàn thể (global techniques) phân ảnh dựa thơng tin chung tồn ảnh (ví dụ cách sử dụng lược đồ xám ảnh – image histogram)  Các kỹ thuật tách (split), hợp (merge) growing sử dụng khái niệm đồng gần hình học 1.4 Một số khái niệm 1.4.1 Điểm ảnh – Pixel Ảnh thực tế ảnh liên tục không gian giá trị độ sáng Để XLA máy tính cần phải tiến hành số hố ảnh Trong q trình số hố, người ta biến đổi tín hiệu liên tục sang tín hiệu rời rạc thơng qua q trình lấy mẫu (rời rạc hố khơng gian) lượng hoá thành phần giá trị mà nguyên tắc mắt thường không phân biệt hai điểm kề Trong trình người ta sử dụng khái niệm Picture element mà ta quen gọi Pixel - phần tử ảnh Như vậy, ảnh tập hợp Pixel 1.4.2 Mức xám - Gray level Mức xám kết mã hóa tương ứng cường độ sáng điểm ảnh với giá trị sáng, kết trình lượng tử hóa Cách mã hóa kinh điển thường dùng 16, 32 hay 64 mức Phổ dụng mã hóa mức 256, mức Pixel mã hóa bít 1.4.3 Biên Biên đặc tính quan trọng đối tượng ảnh, nhờ vào biên mà phân biệt đối tượng với đối tượng Một điểm ảnh gọi điểm biên có thay đổi đột ngột mức xám Tập hợp điểm 10 / TODO: Add your command handler code here //Bat dau chung LPSTR lpDIBHdr; // Pointer to BITMAPINFOHEADER LPSTR lpDIBBits; // Pointer to DIB bits BYTE *lpDIBBytes; BOOL bSuccess=FALSE; // Success/fail flag HPALETTE hPal=NULL; HPALETTE hOldPal=NULL; // Our DIB's palette // Previous palette HDIB hDIB; DWORD height; DWORD width; DWORD size; CDibDoc *pDoc = CDibView::GetDocument(); hDIB = pDoc->GetHDIB (); /* Check for valid DIB handle */ if (hDIB == NULL) return; /* Lock down the DIB, and get a pointer to the beginning of the bit * buffer */ lpDIBHdr = (LPSTR) ::GlobalLock((HGLOBAL) hDIB); lpDIBBits = ::FindDIBBits(lpDIBHdr); lpDIBBytes = (BYTE *)lpDIBBits; height = DIBHeight(lpDIBHdr); width = DIBWidth(lpDIBHdr); size = height*width; DWORD nBytes = (DWORD)(size/8); ToGrey(lpDIBBytes,height,width); //MyTools DWORD i,j; //Ket thuc chung DWORD hist[256]; DWORD t; double tt, tOld; double m0, m1, mI; DWORD np0, np1; //Tinh histogram for (i=0; i