Báo cáo lý thuyết Thị Giác Máy Tính Phát hiện và phân loại cá bằng kỹ thuật phân đoạn ảnh. Bao gồm các phần Tổng quan về phân đoạn ảnh, Tìm hiểu các phương pháp phân đoạn ảnh, Phân đoạn dựa trên khu vực, Phân đoạn dựa trên cạnh, Phân đoạn dựa trên mạng nơron nhân tạo
ỦY BAN NHÂN DÂN THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC SÀI GỊN BÁO CÁO TIỂU LUẬN Mơn học: THỊ GIÁC MÁY TÍNH ĐỀ TÀI: PHÁT HIỆN VÀ PHÂN LOẠI CÁ Tên sinh viên: Nguyễn Phan Triều Dương MSSV: 3119411017 Tên sinh viên: Lâm Minh Huy MSSV: 3119411027 Tên sinh viên: Trương Nguyễn Hoàng Nam MSSV: 3119411041 Hướng dẫn: PGS.TS PHẠM THẾ BẢO Tp Hồ Chí Minh, tháng 12 năm 2021 MỤC LỤC I II MỞ ĐẦU ………………………………………………………… NỘI DUNG CÁC CHƯƠNG …………………………………… CHƯƠNG 1: TỔNG QUAN VỀ PHÂN ĐOẠN ẢNH ………………….… 1.1 1.2 1.3 KHÁI NIỆM ……………………………………………… CÁC HƯỚNG TIẾP CẬN PHÂN ĐOẠN ẢNH ………… MỘT SỐ PHƯƠNG PHÁP PHÂN ĐOẠN ẢNH ………… CHƯƠNG 2: TÌM HIỂU CÁC PHƯƠNG PHÁP VỀ PHÂN ĐOẠN ẢNH II.1 PHÂN ĐOẠN DỰA TRÊN NGƯỠNG …………………… II.1.1 Kỹ thuật phân ngưỡng toán cục ……………………… II.1.2 Kỹ thuật phân ngưỡng đa ngưỡng …………………… II.1.3 Kỹ thuật phân ngưỡng thích nghi …………………… II.2 PHÂN ĐOẠN DỰA TRÊN KHU VỰC ………………… 10 II.3 PHÂN ĐOẠN DỰA TRÊN CẠNH ……………………… 13 II.4 PHÂN ĐOẠN DỰA TRÊN MẠNG NƠ-RON NHÂN TẠO 14 III TÀI LIỆU THAM KHẢO ……………………….……………… 16 I MỞ ĐẦU - Từ năm 1964 đến nay, phương tiện xử lý, nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng Các phương pháp tri thức nhân tạo mạng nơ-ron nhân tạo, thuật toán xử lý đại cải tiến, công cụ nén ảnh ngày áp dụng rộng rãi thu nhiều kết khả quan Để dễ hình dùng bước cần thiết xử lý ảnh Đầu tiên, ảnh tự nhiên từ giới thu nhận qua thiết bị thu (như Camera, máy chụp ảnh) Trước đây, ảnh thu qua Camera ảnh tương tự (loại Camera ống kiểu CCIR) Gần đây, với phát triển công nghệ, ảnh màu đen trắng lấy từ Camera, sau chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý (Máy ảnh số thí dụ gần gũi) Mặt khác, ảnh tiếp nhận từ vệ tinh; quét từ ảnh chụp máy qt ảnh Hình 1.1 mơ tả bước xử lý ảnh II NỘI DUNG CÁC CHƯƠNG CHƯƠNG 1: TỔNG QUAN VỀ PHÂN ĐOẠN ẢNH 1.1 Khái niệm - Phân đoạn ảnh thao tác mức thấp tồn q trình xử lý ảnh Quá trình thực việc phân vùng ảnh thành vùng rời rạc đồng với hay nói cách khác xác định biên vùng ảnh Các vùng ảnh đồng thơng thường tương ứng với tồn hay phần đối tượng thật bên ảnh Vì thế, hầu hết ứng dụng lĩnh vực xử lý ảnh, phân đoạn ảnh ln đóng vai trò thường bước tiền xử lý tồn q trình trước thực thao tác khác mức cao nhận dạng đối tượng, biểu diễn đối tượng, nén ảnh dựa đối tượng, hay truy vấn ảnh dựa vào nội dung … Trước đây, phương pháp phân vùng ảnh đưa chủ yếu làm việc ảnh mức xám hạn chế phương tiện thu thập lưu trữ Ngày nay, với phát triển phương tiện thu nhận biểu diễn ảnh, ảnh màu thay hoàn toàn ảnh mức xám việc biểu diễn lưu trữ thông tin ưu vượt trội hẳn so với ảnh mức xám Do đó, kỹ thuật, thuật giải thực việc phân vùng ảnh loại ảnh màu liên tục phát triển để đáp ứng nhu cầu 1.2 Các hướng tiếp cận phân đoạn ảnh - Cách tiếp cận tương đồng (Similarity approach), có nghĩa phát tương đồng pixel hình ảnh để tạo thành phân đoạn, dựa ngưỡng Các thuật toán học máy phân cụm thường dựa kiểu tiếp cận để phân vùng hình ảnh - Cách tiếp cận gián đoạn (Discontinuity approach): Cách tiếp cận dựa gián đoạn giá trị cường độ pixel hình ảnh Các kỹ thuật phát đường, điểm cạnh sử dụng kiểu tiếp cận gián đoạn để thu kết phân vùng trung gian Kết sau xử lý hình ảnh phân vùng cuối 1.3 Các phương pháp phân đoạn ảnh - Phân vùng dựa ngưỡng: tìm vùng ảnh cách nhóm điểm có giá trị mức xám tương tự - Phân vùng dựa theo đường biên: xác định đường ranh giới vùng lân cận Đây toán đối ngẫu với toán phân đoạn ảnh Bởi lẽ xác định đối tượng ảnh ta dễ dàng xác định biên ngược lại Do toán ta tìm hiểu sau - Phân vùng ảnh dựa miền: xác định trực tiếp vùng ảnh cách gia tăng phân chia vùng - Phân vùng dựa mạng nơron nhân tạo (Artificial Neural Network Based Segmentation): kỹ thuật sử dụng AI để tự động phân tích hình ảnh xác định thành phần khác khn mặt, đối tượng, văn bản, … CHƯƠNG 2: TÌM HIỂU CÁC PHƯƠNG PHÁP VỀ PHÂN ĐOẠN ẢNH 2.1 Phân vùng dựa ngưỡng Cắt ngưỡng kỹ thuật chuyển gía trị mức xám điểm ảnh pixelQ giá trị xám chung Ví dụ: cắt ngưỡng nhị phân chuyển ảnh giá trị: 2.1.1 Kỹ thuật phân ngưỡng toàn cục Cắt ngưỡng toàn cục cắt ngưỡng dựa vào giá trị ngưỡng T cho toàn ảnh g= biểu diễn cho ảnh đầu vào g biểu diễn cho ảnh đa cắt ngưỡng Ảnh gốc Ảnh sau cắt ngưỡng Để xác định ngưỡng tồn cục T, ta dùng thuật tốn tìm ngưỡng tồn cục B1: Chọn giá trị ngưỡng ban đầu T (thường trung bình múc xám ảnh) B2: Sử dụng ngưỡng T để phân đoạn ảnh, tạo nhóm điểm ảnh (áp dụng cơng thức (1)): Nhóm G1 chứa pixel với mức xám > T Nhóm G2 chứa pixel với mức xám T B3: Tính mức xám trung bình nhóm G1 m1 mức xám trung bình G2 m2 B4: Tính ngưỡng : T = B5: Lặp lại B2 đến B4 giá trị T lần lặp nhỏ T 2.1.2 Kỹ thuật phân ngưỡng đa ngưỡng Cắt ngưỡng đa ngưỡng dựa vào nhiều giá trị ngưỡng T (T có nhiều giá trị) Ví dụ: cắt ngưỡng đa ngưỡng T1 = 80; T2 = 177 Ảnh gốc Ảnh phân đoạn cắt đa ngưỡng 2.1.3 Kỹ thuật phân ngưỡng thích nghi Histogram ảnh gốc Histogram ảnh phân đoạn Đối với trường hợp mà cắt ngưỡng tồn cục chia ảnh thành vùng cắt ngưỡng riêng lẻ vùng Do việc cắt ngưỡng cho pixel phụ thuộc vào vị trí pixel lân cận ảnh nên kỹ thuật gọi cắt ngưỡng thích nghi (adaptive) Còn gọi cắt ngưỡng cục Ảnh gốc Ảnh chia thành vùng Ảnh phân đoạn Phân đoạn ảnh cắt ngưỡng thích nghi dựa Thuộc tính vùng ảnh cục Tính giá trị ngưỡng cho pixel ảnh dựa vùng lân cận nó: giá trị trung bình mức xám pixel ảnh đầu vào vùng ảnh hình vng với kích thước cạnh k, với tọa độ pixel tâm vùng độ lệch chuẩn pixel vùng Thuật tốn: Tính Tính ngưỡng pixel(x,y) vùng : = Trong đó: a, b không số âm Ảnh phân đoạn tính bằng: g = Trong đó: f ảnh đầu vào 2.2 Phân vùng dựa khu vực (Region – Based Segmentation) * Các ràng buộc Một vùng phân loại nhóm pixel kết nối với có thuộc tính tương đồng cường độ, màu sắc, v.v Trong kiểu phân vùng này, có số quy tắc định sẵn mà pixel phải tuân theo để đảm bảo phân loại thành vùng pixel tương tự Phương pháp phân vùng dựa khu vực ưu tiên phương pháp phân vùng dựa cạnh trường hợp ảnh bị nhiễu Có nhóm kỹ thuật phân vùng dựa khu vực, bao gồm: Phát triển khu vực (Region growing method) Phân tách hợp khu vực (Region splitting and merging method) * Phát triển khu vực (Region growing method) 10 Đối với kỹ thuật này, bắt đầu với số pixel làm pixel hạt giống sau kiểm tra pixel liền kề Nếu pixel liền kề tuân theo quy tắc xác định trước, pixel thêm vào vùng pixel gốc trình tiếp tục khơng cịn điểm tương đồng Phương pháp thực theo cách tiếp cận từ lên Trong trường hợp khu vực phát triển, quy tắc ưu tiên đặt làm ngưỡng * Phân tách hợp khu vực (Region splitting and merging method) 11 Đối với phân tách khu vực, tồn hình ảnh chụp dạng vùng Nếu không tuân theo quy tắc xác định trước, vùng lại chia thành nhiều vùng (thường góc phần tư) tiếp tục áp dụng quy tắc để định có chia nhỏ hay khơng Q trình kéo dài khơng có phân chia khu vực nữa, tức khu vực tuân theo quy tắc xác định trước Điều kiện kiểm tra để định có nên phân tách vùng hay khơng là: Nếu giá trị tuyệt đối chênh lệch cường độ pixel tối đa tối thiểu vùng nhỏ giá trị ngưỡng người dùng định vùng khơng u cầu phân tách thêm Đối với hợp khu vực, pixel coi vùng riêng lẻ Ta chọn vùng làm vùng hạt giống để kiểm tra tính tương đồng vùng lân cận dựa quy tắc định trước Nếu giống nhau, chúng hợp thành vùng tiếp tục xây dựng 12 vùng phân đoạn tồn hình ảnh Cả phân tách hợp khu vực trình lặp lặp lại Thông thường, việc tách vùng thực hình ảnh để chia ảnh thành vùng tối đa, trước vùng hợp để tạo thành hình ảnh mới, với phân vùng tốt so với hình ảnh gốc 2.3 Phân vùng dựa cạnh (Edge Based Segmentation) Cạnh ảnh đánh dấu vị trí hình ảnh không liên tục mức xám, màu sắc, kết cấu, v.v Khi di chuyển từ vùng sang vùng khác, mức xám thay đổi Vì vậy, tìm thấy gián đoạn đó, ta tìm thấy cạnh Thực tế, có nhiều tốn tử phát cạnh, hình ảnh thu kết phân vùng trung gian, khơng nên nhầm lẫn với hình ảnh phân vùng cuối Để kết cuối, cần thực số bước bổ sung bao gồm: kết hợp phân vùng cạnh thu làm một, để giảm số lượng phân vùng có đường viền liền mạch đối tượng Như vậy, thấy, phân vùng cạnh đưa kết phân vùng trung gian Kết sau áp dụng theo vùng kiểu phân đoạn khác, nhằm có hình ảnh phân vùng cuối 13 Các loại cạnh ảnh Các cạnh thường liên kết với “Độ lớn” “Hướng” Một số toán tử phát cạnh cung cấp hai yếu tố này, chẳng hạn Sobel edge operator, canny edge detector, Kirsch edge operator, Prewitt edge operator, Robert’s edge operator,… 2.4 Phân vùng dựa mạng nơron nhân tạo (Artificial Neural Network Based Segmentation) Kỹ thuật sử dụng AI để tự động phân tích hình ảnh xác định thành phần khác khn mặt, đối tượng, văn bản, v.v Mạng 14 thần kinh tích chập (convolutional neural networks) phổ biến việc phân vùng ảnh chúng xác định xử lý liệu hình ảnh cách nhanh chóng hiệu Các chuyên gia Facebook AI Research (FAIR) tạo kiến trúc học sâu gọi Mask R-CNN, sử dụng lọc pixel thông minh cho đối tượng ảnh Đây phiên nâng cao kiến trúc phát đối tượng Faster R-CNN Trong trình phân vùng ảnh, trước tiên phải chuyển hình ảnh đầu vào đến ConvNet để tạo đồ đối tượng cho hình ảnh Sau đó, hệ thống áp dụng mạng đề xuất vùng (Region Proposal Network – RPN) đồ đối tượng tạo đề xuất đối tượng với điểm số chúng Sau đó, lớp tổng hợp ROI (Region of interest) triển khai cho đề xuất để giảm chúng xuống kích thước Trong giai đoạn cuối cùng, hệ thống chuyển đề xuất đến lớp kết nối để phân loại tạo kết với hộp giới hạn gán cho đối tượng 15 III TÀI LIỆU THAM KHẢO [1] https://product.vinbigdata.org/phan-vung-anh-la-gi-mot-so-ky-thuat-phanvung-pho-bien/ (Truy cập lần cuối: 20h, 01/06/2022) [2] https://www.researchgate.net/publication/277793603_Damage_Mechanics_ Model_Development_for_Monocrystalline_Superalloys_PREPRINT (Truy cập lần cuối: 20h, 01/06/2022) [3] https://www.researchgate.net/publication/268195201_Detection_techniques_f or_melanoma_diagnosis_A_performance_evaluation (Truy cập lần cuối: 20h, 01/06/2022) 16 ... hình ảnh Các kỹ thuật phát đường, điểm cạnh sử dụng kiểu tiếp cận gián đoạn để thu kết phân vùng trung gian Kết sau xử lý hình ảnh phân vùng cuối 1.3 Các phương pháp phân đoạn ảnh - Phân vùng... hình ảnh để tạo thành phân đoạn, dựa ngưỡng Các thuật toán học máy phân cụm thường dựa kiểu tiếp cận để phân vùng hình ảnh - Cách tiếp cận gián đoạn (Discontinuity approach): Cách tiếp cận dựa gián... giải thực việc phân vùng ảnh loại ảnh màu liên tục phát triển để đáp ứng nhu cầu 1.2 Các hướng tiếp cận phân đoạn ảnh - Cách tiếp cận tương đồng (Similarity approach), có nghĩa phát tương đồng