Giải pháp đếm con giống ứng dụng công nghệ xử lý ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN THỊ TỐT GIẢI PHÁP ĐẾM CON GIỐNG ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 SKC007538 Tp Hồ Chí Minh, tháng 10/2017 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ NGUYỄN THỊ TỐT GIẢI PHÁP ĐẾM CON GIỐNG ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH NGÀNH: KỸ THUẬT ĐIỆN TỬ - 60520203 Hướng dẫn khoa học : TS NGUYỄN VĂN THÁI Tp Hồ Chí Minh, tháng 10/2017 %Ӝ*,È2'Ө&9¬ĈҤ27Ҥ2 75ѬӠ1*ĈҤ,+Ӑ&6Ѭ3+Ҥ0.Ӻ7+8Ұ7 7+¬1+3+Ӕ+Ӗ&+Ë0,1+ 3+,ӂ81+Ұ1;e7/8Ұ19Ă17+Ҥ&6Ӻ 'jQKFKRJLҧQJYLrQSKҧQELӋQ 7rQÿӅWjLOXұQYăQWKҥFVӻ *LҧLSKiSÿӃPFRQJLӕQJӭQJGөQJF{QJQJKӋ[ӱOêҧQK 7rQWiFJLҧ 1*8 Bước 2: Khởi động: - Gán sai số E = - Gán biến chạy k = - Gán vector trọng số 𝑤𝑖 (𝑘 ) (𝑖 = ̅̅̅̅̅ 1, 𝑛) giá trị ngẫu nhiên nhỏ Bước 3: Quá trình huấn luyện bắt đầu, tính: 𝑚 𝑦𝑖 (𝑘 ) = 𝑠𝑡𝑒𝑝(𝑤𝑖𝑇 (𝑘 )𝑥 (𝑘 )) = 𝑠𝑡𝑒𝑝 (∑ 𝑤𝑖𝑗 (𝑘 )𝑥𝑗 (𝑘)) 𝑗=1 Bước 4: Cập nhật vector trọng số: 32 (𝑖 = ̅̅̅̅̅ 1, 𝑛) (3.1) 𝑤𝑖 (𝑘 + 1) = 𝑤𝑖 (𝑘 ) + 𝜂(𝑑𝑖 (𝑘 ) − 𝑦𝑖 (𝑘 )) 𝑥(𝑘) (𝑖 = ̅̅̅̅̅ 1, 𝑛) (3.2) Bước 5: Tính sai số tích lũy: 𝐸 = 𝐸 + ‖𝑑 (𝑘 ) − 𝑦(𝑘)‖2 (3.3) Bước 6: Nếu k < K gán k = k+1 trở lại bước Nếu k = K tiếp tục bước Bước 7: Kết thúc chu kỳ huấn luyện (epoch) - Nếu 𝐸 = kết thúc trình học - Nếu 𝐸 ≠ gán 𝐸 = 0, k = trở lại bước bắt đầu chu kỳ huấn luyện 3.5.2 Mạng truyền thẳng nhiều lớp Cấu trúc mạng: Mạng truyền thẳng nhiều lớp mạng truyền thẳng có từ hai lớp tế bào thần kinh xử lý trở lên Lớp tế bào thần kinh nối với ngõ vào gọi lớp vào (thường lớp vào khơng thực phép tốn xử lý), lớp tế bào thần kinh nối với ngõ gọi lớp ẩn Kết nối tế bào thần kinh lớp đầy đủ không đầy đủ Khác với mạng truyền thẳng lớp, mạng truyển thẳng nhiều lớp giải tốn khơng khả phân tuyến tính Huấn luyện mạng: Thuật toán huấn luyện mạng truyền thẳng nhiều lớp thuật toán lan truyền ngược Thuật toán lan truyền ngược thực hai bước truyền thông tin Thứ nhất, mẫu liệu vào x(k) truyền từ ngõ vào đến ngõ ra, kết việc truyền liệu theo hướng thuận tạo tín hiệu y(k) ngõ mạng Sau sai số sai lệch d(k) y(k) truyền ngược từ lớp trở lớp trước để cập nhật trọng số mạng 33 x2 y2 x3 ym xm Lớp ẩn Lớp vào Lớp ẩn Lớp Hình 3.6 Mạng truyền thẳng nhiều lớp Thuật toán lan truyền ngược để huấn luyện mạng truyền thằng nhiều lớp tóm tắt sau [15]: Bước 1: Chọn tốc độ 𝜂 > 0, chọn sai số cực đại 𝐸𝑚𝑎𝑥 Bước 2: Khởi động: - Gán sai số E=0 - Gán biến chạy k=1 - Gán trọng số 𝑤𝑖𝑞 (𝑘 ), 𝑣𝑞𝑗 (𝑘) (𝑖 = ̅̅̅̅̅ 1, 𝑛; 𝑗 = ̅̅̅̅̅̅ 1, 𝑚; 𝑞 = ̅̅̅̅ 1, 𝑙 ) giá trị ngẫu nhiên nhỏ Bước 3: (Truyền thuận liệu) Tính ngõ mạng với tín hiệu vào 𝑥 (𝑘) : Lớp ẩn: 𝑚 𝑛𝑒𝑡𝑞 (𝑘 ) = ∑ 𝑣𝑞𝑗 (𝑘 )𝑥𝑗 (𝑘 ) (𝑞 = ̅̅̅̅ 1, 𝑙 ) (3.4) (𝑞 = ̅̅̅̅ 1, 𝑙 ) (3.5) (𝑖 = ̅̅̅̅̅ 1, 𝑛) (3.6) (𝑖 = ̅̅̅̅̅ 1, 𝑛) (3.7) 𝑗=1 𝑧𝑞 (𝑘 ) = 𝑎ℎ (𝑛𝑒𝑡𝑞 (𝑘 )) Lớp ra: 𝑙 𝑛𝑒𝑡𝑖 (𝑘 ) = ∑ 𝑤𝑖𝑞 (𝑘 )𝑧𝑞 (𝑘 ) 𝑞=1 𝑦𝑖 (𝑘 ) = 𝑎𝑜 (𝑛𝑒𝑡𝑖 (𝑘 )) 34 Bước 4: (Lan truyền ngược sai số) Cập nhập trọng số mạng: Lớp ra: 𝛿𝑜𝑖 (𝑘 ) = [(𝑑𝑖 (𝑘 ) − 𝑦𝑖 (𝑘 ))][𝑎′𝑜 (𝑛𝑒𝑡𝑖 (𝑘 ))] 𝑤𝑖𝑞 (𝑘 + 1) = 𝑤𝑖𝑞 (𝑘 ) + 𝜂𝛿𝑜𝑖 (𝑘 )𝑧𝑞 (𝑘 ) Lớp ẩn: (𝑖 = ̅̅̅̅̅ 1, 𝑛) (𝑖 = ̅̅̅̅̅ 1, 𝑛) (𝑞 = ̅̅̅̅ 1, 𝑙 ) (3.8) 𝑞 = ̅̅̅̅ 1, 𝑙 ) (3.10) (𝑗 = ̅̅̅̅̅̅ 1, 𝑚) (𝑞 = ̅̅̅̅ 1, 𝑙 ) (3.11) (3.9) 𝑛 𝛿ℎ𝑞 (𝑘 ) = [∑ 𝛿𝑜𝑖 (𝑘 )𝑤𝑖𝑞 (𝑘 )] [𝑎′ℎ (𝑛𝑒𝑡𝑞 (𝑘 ))] 𝑖=1 𝑣𝑞𝑗 (𝑘 + 1) = 𝑣𝑞𝑗 (𝑘 ) + 𝜂𝛿ℎ𝑞 (𝑘 )𝑥𝑗 (𝑘 ) Bước 5: Tính sai số tích lũy: 𝑛 𝐸 = 𝐸 + ∑(𝑑𝑖 (𝑘 ) − 𝑦𝑖 (𝑘 )) (3.12) 𝑖=1 Bước 6: Nếu k < K gán k = k+1 trở lại bước Nếu k = K tiếp tục bước Bước 7: Kết thúc chu kỳ huấn luyện Nếu 𝐸 < 𝐸𝑚𝑎𝑥 kết thúc trình học Nếu 𝐸 ≥ 𝐸𝑚𝑎𝑥 gán E = 0, k = trở lại bước bắt đầu chu kỳ huấn luyện Có nhiều mơ hình mạng nơ-ron dùng để nhận dạng ảnh, mạng nơron truyền thẳng nhiều lớp với thuật tốn lan truyền ngược mơ hình đơn giản hay sử dụng Trong đề tài này, tác giả sử dụng mạng nơ-ron truyền thẳng lớp với thuật toán lan truyền ngược 35 Chương NỘI DUNG VÀ KẾT QUẢ NGHIÊN CỨU 4.1 Thiết kế chậu chứa cá Chậu chứa cá có nhiệm vụ chứa cá trình thu nhận ảnh đầu vào Chậu chứa yếu tố quan trọng ảnh hưởng lớn đến kết xử lý bước Chậu chứa phải đảm bảo số yêu cầu như: có màu tương phản với cá, ánh sáng phân bố tồn diện tích bể, độ cao mức nước khơng thay đổi tồn diện tích đáy chậu Để đáp ứng yêu cầu trên, sử dụng chậu chứa cá vật liệu mica, chậu chứa hình hộp vng, kích thước 13cmx13cm Nguồn sáng gồm bóng đèn led (9W, 806lm) đặt phía chậu chứa cách đáy chậu 18cm Camera có độ phân giải 13 Megapixel sử dụng đặt cố định phía chậu chứa, cách đáy chậu khoảng 15cm Chiều cao mực nước chứa bể từ 1cm đến 1,5 cm cho hạn chế việc cá bơi chồng lên Hình 4.1 Chậu chứa cá giống 36 4.2 Tạo liệu ảnh cá ảnh tạp dùng để huấn luyện mạng nơ-ron Tác giả thực nghiệm cho cá tạp chất vào chậu chứa Dùng máy chụp hình kỹ thuật số (13 Megapixel) chụp lại ảnh cá ảnh tạp.Thực chụp nhiều lần, tác giả thu lượng lớn ảnh cá ảnh tạp dùng làm liệu huấn luyện mạng nơ-ron Sử dụng phần mềm để tách cá tạp chất riêng biệt Tác giả tạo 300 tập tin ảnh 300 cá có hình dạng bơi khác 150 tập tin ảnh 150 tạp chất Trong liệu ảnh cá ảnh tạp dùng để huấn luyện mạng nơ-ron 200 tập tin ảnh cá 100 tập tin ảnh tạp, 100 tập tin ảnh cá 50 tập tin ảnh tạp lại dùng để kiểm tra độ xác việc học mạng nơ-ron 37 Hình 4.2 Một số hình ảnh cá Hình 4.3 Một số hình ảnh tạp 38 4.3 Quá trình xử lý ảnh Tác giả sử dụng giao diện đồ họa (GUI) Matlab để xây dựng chương trình cho việc nhận dạng đếm cá giống Hình 4.4 Giao diện đồ họa chương trình nhận dạng đếm cá Chuyển ảnh màu RGB thành ảnh mức xám Tác giả sử dụng hàm rgb2gray Matlab để thực tác vụ Dữ liệu vào hàm ảnh màu RGB, liệu hàm ảnh mức xám Quan sát ảnh xám sau sử dụng hàm rgb2gray ta thấy đối tượng cá có màu đen xung quanh Ảnh sau chuyển thành ảnh mức xám Đảo pixel ảnh xám Do bước xác định trọng tâm ảnh ta cần hiển thị điểm trọng tâm nên đối tượng cá có màu đen khơng quan sát điểm trọng tâm Vì vậy, tác giả thực đảo pixel thành pixel 1, đảo pixel thành pixel (hay đảo đen thành trắng, trắng thành đen) hàm imcomplement Matlab Dữ liệu vào hàm ảnh nhị phân, ảnh xám ảnh màu RGB Kết đề tài này, tác giả chọn liệu vào hàm imcomplement ảnh xám, liệu 39 hàm ảnh xám đối tượng cá chuyển sang màu trắng cịn màu tối Lọc nhiễu cho ảnh mức xám Tác giả sử dụng hàm medfilt2 Matlab để thực tác vụ Dữ liệu vào hàm ảnh mức xám chưa lọc nhiễu, liệu hàm ảnh mức xám lọc nhiễu Tăng độ tương phản cho ảnh mức xám Tác giả sử dụng hàm imadjust Matlab để thực tác vụ Dữ liệu vào hàm ảnh mức xám lọc nhiễu, liệu hàm ảnh mức xám có độ tương phản hai màu đen trắng rõ nét Phân đoạn ảnh Chuyển ảnh mức xám thành ảnh nhị phân đen trắng Để thực tác vụ này, tác giả sử dụng hàm graythresh im2bw Matlab  Hàm graythresh dùng để xác định ngưỡng giá trị mức xám ảnh mức xám làm tăng độ tương phản Dữ liệu vào hàm ảnh mức xám, liệu hàm ngưỡng giá trị mức xám ảnh  Hàm im2bw dùng để chuyển ảnh mức xám thành ảnh nhị phân đen trắng Những điểm ảnh ảnh có giá trị mức xám lớn ngưỡng giá trị mức xám thành màu đen, ngược lại thành màu trắng Lúc ảnh ma trận điểm, điểm có giá trị là Loại bỏ vùng ảnh nhỏ có số pixel Để thực tác vụ này, tác giả sử dụng hàm bwareaopen Matlab Do ảnh chụp thực tế có nhiều tạp chất nhỏ li ti mà ta xây dựng chúng thành ảnh tạp mẫu để huấn luyện cho mạng nơ-ron Vì cần phải loại bỏ tạp chất nhỏ Dữ liệu vào hàm bwareaopen ảnh nhị phân, liệu hàm ảnh nhị phân loại bỏ vùng đối tượng có số pixel 40 Hình 4.5 Ảnh gốc Hình 4.6 Ảnh xám Hình 4.7 Ảnh đảo pixel Hình 4.8 Ảnh lọc nhiễu Hình 4.9 Ảnh tăng độ tương phản Hình 4.10 Ảnh nhị phân đen trắng 4.4 Q trình trích đặc trưng ảnh Tìm trọng tâm ảnh cá: Theo [13] việc xác định tọa độ trọng tâm đối tượng thực theo công thức sau: 𝑥𝑆𝑖𝑧𝑒 𝑦𝑆𝑖𝑧𝑒 (4.1) 𝑆 = ∑ ∑ 𝑏𝑤(𝑥, 𝑦) 𝑥=1 𝑦=1 𝑥𝑆𝑖𝑧𝑒 𝑦𝑆𝑖𝑧𝑒 𝑀𝑥 = ∑ ∑ 𝑦 𝑏𝑤(𝑥, 𝑦) 𝑥=1 𝑦=1 𝑥𝑆𝑖𝑧𝑒 𝑦𝑆𝑖𝑧𝑒 𝑀𝑦 = ∑ ∑ 𝑥 𝑏𝑤(𝑥, 𝑦) 𝑥=1 𝑦=1 𝑥0 = 𝑀𝑦 𝑆 ; 𝑦0 = 𝑀𝑥 𝑆 Trong đó: S diện tích đối tượng 41 Mx, My momen so với trục x trục y xSize, ySize kích thước ảnh nhị phân đối tượng bw ảnh nhị phân, 𝑏𝑤 = { 𝑛ế𝑢 (𝑥, 𝑦) ∈ 𝐷 , D miền chứa đối tượng 𝑛ế𝑢 (𝑥, 𝑦) ∉ 𝐷 M0 = (x0,y0) tọa độ trọng tâm đối tượng Tìm điểm xuất phát Điểm xuất phát điểm mà bắt đầu thực trình chạy dọc đường biên ảnh cá, từ xác định điểm nằm đường biên cá Điểm xuất phát điểm mà bán kính tính từ tâm cá đến đường biên cá lớn Trích đặc trưng ảnh cá Hình dạng cá xác định bán kính tính từ trọng tâm cá đến biên Trong đề tài này, tác giả chia đường biên cá thành 200 đoạn thẳng nhỏ, đặc trưng ảnh cá 200 bán kính tính từ trọng tâm cá đến 200 đoạn thẳng nhỏ tạo thành hình dạng cá Hình 4.11 Trọng tâm ảnh cá Hình 4.12 Điểm xuất phát ảnh cá Hình 4.13 Trích đặc trưng ảnh cá 4.5 Q trình thiết kế huấn luyện mạng nơ-ron Để thiết kế mạng nơ-ron, cần xác định số nơ-ron lớp vào, số nơ-ron lớp ra, số lớp ẩn số nơ-ron lớp ẩn Do đặc trưng ảnh cá có 200 giá trị liệu nên số nơ-ron ngõ vào mạng nơ-ron xác định 200 Sau 42 nhận dạng cho kết luận có phải ảnh cá hay khơng, xác định số nơ-ron ngõ nơ-ron Sau tiến hành chạy thử nhiều lần trình huấn luyện thử nghiệm mạng nơ-ron với liệu huấn luyện tạo trước đó, kết huấn luyện tốt chọn mạng nơ-ron mạng truyền thẳng lớp có thông số sau: - Số nơ-ron ngõ vào: 200 - Số nơ-ron lớp ẩn: 30 - Số nơ-ron lớp xuất: - Hàm huấn luyện traingdx - Hàm truyền lớp ẩn: logsig - Hàm truyền lớp xuất: logsig - Hàm thực hiện: sse - Số hệ huấn luyện: 250000 - Điểm hội tụ 10-5 Quá trình huấn luyện mạng nơ-ron thực theo sơ đồ hình 4.14 Điều khó khăn q trình huấn luyện mạng phải chọn số nơ-ron lớp ẩn hợp lý, số nơ-ron lớp ẩn lớn hoăc q làm cho q trình huấn luyện mạng khơng đạt kết xác mong muốn, chí có q số nơ-ron lớp ẩn q trình học mạng khơng hội tụ 43 Tạo liệu chuẩn dùng để huấn luyện mạng nơ-ron Thiết kế mạng nơ-ron Đưa liệu vào để huấn luyện mạng nơ-ron Thử nghiệm mạng nơ-ron để kiểm tra độ xác mạng Nếu mạng nơ-ron cho kết khơng xác mong muốn thay đổi liệu huấn luyện thiết kế lại mạng nơ-ron Thử nghiệm chọn mạng nơ-ron hoạt động có độ xác theo yêu cầu Hình 4.14 Sơ đồ trình huấn luyện mạng nơ-ron Lưu đồ giải thuật trình thiết kế huấn luyện mạng nơ-ron hình 4.15 44 Bắt đầu Dữ liệu ảnh cá tạp chuẩn Tiền xử lý Trích đặc trưng Chọn mơ hình mạng nơ-ron Huấn luyện mạng Thử nghiệm mạng Không Đạt ? Đạt Tinh chỉnh mạng Khơng Đạt ? Đạt Hình 4.15 Lưu đồ giải thuật trình thiết kế huấn luyện mạng nơ-ron Ứng dụng Kết thúc 45 Sơ đồ huấn luyện ban đầu cho mạng nơ-ron hình 4.16 Dữ liệu đầu vào:  200 ảnh chụp cá mẫu  100 ảnh chụp tạp chất Tiền xử lý ảnh Phân đoạn ảnh Trích đặc trưng ảnh Mạng nơ-ron: mạng truyền thẳng lớp  200 nơ-ron ngõ vào  30 nơ-ron lớp ẩn  nơ-ron lớp Kết cho mạng nơ-ron huấn luyện Hình 4.16 Sơ đồ huấn luyện mạng nơ-ron ban đầu Q trình kiểm tra độ xác mạng nơ-ron vừa huấn luyện sơ đồ hình 4.17 46 ... Phương pháp nghiên cứu Chương 2: LÝ THUYẾT XỬ LÝ ẢNH .9 2.1 Tổng quan xử lý ảnh 2.2 Quá trình xử lý ảnh 2.3 Nội dung lý thuyết xử lý ảnh dùng... tài Mục tiêu đề tài xây dựng giải pháp nhận dạng đếm giống ứng dụng công nghệ xử lý ảnh mạng nơ-ron Giải pháp có khả loại bỏ tạp chất bụi, cây, cành khơ,…trong q trình đếm ... đề tài nên tác giả định chọn đề tài ? ?Giải pháp đếm giống ứng dụng công nghệ xử lý ảnh? ?? để nghiên cứu 1.2 Lịch sử giải vấn đề 1.2.1 Ngồi nước Hình 1.1 Máy đếm quang học có hệ thống camera Theo