Ứng dụng công nghệ xử lý ảnh trong việc phát hiện vật thể ngoại lai (FOD) trong ngành hàng không

Ứng dụng công nghệ xử lý ảnh trong việc phát hiện vật thể ngoại lai (FOD) trong ngành hàng không Ứng dụng công nghệ xử lý ảnh trong việc phát hiện vật thể ngoại lai (FOD) trong ngành hàng không Ứng dụng công nghệ xử lý ảnh trong việc phát hiện vật thể ngoại lai (FOD) trong ngành hàng không Ứng dụng công nghệ xử lý ảnh trong việc phát hiện vật thể ngoại lai (FOD) trong ngành hàng không

MỤC LỤC LÝ LỊCH KHOA HỌC iii TRÍCH YẾU LUẬN VĂN v LỜI CAM ĐOAN vi CẢM TẠ vii TÓM TẮT LUẬN VĂN ix MỤC LỤC x MỤC LỤC HÌNH ẢNH xiv MỤC LỤC BẢNG xviii DANH MỤC VIẾT TẮT xix Chương TỔNG QUAN 1.1 Tổng quan chung 1.2 Mục tiêu đề tài 1.3 Phạm vi nghiên cứu 1.4 Phương pháp nghiên cứu 1.5 Đối tượng nghiên cứu 1.6 Các kết nghiên cứu công bố 1.7 Tóm tắt đề tài Chương MỐI NGUY HIỂM FOD TRONG NGÀNH HÀNG KHÔNG 2.1 Giới thiệu tình hình phát FOD giới 2.2 Báo cáo hàng năm 2.3 Tình hình chung x 2.4 Nguy tiềm ẩn FOD 2.5 Nguyên nhân xuất FOD 2.6 Phân loại FOD 10 2.7 Hệ thống phát FOD có 11 Chương CƠ SỞ LÝ THUYẾT 14 3.1 Xử lý ảnh gì? 14 3.1.1 Phân loại ảnh 14 3.1.2 Cơ xử lý ảnh 14 3.2 Histogram phương pháp cân Histogram 15 3.3 Kỹ thuật hình vị học (Morphology) 20 3.3.1 Nhân tạo hình (Structuring Element) 22 3.3.2 Phép toán dilation 23 3.3.3 Phép toán erosion 23 3.4 Kỹ thuật lấy ngưỡng 24 3.4.1 Ngưỡng toàn cục 24 3.4.2 Ngưỡng Otsu 27 3.5 Kỹ thuật dò biên 30 3.5.1 Tách biên lọc Roberts 30 3.5.2 Tách biên lọc Sobel 31 3.5.3 Tách biên lọc Prewitt 31 3.5.4 Tách biên lọc Kirsch 32 xi 3.5.5 Tách biên lọc Robinson 32 3.5.6 Tách biên lọc Marr-Hildreth 33 3.5.7 Tách biên lọc LoG 33 3.5.8 Tách biên lọc Canny 34 3.6 Kỹ thuật đệ quy 34 3.6.1 Tham số với phi tham số 35 3.6.2 Khảo sát vùng 35 3.7 Kỹ thuật phát chuyển động 36 3.7.1 Luồng quang học 36 3.7.2 Trừ 36 3.8 Các mơ hình Gauss 38 3.8.1 Gaussian trung bình 38 3.8.2 Gaussian hỗn hợp 40 3.9 Lọc khử nhiễu 41 3.9.1 Lọc trung vị 41 3.9.2 Khử nhiễu 42 Chương ÁP DỤNG KỸ THUẬT TRỪ NỀN TRONG PHÁT HIỆN FOD 44 4.1 Khái niệm mơ hình 44 4.2 Đặc trưng mơ hình 45 4.2.1 Phân loại đặc trưng 45 xii 4.2.2 Xác suất đặc trưng 46 4.3 Thuật toán trừ phát vật thể 48 4.3.1 Tiền xử lý 51 4.3.2 Phát đối tượng 53 4.3.3 Kỹ thuật hậu xử lý 55 4.4 Các nghiên cứu so sánh 57 4.5 Khó khăn gặp phải 59 Chương XÂY DỰNG MƠ HÌNH MƠ PHỎNG HỆ THỐNG PHÁT HIỆN FOD BẰNG MATLAB 61 5.1 Kỹ thuật xác định ngưỡng 61 5.2 Xây dựng tốn phát FOD ngành hàng khơng 66 5.3 Xây dựng giao diện mô 68 5.3.1 Tiến hành thực nghiệm mô với đầu vào ảnh tĩnh 68 5.3.2 Tiến hành thử nghiệm với đầu vào ảnh động 73 5.3.3 Đánh giá thực nghiệm 79 Chương KẾT LUẬN 82 6.1 Kết đạt 83 6.2 Giới hạn đề tài 83 6.3 Hướng phát triển tương lai 84 REFERENCES 85 xiii MỤC LỤC HÌNH ẢNH Hình 2.1: FOD sân bay Vancouver Hình 2.2: Mối nguy hại FOD 10 Hình 2.3: Mơ hình lắp đặt hệ thống phát FOD thực tế 11 Hình 2.4: Xsight-FOD Boston Logan Airport 12 Hình 3.1: Biểu diễn ảnh hàm f(x,y) 15 Hình 3.2: Ảnh nhận ảnh mong muốn 15 Hình 3.3: Một hàm chuyển đổi mức xám mà có giá trị đơn đồng biến tăng 17 Hình 3.4: Minh họa phép toán tập hợp 21 Hình 3.5: Minh họa phép tịnh tiến phản xạ 21 Hình 3.6: Minh họa phép tốn luận lí 22 Hình 3.7: Minh họa nhân tạo ảnh 23 Hình 3.8: Kỹ thuật đa ngưỡng 25 Hình 3.9: Minh họa kỹ thuật đa ngưỡng histogram 25 Hình 3.10: Minh họa kỹ thuật đa ngưỡng việc nhân chập 26 Hình 3.11: Ví dụ lấy ngưỡng tồn cục 27 Hình 3.12: Lọc nhiễu làm trơn ảnh 29 Hình 3.13: Trừ bối cảnh 37 Hình 3.14: Sơ đồ khối hệ thống phát chuyển động 37 Hình 3.15: Bộ lọc trung vị 42 xiv Hình 4.1: Khảo sát phương pháp trừ 48 Hình 4.2: Sơ đồ khối phương pháp trừ 49 Hình 4.3: Thuật toán trừ áp dụng việc phát vật thể 50 Hình 4.4: Phương pháp sai biệt khung ảnh dựa vào khác biệt thời gian 54 Hình 4.5: Xác định đối tượng 55 Hình 4.6: Kết hợp trừ thích nghi khác biệt khung 55 Hình 4.7: Hậu xử lý 56 Hình 4.8: Thuật tốn trừ nghiên cứu Sen-Ching Cheung 58 Hình 4.9: Thuật tốn trừ nghiên cứu Toyama 58 Hình 5.1: Ảnh sai biệt sau trừ 61 Hình 5.2: Đặt giá trị ngưỡng >20 61 Hình 5.3: Đặt giá trị ngưỡng > 40 62 Hình 5.4: Giá trị ngưỡng chọn thủ cơng 63 Hình 5.5: Giá trị ngưỡng tự động 64 Hình 5.6: Sơ đồ khối hệ thống 66 Hình 5.7: Lưu đồ giải thuật hệ thống 67 Hình 5.8: Giao diện hệ thống mơ khởi động 68 Hình 5.9: Mơ lắp đặt camera có độ phân giải 1920 x 1080 pixel 68 Hình 5.10: Giao diện hệ thống mô phần 69 Hình 5.11: Giao diện hệ thống mô phần 69 xv Hình 5.12: Ảnh ngõ vào 70 Hình 5.13: Thực nghiệm trường hợp 70 Hình 5.14: Thực nghiệm trường hợp 71 Hình 5.15: Thực nghiệm trường hợp 71 Hình 5.16: Thực nghiệm trường hợp 72 Hình 5.17: Bố trí thử nghiệm với đầu vào ảnh động thu thập từ webcam 73 Hình 5.18: Mơ hình nhận dạng video 73 Hình 5.19: Giao diện hệ thống mô phần 74 Hình 5.20: Một vật thể rơi vào sau phát đường bao 74 Hình 5.21: Phát tua vít 75 Hình 5.22: Phát mẫu kim loại nhỏ 75 Hình 5.23: Phát đinh ốc 75 Hình 5.24: Phát lúc nhiều vật thể 75 Hình 5.25: Phát điều kiện ánh sáng yếu 76 Hình 5.26: Phát giả định trường hợp lốp máy bay rơi đường lăn 76 Hình 5.27: Giao diện hệ thống mơ phỏngđọc liệu video 76 Hình 5.28: Kích thước mảnh kim loại nhỏ mô 76 Hình 5.29: Mơ trường hợp có tơ vào đường băng 77 Hình 5.30: Mơ trường hợp có tơ vào đường băng, có nhiều vật thể FOD 77 xvi Hình 5.31: Mơ trường hợp có tơ vào đường băng, có vật thể FOD 77 Hình 5.32: Mơ mơi trường xẩm tối 78 xvii MỤC LỤC BẢNG Bảng 2.1: Hệ thống phát FOD có giới 13 Bảng 3.1: Bảng liệt kê toán tử Matlab 22 Bảng 3.2: Bảng chân trị trừ cảnh 37 Bảng 5.1: Quá trình chọn ngưỡng thủ công 63 Bảng 5.2: So sánh dùng ngưỡng thủ công ngưỡng Otsu 64 Bảng 5.3: Xác định vật thể FOD 65 Bảng 5.4: Thực nghiệm trường hợp môi trường xế chiều (40 -200 lux) 72 Bảng 5.5: Thực nghiệm cường độ sáng 72 Bảng 5.6: Thực nghiệm trường hợp môi trường xế chiều (40 -200 lux - ảnh động) 78 Bảng 5.7: Thực nghiệm cường độ sáng 78 Bảng 5.8: Thông số khoảng cách lắp camera mô 79 Bảng 5.9: So sánh khả xử lý hai phương pháp 79 Bảng 5.10: So sánh thời gian đưa cảnh báo hai phương pháp 80 Bảng 5.11: So sánh khả ước lượng số lượng vật thể FOD 80 Bảng 5.12: So sánh khả tính diện tích vật thể FOD 80 Bảng 5.13: So sánh khả phân biệt mức độ nguy cấp 81 Bảng 5.14: So sánh khả xác định vị trí vật thể FOD 81 xviii DANH MỤC VIẾT TẮT AMF Approximated Median Filtering AOA Air Operations Area BG Background BGS Background Subtraction BSA Background Subtraction Algorithm FG Foreground FOD Foreign Object Debris/Damage GMM Gaussian Mixture Model GMMs Gaussian Mixture Models IBTM Image Boundary To Mask IIR Infinite Impulse Response LDA Linear Discriminant Analysis MDE Multiple Σ−Δ Estimation MOG Mixture Of Gaussian M/S Moving/Static PSNR Peak Signal-to-Noise Ratio V/IM Video/Image xix statsDefects = stats(idxOfSkittles); statsDefects2 = stats2(idxOfSkittles2); axes(handles.axes3) imshow(g); hold on; for idx = : length(idxOfSkittles) h = rectangle('Position',statsDefects(idx).BoundingBox,'LineWidth',2); set(h,'EdgeColor',[0.75 0]); hold on; end hold off; axes(handles.axes7) imshow(g2); num2str(sovatthe);num2str(sovatthe2); % -dong khung hold on; for idx2 = : length(idxOfSkittles2) h2 = rectangle('Position',statsDefects2(idx2).BoundingBox,'LineWidth',2); set(h2,'EdgeColor',[0.75 0]); hold on; end hold off; set(handles.edit2,'string', sovatthe); set(handles.edit5,'string', sovatthe2); %%% -% imwrite(g,'motioncap1.jpg'); a=prev-g; %take difference between khung ảnh a=rgb2gray(a); prev=g; a2=prev2-g2; a2=rgb2gray(a2); prev2=g2; prev2=g2; % store current khung ảnh as previous khung ảnh 94 if((sum(sum(a))/100)>(s/10)*100*50)%check if difference between khung ảnhs is greater than threshold % h=msgbox('Object Detected'); % WarnWave = [sin(1:.6:400), sin(1:.7:400), sin(1:.4:400)]; % Audio = audioplayer(WarnWave, 22250); % play(Audio); % g=getsnapshot(vid); fname=['Image' num2str(1)]; % imwrite(g,'motioncap1.jpg'); % imshow('motioncap1.jpg'); set(handles.edit1,'string', 'Co Chuyen dong'); % disp('motion detected');%yes than motion detected axes(handles.axes2); imshow(a);%show difference as snapshot j=j+1;% continue the loop delete(h); %delete msgbox('Object Detected'); else set(handles.edit1,'string', 'Khong co chuyen dong'); % disp('No detected');%yes than motion detected % pause(1) end if((sum(sum(a2))/100)>(s/10)*100*50)%check if difference between khung ảnhs is greater than threshold % h2=msgbox('Object Detected'); g2=getsnapshot(vid2); fname2=['Image2' num2str(1)]; % imwrite(g,'motioncap2.jpg'); % imshow('motioncap2.jpg'); 95 set(handles.edit4,'string', 'Co Chuyen dong'); % disp('motion detected');%yes than motion detected axes(handles.axes6); imshow(a2);%show difference as snapshot j=j+1;% continue the loop delete(h2); %delete msgbox('Object Detected'); else set(handles.edit4,'string', 'Khong co chuyen dong'); %disp('No detected');%yes than motion detected %pause(1) end if(mod(j,6)==0) %check if motion detected times clc; %disp('MOTION DETECTOR ON ->'); end i=i+1; % chuyendong2=((sum(sum(a2))/100)>(s/10)*100*50) ; chuyendong1=((sum(sum(a))/100)>(s/10)*100*50) ; dientich1=tonganh; dientich2=tonganh2; %PHAT HIEN FOD TAI VI TRI if sovatthe >0 && sovatthe2 >0 if dientich1 < 100000 && dientich2 < 100000 set(handles.edit6,'string', '1;2'); set(handles.edit3,'string', 'FOD'); %BAO DONG WarnWave = [sin(1:.6:400), sin(1:.7:400), sin(1:.4:400)]; Audio = audioplayer(WarnWave, 22250); 96 play(Audio); % CHUP MAN HINH robot = java.awt.Robot(); pos = [0 1400 900]; % [left top width height] rect = java.awt.Rectangle(pos(1),pos(2),pos(3),pos(4)); cap = robot.createScreenCapture(rect); % Convert to an RGB image rgb = typecast(cap.getRGB(0,0,cap.getWidth,cap.getHeight,[],0,cap.getWidth),'uint8' ); imgData = zeros(cap.getHeight,cap.getWidth,3,'uint8'); imgData(:,:,1) = reshape(rgb(3:4:end),cap.getWidth,[])'; imgData(:,:,2) = reshape(rgb(2:4:end),cap.getWidth,[])'; imgData(:,:,3) = reshape(rgb(1:4:end),cap.getWidth,[])'; cd(strcat('DATAFOD')); imwrite(imgData,'FOD.jpg'); cd elseif dientich1 > 100000 && dientich2 < 100000 set(handles.edit6,'string', '2'); set(handles.edit3,'string', 'FOD'); %BAO DONG WarnWave = [sin(1:.6:400), sin(1:.7:400), sin(1:.4:400)]; Audio = audioplayer(WarnWave, 22250); play(Audio); % CHUP MAN HINH robot = java.awt.Robot(); pos = [0 1400 900]; % [left top width height] rect = java.awt.Rectangle(pos(1),pos(2),pos(3),pos(4)); cap = robot.createScreenCapture(rect); % Convert to an RGB image rgb = typecast(cap.getRGB(0,0,cap.getWidth,cap.getHeight,[],0,cap.getWidth),'uint8' ); imgData = zeros(cap.getHeight,cap.getWidth,3,'uint8'); imgData(:,:,1) = reshape(rgb(3:4:end),cap.getWidth,[])'; imgData(:,:,2) = reshape(rgb(2:4:end),cap.getWidth,[])'; imgData(:,:,3) = reshape(rgb(1:4:end),cap.getWidth,[])'; 97 cd(strcat('DATAFOD')); imwrite(imgData,'FOD.jpg'); cd elseif dientich1 < 100000 && dientich2 > 100000 set(handles.edit6,'string', '1'); set(handles.edit3,'string', 'FOD'); %BAO DONG WarnWave = [sin(1:.6:400), sin(1:.7:400), sin(1:.4:400)]; Audio = audioplayer(WarnWave, 22250); play(Audio); % CHUP MAN HINH robot = java.awt.Robot(); pos = [0 1400 900]; % [left top width height] rect = java.awt.Rectangle(pos(1),pos(2),pos(3),pos(4)); cap = robot.createScreenCapture(rect); % Convert to an RGB image rgb = typecast(cap.getRGB(0,0,cap.getWidth,cap.getHeight,[],0,cap.getWidth),'uint8' ); imgData = zeros(cap.getHeight,cap.getWidth,3,'uint8'); imgData(:,:,1) = reshape(rgb(3:4:end),cap.getWidth,[])'; imgData(:,:,2) = reshape(rgb(2:4:end),cap.getWidth,[])'; imgData(:,:,3) = reshape(rgb(1:4:end),cap.getWidth,[])'; cd(strcat('DATAFOD')); imwrite(imgData,'FOD.jpg'); cd end %PHAT HIEN FOD TAI elseif sovatthe >0 && sovatthe2==0 if dientich1