TRƯỜNG ĐẠI HỌC BÀ RỊA – VŨNG TÀU VIỆN ĐÀO TẠO QUỐC TẾ SAU ĐẠI HỌC TIỂU LUẬN MÔN XỬ LÝ ẢNH Tên đề tài “Máy dò góc Shi Tomasi”
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÀ RỊA – VŨNG TÀU VIỆN ĐÀO TẠO QUỐC TẾ & SAU ĐẠI HỌC TIỂU LUẬN MÔN XỬ LÝ ẢNH Tên đề tài: “Máy dị góc Shi-Tomasi” GVHD: TS Phan Nguyễn Hoàng HVTH: Nguyễn Xân Bắc Lữ Thị Huyền Sâm Lớp: MIT20K2 Tháng 7, năm 2021 LỜI NĨI ĐẦU Bài tốn xác định góc (corner detection) sử dụng nhiếu toán computer vision image matching, object detection Ứng dụng tốn image matching, hai ảnh bên hai ảnh chụp cảnh với nhiều góc khác Khi ta muốn tìm điểm tương tự (feature point) hai ảnh để nối ảnh, tìm vơ vàn điểm giống Nhưng điểm điểm quan trọng? Giống cách hoạt động mắt người, xác định giống hai ảnh ta so sánh vị trí góc đặc trưng cạnh thường bị lặp lại dùng làm yếu tố đặc trưng Hoặc toán nhận diện biển số xe, cần dụng thuật tốn lấy bốn góc biển số xe ta nhanh chóng lấy vùng biển số xe nhanh nhiều so với phương pháp sử dụng Deep learning Corner Detection sử dụng nhiều xử lý ảnh tơi chọn thuật tốn phổ biến Shi-Tomasi I TRÌNH BÀY THUẬT TỐN SHI TOMASI Thuật tốn Shi-Tomasi, cịn gọi tính tốt để theo dõi, phương pháp phát góc sử dụng rộng rãi lĩnh vực thị giác máy tính để chọn số loại đặc điểm định từ hình ảnh Nó phiên cải tiến máy dị góc Harri Do đó, chúng tơi bắt đầu cách minh họa máy dị góc Harris, sau chúng tơi làm bật khía cạnh cải tiến thuật tốn Shi-Tomasi Máy dị góc Harris máy dị điểm tính dựa giá trị eigenvalue, máy dị góc phổ biến tính bất biến mạnh nhiễu hình ảnh chuyển động quay Nó dựa chức tương quan tự động cục tín hiệu đo thay đổi cục tín hiệu với vá dịch chuyển lượng nhỏ theo hướng khác Cho dịch chuyển (∆r, ∆y) điểm (x, y), hàm tương quan tự động định nghĩa [44] phương trình (1) 𝐸(𝑢, 𝑣) = ∑𝑥 ∑𝑦 𝑤 (𝑥, 𝑦)[𝐼 (𝑥 + 𝑢, 𝑦 + 𝑣 ) − 𝐼(𝑥, 𝑦)]2 (1) Trong đó: - E đề cập đến tổng khác biệt bình phương cửa sổ ban đầu cửa sổ di chuyển - u đề cập đến dịch chuyển cửa sổ theo hướng x - v đề cập đến dịch chuyển cửa sổ theo hướng y - w (x, y) đề cập đến hàm trọng số cửa sổ vị trí (x, y), gaussian cửa sổ - I (x + u, y + v) đề cập đến cường độ cửa sổ di chuyển - I (x, y) đề cập đến cường độ cửa sổ ban đầu Phương trình (1) mở rộng cách sử dụng chuỗi Taylor viết lại phương trình (2) 𝐸(𝑢, 𝑣) ≈ ∑𝑥 ∑𝑦 𝑤(𝑥, 𝑦)[𝐼(𝑥, 𝑦) + ũ𝐼 + 𝑣𝐼𝑦 − 𝐼 (𝑥, 𝑦)]2 (2) Phương trình (2) viết lại dạng ma trận phương trình (3) 𝐸(𝑢, 𝑣) ≈ [𝑢 𝐼𝑥2 𝑣] (∑𝑥 ∑𝑦 𝑤(𝑥, 𝑦) [ 𝐼𝑥 𝐼𝑦 𝐼𝑥 𝐼𝑦 𝑢 ]) [𝑣 ] 𝐼𝑦 (3) Phương trình (3) đơn giản hóa phương trình (4) 𝑢 𝐸 (𝑢, 𝑣 ) ≈ [𝑢 𝑣]𝐴 [ ] (4) 𝑣 A đại diện cho Ma trận Harris định nghĩa phương trình (5) 𝐴 = (∑𝑥 ∑𝑦 𝑤(𝑥, 𝑦) [ 𝐼𝑥2 𝐼𝑥 𝐼𝑦 𝐼𝑥 𝐼𝑦 ]) 𝐼𝑦2 (5) Các số đo phản ứng góc (R) tính [45] phương trình (6) 𝑅 = 𝐷𝑒𝑡(𝐴) − 𝐾(𝑇𝑟𝑎𝑐𝑒 (𝐴)) = λ1 × λ2 − 𝐾(λ1 × λ2 )2 (6) 𝐷𝑒𝑡(𝐴) = λ1 × λ2 , 𝑇𝑟𝑎𝑐𝑒 (𝐴) = λ1 × λ2 λ2 giá trị riêng (A) (k) giá trị không đổi Tùy thuộc vào giá trị R, điểm coi [46]: Góc: hai λ1 & λ2 lớn λ1 ≈λ2 ; E tăng theo hướng Cạnh: λ2 ≫λ1 λ1 ≫λ2 Phẳng: hai λ1 & λ2 nhỏ; E gần không đổi theo hướng Như vậy, Thuật tốn Shi-Tomasi phát góc cách sử dụng hai giá trị riêng thuật toán Harris-Stephen thực hiện, tính tốn hàm R theo cách khác Trong thuật tốn Shi-Tomasi, R tính sau: 𝑅 = min(λ1 , λ2 ) (7) Nếu R lớn ngưỡng xác định trước λ𝑚𝑖𝑛 , điểm chọn coi điểm góc Thuật tốn Shi-Tomasi tạo điểm đặc trưng ổn định xác để theo dõi so với thuật toán Harris-Stephens Ngược lại, dẫn đến nhu cầu tính tốn củng cao Trong OpenCV có cung cấp hàm cv2.goodFeaturesToTrack() thực thuật toán: image: nên chuyển dạng ảnh xám để xử lý maxCorners: Số góc bạn mong muốn tìm thấy Nếu số góc tìm lớn số bạn mong muốn trả số góc bạn mong muốn có confidence cao qualityLevel: tham số nhân với điểm confidence lớn góc tìm tạo giá trị ngưỡng Và dựa ngưỡng để loại giá trị góc có điểm confidence bé ngưỡng Nếu số góc tìm bé góc mong muốn trả số góc tìm minDistance: khoảng cách Euclid bé hai góc II TÌM THÊM MỘT THUẬT TỐN CÙNG CHỨC NĂNG VỚI THUẬT TỐN TRÌNH BÀY Features from accelerated segment test (FAST) thuật toán phát góc, sử dụng để tìm điểm tương tự (feature point) toán xử lý ảnh Thuật toán FAST phát triển công bố vào năm 2006 Edward Rosten Tom Drummond Lợi lớn thuật toán FAST so với thuật tốn tìm góc khác hiệu tính tốn Giống tên nó, thuật toán nhanh thuật toán tiếng khác tương tự SIFT, SUSAN Harris Ngoài áp dụng với công nghệ máy học (machine learning) đạt hiệu suất tính tốn vượt trội Thuật toán FAST phù hợp với ứng dụng xử lý hình ảnh theo thời gian thực lợi Giải thích thuật tốn FAST: Chọn pixel p ảnh để xác định có phải interest point hay khơng Cưởng độ điểm Ip Chọn giá trị threshold t Giả sử có vịng trịng 16 pixel quanh pixel p (Đây vòng tròng Breshenham circle bán kính 3) Pixel p góc tồn tập hợp n điểm liển kề có độ sáng lớn Ip + t, tối Ip – t Để làm thuật toán nhanh hơn, so sánh pixel 1, 5, ,13 vòng tròn với Ip Nếu có pixel (I1, I2, I9, I13) không lớn nhỏ Ip + t p khơng phải interest point (corner) Ngược lại có pixel lớn nhỏ Ip + t tiếp tục kiểm tra 12 pixel cịn lại có thỏa mãn điều kiện khơng Tiếp tục lặp lại cho tất pixel ảnh III TÌM KIẾM VÀ TRÌNH BÀY CÁC ỨNG DỤNG MÀ CÁC THUẬT TỐN ĐĨ ĐƯỢC ÁP DỤNG THỰC TẾ (TRONG CÁC CÔNG BỐ KHOA HỌC – PAPERS) Indoor Visual Localization of a Wheelchair using ShiTomasi and KLT [1] Một giải pháp cho lập đồ xác mơi trường nhà tìm kiếm cộng đồng khoa học điều hướng robot Có nhiều phương pháp tiếp cận để giải vấn đề này: cảm biến quán tính, camera, laser phương pháp dựa cường độ tín hiệu (Wi-Fi) Bài báo trình bày cách tiếp cận cách sử dụng máy ảnh nhúng robot, xuống sàn Một ứng dụng sử dụng xe lăn chạy điện nhà môi trường để xác thực phương pháp The image processing techniques used can be divided in two categories: points of interest extraction and point tracking In this paper, the first is done with Shi-Tomasi and the next is implemented using the KLT algorithm A Feature Points Extraction with Shi-Tomasi The Shi-Tomasi algorithm, also known as “good features to track” considers a weighted auto-correlation function: Where w( xi , yi ) is the weight Applying Taylor’s series expansion, the auto-correlation matrix A is given by: The goal is to verify the following relation: Where λ1 and λ2 are the weigenvalues and λ is a predefined threshold If the selected point satisfies this equation, than it is considered a good feature to track B Point Tracking with KLT After finding good feature points in accordance with the Shi-Tomasi algorithm, the next step is the tracking The Kanade-Lucas-Tomasi (KLT) uses the Lucas-Kanade method for aligning (tracking) an image patch using Shi-Tomasi feature points The goal is to align a template image to an input image Considering a set of allowable warps W(x; p), where p is a vector of parameters, where: The best alignment minimizes the image dissimilarity: Those equations represent the original concept of the Lucas-Kanade algorithm After the point tracking, a method to verify if the tracking was successful is crucial One possibility is the Forward-Backward error, which make a forward and backward track to ensure if the feature point was correctly tracked EXPERIMENT AND RESULTS The chosen application to test the proposed method was an Electric Powered Wheelchair (EPW) with a Remote Control To validate the application, a test path was defined to be followed by the EPW The purpose was to create a simple scenario eliminating obstacles and choosing a small area to test The full length of the test was 4.5 meters, divided by: 3m forward, 1.5m right The figure bellow presents such path The digital camera attached to the EPW is recording the floor We decided to use this approach in order to simplify the path reconstruction to a 2D problem, since the depth of the points will always be the same Where the green dots are the feature points and the blue square is the search area Using the Shi-Tomasi’s feature points and KLT tracker The robot first starts at (0,0) then goes to the left to (-1.65m,0) then to the final position (-1.5m,-2.9m) The final position estimated is (-1,37m, -2.86m) and the real position is (-1.5m, -2.9m) An error of 8% in X and 1% in Y IV MỘT VÍ DỤ PYTHON VỀ CÁCH DÙNG THUẬT TỐN TRONG THỰC TẾ Tìm góc realtime qua webcam TÀI LIỆU THAM KHẢO [1] M Lima, P Kurka, Y Silva V Lucena, “Indoor Visual Localization of a Wheelchair using Shi-Tomasi and KLT” ... ĐẦU Bài tốn xác định góc (corner detection) sử dụng nhiếu toán computer vision image matching, object detection Ứng dụng tốn image matching, hai ảnh bên hai ảnh chụp cảnh với nhiều góc khác Khi... tính tốn vượt trội Thuật tốn FAST phù hợp với ứng dụng xử lý hình ảnh theo thời gian thực lợi Giải thích thuật tốn FAST: Chọn pixel p ảnh để xác định có phải interest point hay khơng Cưởng... biển số xe nhanh nhiều so với phương pháp sử dụng Deep learning Corner Detection sử dụng nhiều xử lý ảnh tơi chọn thuật tốn phổ biến Shi-Tomasi I TRÌNH BÀY THUẬT TỐN SHI TOMASI Thuật tốn Shi-Tomasi,