Tạp chí Khoa học Trường Đại học Cần Thơ Tập 58, Số 3A (2022): 9-15 DOI:10.22144/ctu.jvn.2022.063 GIẢI PHÁP ĐO VẬN TỐC SĨNG TRÊN MẶT SƠNG BẰNG ẢNH NGHIÊNG TỪ MÁY ẢNH THƯƠNG MẠI Lưu Trọng Hiếu*, Nguyễn Minh Hùng, Phan Hồng Tồn Nguyễn Chí Ngơn Bộ mơn Tự động Hóa, Khoa Cơng nghệ, Trường Đại học Cần Thơ *Người chịu trách nhiệm viết: Lưu Trọng Hiếu (email: luutronghieu@ctu.edu.vn) Thông tin chung: ABSTRACT Ngày nhận bài: 06/01/2022 Ngày nhận sửa: 24/01/2022 Ngày duyệt đăng: 14/02/2022 This paper is aimed to introduce a method evaluation the velocity of the water surface by using commercial camera The camera was fixed at the top of a bridge, where it was possible to observe the river surface and vehicles passing by The observation video was recorded in different oblique angles Ortho-images were created from video frames by using collinearity equation and perspective transform To estimate accuracy of the equations, experiment was taken on land before applying to river surface The optical flow method was proposed to calculate the river surface’ velocity The result shows that wave velocity vectors were fixed with waves generated by ships and small waves generated by nature effect The initial results of the experiment show that although moving vehicles generated many waves, these waves have small amplitude and fast terminated Title: Evaluation of waves on river surface using oblique images from commercial camera Từ khóa: Ảnh ortho, cảm biến hình ảnh, phương pháp optical flow, phương trình thẳng hàng, vận tốc sóng mặt sơng Keywords: Collinearity equation, image sensing, optical flow, orthoimages, waves on river surface TÓM TẮT Phương pháp đo đạc vận tốc mặt nước tại nhánh sơng chính trình bày nghiên cứu máy ảnh thương mại Máy ảnh bố trí cố định tại đỉnh cầu, nơi quan sát cụ thể mặt sông phương tiện qua lại Video quan sát quay với góc nghiêng khác Ảnh quan sát (ảnh ortho) dựng lại từ khung ảnh phương pháp điểm thẳng hàng (collinearity equation) biến đổi phối cảnh (perspective transform) Để kiểm chứng độ chính xác phương pháp, thí nghiệm tiến hành tại vùng quan sát trước áp dụng lên mặt sông Phương pháp optical flow (dòng chảy quang học) sử dụng để tính tốn vận tốc sóng bề mặt sơng Kết cho thấy vector vận tốc sóng trùng với sóng tàu bè qua lại sóng nhỏ tượng tự nhiên Nghiên cứu ban đầu thí nghiệm cho thấy phương tiện di chuyển qua lại tạo nhiều sóng sóng có biên độ dao động nhỏ thời gian kết thúc nhanh cắt sông đạt mức độ đó, đặc điểm học mặt sơng tương tự mặt biển Hiện nay, phương pháp đo lường tiêu chuẩn thả trực tiếp phao đo (bouy) lên mặt nước để thu thập số liệu Mặc dù phương pháp cho kết xác, việc tốn thời gian nguồn lực lắp đặt thiết bị trở ngại q trình tính GIỚI THIỆU Sạt lở ven sông nhánh sông lớn có nhiều tàu bè qua lại vấn đề nghiêm trọng đồng sông Cửu Long Đồng sơng Cửu Long có diện tích mặt nước lớn với nhiều sơng có diện tích mặt cắt rộng, diện tích mặt Tạp chí Khoa học Trường Đại học Cần Thơ Tập 58, Số 3A (2022): 9-15 toán đo đạc Tại Việt Nam, nghiên cứu thay đổi bờ sông, bờ biển chủ yếu tiến hành ảnh viễn thám GIS Google Earth Nghiên cứu phân bố chất lơ lửng sông Hồng ảnh vệ tinh thực (Nguyen et al., 2016) Các nhà nghiên cứu ý đến việc thay đổi hình thái sơng (Điệp ctv., 2019; Thành ctv., 2019) dựa ảnh từ phần mềm Google Earth ảnh vệ tinh LANDSAT Các nghiên cứu có nhược điểm nghiên cứu nhánh sơng lớn quan sát tốt từ vệ tinh với độ sai số chấp nhận được, nhiên phương pháp áp dụng lên nhánh sơng nhỏ hơn, kết xuất sai số lớn tồn mặt sơng có vận tốc hướng ngẫu nhiên Máy ảnh bố trí với góc nghiêng khác để thu thập liệu Ảnh nghiêng cho diện tích quan sát tốt ảnh ortho, nhiên phép đo ảnh nghiêng lại khơng cho kết xác Vì vậy, phần phương pháp trình bày phương pháp dựng ảnh ortho từ ảnh nghiêng Vận tốc bề mặt đo phương pháp dòng chảy quang học ảnh dựng lại Mục tiêu nghiêng cứu nhằm trình bày phương pháp đánh giá vận tốc sóng bề mặt sông mối tương quan vận tốc tự nhiên vận tốc tàu bè di chuyển Độ lớn vận tốc sở để đo thành phần khác sóng độ dài sóng vận tốc dòng chảy Hiện nay, ứng dụng máy bay không người lái (unmanned aerial vehicle - UAV) vào lĩnh vực trắc địa đồ mang lại hiệu kinh tế cao, tiết kiệm thời gian công sức nhiều lần so với công nghệ truyền thống Phương pháp cho phép người nghiên cứu quan sát đường biển dọc theo đường bờ, từ tính tốn độ sâu khu vực gần bờ biển (Sun et al., 2019) Ngoài thiết bị bay giúp đánh giá đặc điểm thủy triều, sóng từ xa bờ ảnh hưởng đến đường bờ biển (Matsuba & Sato., 2018; Luu et al., 2020) Tuy nhiên, Việt Nam, lý an ninh quốc gia nên việc áp dụng thiết bị bay cần thời gian PHƯƠNG PHÁP NGHIÊN CỨU 2.1 Thiết bị Thiết bị để tiến hành thí nghiệm máy ảnh thương mại Sony Alpha 6000 có gắn ống kính góc rộng f:16-50mm Thơng số kỹ thuật máy ảnh trình bày Bảng Bảng Cấu hình thơng số kỹ thuật máy ảnh Cấu hình Thông số kỹ thuật Exmor™ APS HD CMOS Cảm biến 24.3MP 23.5 x 15.6 mm Kích thước cảm biến (APS-C type) Độ phân giải 24.3 MP Lấy nét tự động Fast Hybrid ISO 100-25600 2.2 Khảo sát thí nghiệm Trong lĩnh vực cảm nhận hình ảnh (image sensing), vận tốc sóng ảnh vệ tinh phim từ máy ảnh thường tính phương pháp tương quan chéo (cross-correlation) phương pháp vận tốc phần tử điểm (particle image velocimetry - PIV) (Dalrymple et al., 1998) Phương pháp tương quan chéo cho kết trung bình khung hình khơng thể vận tốc cụ thể điểm ảnh Trong đó, phương pháp PIV lại phải chọn điểm ảnh thủ cơng khung hình Derian and Almar (2017) phương pháp optical flow (dòng chảy quang học) cho kết tốt hơn, phương pháp biểu diễn vận tốc pixel ảnh cách tự động trực quan Vị trí chọn quay video thí nghiệm cầu Hưng Lợi (Hình 1) lúc 9h sáng ngày Hiện nay, ứng dụng thu thập hình ảnh máy bay khơng người lái máy ảnh tập trung chủ yếu đường bờ biển Các khu vực sông lớn, thu thập hình ảnh dựa ảnh vệ tinh Tuy nhiên, độ sai lệch ảnh vệ tinh lớn khơng có đủ liệu cho vùng sơng nhỏ cần quan sát Vì vậy, phương pháp đo đạc vận tốc bề mặt sông máy ảnh cố định vị trí (land-based camera) trình bày nghiên cứu Khúc sơng chọn có mật độ tàu bè qua lại cao, sóng Hình Cầu Hưng Lợi nhìn từ Google Earth 20/03/2021 Đây vị trí cao quan sát dịng chảy sơng, sóng ngẫu nhiên, phương tiện tàu bè lại dễ dàng Vào ngày lấy mẫu, trời nhiều mây, gió nhẹ khơng có mưa, sóng dài mặt 10 Tạp chí Khoa học Trường Đại học Cần Thơ Tập 58, Số 3A (2022): 9-15 sông chủ yếu tạo từ phương tiện qua lại sông Máy ảnh cố định chân máy ảnh có độ cao 160 cm, quay góc nghiêng 00, 450, 600 2.3 Phương pháp dựng ảnh 2.3.2 Phép biến đổi phối cảnh Phép biến đổi phối cảnh cho phép ánh xạ điểm hai mặt phẳng ảnh mà không thiết phải song song với thông qua ma trận 3x3 khả nghịch tọa độ công thức sau: Video góc nghiêng chia thành khung ảnh rời (30 ảnh/giây), ảnh hiệu chỉnh độ biến dạng (undistored) Sau đó, ảnh nghiêng biến đổi thành ảnh ortho (orthophoto - ảnh số chỉnh sửa biến dạng hình học, phép đo ảnh không bị thay đổi độ lớn) Phương pháp xây dựng ảnh ortho gồm bước: bước sử dụng phương trình thẳng hàng (collinearity equation) (Lillesand et al., 2015) bước sử dụng phép biến đổi phối cảnh (perspective transform) (Hartley & Zisserman, 2000) 2.3.1 Phương trình thẳng hàng Phương trình thẳng hàng trình bày mối quan hệ tọa độ ảnh 2D (x, y – tilted photo plane) hệ tọa độ mặt đất 3D (X, Y, Z) thông qua sáu yếu tố góc (ω, Φ k – góc xoay quanh trục roll, pitch, yaw) tọa độ X, Y, Z hệ gốc (L) so với ảnh ortho (Hình 2) Theo đó, phương trình thẳng hàng miêu tả sau: 𝑚 (𝑋 − 𝑋 ) + 𝑚12 (𝑌𝑝 − 𝑌𝐿 ) + 𝑚13 (𝑍𝑝 − 𝑍𝐿 ) 𝑥𝑝 = −𝑓 [ 𝑚11 (𝑋𝑝 − 𝑋𝐿 )+ 𝑦𝑝 = −𝑓 [ 𝑚 𝑝 𝐿 31 (𝑋𝑝 − 𝑋𝐿 )+ 𝑚32 (𝑌𝑝 − 𝑌𝐿 )+ 𝑚33 (𝑌𝑝 − 𝑌𝐿 ) ℎ12 ℎ22 ℎ32 ℎ13 𝑥1 ℎ23 ] (𝑥2 ) ℎ33 𝑥3 (3) Với 𝑥1′ , 𝑥2′ , 𝑥3′ tọa độ điểm chiếu 𝑥1 , 𝑥2 , 𝑥3 thơng qua ma trận quay ℎ𝑖,𝑗 2.4 Thí nghiệm thuật tốn phịng Mục tiêu bố trí thí nghiệm phịng để xác định độ xác phương trình tốn đề xuất tái tạo lại ảnh ortho Theo đó, bước thí nghiệm tiến hành xác bố trí máy ảnh trường (cầu Hưng Lợi) Một bàn cờ có kích thước 8x8 với có diện tích 14x14 mm2 sử dụng, vùng quan sát bàn cờ tương ứng với vùng quan sát mặt sơng Để bố trí thí nghiệm, máy ảnh đặt tripod có độ cao cố định 60 cm Một bàn cờ đặt cho tâm bàn cờ trùng với tâm khung ảnh máy ảnh Ảnh chụp, lặp lại bước tương tự với góc nadir = 00, off-nadir = 300 offnadir = 600 (góc nadir góc chụp vng góc, góc off-nadir cho góc ngẫu nhiên) Ở Độ cao 60 cm, bàn cờ đặt cách vị trí gốc tripod 34,65 cm 104 cm (Hình 3) Ảnh chụp với góc nadir = 00 xem ảnh tiêu chuẩn, ta dùng ảnh để làm kết so sánh với ảnh khác để kiểm tra khả phép biến đổi ảnh ] (1) 𝑚32 (𝑌𝑝 − 𝑌𝐿 )+ 𝑚33 (𝑌𝑝 − 𝑌𝐿 ) 𝑚21 (𝑋𝑝 − 𝑋𝐿 ) + 𝑚22 (𝑌𝑝 − 𝑌𝐿 ) + 𝑚23 (𝑍𝑝 − 𝑍𝐿 ) 31 𝑥1′ ℎ11 (𝑥2′ ) = [ℎ21 ℎ31 𝑥3′ ] (2) Với: 𝑥𝑝 , 𝑦𝑝 : tọa độ ảnh điểm 𝑃 𝑋𝑝 , 𝑌𝑝 , 𝑍𝑝 : tọa độ mặt đất điểm 𝑃 𝑋𝐿 , 𝑌𝐿 , 𝑍𝐿 : tọa độ mặt đất trạm 𝐿 𝑚11 , … , 𝑚33 : hệ số ma trận xoay 3x3 xác định góc 𝜔, 𝛷, 𝑘 làm biến đổi hệ tọa độ mặt đất thành hệ tọa độ ảnh (a) sơ đồ bố trí thí nghiệm Hình Phương trình thẳng hàng 11 Tạp chí Khoa học Trường Đại học Cần Thơ Tập 58, Số 3A (2022): 9-15 𝐼𝑥 𝑢 + 𝐼𝑦 𝑣 + 𝐼𝑡 = (4) 𝑣̅ = √𝑢2 + 𝑣 Với 𝐼𝑥 , 𝐼𝑦 , 𝑣à 𝐼𝑡 vi phân độ sáng theo không gian thời gian khung ảnh 𝑢: vận tốc theo trục ngang khung ảnh 𝑣: vận tốc theo trục dọc khung ảnh 𝑣̅ : vận tốc theo trục khung ảnh 2.6 Thu thập liệu cầu Hưng Lợi (b) góc nadir = 00, tâm ảnh đặt trùng với tâm bàn cờ a) thu thập liệu máy ảnh b) góc nadir = 00 c) góc off-nadir = 450 d) góc off-nadir = 600 c) góc off-nadir = 300 Hình Thu thập liệu máy ảnh cầu Hưng Lợi Thí nghiệm tiến hành cầu Hưng Lợi, vào ngày 20/3/2021 lúc 9:00 AM Khi tiến hành thu thập liệu, thời tiết có ánh sáng phù hợp, phương tiện đường thủy có di chuyển mặt sơng, phương tiện đường cầu khơng q nhiều nên dao động ảnh hưởng đến góc nghiêng độ rung lắc máy ảnh Độ cao từ máy ảnh tới mặt sơng h=15m đo thủ cơng; góc phương vị (góc hợp tâm máy ảnh cực Bắc) θ=150 đo la bàn số điện thoại la bàn cầm tay Video quay chia thành khung ảnh rời (30 khung hình/giây), sau dựng thành ảnh ortho nhờ phương pháp toán kể d) góc off-nadir = 600 Hình Bố trí thí nghiệm phịng thí nghiệm 2.5 Tính tốn vận tốc phương pháp dòng chảy quang học Dòng chảy quang học phương pháp tính tốn vận tốc đối tượng khung ảnh Bằng cách đánh giá vận tốc khung ảnh, người tính tốn đo vận tốc đối tượng khung ảnh mà cần quan sát Phương pháp dòng chảy quang học tích hợp sẵn cơng cụ Computer Vision phần mềm MATLAB, cho phép sử dụng trực tiếp đoạn khung ảnh Có nhiều cách tính khác nhau, trường hợp phương pháp Lucas-Kanade dùng để tính tốn Về bản, cách tính vận tốc ảnh trình bày sau: KẾT QUẢ THU ĐƯỢC 3.1 Dựng ảnh Ortho 3.1.1 Kết dựng ảnh tại phòng Kết phép dựng ảnh trình bày Hình Diện tích hình vng bàn cờ 14x14mm Vị trí điểm A, B, C, D khung ảnh chọn thủ cơng Do ta biết xác vị trí bàn cờ so với tâm tripod, vị trí góc offnadir biết Kết phép biến đổi 12 Tạp chí Khoa học Trường Đại học Cần Thơ Tập 58, Số 3A (2022): 9-15 cho thấy ảnh sau dựng có kích thước tương đương với ảnh vị trí góc nadir = 00, từ kết luận phép tốn biến đổi đạt yêu cầu đề 3.1.2 Kết dựng ảnh thu thập liệu từ cầu Hưng Lợi Kết phép biến đổi collinearity perspective transform cho thấy khoảng cách pixel ảnh Ground Sample Distance (GSD) = 3,6 mm/pixel Giá trị tính tốn dựa mối liên hệ kích thước pixel, độ lớn cảm biến ccd (mm_ccd) kích thước thật điểm bàn cờ thực tế (mm) Theo đó, mm cảm biến tương đương 255 pixel tỉ lệ kích thước thật kích thước cảm biến 0,0095 Quan sát kết dựng lại bàn cờ, ta thấy hình dựng thành công với độ sai số chấp nhận (độ lệch pixel), nhiên góc off-naidr lớn, chất lượng ảnh giảm a) Ảnh ortho với góc nadir = 00 Kích thước 1024×1024 pixel = 3,69×3,69 m2 a) ảnh góc off-nadir = 300 trước dựng b) Ảnh ortho với góc off-nadir = 600 Kích thước 2048×2048 pixel = 7,35×7,35 m2 Hình Dựng ảnh ortho góc nadir = 00 offnadir = 600 Kết dựng ảnh ortho từ ảnh nghiêng trình bày Hình Diện tích hình góc nadir = 00 1024×1024 pixel = 3,69×3,69 m2, diện tích góc off-nadir = 600 2048×2048 pixel = 7,35×7,35 m2 Chất lượng ảnh dựng cho kết tốt, sóng lan khung ảnh quan sát rõ Từ kết này, vận tốc sóng bề mặt tính phương pháp dịng chảy quang học b) ảnh góc off-nadir = 300 sau dựng Hình Kết phép dựng ảnh 13 Tạp chí Khoa học Trường Đại học Cần Thơ Tập 58, Số 3A (2022): 9-15 3.2 Tính tốn vận tốc phương pháp dòng chảy quang học thời Bằng cách so sánh độ lớn vector vị trí A B, ta biết ảnh hưởng phương tiện tạo lên mặt sơng Hình Biểu đồ so sánh vận tốc điểm A điểm B Kết phương pháp dòng chảy quang học vận tốc di chuyển khung ảnh, với đơn vị độ dịch chuyển pixel/khung ảnh Với giá trị GSD = 3,6 mm/pixel, vận tốc sóng đổi qua đơn vị chuẩn m/s Biểu đồ so sánh vận tốc điểm A điểm B thể Hình Nhìn chung, vận tốc bề mặt hơm quan sát khơng lớn ( m/s) Vận tốc sóng phương tiện tạo có độ lớn khoảng lần so với yếu tố khác (vị trí A) Vận tốc điểm A có độ lớn m/s, vận tốc điểm B có độ dao động cao Thời gian trì sóng tương đối ngắn, 15 giây Sau 13 giây quan sát, sóng cịn sinh điểm B, sóng điểm A coi khơng cịn xuất Lúc này, vận tốc bề mặt điểm A vận tốc dòng chảy yếu tố khác a) Phương pháp dòng chảy quang học lên khung ảnh Kích thước 2048×2048 pixel = 7,35×7,35 m2 KẾT LUẬN Nghiên cứu trình bày phương pháp đo vận tốc bề mặt sông từ ảnh nghiêng máy ảnh thương mại Máy ảnh bố trí cao độ, nơi quan sát mặt sơng có tàu bè khơng có tàu bè qua lại Video quay với góc khác 300, 450, 600 Ảnh nghiêng dựng thành ảnh ortho phương pháp thẳng hàng phương pháp phối cảnh Thí nghiệm giá trị GSD = 3,6 mm/pixel Vận tốc sóng đo phương pháp dòng chảy quang học Kết đo cho thấy thời gian sóng sinh kết thúc từ có tàu tầm 15 giây với độ lớn dao động 3m/s Do điều kiện ngoại cảnh, chưa bố trí phao đo để kiểm chứng phương pháp đề Nghiên cứu sóng bề mặt phương tiện tạo có biên độ dao động nhỏ, thời gian kết thúc nhanh Dạng sóng mang lượng yếu, độ lan truyền thấp b) Vị trí so sánh vận tốc điểm Kích thước 2048×2048 pixel = 7,35×7,35 m2 Hình Vận tốc mặt sông khung ảnh phương pháp dịng chảy quang học Vận tốc mặt sóng khung ảnh trình bày Hình 8a Khu vực quan sát có diện tích quan sát thực tế 7,35×7,35 m2 Độ dài vector thể độ lớn vận tốc sóng bề mặt sơng Các vector vận tốc vị trí điểm A (Hình 8b) thể vận tốc sau phương tiện di chuyển qua khoảng thời gian, lúc sóng tạo ảnh hưởng nhiều yếu tố phụ (gió, độ lan truyền xung quanh) Các vector vận tốc vị trí điểm B (Hình 8b) thể vận tốc phương tiện rời khỏi tức 14 Tạp chí Khoa học Trường Đại học Cần Thơ Tập 58, Số 3A (2022): 9-15 TÀI LIỆU THAM KHẢO Dalrymple, R A., Kennedy, A B., Kirby, J T., & Chen, Q (1998) Determining depth from remotely-sensed images Coastal Engineering, 1(26), 2395-2408 https://doi.org/10.9753/icce.v26.%25p Derian, P., & Almar, R (2017) Wavelet-Based Optical Flow Estimation of Instant Surface Currents From Shore-Based and UAV Videos IEEE Transactions on Geoscience and Remote Sensing, 55(10), 5790–5797 doi:10.1109/tgrs.2017.2714202 Điệp, N T H., Minh, V Q., Trường P N., Thành, L K., & Vinh, L T Q (2019) Diễn tiến tình hình sạt lở ven bờ sơng Tiền sông Hậu, vùng Đồng sông Cửu Long Tạp chí Khoa học Trường Đại học Cần Thơ, 55(CĐ Môi trường), 125-133 https://doi.org/10.22144/ctu.jsi.2019.139 Hartley, R., & Zisserman, A (2000) Multiple view geometry in computer vision Cambridge university press, 2nd edition Lillesand, T M., Kiefer, R W., & Chipman, J W (2015) Remote sensing and image interpretation Wiley & Son Inc 7th edition LUU, T.H., Tsuyoshi I., Akio O., Daisuke I., & Fukutaro K (2020) Evaluation of wave propagation characterisitcs using oblique UAV video images Journal of Japan Society of Civil Engineering (B3), 76(2), I_642-I_647 https://doi.org/10.2208/jscejoe.76.2_I_642 Matsuba, Y., & Sato, S (2018) Nearshore bathymetry estimation using UAV Coastal Engineering Journal, 60(1), 51-59 https://doi.org/10.1080/21664250.2018.1436239 Nguyen, V T., Vu, D V., Nguyen, D, V., & Pham, X C (2016) Algorithm development of satellite image processing to detect the concentration of suspended particulate matter in coastal waters of red river delta Viet Nam Journal of Marine Science and Technology, 16(2), 129-135 https://doi.org/10.15625/1859-3097/8446 Sun, S H., Chuang, W L., Kim, K A., Kaihatu, J Y., Huff, J., T., & Feagin, R (2019) Imagingbased nearshore bathymetry measurement using an unmanned aircraft system Journal of Waterway, Port, Coastal, Ocean Engineering, 145(2), 04019002-1- 04019002-12 Thành, T L., Duy, Đ V., & Kiên, V V (2019) Đánh giá biến đổi hình thái sơng Dinh -Ninh Thuận cơng nghệ phân tích ảnh viễn thám Tạp chí Tài nguyên Nước, 4, 36-46 https://doi.org/10.36335/VNJHM.2021 15 ... phương pháp trình bày phương pháp dựng ảnh ortho từ ảnh nghiêng Vận tốc bề mặt đo phương pháp dòng chảy quang học ảnh dựng lại Mục tiêu nghiêng cứu nhằm trình bày phương pháp đánh giá vận tốc sóng. .. khung ảnh Kích thước 2048×2048 pixel = 7,35×7,35 m2 KẾT LUẬN Nghiên cứu trình bày phương pháp đo vận tốc bề mặt sông từ ảnh nghiêng máy ảnh thương mại Máy ảnh bố trí cao độ, nơi quan sát mặt sơng... tốn vận tốc phương pháp dịng chảy quang học Dịng chảy quang học phương pháp tính tốn vận tốc đối tượng khung ảnh Bằng cách đánh giá vận tốc khung ảnh, người tính tốn đo vận tốc đối tượng khung ảnh