Trong nghiên cứu này, nhóm tác giả đề xuất một giải thuật xử lý ảnh để xác định độ dài dây của cầu trục container (khoảng cách từ hệ camera đến vị trí ngàm kẹp container) và góc lắc của ngàm kẹp container làm cơ sở cho việc thiết kế thuật toán điều khiển chống lắc cho cầu trục container. Giải thuật xử lý ảnh bao gồm các bước chính: chuyển đổi từ không gian màu BGR sang không gian màu HSV, nhị phân ảnh nhằm trích xuất vùng đối tượng đã được đánh dấu (marker).
JST: Engineering and Technology for Sustainable Development Vol 1, Issue 2, April 2021, 065-071 Nhận dạng vị trí tải cầu trục container camera Load Position Detection of Container Crane Using Camera Ngô Quang Hiếu*, Lê Văn Lẻ, Nguyễn Hữu Quang, Trương Quốc Bảo, Nguyễn Hữu Cường Đại học Cần Thơ, Cần Thơ, Việt Nam * Email: nqhieu@ctu.edu.vn Tóm tắt Trong nghiên cứu này, nhóm tác giả đề xuất giải thuật xử lý ảnh để xác định độ dài dây cầu trục container (khoảng cách từ hệ camera đến vị trí ngàm kẹp container) góc lắc ngàm kẹp container làm sở cho việc thiết kế thuật toán điều khiển chống lắc cho cầu trục container Giải thuật xử lý ảnh bao gồm bước chính: chuyển đổi từ khơng gian màu BGR sang khơng gian màu HSV, nhị phân ảnh nhằm trích xuất vùng đối tượng đánh dấu (marker) Tiếp theo, kỹ thuật dò biên Canny xác định đường bao áp dụng để xác định vị trí điểm đánh dấu ngàm kẹp container Cuối cùng, tâm điểm đánh dấu xác định sử dụng để tính tốn khoảng cách từ hệ camera đến vị trí ngàm kẹp container Độ xác giải thuật xác định khoảng cách 99,79%, đáp ứng yêu cầu đo đạc cho điều khiển Từ khóa: Xử lý ảnh, độ dài dây, cầu trục container, điểm định vị, góc lắc Abstract In this study, the authors proposed an image processing algorithm to detect (measure) the rope length of container crane (distance from camera system to container spreader) and sway angle of the spearder (container) This measurement will be the main input to design the anti-sway control system for container cranes The image processing algorithm includes the main steps: converting from BGR color space to HSV color space, then, binary image is used to extract the marker area Next, the Canny boundary detection technique is applied to determine the boundary of the markers in the container spreader The center location of each marker is determined and used to calculate the distance from the camera system to the container spreader is calculated The rope length accuracy by the image processing algorithm is 99,79% It is satisfied for crane control purpose Keywords: Image processing, rope length detection, container crane, marker, sway angle Giới thiệu tự động hóa, thông minh số quốc gia phát triển giới với nhiều cơng trình nghiên cứu liên quan Tuy nhiên, nghiên cứu Việt Nam hạn chế Các nghiên cứu dừng lại đề xuất sử dụng hệ gồm nhiều camera khác để thu nhận thông tin ảnh độ sâu đối tượng cần quan tâm, từ xác định vị trí kích thước container [1][2][3] Phần lớn nghiên cứu giai đoạn mô phỏng, chưa xây dựng hệ thống áp dụng thực tế Riêng nước ta, nghiên cứu áp dụng ứng dụng chưa phổ biến, chủ yếu kinh nghiệm quan sát người lái cầu trục, nghiên cứu cần thiết có ý nghĩa thực tiễn Tại cảng biển, việc rút ngắn thời gian chờ tàu bốc dỡ hàng hóa đóng vai trị quan trọng nhằm tăng hiệu xuất làm việc tiết giảm chi phí cho doanh nghiệp Tuy nhiên việc bốc dỡ lại phụ thuộc hoàn toàn vào kinh nghiệm người lái cầu trục, người lái cầu trục cần kinh nghiệm năm để đạt suất bốc dỡ trung bình 30-35 container/giờ Vấn đề khó khăn đặt cho người lái cầu trục tầm quan sát bị hạn chế ảnh hưởng khoảng cách, việc bốc dỡ container khoảng cách khoảng 30m không dễ dàng Việc nghiên cứu hệ thống nhằm hỗ trợ người lái cầu trục xác định vị trí tải cần thiết có giá trị thực tiễn cao Bài báo đề xuất giải thuật xử lý ảnh để định vị, xác định khoảng cách từ hệ camera đến vị trị container ước lượng góc lệch hệ container so với phương ngang sử dụng kỹ thuật xử lý ảnh Đầu tiên, ảnh thu nhận từ hệ thống chuyển đổi từ không gian màu RGB sang HSV để xử lý Tiếp theo, tìm biên đối tượng với lọc Canny, tính diện tích đường bao đối tượng để loại bỏ vùng đối tượng nhiễu tính khoảng cách từ hệ camera đến tâm đối tượng Quy trình xử lý tổng quát phương pháp trình bày Hình Mục viết mô tả chi tiết nội dung thực Hệ thống định vị, xác định khoảng cách từ hệ camera đến vị trí container tính tốn góc lắc container q trình chuyển động đóng vai trò quan trọng việc hỗ trợ người lái cầu trục điều khiển bốc dỡ container Các hệ thống phát triển ứng dụng ngành công nghiệp ISSN: 2734-9381 https://doi.org/10.51316/jst.149.etsd.2021.1.2.11 Received: August 12, 2020; accepted: November 18, 2020 65 JST: Engineering and Technology for Sustainable Development Vol 1, Issue 2, April 2021, 065-071 phương pháp đề xuất Các kết thực nghiệm thảo luận trình bày Mục Kết luận định hướng nghiên cứu đưa Mục báo Thuật toán xử lý ảnh 2.1 Hệ thống quan sát đèn hiệu nhận diện Với mục tiêu thu nhận hình ảnh hệ đèn hiệu đưa máy tính xử lý nhận diện, ước lượng vị trí tâm khoảng cách từ hệ đèn hiệu đến hệ thống quan sát (Hình 2) Trong hệ thống này, chúng tơi thiết kế giá đỡ khí để hỗ trợ việc cố định camera Basler 1920-40gc ống kính Basler f16mm, camera có khả xử lý xác định hình ảnh với khoảng cách gần từ hệ camera đến vật cần đo khoảng cách 350cm Đèn hiệu giúp hệ camera nhận diện lắp đặt khung chụp container gồm hai đèn trịn màu đỏ có đường kính 10 cm đặt cách 83 cm tính tâm Hình Sơ đồ phương pháp ước lượng vị trí hướng đối tượng 2.2 Phân đoạn ảnh Đây phương pháp sử dụng để phát đối tượng dựa thuộc tính màu đối tượng [4] Các bước thuật toán thực hiển thị cho thành phần Hue không gian màu HSV [5] Trong bước hình ảnh lọc phạm vi thiết lập người dùng Thiết lập lọc chuẩn bị để phát màu đối tượng Ngõ thuật toán, điểm ảnh màu trắng điểm ảnh đáp ứng điều kiện lọc Nhiều điểm ảnh nhỏ màu trắng nhìn thấy xóa bỏ bước thuật tốn (Hình 3) Sau đó, hàm Contours áp dụng để tìm lưu trữ đường viền màu trắng từ hình ảnh ngưỡng Tuy nhiên, nhược điểm hàm findContours tìm thấy đường viền màu trắng tìm thấy hình ảnh ngưỡng Các hoạt động hình thái (như xói mịn pha lỗng) loại bỏ nhiễu Hình Hệ thống quan sát đèn hiệu 2.3 Phân tích hình dạng Phân tích hình dạng phân tích hình dạng hình học đối tượng quan tâm [6][7]; nghiên cứu này, phân tích độ trịn phân vùng nhằm để tăng độ xác việc nhận dạng đối tượng (Hình 4) Diện tích chu vi phân vùng ước tính Tọa độ biên sử dụng để ước tính diện tích chu vi phân vùng cách trích xuất hàm hình thái biên Giá trị độ tròn phân vùng xác định công thức: Ri = 4π Ai , pi2 Hình Phân đoạn vùng đối tượng theo màu Hình Tìm đường biên đối tượng (1) đó, Ri, Ai, pi giá trị độ trịn, diện tích chu vi phân vùng Giá trị độ tròn cho hình trịn nhỏ cho hình dạng khác Sử dụng giá trị tính tốn diện tích phân vùng để loại bỏ nhiễu giữ lại vùng đối tượng cần quan tâm (Hình 5) Hình Kết khử nhiễu 2.4 Xác định tâm đối tượng Sau tách đối tượng khỏi khoanh vùng đối tượng đường bao quanh contours, ta tìm tâm đối tượng, để xác 66 JST: Engineering and Technology for Sustainable Development Vol 1, Issue 2, April 2021, 065-071 định tọa độ tâm đối tượng ta phải tìm mơmen phân vùng quan tâm [8] 2.5 Ước lượng vị trí hướng đối tượng 2.5.1 Mơ hình pinhole camera Phương trình tốn mô-men biểu diễn công thức (2) = µn +∞ ∫ ( x − c ) f ( x ) dx , n Mơ hình pinhole camera có bốn hệ tọa độ sử dụng: hệ tọa độ toàn cầu, hệ tọa độ camera, hệ tọa độ ảnh hệ tọa độ điểm ảnh [9] Trong hệ tọa độ, hệ tọa độ ảnh điểm ảnh nằm mặt phẳng ảnh điểm góc hướng tọa độ khác Ảnh thu thập Baslar camera chiếu lên mặt phẳng ảnh Đối với hệ tọa độ tồn cầu, mơ hình pinhole camera cần phải đáp ứng yêu cầu Dựa định nghĩa mơ hình pinhole camera, điểm P tọa độ toàn cầu chiếu lên mặt phẳng ảnh ( P ′ ) thông qua hệ tọa độ camera Theo lý thuyết mơ hình pinhole camera (2) −∞ đó, có nth mơ-men xung quanh điểm c Khi ta xét khơng gian 2D, ta có hai biến độc lập để biểu diễn cho công thức (1) Vậy công thức biểu diễn lại (3): µm, n = ∫∫ ( x − cx ) m ( x − c ) f ( x, y ) dxdy n y (3) Ở đây, hàm f ( x, y ) hàm liên tục Vì vậy, µm, n = ∞ ∞ ∑∑ ( x − c ) ( y − c ) f ( x, y ) = x 0= y n m x y (4) Sau ta tính vùng chứa ảnh nhị phân đối tượng, ta cần tính mơ-men thứ w h µ0,0 = ∑∑ x y f ( x, y ) (5) Phương trình viết lại sau bỏ qua x0 ,và y0 w h (6) x = y = x 0= y Để xác định tâm ảnh đối tượng, ta cần tính trục tọa độ: µ µ centroid = 1,0 , 0,1 µ 0,0 µ0,0 sum y sumx = , µ0,1 µ0,0 µ0,0 (8) c y = int ( M [" m01"] / M [" m00"]) − µ d x u − µ0 d y v , dy (12) (13) với ( xw , yw , zw ) tọa độ điểm P hệ tọa độ toàn cầu R mà trận xoay với kích thước × , t ma trận dịch chuyển với kích thước × Từ phương trình (1), (2), (3), mối quan hệ hệ tọa độ giới điểm ảnh bắt nguồn từ: (9) Đối với hàm OpenCV, tọa độ tâm tính sau: cx = int ( M [" m10"] / M [" m00"]) , d y 0 xc xw y c = R t yw , zc 1 zw 1 1 Sau đó, ta lấy trung bình cách chia cho tổng số điểm ảnh = µ1,0 (11) đó, dx, dy mơ tả số điểm ảnh kích thước đơn vị vật lý Để so sánh hệ tọa độ camera với hệ tọa độ tồn cầu thể qua cơng thức sau: (7) Tổng số điểm ảnh cần xét tổng hợp lại biểu diễn sau: sumx = ∑∑ xf ( x, y ) , sum y = ∑∑ yf ( x, y ) x 0 c y 0 c , z c 1 đó, (x, y) tọa độ vật lý điểm P ' hệ tọa độ ảnh, ( xc , yc , zc ) tọa độ điểm P hệ tọa độ camera Và f trọng tâm camera Ảnh lưu trữ máy tính dạng số, Chúng ta tạo hệ tọa độ điểm ảnh mặt phẳng ảnh Như trình Hình 3, (u , v) hệ tọa độ điểm ảnh mô tả Mối liên hệ giửa hệ tọa độ ảnh điểm ảnh trình bày thơng qua cơng thức = x 0= y µ0,0 = ∑∑ f ( x, y ) f x f zc y = ta phải rời rạc hóa điểm ảnh theo cơng thức (4): u a x zc v = (10) Kết xác định tâm đối tượng thể Hình 67 xw R t yw , 1 zw 1 ay µ0 v0 (14) JST: Engineering and Technology for Sustainable Development Vol 1, Issue 2, April 2021, 065-071 f f đó, Do đó, tọa độ p ' dễ dàng , ay ax = = dx dy • đạt hệ tọa độ điểm ảnh từ hệ tọa độ toàn cầu • 2.5.2 Ước lượng khoảng cách Để xác định vị trí hướng đối tượng hệ tọa độ tồn cầu ta cần truy vấn thơng tin 2D mô tả phần Xây dựng công thức ước lượng khoảng cách có nghĩa thiết lập cơng thức mô tả mối quan hệ độ lớn điểm ảnh khoảng cách từ camera đến đối tượng (Hình 7) Trong hệ tọa độ toàn cầu ( xw , yw , zw ) , đường kính đối tượng L Trong • tượng l, tiêu cự f, khoảng cách từ camera đến đối tượng cần tính d Dựa nguyên lý hình ảnh pinhole tam giác đồng dạng, công thức dễ dàng xác định sau: L l Bước 9: Chiếu hệ tọa độ mục tiêu (container) lên hệ tọa độ camera để đạt ma trận xoay Cuối cùng, hệ thống đạt thơng tin xác vị trí hướng container so với hệ tọa độ camera (Hình 10) Phép biến đổi container đến camera thể dạng ma trận đồng C T0 (ma trận biến đổi từ camera đên đối tượng), hệ tọa độ camera ( xc , yc , zc ) , đường kính đối d= f Bước 7: Tạo vector pháp tuyến C ′′N1 từ hai vector C ′′A′′ C ′′B ′′ ; Bước 8: Tạo thêm vector pháp tuyến C ′′N từ vector C ′′N1 C ′′B ′′ Dựng hệ tọa độ Descartes N1 B ′′N ; r11 R t r21 C = T0 = 1 r31 0 (15) r12 r22 r13 r23 r32 r33 tx t y tz 1 (16) 2.5.3 Ước lượng vị trí hướng Để dự ước lượng vị trí hướng đối tượng cho việc dự đoán quỹ đạo container, hệ thống xây dựng mặt phẳng dự đoán cách sử dụng phân đoạn mặt phẳng Sau đó, hệ tọa độ xây dựng mặt phẳng dự đốn Hình cho thấy quy trình bước thuật tốn, mối quan hệ điểm mục tiêu camera thể Hình • Bước 1: Xác định tọa độ đối tượng ảnh RGB 2D Bước hoàn thành phương pháp nhận dạng ảnh xác định tâm mơ tả phần trên; • Bước 2: Thu thập điểm tương đối dựa tọa độ điểm mục tiêu ảnh RGB 2D chọn tọa độ A, B, C Tọa độ C trọng tâm điểm A B; • Bước 3: Lập đồ thu thập thông tin 3D từ điểm mẫu (A, B, C) để tạo điểm A′ , B ′ C ′ tương ứng; • Bước 4: Tạo mặt phẳng dự đốn khơng gian 3D dựa điểm A′ , B ′ C ′ (có giá trị trục z) sử dụng phương pháp phân đoạn mặt phẳng; • Bước 5: Sử dụng điểm A′ , B ′ C ′ để tạo điểm A′′ , B ′′ C ′′ tương ứng mặt phẳng dự đoán; Bước 6: Tạo hai vector C ′′A′′ C ′′B ′′ ; • Hình Xác định tâm đối tượng Hình Sơ đồ nguyên lý ước lượng khoảng cách sử dụng camera đơn đến đối tượng 68 JST: Engineering and Technology for Sustainable Development Vol 1, Issue 2, April 2021, 065-071 Hình Quy trình xây dựng hệ tọa độ để xác định ma trận xoay liên quan đến camera Bảng Kết đo đạc hệ thống Tập ảnh Tập Tập Tập Tổng Số lượng mẫu 28 29 28 85 Sai lệch trung bình (cm) 1,1 0,82 0,76 0,89 Sai số trung bình (%) 0,21 0,22 0,21 0,21 Hình 10 Kết xác định vị trí hướng container Kết nghiên cứu Độ xác trung bình 99,79 99,78 99,79 99,79 (%) Để đánh giá hiệu phương pháp đề nghị, cho tiến hành chạy hệ thống để đo khoảng cách từ hệ camera tới vị trí container với 85 giá trị, chia thành tập liệu tương ứng với lần đo khác nhau, sau so sánh với kết thực tế đo (Hình 11) Đồng thời tính toán sai số giá trị khoảng cách hệ thống đo thực tế (Hình 12) Bảng số liệu tổng hợp trình bày Bảng Khoảng cách góc lệch theo thời gian thay đổi giá trị để đánh giá đáp ứng hệ thống, kết trình bày Hình 13 Hình 14 Thực nghiệm tiến hành máy tính nhúng hãng Cincoze, dòng máy DS-1000 với model DS-1102 trang bị vi xử lý Intel® Core™ i5-6500 cho xung nhịp 3,2Ghz-3,6Ghz, RAM 16GB, chạy hệ điều hành Window 10 chương trình Visual Studio 2019 mã nguồn mở OpenCV3.4.9 Ảnh chụp theo chiều thẳng đứng từ cẩu trục xuống vị trí container máy ảnh cơng nghiệp Hình Mối quan hệ điểm mục tiêu camera 69 JST: Engineering and Technology for Sustainable Development Vol 1, Issue 2, April 2021, 065-071 Basler Ace acA1920-40gc kết hợp với ống kính Basler f16mm điều kiện ánh sáng ban ngày bình thường Các ảnh thu tiến hành xử lý dạng ảnh jpeg với độ phân giải 1200x800 Hình 15 minh họa kết thực nghiệm hệ thống Hình 15 Kết thực nghiệm hệ thống Kết luận Trong nghiên cứu này, đề xuất giải thuật xử lý ảnh hiệu để phát hiện, xác định khoảng cách từ hệ camera đến vị trí container góc lệch marker đặt bề mặt container so với phương ngang Kết nghiên cứu tiền đề để phát triển hệ thống bốc dỡ container tự động Kết thực nghiệm cho thấy độ xác trung bình phương pháp đề xuất đạt lên tới 99.79% Vì vậy, áp dụng cho toán phát hiện, xác định khoảng cách từ hệ camera đến vị trí container góc lệch marker đặt bề mặt container so với phương ngang Hình 11 Đồ thị so sánh kết đo thực tế Trong tương lai, chúng tơi tiến hành nghiên cứu, phân tích phương pháp đề xuất, từ cải tiến giải thuật để làm giảm thời gian xử lý tăng độ xác Đồng thời tiến hành thiết kế, thử nghiệm mô hình bốc dỡ container tự động Hình 12 Đồ thị biểu diễn kết sai số Lời cảm ơn Nghiên cứu tài trợ Quỹ phát triển khoa học công nghệ quốc gia (NAFOSTED) đề tài mã số “107.01-2017.320” Tài liệu tham khảo Hình 13 Đáp ứng khoảng cách hệ thống Hình 14 Đáp ứng góc lệch hệ thống 70 [1] Li Da Wei, Eung-Joo Lee Real-Time Container Shape and Range Recognition for Implementation of Container Auto-Landing System Journal of Korea Multimedia Society 12 (6), 2009, pp 794-803 [2] Hee-Joo Yoon, Young-Chul Hwang, Eui-Young Cha Real-time Container Position Estimation Method using Stereo Vision for Container Auto-Landing System International Conference on Control, Automation and Systems, 2010, pp 872-876 [3] Anh Viet Nguyen, Young-Yeol Cho, Eung-Joo Lee Container Dimension Detection and 3D Modeling based on Stereo Vision MIT, 2008, pp 207-210 [4] Wang, Shikai Color Image Segmentation based on Color Similarity International Conference on Computational Intelligence and Software Engineering, 2009, pp 1-4 [5] Tse-Wei Chen, Yi-Ling Chen, Shao-Yi Chien, Fast Image Segmentation based on K-Means Clustering with Histograms in HSV Color Space, IEEE 10th Workshop on Multimedia Signal Processing, 2008, pp 322-325 JST: Engineering and Technology for Sustainable Development Vol 1, Issue 2, April 2021, 065-071 [6] Rafael C Gonzalez, Richard E Woods, Digital Image Processing, Pearson Prentice Hall, 2008 [7] Van Otterloo, Peter J, A Contour Oriented Approach to Shape Analysis, New York Prentice Hall, 1991 [8] Chi Cuong Tran, Dinh Tu Nguyen, Hoang Dang Le, Trong Hieu Luu, Quoc Bao Truong Designing the Yellow Head Virus Syndrome Recognition Application for Shrimp on an Embedded System The Interdisciplinary Research Journal (2), 2019, pp 4863 [9] 71 Kostas Daniilidis, Reinhard Klette, Imaging Beyond the Pinhole Camera, Springer, 2006 ... hệ tọa độ tồn cầu, mơ hình pinhole camera cần phải đáp ứng u cầu Dựa định nghĩa mơ hình pinhole camera, điểm P tọa độ toàn cầu chiếu lên mặt phẳng ảnh ( P ′ ) thông qua hệ tọa độ camera Theo lý... đồng dạng, cơng thức dễ dàng xác định sau: L l Bước 9: Chiếu hệ tọa độ mục tiêu (container) lên hệ tọa độ camera để đạt ma trận xoay Cuối cùng, hệ thống đạt thơng tin xác vị trí hướng container. .. hướng container so với hệ tọa độ camera (Hình 10) Phép biến đổi container đến camera thể dạng ma trận đồng C T0 (ma trận biến đổi từ camera đên đối tượng), hệ tọa độ camera ( xc , yc , zc ) , đường