Bài viết đề xuất một mẫu sáng mức xám sử dụng trong hệ thống ánh sáng cấu trúc nhằm ước lượng độ sâu và tái tạo hình ảnh 3D của bề mặt vật thể. Mẫu sáng được đề xuất gồm bốn phần tử cơ bản có tính chất đối xứng, với một giải thuật giải mã đơn giản có thể giải mã ảnh thu được từ camera với độ chính xác cao.
Nghiên cứu khoa học công nghệ ƯỚC LƯỢNG ĐỘ SÂU ẢNH SỬ DỤNG PHƯƠNG PHÁP ÁNH SÁNG CẤU TRÚC Nguyễn Thúy Bình1*, Võ Lê Cường2 Tóm tắt: Bài báo đề xuất mẫu sáng mức xám sử dụng hệ thống ánh sáng cấu trúc nhằm ước lượng độ sâu tái tạo hình ảnh 3D bề mặt vật thể Mẫu sáng đề xuất gồm bốn phần tử có tính chất đối xứng, với giải thuật giải mã đơn giản giải mã ảnh thu từ camera với độ xác cao Các điểm tương ứng ảnh chụp ảnh mẫu sáng xác định độ sâu ảnh ước lượng dựa vào nguyên lý tam giác (triangulation principle) Ngoài ra, nhằm tăng độ phân giải việc giải mã ảnh, mẫu sáng gồm phần tử tạo nên phần tử kết hợp với mức sáng khác đề xuất Từ khóa: Thị giác máy tính, Ước lượng độ sâu, Xây dựng ảnh 3D, Ánh sáng cấu trúc ĐẶT VẤN ĐỀ Ước lượng độ sâu ảnh hướng nghiên cứu với nhiều tiềm nhà khoa học giới đặc biệt quan tâm năm gần Vấn đề ước lượng độ sâu ảnh ứng dụng nhiều lĩnh vực khác nhau, kể đến: cảm biến từ xa, nhận dạng đối tượng, công nghiệp giám sát hệ thống robot tự động Phương pháp ước lượng độ sâu ảnh sử dụng ánh sáng cấu trúc đánh giá phương pháp đạt độ xác độ phân giải cao Hệ thống ánh sáng cấu trúc gồm nhiều camera, máy chiếu (projector) Mẫu sáng mã hóa theo phương pháp khác chiếu lên bề mặt vật thể Sau đó, camera có nhiệm vụ thu ảnh vật thể điều kiện chiếu sáng Kỹ thuật ánh sáng cấu trúc chia thành ba nhóm phương pháp [1-3]: Ghép kênh theo thời gian (time multiplexing), mã hóa trực tiếp (direct coding), mã hóa dựa vào điểm lân cận (neighbor coding) Với phương pháp ghép kênh theo thời gian, tập hợp mẫu sáng chiếu liên tiếp lên bề mặt vật thể Phương pháp đạt độ phân giải độ xác cao, nhiên không áp dụng trường hợp vật thể chuyển động Phương pháp mã hóa trực tiếp đạt độ phân giải cao lại chịu ảnh hưởng nhiều nhiễu Với phương pháp thuộc nhóm cuối cùng, ký tự kết hợp với bốn ký tự liền kề để tạo nên từ mã mẫu sáng Nhóm phương pháp áp dụng với đối tượng tĩnh động, thuật toán giải mã đơn giản chịu ảnh hưởng nhiễu Trên giới có nhiều nghiên cứu giải tốn ước lượng độ sâu điểm ảnh theo hướng tiếp cận xây dựng từ mã dựa giá trị lân cận [4-7] Một nghiên cứu quan trọng Griffin đề xuất năm 1992 [8] Trong phương pháp này, ma trận sinh tạo nên số (1, 2, 3, 4,…) Vị trí phần tử định nghĩa từ mã tạo nên phần tử bốn phần tử lân cận Mỗi từ mã xác định ma trận sinh Mỗi phần tử ma trận thay ký hiệu khác nhau, ví dụ: hình vng, hình tròn, hình vành khăn, Đã có số nghiên cứu phát triển theo hướng Năm 1998, Davies Nixon đề xuất mẫu sáng gồm đốm tròn màu để ước lượng độ sâu bề mặt vật thể di chuyển [9] Sau đó, Morano [10] Tạp chí Nghiên cứu KH&CN qn sự, Số 47, 02 - 2017 85 Kỹ thuật điều khiển & Điện tử đưa mẫu sáng tạo nên sơ đồ hoàn hảo (perfect sub-map) gồm ký tự hình tròn có màu sắc khác Mẫu sáng màu bị ảnh hưởng nhiễu đối tượng có màu sắc giống với màu mẫu sáng Một hướng nghiên cứu nhằm loại bỏ nhiễu chiếu lên vật thể màu tạo nên mẫu sáng mức xám (grey level pattern) Trong nghiên cứu Griffin, ông đề xuất mẫu sáng gồm năm ký tự khác Tuy nhiên, mẫu sáng chưa đưa thực nghiệm với hệ thống ánh sáng cấu trúc thực tế Bài báo đề xuất mẫu sáng mức xám gồm ký tự đối xứng Với mẫu sáng đề xuất, ảnh thu từ camera dễ dàng giải mã Các cặp điểm tương ứng ảnh thu ảnh mẫu sáng xác định sở để ước lượng độ sâu bề mặt vật thể so với gốc tọa độ camera Bài báo bố trí theo thứ tự sau: Phần Đặt vấn đề; Phần Hiệu chuẩn camera máy chiếu; Phần Mã hóa mẫu sáng giải mã ảnh thu được; Phần Thực nghiệm kết luận HIỆU CHUẨN CAMERA VÀ MÁY CHIẾU Hình mơ tả bước nhằm ước lượng độ sâu điểm ảnh với phương pháp ánh sáng cấu trúc Trước hết, cần phải hiệu chuẩn hệ thống nhằm đưa tham số nội tham số ngoại camera máy chiếu Trong báo này, sử dụng phương pháp hiệu chuẩn Zhang [11] Quá trình hiệu chuẩn cần 1520 ảnh với góc độ chụp khác Hệ thống bố trí hình Khoảng cách camera máy chiếu giữ nguyên không đổi, khoảng 30 cm Khoảng cách bảng hệ thống khoảng 50 cm Kết trình hiệu chuẩn tham số tham số camera máy chiếu Ảnh hiệu chuẩn hệ thống Ảnh đầu vào Tiền xử lý ảnh Hiệu chuẩn camera Phân loại phần tử Hiệu chuẩn máy chiếu Xác định phần tử liền kề Hình Hiệu chuẩn hệ thống Tham số nội, tham số ngoại hệ thống Điểm tương ứng Ước lượng độ sâu Hình Uớc lượng độ sâu điểm ảnh sử dụng phương pháp ánh sáng cấu trúc Hình Tham số ngồi Camera 86 N T Bình, V L Cường, “Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc.” Nghiên cứu khoa học cơng nghệ MÃ HĨA MẪU SÁNG VÀ GIẢI MÃ ẢNH THU ĐƯỢC 3.1 Mã hóa mẫu sáng Trong phần trước, đề cập đến phương pháp mã hóa theo đề xuất Griffin Mẫu sáng tạo nên cách thay số ma trận sinh ký tự ký hiệu khác Mỗi vị trí mẫu sáng định nghĩa từ mã Do mẫu sáng đề xuất gồm bốn phần tử đối xứng, nên với thuật toán giải mã giải mã vị trí tất phần tử ảnh thu ảnh mẫu sáng (hình 4) (a) (b) Hình Mẫu sáng mức xám a) Mẫu sáng nhị phân sử dụng ký tự theo phương pháp Griffin b) Mẫu sáng đề xuất gồm ký tự đối xứng 3.2 Giải mã mẫu sáng ảnh chụp Nhiệm vụ trình giải mã tìm từ mã tương ứng cho ký tự, từ xác định vị trí phần tử ảnh thu ảnh mẫu sáng Hai ký tự có từ mã gọi điểm tương ứng, từ tọa độ thực điểm bề mặt vật thể xác định dựa vào nguyên lý tam giác Trong báo này, để tối ưu số lượng phần tử giải mã, đưa giải thuật nhằm giải mã phần tử nằm biên, vấn đề chưa đề cập Yi-Chih [12] 3.2.1 Tiền xử lý ảnh Bước tiền xử lý ảnh bao gồm hai bước nhỏ: nhị phân hóa trích chọn khối ký tự Trong hệ thống ánh sáng cấu trúc, mẫu sáng chiếu lên bề mặt vật thể máy chiếu, vùng không gian rọi với cường độ ánh sáng khác Trong bước nhị phân hóa ảnh thu từ camera cần sử dụng ngưỡng thích nghi cho vùng ảnh [13] Sau đó, khối ký tự tách kỹ thuật connected component [14] Cần chọn kích thước cho connected component phù hợp nhằm loại bỏ nhiễu xuất bước (hình 5) 3.2.2 Phân loại ký tự Phân loại ký tự sau bước tiền xử lý ảnh bước quan trọng việc giải mã ảnh thu Sau trích chọn khối connected component, khối tương đương với ma trận mà phần tử mang hai giá trị “0” “1” Thuật toán đề xuất nhằm giải tốn bước chia khối thành bốn phần nhau, tính giá trị trung bình góc phần tư Góc khuyết xác định góc tương ứng với giá trị trung bình lớn Sau đó, phần tử phân chia thành bốn nhóm khác đánh dấu ký hiệu khác (hình 6) Tạp chí Nghiên cứu KH&CN quân sự, Số 47, 02 - 2017 87 Kỹ thuật điều khiển & Điện tử Giá trị trung bình cực đại Chia thành phần Tested region (a) Hình Phân loại khối connected component (b) (c) Hình (a) Ảnh thu (b) Nhị phân hóa với ngưỡng tồn cục (c) Nhị phân hóa với ngưỡng thích nghi Hình Tìm phần tử liền kề xác định từ mã 3.2.3 Tìm phần tử lân cận ghép tương ứng Để xác định từ mã tương ứng với phần tử, cần phải xác định bốn lân cận phần tử trung tâm Tuy nhiên, để xác định xác bốn lân cận, trước hết cần xác định tám lân cận tương ứng với tám khoảng cách nhỏ tới phần tử trung tâm Dựa vào điều kiện ràng buộc tọa độ nhằm loại bỏ bốn phần tử góc giữ lại bốn phần tử lân cận (Đơng – Tây – Nam – Bắc) Sau tìm lân cận phần tử, từ mã tương ứng với phần tử xác định Quá trình giải mã thực ảnh thu ảnh mẫu sáng Vị trí phần tử xác định sau trình giải mã Nếu hai phần tử (một phần tử ảnh thu phần tử ảnh mẫu sáng) có từ mã giống gọi hai phần tử tương ứng Kết sở để ước lượng độ sâu ảnh dựa nguyên lý tam giác (hình 7) THỰC NGHIỆM VÀ KẾT LUẬN Với mẫu sáng đề xuất phần trên, thực thí nghiệm chiếu mẫu sáng lên bề mặt vật thể trường hợp mặt phẳng (plane) Các cặp điểm tương ứng ảnh thu ảnh mẫu sáng xác định trình giải mã Ước lượng độ sâu điểm ảnh dựa nguyên lý tam giác với việc sử dụng tham số nội tham số ngoại có q trình hiệu chuẩn hệ thống Hình biểu diễn kết trình giải mã đám mây điểm (points cloud) thu sau áp 88 N T Bình, V L Cường, “Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc.” Nghiên cứu khoa học công nghệ dụng nguyên lý tam giác nhằm ước lượng độ sâu ảnh Bảng I thể sai số phép đo so với khoảng cách thực tế, trường hợp thử nghiệm với mặt phẳng Hình Giải mã ảnh thu point cloud Ngoài để thấy hiệu thuật toán giải mã ưu điểm mẫu sáng đề xuất, mẫu sáng chiếu lên bề mặt có hình dạng khác nhau: mặt phẳng, mặt cong tờ giấy gấp Để tính tốn độ xác thuật toán giải mã, bề mặt chụp 30 lần, với góc độ khoảng cách khác Độ xác tính độ xác giải mã trung bình 30 lần chụp Khoảng cách vật thể hệ thống khoảng 60 cm đến 90 cm Mặt cong có bán kính khoảng 10cm, tờ giấy gấp có độ cao khoảng từ 3cm đến cm (hình 9) Độ xác giải mã so sánh với kết Albitar [15] YangLei [16], thể bảng II bảng III a) b) Hình Mẫu sáng chiếu lên mặt cong tờ giấy gấp Trong báo này, đề xuất mẫu sáng mức xám sử dụng hệ thống ánh sáng cấu trúc Mẫu sáng gồm bốn phần tử có tính chất đối xứng nên với kỹ thuật giải mã đơn giản giải mã đưa điểm tương ứng ảnh thu ảnh mẫu sáng Dựa vào nguyên lý Triangulation ước lượng độ sâu ảnh Chúng thực nghiệm chiếu mẫu sáng lên mặt phẳng mặt cong Nhằm tăng độ phân giải phương pháp, để xuất mẫu sáng gồm tám phần tử cách kết hợp bốn phần tử với hai mức sáng (hình 10) Với trường hợp mẫu sáng đề xuất gồm phần tử bước giải mã: tiền xử lý ảnh (nhị phân hóa trích chọn khối phần tử), phân loại phần tử thành nhóm bản, tìm phần tử lân cận thực giống trường hợp mẫu sáng gồm phần tử Sau đó, dựa sở kết hợp ảnh gốc ảnh nhị phân để Tạp chí Nghiên cứu KH&CN quân sự, Số 47, 02 - 2017 89 Kỹ thuật điều khiển & Điện tử phân biệt phần tử có mức sáng hay 128 Kết thể hình 10 Thuật tốn tìm phần tử liền kề trường hợp giữ nguyên so với trường hợp mẫu sáng phần tử Hình 10 Mẫu sáng gồm phần tử Hình 11 Phân loại phần tử trường hợp mẫu sáng gồm phần tử Bảng Sai số ước lượng độ sâu ảnh so với thực tế (với trường hợp mặt phẳng ) Điểm [hàng,cột] Khoảng cách ước lượng TN1 TN2 [2,2] 857.1 [14,2] TN3 Khoảng cách thực tế TN1 TN2 800.0 685.7 880.0 783.5 731.3 648.8 [5,30] 886.4 [16,30] TN3 Sai số (%) TN1 TN2 TN3 825.0 730.0 2.6 3.0 6.1 850.0 810.0 688.0 7.8 9.7 5.7 827.3 659.1 857.0 830.0 632.0 3.4 0.3 4.3 800.3 747.0 640.2 835.0 820.0 645.0 4.2 8.9 0.7 [2,62] 869.4 856.3 635.7 930.0 940.0 655.0 6.5 8.9 2.9 [16,62] 856.2 823.2 644.8 893.0 905.0 628.0 4.1 9.0 2.7 Bảng So sánh độ xác giải mã với kết albitar[13] Số phần tử Số phần tử giải mã Độ xác giải mã Trường hợp phát (1) (2) (1) (2) (1) (2) Mặt phẳng 756 1024 754 1024 99.7% 100% Mặt cong 675 1024 642 1024 95.1% 100% (1): Kết Albitar[13] (2): Kết Thuật toán YangLei Thuật toán đề xuất (chưa sửa lỗi) Thuật tốn đề xuất (có sửa lỗi) Bảng Độ xác giải mã (%) Mặt phẳng Tờ giấy gấp 99.89 97.02 84.76 80.19 100 97.25 90 N T Bình, V L Cường, “Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc.” Nghiên cứu khoa học công nghệ Kết thực nghiệm phụ thuộc vào thông số đầu vào: thông số camera, projector, khoảng cách bề mặt đối tượng Các thông số nội tham số ngoại camera projector cần hiểu chuẩn cách cẩn thận xác, ảnh hưởng trực tiếp đến kết trình ước lượng độ sâu ảnh Ngoài khoảng cách thông số đầu vào ảnh hưởng đến kết Khoảng cách hệ thống (camera projector) vật thể phải đảm bảo cho vật thể phải nằm miền hội tụ camera projector Trong hệ thống ánh sáng cấu trúc, bề mặt vật thể thông số quan trọng ảnh hưởng đến trình giải mã ảnh kết ước lượng độ sâu ảnh Với bề mặt ảnh phẳng, liên tục kết giải mã tốt so với trường hợp bề mặt cong gấp khúc Bề mặt gấp khúc lồi lõm nhiều độ xác q trình giải mã giảm Điều thể rõ bảng II bảng III, với trường hợp: mặt phẳng (plane), mặt cong (curve) tờ giấy gấp (folded-paper) TÀI LIỆU THAM KHẢO [1] Salvi, Joaquim, Jordi Pages, and Joan Batlle, "Pattern codification strategies in structured light systems." Pattern recognition 37.4 (2004): 827-849 [2] Chi Zhang; Jing Xu; Ning Xi; Jianguo Zhao; Quan Shi, "A Robust Surface Coding Method for Optically Challenging Objects Using Structured Light", Automation Science and Engineering, IEEE Transactions on, On page(s): 775 - 788 Volume: 11, Issue: 3, July 2014 [3] Xu Zhang; Zhu, Limin; Liwen Chu "Evaluation of coded structured light methods using ground truth", Cybernetics and Intelligent Systems (CIS), 2011 IEEE 5th International Conference on, On page(s): 117 - 123 [4] L Philippe, D Ionescu, and E Petriu, “A high precision 3D object reconstruction method using a color coded grid and nurbs,” in Image Analysis and Processing, 1999 Proceedings International Conference on IEEE, 1999 [5] T Etizon, "Constructions for perfect maps and pseudorandom arrays," Information Theory, IEEE Transactions on 34.5 (1988): 1308-1316 [6] M Hiroyoshi, K Yajima, and S Sakata, "Reconstruction of surfaces of 3D objects by M-array pattern projection method," Computer Vision., Second International Conference on IEEE, 1988 [7] Petriu, Emil M., et al, "Visual object recognition using pseudo-random grid encoding," Intelligent Robots and Systems, 1992., Proceedings of the 1992 IEEE/RSJ International Conference on Vol IEEE, 1992 [8] Griffin, Paul M., Lakshmi S Narasimhan, and Soung R Yee "Generation of uniquely encoded light patterns for range data acquisition." Pattern recognition25.6 (1992): 609-616 [9] Davies, Colin J., and Mark S Nixon "A Hough transform for detecting the location and orientation of three-dimensional surfaces via color encoded spots." IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics)28.1 (1998): 90-95 Tạp chí Nghiên cứu KH&CN quân sự, Số 47, 02 - 2017 91 Kỹ thuật điều khiển & Điện tử [10] Morano, Raymond A., et al, "Structured light using pseudorandom codes," IEEE Transactions on Pattern Analysis & Machine Intelligence (1998): 322-327 [11] Zhang, Zheng "A flexible new technique for camera calibration." IEEE Transactions on pattern analysis and machine intelligence 22.11 (2000): 1330-1334 [12] Hsieh, Yi-Chih, "Decoding structured light patterns for three-dimensional imaging systems," Pattern Recognition 34.2 (2001): 343-349 [13] Blayvas, Ilya, Alfred Bruckstein, and Ron Kimmel, "Efficient computation of adaptive threshold surfaces for image binarization," Pattern Recognition 39.1 (2006): 89-101 [14] A AbuBaker, R Qahwaji, S Ipson, M Saleh, "One scan connected component labeling technique," Signal Processing and Communications, 2007 IEEE International Conference on IEEE, 2007 [15] Albitar, Chadi, Pierre Graebling, and Christophe Doignon, "Design of a monochromatic pattern for a robust structured light coding," Image Processing, 2007 ICIP 2007 IEEE International Conference on Vol IEEE, 2007 [16] Yang Lei, Kurt R.Bengtson, Lisa Li, Jan P.Allebach, "Design and decoding of an M-array pattern for low-cost structured light 3D reconstruction systems," Image Processing (ICIP), 2013 20th IEEE International Conference on IEEE, 2013 ABSTRACT DEPTH ESTIMATION USING STRUCTURED LIGHT METHOD In this paper, a pattern used in structured light system to estimate depth and reconstruct 3D image of the surface object is proposed The proposed pattern which consists of four symmetrical symbols with a simple decoding algorithm is provided to decode a captured image with high accuracy Correspondence points between captured image and pattern one are determined, and depth estimation is based on the triangulation principle Moreover, to increase the resolution of this method, an upgrade pattern is also proposed by combining the above four symbols and two intensity levels Keywords: Computer vision, Depth estimation, Structured light, Reconstruction 3D image Nhận ngày 10 tháng 10 năm 2016 Hoàn thiện ngày 03 tháng 12 năm 2016 Chấp nhận đăng ngày 20 tháng 02 năm 2017 Địa chỉ: Trường Đại học Giao thông Vận tải; Trường Đại học Bách Khoa Hà Nội; * Email : thuybinh_ktdt@utc.edu.vn 92 N T Bình, V L Cường, “Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc.” ... Ước lượng độ sâu Hình Uớc lượng độ sâu điểm ảnh sử dụng phương pháp ánh sáng cấu trúc Hình Tham số ngồi Camera 86 N T Bình, V L Cường, Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc. ”... áp 88 N T Bình, V L Cường, Ước lượng độ sâu ảnh sử dụng phương pháp ánh sáng cấu trúc. ” Nghiên cứu khoa học công nghệ dụng nguyên lý tam giác nhằm ước lượng độ sâu ảnh Bảng I thể sai số phép... tả bước nhằm ước lượng độ sâu điểm ảnh với phương pháp ánh sáng cấu trúc Trước hết, cần phải hiệu chuẩn hệ thống nhằm đưa tham số nội tham số ngoại camera máy chiếu Trong báo này, sử dụng phương