Nghiên cứu thu nhận bề mặt ba chiều của chi tiết cơ khí bằng công nghệ ánh sáng cấu trúc sử dụng phương pháp kết hợp (gray coding + line shift)

Tính cấp thiết của đề tài Trong nền sản xuất hiện đại, các hệ thống tự động kiểm tra đo lường có vai trò hết sức quan trọng cho mục đích tăng năng suất lao động, nâng cao chất lượng sản

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

- NGUYỄN NGỌC TÚ

NGHIÊN CỨU THU NHẬN BỀ MẶT BA CHIỀU CỦA CHI TIẾT CƠ KHÍ

BẰNG CÔNG NGHỆ ÁNH SÁNG CẤU TRÚC SỬ DỤNG PHƯƠNG PHÁP

KẾT HỢP (GRAY CODING + LINE SHIFT)

Chuyên ngành: KỸ THUẬT CƠ KHÍ

LỜI CAM ĐOAN

1

Tôi xin cam đoan đây là đề tài nghiên cứu của riêng tôi Tất cả kết quả nghiên cứu, số liệu đƣa ra trong luận văn là kết quả của quá trình thu thập từ thực nghiệm Các số liệu và kết quả nghiên cứu trong luận văn là trung thực và chƣa từng đƣợc công bố trong bất kỳ công trình nào khác

Hà Nội, ngày tháng năm 2015

MỤC LỤC

PHỤ LỤC BÌA……… 1 LỜI CAM ĐOAN 2

Phương pháp gray code kết hợp xử lý dịch chuyển đường 131.2

Chương 2: CƠ SỞ TOÁN HỌC VÀ MÔ HÌNH THỰC HIỆN TRONG

2

PHƯƠNG PHÁP GRAY CODE KẾT HỢP LINE SHIFT 17

Mô hình thu ảnh của camera 172.1

Mô hình xác định chiều sâu điểm trong hệ stereo 192.2

Cấu hình hệ thống 202.3

Sơ đồ các bước thực hiện 212.4

Tạo mã Gray-code 222.5

Xác định vùng chiếu sáng từ projector 332.6

Giải mã Gray code 352.7

Xác định thông số hệ thống 422.8

Phục hồi thông tin cho điểm ảnh 492.9

Tạo vân dịch chuyển đường 502.10

Bộ dò đỉnh vạch chiếu 522.11

Xây dựng đám mây điểm 3D 542.12

Chương 3: XÂY DỰNG PHẦN MỀM THU NHẬN ẢNH 3D 58

Sơ đồ xử lý hiệu chuẩn hệ thống 633.6.

Sơ đồ thuật toán thu nhận và tính toán 3D 643.7

Kết luận 643.8

Chương 4: HIỆU CHUẨN HỆ THỐNG VÀ KẾT QUẢ 66

4

Xác định khoảng làm việc của hệ thống 664.1

Xác định độ chính xác hệ thống 684.2

Xác định ảnh hưởng của góc quay với trục Z 714.3

Thông số chung của hệ thống quét 3D 734.4

KẾT LUẬN VÀ KIẾN NGHỊ 77

5

TÀI LIỆU THAM KHẢO 79

6

DANH MỤC HÌNH

Hình 1-1 Phân loại các kỹ thuật sử dụng ánh sáng có cấu trúc 12

Hình 1-2: Mô hình hệ thống thu nhận ảnh 3D 14

Hình 1-3 Vân nhị phân và mã hóa mức xám cho hình ảnh 3D 15

Hình 2-1 Mô hình hóa quá trình thu ảnh từ vật của camera 17

Hình 2-2 Xác định tham số bên trong của camera 18

Hình 2-3 Mô hình xác định chiều sâu trong hệ stereo camera 19

Hình 2-4 Sơ đồ nguyên lý hệ thống, và mô hình thực nghiệm thu nhận 3-D 20

Hình 2-5 Sơ đồ xử lý Line Shift 21

Hình 2-6 Chuỗi ảnh Gray code chiếu trên đối tượng 23

Hình 2-7 Minh họa vân chiếu Gray code 10 bit 23

Hình 2-8 Các ảnh của vân chiếu của m Gray code với 10 bit 24

Hình 2-9 Ảnh m Gray sau khi phân loại pixel 36

Hình 2-10 Hình ảnh vân chiếu lên hoạt cảnh lấy mẫu 36

Hình 2-11 Phương pháp ngưỡng đơn 37

Hình 2-12 Luật phân loại điểm ảnh 38

Hình 2-13 Minh họa kết quả của quá trình phân loại pixel gián tiếp 38

Hình 2-14 Minh họa nguyên lý hiệu chuẩn hệ thống 43

Hình 2-15 Mẫu vân Gray code (phía trên) và line shift (phía dưới) với n=32 50

Hình 2-16 a) Vị trí sub pixels qua nội suy tuyến tính, b) Khoảng biên của độ rộng dịch chuyển đường với gray code 53

Hình 2-17 Biểu đồ biểu diễn các đỉnh vạch sáng 54

Hình 2-18 Minh họa hình học của phương pháp đạc tam giác 55

Hình 2-19 Phương pháp xấp xỉ cho hai đường thẳng cắt nhau 55

Hình 2-20 Ảnh chi tiết cơ khí 1 56

Hình 2-21 Ảnh chi tiết cơ khí 2 57

Hình 3-1 Giao diện chính của phần mềm tính toán 3D 59

Hình 3-2 Phần hiển thị 2D cho ảnh giải mã 60

Hình 3-3 Hiển thị ảnh 3D sau khi tính toán 60

Hình 3-4 Module điều khiển camera 61

Hình 3-5 Thiết lập thông số tính toán 62

Hình 3-6 Sơ đồ hiệu chuẩn hệ thống 63

Hình 3-7 Sơ đồ tính toán 3D 64

Hình 4-1 Dưỡng chuẩn để xác định độ chính xác hệ thống và dữ liệu 3D thu được 66 Hình 4-2 Mặt phẳng P1 và mặt phẳng P2 thu được sau khi áp dụng phương pháp RANSAC lọc mặt phẳng 66

Hình 4-3 Mô hình hệ thống xác định khoảng làm việc 67

Hình 4-4 Mô hình xác định khoảng cách và phân đoạn đám mây điểm 68

Hình 4-5 Mô hình hệ thống xác định độ chính xác 68

Hình 4-6 Mô hình sắp xếp các căn mẫu chuẩn 69

Hình 4-7 Đám mây điểm 3D thu được 69

Hình 4-8 Tạo lưới điểm 69

Hình 4-9 Độ lệch tương đối khi tạo mặt phẳng từ đám mây điểm trên các bậc 70

Hình 4-10 Các mặt phẳng theo phương pháp tuyến 70

Hình 4-11 Đo khoảng cách giữa các mặt phẳng bậc 70

Hình 4-12 Biểu đồ độ biến thiên của giá trị đo các bậc 71

Hình 4-13 Sơ đồ đo xác định ảnh hưởng của góc quay 72

Hình 4-14 Các tham số đo sử dụng phần mềm Gom inspect 72

Hình 4-15 Biểu đồ độ lệch phép đo so với giá trị thực 73

Hình 4-16 Đám mây điểm 3D 74

Hình 4-17 Bề mặt tạo lưới trên CATIA 74

Hình 4-18 Đám mây điểm chi tiết vỏ van khí 74

Hình 4-19 Đo thử chi tiết 1 75

Hình 4-20 Đo thử chi tiết 2 75

DANH MỤC BẢNG

Bảng 2-1 Bảng mã Gray code 22

Bảng 2-2 Bảng m Gray code đƣợc mã hóa ánh sáng 23

Bảng 2-3 Mẫu ảnh vân Gray code và hình chụp vân từ vật 28

Bảng 2-4 Ảnh vân trên các vật thể khác nhau 32

Bảng 2-5 Thực nghiệm xác định ngƣỡng chênh lệch 41

Bảng 2-6 Thực nghiệm hiệu chuẩn với máy chiếu Mitsumi 46

Bảng 2-7 So sánh giá trị tọa độ thực Line Shift và tọa độ không sử dụng Line Shift 54

Bảng 4-1 Giá trị trung bình và sai lệch 67

Bảng 4-2 Kết quả đo và giá trị độ lệch 71

Bảng 4-3 Bảng thông số đo với các góc quay khác nhau 73

Bảng 4-4 Bảng kết quả đo thử mẫu cơ khí 76

Bảng 4-5 Bảng thông số thực nghiệm của hệ thống thu nhận 3D 76

MỞ ĐẦU

2

Tính cấp thiết của đề tài

Trong nền sản xuất hiện đại, các hệ thống tự động kiểm tra đo lường có vai trò hết sức quan trọng cho mục đích tăng năng suất lao động, nâng cao chất lượng sản phẩm, giảm chi phí sản xuất, làm việc trong điều kiện môi trường khắc nghiệt… Thông tin đầu vào của các hệ thống tự động hóa phần nhiều là thông tin hình ảnh, các thông tin sau khi được thu nhận và xử lý để đưa ra các dữ liệu cần thiết phục vụ cho mục đích như: Đo lường, điều khiển, kiểm tra tự động…

Việc nghiên cứu phương pháp, chế tạo các thiết bị thu nhận thông tin hình học 3D của chi tiết cơ khí bằng công nghệ ánh sáng cấu trúc, sử dụng phương pháp kết hợp Gray coding + Line shift giúp cho ta đo đạc các bề mặt phức tạp hoặc rút ngắn thời gian thiết kế ngược, có áp dụng cho gia công khuôn mẫu, gia công đặc biệt…

Mục đích nghiên cứu

Đề tài “Nghiên cứu thu nhận bề mặt ba chiều của chi tiết cơ khí bằng công

nghệ ánh sáng cấu trúc sử dụng phương pháp kết hợp (Gray coding + Line shift)”

được nghiên cứu nhằm mục đích tiếp cận công nghệ thu nhận hình ảnh ba chiều trên thế giới, làm rõ các bước thực hiện cụ thể cho quá trình thu nhận Đánh giá chất lượng phương pháp, xác định mục tiêu ứng dụng trong đời sống và sản xuất Bên cạnh đó đề tài này cũng là cơ sở để nghiên cứu các phương pháp khác trong nhóm công nghệ ánh sáng cấu trúc

Nội dung nghiên cứu

Xuất phát từ đề tài nghiên cứu, luận văn này có nội dung như sau:

- Nghiên cứu cơ sở toán học của phương pháp Graycode

- Nghiên cứu cơ sở toán học của phương pháp xử lý dịch chuyển đường, nâng cao độ chính xác subpixel khi sử dụng bình phương cực tiểu parabol

- Nghiên cứu các bộ lọc cho quá trình tiền xử lý

- Xây dựng phần mềm thu nhận ảnh ba chiều cho các chi tiết cơ khí

- Chế tạo và lắp đặt hệ thiết bị thí nghiệm đồng bộ với phần mềm xử lý

- Thu nhận một số mẫu ba chiều của chi tiết và đánh giá chất lượng hệ

Đối tượng và phạm vi nghiên cứu

Đối tượng nghiên cứu: Xác định thông tin điểm ảnh truyền từ projector và thu lại từ camera với độ chính xác sub-pixel

Phạm vi nghiên cứu: Xây dựng hệ thí nghiệm cho thu nhận, đo đạc thông số hình học 3D của chi tiết cơ khí và đánh giá thông số hệ thống

Phương pháp nghiên cứu:

Nghiên cứu lý thuyết kết hợp với nghiên cứu thực nghiệm

Nghiên cứu lý thuyết để tìm hiểu mối quan hệ giữa các yếu tố tác động đến quá trình thu nhận thông tin điểm ảnh của camera và projector

Thực nghiệm quét thử và so sánh trên căn mẫu chuẩn để đánh giá hệ thống

Ý nghĩa khoa học và ý nghĩa thực tiễn của luận văn

Ý nghĩa khoa học: - Bằng phương pháp nghiên cứu cơ sở lý thuyết kết hợp với thực nghiệm, luận văn đ đưa ra được hệ thống quét thu nhận thông tin 3D bề mặt từ cơ sở toán học

Kết quả nghiên cứu làm sáng tỏ các nghiên cứu lý thuyết về quá trình thu nhận 3D trong công nghệ ánh sáng cấu trúc

- Kết quả nghiên cứu là cơ sở để chế tạo các thiết bị phục vụ cho kỹ thuật quét 3D, và đo lường hình học trong công nghiệp

Để hoàn thành được luận văn, tôi đ được sự giúp đỡ tận tình của cô hướng dẫn PGS.TS NGUYỄN THỊ PHƯƠNG MAI cùng các thầy cô trong Bộ môn Cơ khí chính xác & Quang học và Viện Cơ khí Trường Đại học Bách Khoa Hà Nội; Các đồng nghiệp trong Trung tâm Quang Điện Tử - Viện Ứng Dụng Công Nghệ Tôi xin đặc biệt cảm ơn đến các thầy cô và các đồng nghiệp trên!

Do những hạn chế về thời gian, trang thiết bị và kinh nghiệm nghiên cứu nên bản luận văn của tôi không tránh khỏi những thiếu sót, kính mong các Thầy, Cô và các bạn đồng nghiệp đóng góp ý kiến giúp đỡ để luận văn được hoàn thiện hơn Tôi xin chân thành cảm ơn!

Chương 1: TỔNG QUAN PHƯƠNG PHÁP KẾT HỢP GRAY CODE VÀ

1

LINE SHIFT CHO THU NHẬN BỀ MẶT 3D

Tổng quan các hệ thống thu nhận ảnh ba chiều

1.1.

Kỹ thuật đo quang học 3D dựa trên phương pháp đo không tiếp xúc có vai trò quan trọng trong công nghiệp chế tạo, y học, sinh học, Trong các kỹ thuật hiện nay, phương pháp sử dụng ánh sáng cấu trúc có nhiều ưu điểm nổi bật như: Độ phân giải cao, cho phép đo trên toàn bộ dải đo và thời gian thu dữ liệu nhanh Do

đó, phương pháp này đặc biệt hữu dụng khi ta đo những bề mặt tự do, bề mặt phức tạp yêu cầu không được tiếp xúc giữa các dụng cụ bên ngoài tới vật mẫu

Không chỉ có vai trò trong đo lường, các dữ liệu 3D sau khi thu nhận có thể

sử dụng trong các ứng dụng khác như nhận dạng khuôn mặt, nhận dạng người, xây dựng bản đồ 3D thực ảo… Riêng đối với lĩnh vực cơ khí chế tạo, các dữ liệu được quét từ các chi tiết cơ khí giúp các kỹ sư thiết kế nhanh chóng thiết lập bản vẽ 3D, đưa ra những thay đổi về kỹ thuật trong quá trình tạo các mẫu thử nghiệm

Hiện nay trên thế giới đang sử dụng rất nhiều phương pháp thu nhận ảnh 3D khác nhau và được chia thành các nhóm phương pháp chính như sau:

+ Phương pháp Laser

+ Phương pháp time-of-flight

+ Phương pháp stereo

+ Phương pháp chiếu vân mã hóa

+ Phương pháp giao thoa

+ Phương pháp Moiré

+ Phương pháp chiếu vân kỹ thuật số

Phương pháp laser cho khoảng đo từ 40 – 650 mm, độ chính xác lên tới 10

μm, phương pháp Time-of-flight và stereo cho độ chính xác thấp hơn tương ứng là

1mm và 0.1mm phù hợp với khoảng đo lớn từ 0.5m cho tới 10m Phương pháp

chiếu vân kỹ thuật số có độ linh hoạt hệ thống cao ít bị ảnh hưởng bởi phần cứng, các tham số công nghệ dễ dàng thay đổi với các vật thể khác nhau và đạt được độ

chính xác khoảng 0.01mm

Phương pháp giao thoa ứng dụng nhiều trong đo lường quang học, chủ yếu

cho những bề mặt có hình dạng đơn giản độ chính xác đo lên tới đơn vị nanometer,

tuy nhiên vấn đề của phương pháp này là xây dựng hệ quang học tạo vân giao thoa

có cấu tạo rất phức tạp và giá thành rất cao

Hình 1-1 Phân loại các kỹ thuật sử dụng ánh sáng có cấu trúc

Nếu xét theo hình dáng của ánh sáng chiếu tới vật thể theo phương pháp chiếu sáng chủ động trên thế giới người ta chia thành hai loại: Single shot và sequential (multiple shot) như trong hình 1.1 Nếu vật thể là các đối tượng 3D tĩnh, không yêu cầu xử lý thời gian thực thì kỹ thuật multiple shot được sử dụng với độ tin cậy và cho kết quả chính xác hơn Tuy nhiên, nếu vật thể chuyển động thì kỹ thuật single shot được sử dụng để có thể thu nhận được hình ảnh với thời gian thực

Kỹ thuật single shot được chia làm 3 loại chính: Kỹ thuật sử dụng vân ánh sáng thay đổi liên tục, kỹ thuật sử dụng cơ chế mã hóa một chiều (strip indexing),

kỹ thuật sử dụng cơ chế mã hóa hai chiều (grip indexing) Mỗi kỹ thuật đều có ưu nhược, tùy từng ứng dụng cụ thể mà có thể sử dụng riêng lẻ hoặc kết hợp các kỹ thuật này với nhau để đạt được kết quả như mong muốn

Trong luận văn này, tôi trọng tâm nghiên cứu phương pháp line shift [2] do Jens Gu hring giới thiệu năm 2001, nằm trong phương pháp multi-shots, đây là sự

kết hợp của phương pháp m hóa nhị phân và xử lý dịch chuyển đường (line shift

processing) những phân tích ưu nhược điểm sẽ được trình bày cụ thể trong phần

sau của luận văn này

Phương pháp gray code kết hợp xử lý dịch chuyển đường

x, y, z

Hình 1-2: Mô hình hệ thống thu nhận ảnh 3D Phương pháp line shift bản chất là sự cải tiến từ phương pháp gray code, bằng cách khai thác lợi thế của “sự rõ ràng” giữa mã hóa các bits để làm tăng độ phân giải hệ thống khi sử dụng camera có độ phân giải thấp hơn đối với projector hoặc yêu cầu độ phân giải đặt ra Quá trình xử lý dịch chuyển đường (line shift processing) nhằm tìm kiếm các sub pixels xen kẽ giữa các pixels thực do đó chính xác và phân giải hệ thống tăng lên

Phương pháp mã hóa nhị phân: sử dụng các vân sáng đơn đen và trắng, tượng

trưng như bits 0, 1 trong kỹ thuật số, được ghép với nhau theo mã nhị phân hoặc gray code để tạo thành chuỗi vân chiếu lên bề mặt vật thể Mỗi điểm ảnh trên trong vân chiếu mang một dạng mã nhị phân riêng biệt so với các điểm khác Phương pháp này có độ tin cậy cao và ít phụ thuộc vào đặc tính bề mặt của vật vì chỉ có các giá trị nhị phân tồn tại trong tất cả các điểm ảnh nơi vùng projector chiếu đến, các giá trị ánh sáng từ môi trường bên ngoài dễ dàng bị loại bỏ

Hình 1-3 Vân nhị phân và mã hóa mức xám cho hình ảnh 3D

Yêu cầu cơ bản của vân chiếu trong phương pháp này là có chênh lệch cường

độ mức xám giữa điểm ảnh tối hoàn toàn và sáng hoàn toàn, khoảng chênh lệch này yêu cầu không cao như các phương pháp trong ánh sáng cấu trúc khác

Ưu điểm mà phương pháp này mang lại cho hệ thống sử dụng bao gồm các đặc tính sau:

+ Dễ dàng thay đổi thông số hệ thống như các giá trị bộ lọc, thông số camera… để có thể thu được chất lượng ảnh 3D tốt khi các chi tiết cần thu nhận có

độ tương phản và màu sắc khác nhau

+ Tính hiệu quả: Phép đo trên 100.000 điểm ảnh trên một bề mặt và thời gia thực hiện trong thời gian tính bằng giây (tổng thời gian ~20s)

+ Tính linh hoạt: Cho phép nhiều loại thiết bị cảm biến được sử dụng có thể được calibrated hoặc uncalibrated với Projector

+ Giá thành thiết bị rẻ: Yêu cầu hệ thống 01 máy projector kết hợp với từ 01 đến 02 camera Do sử dụng vân nhị phân nên không yêu cầu camera có đặc tính thông số cao về xử lý nhiễu chỉ cần có độ phân giải từ 1024x768 trở lên

+ Độ chính xác: độ chính xác hệ thu được có thể lên tới 0.02~0.5mm tùy theo chất lượng phần cứng và Độ chính xác thông tin điểm ảnh cao hơn so với các phương pháp cùng nhóm

Nhược điểm của phương pháp này là:

+ Thời gian xử lý lâu hơn do cần chiếu thêm vân dịch chuyển đường

+ Cũng giống như các phương pháp cùng loại, độ phân giải tối thu được đa phụ thuộc vào độ phân giải của vân nhỏ nhất chiếu lên bề mặt vật thể

+ Chỉ áp dụng đối với các vật thể tĩnh, hoặc chuyển động có vận tốc nhỏ hơn tổng vận tốc chụp thu nhận là khoảng 20s

Với những phân tích nêu trên, phương pháp nghiên cứu có những ưu điểm nổi trội và phù hợp với ứng dụng thu nhận bề mặt 3D của chi tiết cho ứng dụng đo lường, kiểm tra hoặc thiết kế ngược trong lĩnh vực cơ khí Để diễn tả cụ thể hơn các

cơ sở toán học và bước thực hiện của phương pháp, tôi xin được trình bày trong chương tiếp theo

Chương 2: CƠ SỞ TOÁN HỌC VÀ MÔ HÌNH THỰC HIỆN TRONG

2

PHƯƠNG PHÁP GRAY CODE KẾT HỢP LINE SHIFT

Mô hình thu ảnh của camera

2.1.

Xuất phát từ quá trình thu ảnh từ vật thật của camera được biểu diễn trong hình 2-1 Giả tử vật M có điểm t(X,Y,Z) nằm trên bề mặt, với Oc là điểm gọi là tâm điểm và gắn với hệ tọa độ riêng của camera Qua giao điểm giữa điểm t và gốc

Oc với mặt phẳng thu ảnh (mặt phẳng thu ảnh là mặt phẳng của cảm biến quang điện cách tâm của camera trong trường hợp ảnh thu nét bằng tiêu cự f của hệ quang) ta xác định được tạo độ (u,v) nằm trong hệ tọa độ song song với hệ tọa độ gắn tại tâm Oc

Hình 2-1 Mô hình hóa quá trình thu ảnh từ vật của camera Xét điểm t(X,Y,Z) nằm trong hệ tọa độ camera OXcYcZc và x, y là tọa độ điểm ảnh ta có phép biến đổi giữa (X, Y, Z) và (x, y) như sau:

Để xác định các tham số f bên trong, sử dụng phương pháp tam giác đồng dạng với kích thước X, Y biết trước theo mô hình dưới hình 2-2

Hình 2-2 Xác định tham số bên trong của camera

Từ công thức 2-1 ta có thể biến đổi thành:

{

R, T là ma trận xoay và ma trận chuyển vị giữa hệ tọa độ thực OXwYwZw

và hệ tọa độ camera OXcYcZc, gọi P là ma trận chuyển đổi:

* + [

Hình 2-3 Mô hình xác định chiều sâu trong hệ stereo camera

Cấu hình hệ thống

2.3.

Trong luận văn này, tôi đưa ra một mô hình hệ thống thực nghiệm với 01 camera , 01 projector và 1 máy tính xử lý trung tâm như trong hình 2-4; projector trong trường hợp này vừa có tác dụng chiếu vân mã hóa, vừa có vai trò là camera

ảo để định nghĩa các tọa độ pixel ảnh Khoảng cách giữa camera và máy chiếu là 70mm

Hình 2-4 Sơ đồ nguyên lý hệ thống, và mô hình thực nghiệm thu nhận 3-D + Projector: DLP công nghệ chiếu sáng LED độ phân giải 1280x800, 1000 lumen

+ Camera: Có độ phân giải: 1920X1080, 20 FPS, kích thước pixel: 2.5 μm + Ống kính: f 8mm, góc nhìn DxHxV: 67.10 x 56.30 x 43.70

Sơ đồ các bước thực hiện

2.4.

Dưới đây là sơ đồ phương pháp line shift [2] do Jens Gu hring đưa ra nhằm tối ưu cho quá trình xử lý vân nhị phân:

Hình 2-5 Sơ đồ xử lý Line Shift

- Bước 1: Chiếu chuỗi ảnh mã nhị phân lên bề mặt vật thể và chuỗi ảnh vân dịch chuyển đường

- Bước 2: Tìm các giá trị min max để xác định ngưỡng cho bit 0 và 1

- Bước 3: Xác định vùng chiếu ảnh mã hóa (vùng nhìn của projector)

- Bước 3: Giải mã các ảnh vân thu đ được

- Bước 4: Phát hiện các đỉnh đường (đỉnh theo x, đỉnh theo y) đối với chuỗi ảnh dịch chuyển đường

- Bước 5: Kết hợp với ảnh dải để xác định tọa độ x, y, z đối với các sub pixels

Hệ thống cần được xác định các thông số cần thiết về đặc tính hình học và quang học để tính toán tọa độ không gian 3D của điểm trên vật thể Mô hình toán

và kết quả sẽ được trình bày trong phần 2.6 của chương 2

Tạo mã Gray-code

2.5.

Tạo mã gray code nhằm đưa ra các ảnh vân theo mẫu và thứ tự tuân theo mã gray code Giả sử cần chiếu ảnh vân có kích thước WxH, ảnh vân chiếu thường được tạo cho hàng và cột, phương pháp tạo các ảnh vân chiếu hàng và cột này cơ bản giống nhau, do đó tôi chỉ xin trình bày phương án xây dựng vân cột

Với ảnh vân có kích thước WxH như trên, ta có W cột Trước tiên, phải tính

số bit N cần để m hóa các pixel điểm ảnh trên mỗi cột Giá trị N được tính theo biểu thức:

Giả sử ta có ảnh có độ rộng là 16 pixel như bảng trên cần N = log2(16) 4 bit

để m hóa 16 pixel đó Để chiếu ảnh vân m hóa cho các pixel, chiếu lần lượt của 4 ảnh tương ứng với 4 bit, như vậy thì mỗi pixel cột sẽ được m hóa bởi một m Gray tương ứng với vị trí của cột đó

Để dễ tưởng tượng ảnh chiếu như thế nào, hình dung bảng m Gray đ lập ở trên sẽ được xoay ngang như sau để m hóa các pixel cột:

Hình 2-6 Chuỗi ảnh Gray code chiếu trên đối tượng Dưới đây là hình minh hoạ vân chiếu Gray 10 bit:

Hình 2-7 Minh họa vân chiếu Gray code 10 bit

Hình 2-8 Các ảnh của vân chiếu của m Gray code với 10 bit

Thuật toán tạo ảnh Gray đƣợc thực hiện nhƣ sau:

- Xác định số bits N của m Gray cần chiếu từ giá trị WxH của ảnh cần chiếu

- Tạo tập N ảnh Binary từ N bit m hoá

- Sau đó ta chuyển tập ảnh Binary này sang tập ảnh Gray:

Giả sử Gi là bit đƣợc m hoá gray thứ i, Bi là bit đƣợc m hoá binary thứ i + Với bit 0: G0 = B0

+ Thực hiện vòng lặp với các anh binary còn lại từ bit thứ n-1về bit 0

Theo tài liệu tham khảo từ Wikipedia tôi sử dụng đoạn mã chuyển đổi từ binary sang gray code:

staticunsignedutil_binaryToGray(unsignednum)

STT Ảnh vân chiếu trên vật Ảnh gray code

STT Ảnh chiếu trên van chân không Ảnh chiếu trên vỏ nhựa

rõ như các vân ban đầu, vấn đề này do đặc tính sử dụng projector DLP tại các vân

nhỏ màu trắng được ghép từ 3 mã mầu RGB (255, 255, 255 theo tuyệt đối, tôi sử

dụng 150, 150, 150 do độ chói ảnh khi camera thu lại không có khả năng cân bằng trắng) thì với tần số quét thấp nên các vân càng nhỏ thì độ phân biệt giữa vân xám

và vân tối không rõ ràng

Mặt khác, do hệ quang của camera không cho phép zoom và lấy nét tốt cho vùng chiếu của projector nên phần viền ngoài không làm việc lớn ảnh hưởng đến

độ phân giải cần thiết cho vùng làm việc

Xác định vùng chiếu sáng từ projector

2.6.

Vùng chiếu sáng được định nghĩa là vùng chứa toàn bộ vân chiếu từ projector tới hoạt cảnh bên ngoài Như vậy, để giải mã gray code chính xác ta cần loại bỏ vùng không làm việc bằng một “mặt nạ” có kích thước bằng với kích thước ảnh thu được có dạng vùng làm việc giá trị 1, vùng không làm việc có giá trị 0

Do sự không rõ ràng trong quá trình phân biệt giữa mức xám các bits, đặc biệt

là các ảnh hưởng từ nguồn sáng xung quanh, thông số phản xạ bề mặt và mà sắc vật thể mà ta không thể sử dụng một ngưỡng cố định các ảnh thu nhận Một giải pháp đưa ra là chiếu ảnh phủ định của từng ảnh gray code lên bề mặt vật thể, giải pháp này cho phép xác định vùng tối và vùng được chiếu dựa trên 2 mức chiếu sáng khác nhau (on, off) trên cùng một điểm ảnh khi đem so sánh giá trị 2 của cùng một bit trên một pixel

Theo bài báo của Yi Xu, Daniel G Aliaga [3] năm 2007 đưa ra thì phương pháp xác định điểm thuộc cùng làm việc được xác định như sau:

Giả sử ta có S {I1, I2, …, Ik} là tập các ảnh có mã vân, với 1 điểm ảnh p trong vùng ảnh được xác định thành phần “trực tiếp” và “chung” tại p là Ld(p) và Lg(p) theo đó ta có công thức xác định như sau:

( ) ( ) (2-11)

( ) ( ) (2-12) Trong đó [ ] là giá trị mô hình hóa thông tin ánh sáng truyền đi bằng việc tắt các pixels của projector

Để đánh giá ảnh hưởng của giá trị b tới vùng trực tiếp, tôi làm thí nghiệm với giá trị b biến thiên từ 0.3 tới giá trị 0.5 theo bảng dưới đây:

Stt b Kết quả ảnh trực tiếp Kết quả ảnh chung

1 0.3

2 0.35

3 0.40

4 0.45

Giải mã Gray code

2.7.

Khi chiếu vân mã hóa gray lên vật lấy mẫu, khi đó mỗi điểm ảnh sẽ được mã hóa là một số thập phân, tương đương như khi chiếu vân lên một bề mặt phẳng, tuy nhiên nếu vật có độ cao h nhất định sẽ làm cho số thập phân này dịch đi, sau khi giải mã Gray code của từng điểm ảnh trong ảnh vân thu được ta sẽ dễ dàng có được

độ dịch này Từ giá trị này ta tính được khoảng cách từ các điểm trên bề mặt vật thể lấy mẫu tới tâm của thiết bị thu thập kết hợp với giá trị x, y thông tin 3D đầy đủ của điểm đối tượng có được trong tọa độ đề các là x, y, z

Phương pháp giải m Gray thực chất là tách m Gray từ các ảnh thu thập và chuyển sang m Binary để biết được pixel ảnh đang ở cột nào Phần quan trọng nhất trong quá trình xử lý giải m Gray code là phân loại pixels nhằm mục đích biết được pixels nào là 1 và pixel nào là 0 Đây gọi là bước tiền xử lý trong quá trình giải m ảnh Do ảnh hưởng của bóng (shadow) vật cần lấy mẫu cũng như màu của vật cần lấy mẫu nên quá trình tiền xử lý này rất phức tạp, nó quyết định chất lượng đám mây điểm thu nhận được

Hình 2-6 là kết quả của ảnh sau khi phân loại pixel [4] gồm có ba mức phân biệt: ON là pixel của vân sáng, OFF là pixel của vân tối, và Uncertain là thành phần

không chắc chắn là pixel ON hay OFF, thành phần này có thể là bóng của vật hoặc một đối tượng tối màu …

Hình 2-9 Ảnh m Gray sau khi phân loại pixel

Một ví dụ mình họa một ảnh chiếu vân lên đối tượng lấy mẫu như hình 2-10 cho ta thấy có nhiều điểm rất khó phân biệt khi lấy mẫu trong môi trường bất kỳ

Hình 2-10 Hình ảnh vân chiếu lên hoạt cảnh lấy mẫu

Ta có mức mật độ xám của điểm ảnh có giá trị từ 0-255, cần tìm một phương pháp đặt ngưỡng để phân biệt các khoảng trên toàn dải mức xám này.Có một số phương pháp thường hay dùng phân loại pixel gồm có :

 Phương pháp ngưỡng đơn

 Phương pháp Albedo

 Phương pháp chiếu vân kép

 Phương pháp kết hợp thành phần ánh sáng nền

Hình 2-11 Phương pháp ngưỡng đơn Trong đó phương pháp kết hợp thành phần ánh sáng nền là phương pháp tốt nhất hiện nay, cho kết quả phân loại chính xác, rõ ràng nhất, mà không bị chồng lấp tại các vị trí biên hoặc cạnh

Giả sử một pixel được chiếu sáng trực tiếp như hình 2-11 Mật độ xám của điểm anh thu nhận sẽ gồm hai thành phần: Thành phần chiếu sáng trực tiếp d và

thành phần chiếu sáng gián tiếp i on Thành phần chiếu sáng trực tiếp tương ứng với ánh sáng trực tiếp chiếu từ máy chiếu, nên giá trị của d là không đổi Thành phần gián tiếp phụ thuộc nhiều yếu tố như ánh sáng môi trường, độ phản chiếu bề mặt vật…, phụ thuộc hàm phân bố phản chiếu gián tiếp tại điểm trên bề mặt vật thể Với các điểm ảnh không được chiếu sáng, mật độ xám p của nó chỉ chứa thành

phần ánh sáng không trực tiếp i off và p được biểu diễn bằng hàm dưới đây:

, ́

́ (2-13) Trong đó:

+ Thành phần ánh sáng gián tiếp tổng : i total = i on + i off

+ Thành phần ánh sáng d và i total tính được sử dụng phương pháp tách của Nayar Để phân loại pixel người ta dựa vào quy luật sau:

 d < m pixel là loại UNCERTAIN

 p < min(d, itotal) - pixel là loại OFF

 p > max(d,itotal) - pixel là loại ON

 ngược lại pixel là loại UNCERTAIN

Trong đó m là ngưỡng nhỏ nhất được định nghĩa trước để phân biệt các pixel

là bóng của đối tượng lấy mẫu

Hình 2-12 Luật phân loại điểm ảnh Kết quả của phương pháp phân loại pixels này cho độ chính xác cao hơn so với các phương pháp khác do nó loại bỏ được các điểm pixel nhiễu do bóng của vật, và ảnh hưởng của bề mặt các vật trong hoạt cảnh chiếu

Hình 2-13 Minh họa kết quả của quá trình phân loại pixel gián tiếp

a) Ảnh hoạt cảnh với bóng của vật và bề mặt vật trong hoạt cảnh chiếu b) và c)Phân loại pixel sử dụng phương pháp ở trên d) và e) Phân loại pixel sử dụng phương pháp kết hợp thành phần gián tiếp

Sau khi phân loại pixel ta thực hiện quá trình giải m Gray ngược lại so với quá trình m hóa Từ các m Gray nhận được sau khi phân loại pixel bằng các

phương pháp ở trên ta chuyển sang m binary, và đánh dấu chỉ số cột và hàng tương ứng với cột và hàng từ projector

Thuật toán giải m Gray tương tự như thuật toán chuyển m Gray sang Binary trong kỹ thuật số Ta có một m Gray gồm có 5 bit, trong đó g(1) là bít có trọng số cao nhất, g(5) là bít có trọng số thấp nhất, và b(1) là bit có trọng số cao nhất của m Binary, b(5) là bits có trọng số thấp nhất của m Binary Thuật toán thực hiện từ bit

có trọng số cao nhất đến bit có trọng số thấp nhất

B(1) = G(1) B(2) = B(1) xor G(2) B(3) = (B2) xor G(3) (2-14) B(4) = (B3) xor G(4)

B(5) = (B4) xor G(5)

Các ảnh Gray chiếu lên đối tượng được tạo lần lượt từ các bit có trọng số cao nhất đến bit có trọng số thấp nhất nên khi phân loại pixel ta cũng thu được các plane bit ảnh từ trọng số cao nhất đến trọng số thấp nhất Vì thế để chuyển các plane bit ảnh sang m Binary ta thực hiện phép XOR các pixel trong các plane bit ảnh như thuật toán trên

Từ m Binary nhận được ta sẽ biết được các chỉ số hàng và cột tương xứng của pixel ảnh camera với hàng cột tương ứng của pixel ảnh chiếu từ máy chiếu Cùng với dữ liệu hiệu chuẩn camera ta sẽ dựng lại được hình ảnh 3D của vật thể