Các phƣơng pháp uớc lƣợng hƣớng nguồn sáng

2. Bố cục luận văn

2.2.1. Các phƣơng pháp uớc lƣợng hƣớng nguồn sáng

2.2.1.1. Nguồn ánh sáng vô tận (3-D)

Dƣới đây giả thuyết cƣờng độ điểm ảnh đƣợc biểu diễn bằng phƣơng trình:

26 Trong đó:

+ R là giá trị hằng số phản xạ bề mặt. + L

là vector biểu diễn hƣớng nguồn sáng + N

(x,y) là vector biểu diễn pháp tuyến bề mặt tại điểm ảnh (x,y). + A là biên độ ánh sáng.

Nếu chỉ quan tâm đến hƣớng nguồn sáng, thì hệ số phản xạ R có thể đƣa về giá trị đơn vị. Từ phƣơng trình (2.1) qua biến đổi tuyến tính ta có thể tính L

và A. [3]

Với ít nhất 4 điểm có cùng hệ số phản xạ bề mặt và có các vector pháp tuyến bề mặt khác nhau. Hƣớng nguồn sáng và biên độ A có thể đƣợc tính thông qua ƣớc lƣợng bình phƣơng cực tiểu (least squares estimation). Đầu tiên, một hàm sai phân bậc 2 sẽ thay thế cho phƣơng trình (2.1) nhƣ sau:

(2.2)

Với ||.|| là ký hiệu chuẩn vector Lx,Ly,Lzlà ký hiệu các thành phần của hƣớng nguồn sáng L

. Và

(2.3)

Với Nx(xi,yi), Ny(xi,yi) và Nz(xi,yi) là ký hiệu các thành phần của pháp tuyến bề mặt N tại điểm (xi,yi).

Hàm sai phân bậc 2 ở (2.2) đạt nhỏ nhất tƣơng ứng với vector v đƣợc tính bằng ƣớc lƣợng bình phƣơng cực tiểu:

27 Trong đó:

2.2.1.2.Nguồn ánh sáng vô tận (2-D)

Phần này trình bày một giải pháp thông minh hơn để ƣớc lƣợng 2 thành phần của hƣớng nguồn sáng (Lx và Ly) từ một ảnh đơn. Cách tiếp cận này cung cấp ít thông tin về hƣớng nguồn sáng, làm cho vấn đề dễ kiểm soát hơn. Tại đƣờng biên của một bề mặt, thành phần z của pháp tuyến bề mặt bằng 0, Nz=0. Do vậy, ta chỉ ƣớc lƣợng 2 thành phần Lx, Ly của hƣớng nguồn sáng. [3]

Hình 2.12: Minh họa hƣớng nguồn sáng và pháp tuyến bề mặt của đối tƣợng Lúc này, hàm lỗi (2.2) có dạng:

(2.5) Trong đó:

28

Hàm lỗi này đƣợc cực tiểu hóa sử dụng bình phƣơng tối thiểu chuẩn để cho kết quả giống nhƣ (2.4), nhƣng ma trận M có dạng nhƣ (2.6). Trong trƣờng hợp này, giải pháp yêu cầu biết các pháp tuyến bề mặt 2-D từ ít nhất 3 điểm rõ ràng (p ≥ 3) trên một bề mặt có hệ số phản xạ giống nhau.

2.2.1.3.Nguồn sáng cục bộ (2-D)

Với các phần mềm trên, giả định nguồn sáng xuất phát từ vô tận. Vơi nguồn sáng bộ phận các công thức trên không còn phù hợp.

Hình 2.13: Hai đối tƣợng đƣợc chiếu bởi một nguồn sáng ở gần

Mô hình cho một nguồn sáng xa, phƣơng trình (2.1) có thể đƣợc viết thích hợp với nguồn sáng cụ bộ nhƣ sau :

(2.7)

2.2.1.4.Nhiều nguồn sáng

Trong phần trên ta giả định rằng chỉ có ánh sáng phát ra từ một nguồn sáng duy nhất chiếu lên các vật thể và các nguồn sáng khác coi không đáng kể và đƣợc xem xét với hằng số giới hạn ánh sáng xung quanh (A), điều này thƣờng phù hợp

29

với các ảnh ngoài trời nơi mà mặt trời là nguồn chiếu sáng chủ yếu. Tuy nhiên với với các ảnh trong nhà giả định này thiếu hợp lý vì đối tƣợng có thể đƣợc chiếu rọi bởi nhiều nguồn sáng.

Ánh sáng có thuộc tính rất đặc biệt đó là tuyến tính. Giả sử có hai nguồn sáng chiếu lên đối tƣợng, khi đó hàm mật độ ảnh có dạng:

Khi đó ta xử lý với giả định rằng hai nguồn sáng đã kết hợp lại và cho ta một nguồn sáng duy nhất.

2.2.2. Thuật toán nhận dạng ảnh giả mạo dựa trên phân tích nguồn sáng

Việc dò tìm hƣớng ánh sáng trên các đối tƣợng đƣợc thực hiện bằng phƣơng pháp bán tự động thông qua 4 bƣớc chính nhƣ sau:

Bước 1 : Xây dựng thuật toán dò biên ảnh và nhóm các điểm biên thành các

chuỗi theo quan hệ láng giềng liên thông.

Bước 2 : Lọc bỏ các đƣờng biên nhỏ và làm mảnh biên .

Bước 3 : Chọn các đƣờng biên liên thông và là đƣờng occluding của đối tƣợng.

Bước 4: Xây dựng thuật toán xác định hƣớng ánh sáng trên mỗi đƣờng biên

đƣợc chọn trong bƣớc 3.

2.2.2.1.Tách biên đối tƣợng

Chúng tôi sử dụng thuật toán dò biên Canny trong việc dò tìm biên của đối tƣợng và trích chọn các vector pháp tuyến tại các đƣờng biên.[3]

Thuật toán dò biên Canny đƣợc thực hiện qua các bƣớc sau:

Bước 1: Làm mịn ảnh và lọc nhiễu với bộ lọc Gaussian.

Giả sử ta có ảnh I bộ lọc Gaussian đƣợc xây dựng theo công thức: 2 2 2 2 2 1 ) , ( y x e y x g (2.8)

30

Khi đó ta có thể làm mịn ảnh bằng công thức nhƣ sau:

I y x g y x g I S * ( , ) ( , )* (2.9)

Bước 2: Tính đạo hàm bậc nhất của ảnh đã qua lọc ở bƣớc 1 (nổi biên đối

tƣợng)

Công thức đạo hàm bậc nhất của ảnh sau khi lọc:

I g I g S ( * ) ( )* (2.10) Với: y x g g y g x g g (2.11) Do đó ta có: I g I g I g g S y x y x * * * (2.12)

Hình 2.14: Kết quả đạo hàm theo 2 hƣớng x và y

Bước 3: Tính độ lớn và hƣớng của ảnh biên đã thực hiện bƣớc 2 (Hƣớng tìm

đƣợc cũng chính là pháp tuyến của các điểm ảnh) .

) ,

(Sx Sy là vector gradient của ảnh, khi đó ta có: Độ lớn = (Sx2 S2y) và Hƣớng = x y S S 1 tan (2.13)

31

Hình 2.15: Kết quả minh họa tính độ lớn biên

Bước 4: Loại bỏ các phần tử không lớn nhất theo hƣớng tìm đƣợc ở bƣớc 3

(non-maximum suppression).

Đánh dấu các điểm dọc theo đƣờng cong nơi mà độ lớn của gradient là lớn nhất. Điều này đƣợc làm bằng cách tìm kiếm một giá trị lớn nhất dọc theo một sƣờn pháp tuyến với đƣờng cong.

Loại bỏ các điểm ảnh trong S mà không phải là cục bộ lớn nhất

otherwise y x S y x S and y x S y x S if y x S y x M 0 ) '' , '' ( ) , ( ) ' , ' ( ) , ( ) , ( ) , ( (2.14)

Với x’ và x’’ là các láng giềng của x dọc theo hƣớng pháp tuyến tại biên.

x y S S tan Sự lƣợng tử hóa: 0: 0.4142 tan 0.4142 1:0.4142 tan 2.4142 2: tan 2.4142 3: 2.4142 tan 0.4142

32

Bước 5: Lọc nhiễu (phần tử cô lập) và loại các đƣờng biên bé (Hysteresis threshold).

Giả sử ngƣỡng phân loại là :ngƣỡng cao là Highvà ngƣỡng thấp là Low. Nếu một điểm ảnh có giá trị biên (gradient) thõa mãn một trong các điều kiện sau:

Lớn hơn High thì gán cho nó là một điểm biên. Bé hơn giá trị Low thì gán cho nó là một điểm biên Nếu có giá trị nằm trong khoảng [Low,High] thì:

Xét các láng giềng của nó, nếu nó liên thông với một điểm biên trực tiếp hoặc qua các điểm ảnh nằm giữa “Low” và “High” thì gán cho nó là điểm biên

Hình 2.16: Minh họa các liên thông theo 4, 8, 6 láng giềng

2.2.2.2.Loại bỏ các đối tƣợng nhỏ và nhiễu + Loại bỏ các đối tƣợng nhỏ và nhiễu: + Loại bỏ các đối tƣợng nhỏ và nhiễu:

Thuật toán sau khi dò biên ở trên, ta nhóm các điểm biên cùng tính chất và liên thông thành một chuỗi. Việc loại biên dựa trên một ngƣỡng MaxSizeđƣa vào, duyệt các chuỗi trong ảnh biên thu đƣợc nếu số điểm biên trong một chuỗi bé hơn MaxSize thì ta loại chuỗi biên đó. Tập hợp các chuỗi biên còn lại cho ta ảnh biên kết quả.

+ Làm mảnh biên nối nét đứt:

Biên sau khi dò biên canny biên thu đƣợc tƣơng đối là mảnh. Trong một số trƣờng hợp điểm biên thu đƣợc vẫn chƣa phải là xƣơng, với các trƣờng hợp sau, các điểm đƣợc đánh dấu sẽ bị xóa:

33

Hình 2.17: Minh họa các điểm đƣợc đánh dấu để xóa. Khi thực hiện làm mảnh biên quan trọng nhất là:

- Không xóa những điểm cuối.

- Không làm mất tính liên tục của vùng. - Không làm vùng đang xét bị rỗng qua mức.

Đối với số trƣờng hợp do đứt nét nhƣ các ví dụ sau, các điểm đƣợc đánh sẽ là các điểm nối.

Hình 2.18: Minh họa các điểm đƣợc đánh dấu để nối nét đứt.

Khi đó điểm đứt nét là điểm nền và tồn tại 2 láng giềng của nó nằm ở các vị trị đối ngƣợc nhau nhƣ (1,2,3) và (5,6,7) là các điểm vùng. Việc nối đứt thực đƣợc thực hiện dễ ràng thông qua các điểm đứt tìm đƣợc.

2.2.2.3.Chọn các đoạn biên để uớc lƣợng hƣớng ánh sáng

Ánh sáng chiếu vào đối tƣợng và phản xạ tập chung chủ yếu trên biên, đặc biệt là những đƣờng biên ranh giới ngoài. Chẳng hạn, đƣờng chân trời của trái đất. Việc chọn đƣờng biên để uớc lƣợng hƣớng sáng ở đây đƣợc thực hiện một cách thủ công từ một số các đƣờng biên sau khi xử lý biên. Mỗi đoạn biên đƣợc chọn ra bằng 2 điểm bắt đầu và điểm kết thúc, 2 điểm đƣợc chọn là hợp lệ khi chúng liên thông với nhau.

2.2.2.4.Thuật toán uớc lƣợng hƣớng sáng trên đoạn biên

Dựa trên các điểm của các đoạn biên lựa chọn để uớc lƣợng hƣớng nguồn sáng, ta tìm đƣợc các vector pháp tuyến tƣơng ứng.

34

Ta thực hiện phƣơng pháp ngoại suy để xác định cƣờng độ điểm ảnh tại các điểm tƣơng ứng.

Để xác định hƣớng nguồn sáng lên một đoạn biên ta thực hiện nhƣ sau: Chia các đoạn biên thành các phần liên tiếp nhau, mỗi phần là một cụm 3 điểm biên liên tiếp nhau. Nếu đoạn biên có chiều dài là n thì ta có n3 phần khác nhau.

Ta xác định hƣớng ánh sáng trên mỗi phần sau khi chia: Giả sử 3 điểm của một cụm lần lƣợt là (x1,y1), (x2,y2),(x3,y3). Ta có:

Thử nghiệm thuật toán trên một số ảnh giả mạo, ban đầu cho kết quả khá tốt. Kết quả sai số trung bình có thể chấp nhận đƣợc là 4.80 là mức sai số nhỏ nhất, lớn nhất lần lƣợt là 0.60 và 10.90. Có thể thấy việc xác định giả mạo nếu 2 đối tƣợng có hƣớng chiếu sáng lệch nhau một góc lớn hơn 4.8 có thể kết luận chúng là giả mạo.

4.4350 56.3170

35

2.3. Phát hiện ảnh giả mạo dựa vào thuật toán phân tích mẫu nhiễu cảm biến

Giả sử rằng một trong các camera thu nhận ảnh có sẵn hoặc các bức ảnh khác nhau đƣợc thu nhận bằng một camera có sẵn và những ảnh này đƣợc sử dụng để tạo lập ảnh giả mạo. Phƣơng thức này dựa trên cơ sở dò tìm các mẫu nhiễu thu nhận đƣợc bằng camera. Kỹ thuật này nhằm tìm ra một số các đặc trƣng của bức ảnh, trong các vùng riêng. Vùng giả mạo đƣợc xác định nhƣ là một vùng thƣa các mẫu nhiễu. Sự thể hiện của nhiễu đƣợc đánh giá sử dụng độ tƣơng quan giống nhƣ trong việc dò tìm sự lan truyền trong hiệu ứng bóng mờ.

Ảnh một con vịt đã đƣợc nhân đôi trong ảnh

Ảnh ghép một đầu ngƣời từ một ảnh khác

2.3.1. Mẫu nhiễu và các phƣơng thức biểu diễn

 Xử lý tín hiệu camera số

Phần quan trọng nhất của mọi camera số là các bộ cảm biến tạo ảnh, ảnh cảm biến đƣợc hình thành từ các phần tử nhỏ nhất của ảnh (điểm ảnh), hay là tập hợp của các lƣợng tử ánh sáng và chuyển đổi chúng sang đơn vị điện áp, sau đó mẫu tín hiệu số hoá sẽ đƣợc đƣa vào bộ chuyển đổi A/D. Trƣớc khi ánh sáng từ các chuỗi hoạt cảnh đƣợc đƣa vào cảm biến, nó đƣợc xử lý qua các bƣớc tiền xử lý trƣớc: Làm mịn (khử các đƣờng răng cƣa) bằng bộ lọc blur, sau đó qua bộ lọc màu (CFA). CFA là một bộ lọc khảm màu với các khối bao ngoài trong một phần hình ảnh. Nó cho phép mỗi một điểm ảnh tƣơng ứng chỉ có thể có một màu sắc nhất định.

36

Bộ cảm ứng Foveon TMX3 là bộ cảm biến duy nhất không sử dụng CFA. Nó có thể thu đƣợc 3 màu cơ bản của mọi điểm ảnh.

Nếu bộ cảm biến sử dụng CFA , thì tín hiệu số đầu ra sẽ bị nội suy sử dụng thuật toán nội suy màu (color interpolation algorithms) đối với tất cả các màu cơ bản thu đƣợc cho mỗi điểm ảnh. Tín hiệu kết quả sẽ đƣợc xử lý tiếp bằng cách sửa chữa màu sắc và hiệu chỉnh số dƣ. Thêm vào các thao tác xử lý bao gồm hiệu chỉnh gamma và điều chỉnh độ tuyến tính tƣơng ứng của bức ảnh cảm biến và cuối cùng là xây dựng các bộ lọc nâng cao chất lƣợng ảnh.

 Mẫu nhiễu

Trong phần này chúng ta sử dụng khái niệm nhiễu để phát hiện ảnh giả mạo. Trong khi lấy trung bình của nhiều bức ảnh để giảm các thành phần ngẫu nhiên, cần nâng cao chất lƣợng mẫu nhiễu thu nhận.

Có một vài nguồn không hoàn thiện và nhiễu đã có tác động đến bức ảnh trong quá trình xử lý. Khi bộ cảm biến ảnh thu nhận một bức ảnh tuyệt đối từ môi trƣờng, kết quả của ảnh vẫn có sự thay đổi nhỏ trong cƣờng độ của các điểm ảnh riêng. Một phần nguyên nhân do các thành phần nhiễu ngẫu nhiên gây ra, cũng nhƣ “readout noise” hoặc “shot noise” và một phần bởi vì mẫu nhiễu. Chúng là một thành phần xác định tồn tại dƣới dạng xấp xỉ đƣợc sinh ra trong quá trình thu nhận ảnh. Thuộc tính này, mẫu nhiễu đƣợc biểu diễn trong mọi bức ảnh đƣợc thu nhận bằng bộ cảm biến. Có hai thành phần chính của mẫu nhiễu là: Nhiễu cố định ( FPN:

fixed pattern noise (mẫu nhiêu có cƣờng độ biến đổi trong miền biên độ ảnh) và nhiều hỗn tạp không đều (PRNU: photo response non-uniformity noise), điểm ảnh bất định (PNU: pixel non-uniformity) dựa trên sự khác nhau giữa pixel-pixel khi mảng cảm biến không đặt vào nguồn sáng. FPN là nhiễu đƣợc thêm vào (Additive Noise) hoặc các thành phần tạo ra do sự khác nhau giữa điểm ảnh với điểm ảnh khi chƣa có sự tác động của ánh sáng, khử loại nhiễu này bằng các kỹ thuật trừ nền ảnh. Nhiễu hỗn tạp (PRNU) thƣờng chiếm ƣu thế và có sức ảnh hƣởng lớn đến bức ảnh, nó đƣợc tạo ra do các các nguyên nhân sau: Quang học, các mẫu bụi bám trên thiết

37

bị thu nhận và PNU. Xét tín hiệu thô x=(xi,j) với i = 1,..,m, j= 1,…,n với n, m là các kích thƣớc của ảnh.

Hình 2.20: Mô hình mẫu nhiễu

Xét một tín hiệu nhiễu ngẫu nhiên: ( ij), nhiễu đƣợc thêm vào do tác động của bên ngoài là ( ij), đốm đen hiện thời là c=(cij). Tín hiệu đầu ra đƣợc tính bởi y=(yij) theo công thức sau:

ij ij ij ij ij ii f x c y ( ) (2.15)

Với fij là bé hơn 1 và bắt nhiễu PRNU, nó thuộc loại nhiễu phức tạp. Thành phần quan trọng nhất của PNRU là những điểm ảnh bất định (pixel non-uniformity), nó đƣợc hiểu nhƣ sự khác nhau giữa điểm ảnh và nguồn sáng. PNU là nguyên nhân gây nên hiện tƣợng không đồng đều thứ tự biểu diễn.

Nhiễu bất định không biểu hiện đầy đủ các tính chất về độ tƣơng thích của điểm ảnh trong bức ảnh so với các yếu tố về nguồn sáng. Khử bỏ các vùng tối do nhiễu bất định gây ra bằng phƣơng pháp khử nhiễu.

Tín hiệu y thu đƣợc phải qua một chuỗi các xử lý phức tạp trƣớc khi file ảnh cuối cùng đƣợc lƣu trữ. Quá trình xử lý bao gồm các thao tác trên một láng giềng cục bộ của các điểm ảnh, cũng nhƣ demosaicking, hiệu chỉnh màu, hoặc bộ lọc

Pattern Noise

FPN PRNU

PNU Low-Frequency

38

kernel. Một vài toán tử không tuyến tính, cũng nhƣ hiệu chỉnh Gamma, tính toán số dƣ trắng, hoặc áp dụng nội suy màu. Điểm ảnh cuối cùng có giá trị là Pij, với giả sử rằng 0≤ Pij≤ 255 cho mỗi kênh màu là :

) , ), ( , (y N y i j T Pij ij ij (2.16)

Ở đây T là một hàm không tuyến tính của yij, vị trí điểm ảnh (i,j), và giá trị y từ một láng giềng cục bộ N(yij) (kích thƣớc block là 5x5).

2.3.2. Dò tìm mẫu nhiễu

Các vùng giả mạo có thể đƣợc phân biệt nhƣ là những vùng hỗn tạp nhiễu. Bài toán yêu cầu tìm kiếm nhiễu PNU (pixel non-uniformity) trong vùng quan tâm (ROI: region of interest) bằng cách tính toán độ tƣơng quan giữa vùng nhiễu dƣ và mẫu nhiễu. Do đó phát hiện giả mạo phải bắt đầu bằng việc xác định mẫu tham chiếu cho camera. Chúng ta miêu tả quá trình xử lý áp dụng cho thuật toán nhận dạng giả mạo.

Cho một camera, mẫu nhiễu tham chiếu thu đƣợc gần đúng Pc bằng cách lấy trung bình của nhiều phần tử ảnh (pixels) P(k) , k=1,…,Np . Để tốc độ tính toán