(a) Hình ảnh gốc.
(b) Phép gần đúng của hình ảnh thu được bằng cách chỉ giữ 10% hệ số wavelet lớn nhất
Hình 2.4 cho thấy một ví dụ về một hình ảnh và giá tri gần đúng. Đây là mấu chốt của phép tính gần đúng phi tuyến vì chọn hệ số để giữ giá trị gần đúng phụ thuộc vào chính tín hiệu đó. Tương tự như vậy, tín hiệu đã biết chỉ ra hình ảnh tự nhiên có khoảng biến đổi wavelet rời rạc, quá trình cùng ngưỡng này có vai trò như là phương pháp khử tiếng ồn (nhiễu) phổ biến, những loại thường ko có trong biến đổi wavelet rải rác.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 47
2.4.1.2 Dạng hình học của tín hiệu rời rạc
Rải rác hóa là một mô hình rất phi tuyến, từ việc lựa chọn các yếu tố thư viện cơ sở được sử dụng có thể thay đổi từ tín hiệu đến tín hiệu. Điều này có thể được thấy bằng cách quan sát được một cặp tín hiệu thưa, một tổ hợp tuyến tính của hai tín hiệu không còn thưa, từ dẫn chứng đó có thể tín hiệu không trùng khớp. Đó là, cho bất kỳ , z k, chúng ta không nhất thiết phải có x + z k (mặc dù chúng ta là có x + z 2k). Điều này được minh họa trong hình 2.5, trong đó cho thấy 2
được ẩn trong 3
,, tức là tập tất cả các tín hiệu hai giá trị thưa trong 3,.
Hình 2.5 tập hợp không gian con đƣợc tạo bởi 2 3
Tức là tập tất cả các tín hiệu hai giá trị thưa trong 3,…,tập tất cả hai tín hiệu rải rác trong 3
Tập tín hiệu rải rác k không tạo thành một không gian tuyến tính. Thay vào đó nó bao gồm tập tất cả các không gian con chính tắc ( ). Trong hình 2.5 chúng ta chỉ có. / = 3 không gian con có được, nhưng đối với giá trị lớn hơn của và chúng ta phải xem xét một số tiềm năng rất lớn của không gian con. Điều này
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 48
sẽ có những kết quả đầy ý nghĩa trong sự phát triển của các thuật toán gần đúng thưa và phục hồi tín hiệu thưa.
2.4.2 Tín hiệu thƣa và có thể nén
2.4.2.1 Tín hiệu thƣa
Cho một tín hiệu rời rạc chiều dài hữu hạn, có thể biểu diễn như một vector cột trong RN với các thành phần x[n], n=1,2…N. Bất kỳ tín hiệu trong RN nào đều có thể biểu diễn thông qua một vector cơ sở trực chuẩn : { i} . Sử dụng ma trận cơ sở : =[ 1 2.... N], với các vectơ { i} là các vectơ cột, thì một tín hiệu x có thể biểu diễn như sau :
x = ∑
hoặc x = .s
Ở đây s là một vectơ cột của các trọng số Si x, x và .T là kí hiệu ma trận chuyển vị. Nói cách khác thì và là sự biểu diễn của cùng một tín hiệu, trong miền thời gian (hoặc không gian), trong miền .
Tín hiệu chiều dài được gọi là thưa nếu là một sự kết hợp tuyến tính của duy nhất vectơ cơ sở, do đó chỉ duy nhất trọng số si là khác 0 và ( ) trọng số là bằng 0. Trong trường hợp mà thì tín hiệu gọi là thưa và có thể nén, tức là nó có thể được biểu diễn chỉ với trọng số lớn và nhiều trọng số nhỏ.
2.4.2.2 Tín hiệu nén
Một điểm quan trọng trong thực tế là có rất ít tín hiệu thực tế thực sự thưa; thay vào đó họ nén lại, có nghĩa là chúng có thể được coi xấp xỉ bằng một tín hiệu thưa. Tín hiệu như vậy được gọi là tín hiệu nén, với khoảng cách rải rác, hoặc tương
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 49
đối rải rác trong những bối cảnh khác nhau. Tín hiệu nén cũng được coi là gần đúng với các tín hiệu thưa trong cùng một chiều mà các tín hiệu lân cận nhau trong một không gian con được coi là xấp xỉ bởi vài thành phần chính đầu tiên. Trong thực tế, chúng ta có thể xác định số lượng mẫu nén bằng cách tính toán lỗi phát sinh bởi một tín hiệu gần đúng x bằng một số ̂ k :
k(x)p = ̂ ∑ ‖ ̂‖p
(2.2)
Nếu x k, thì rõ ràng k(x)p = 0 với p bất kỳ. Hơn nữa, ta có thể dễ dàng thấy rằng ngưỡng được cho sẵn mô tả ở trên (chỉ giữ lại hệ số k lớn nhất). Kết quả tối ưu trong phép tính gần đúng được đo bằng công thức (2.2) cho tất cả chuẩn p.
Một cách khác để hiểu về tín hiệu nén là quan tâm đến hệ số suy hao của tín hiệu. Cho nhiều phần quan trọng của tín hiệu tồn tại các cơ số mà hệ số tuân theo một định luật hàm mũ suy hao, trong trường hợp các tín hiệu được nén ở mức độ cao. Đặc biệt, nếu và chúng ta sắp xếp các hệ số ci như vậy sao cho |c1| |c2| … |cn|, sau đó chúng ta nói rằng hệ số đó tuân theo một định luật hàm mũ suy hao nếu có tồn tại các hằng số C1, , sao cho:
|ci| C1i-q
càng lớn thì mức độ suy hao càng nhanh, và tín hiệu nén càng nhiều. Vì hệ số suy hao rất nhanh nên tín hiệu nén có thể được biểu diễn chính xác bởi hệ số . Đặc biệt, với tín hiệu đã cho tồn tại hằng số C2, r 0 chỉ phụ thuộc vào C1 và q sao cho:
k(x)2 C2k-r
Trong thực tế ta có thể thấy rằng k(x)2 sẽ suy hao như k-r khi và chỉ khi hệ số suy hao ci bằng i-r+1/2
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 50
2.4.3 Tập hợp hữu hạn các không gian con
Trong một ứng dụng, tín hiệu có cấu trúc ko thể thể hiện một cách hoàn toàn khi sử dụng thưa đơn nhất (sparsity alone). Ví dụ, khi chỉ có một số mô hình hỗ trợ thưa được cho phép trong tín hiệu, nó có thể tận dụng những hạn chế như vậy để xây dựng mô hình tín hiệu ngắn gọn hơn. Chúng tôi đưa ra một vài ví dụ tiêu biểu dưới đây:
Cho tín hiệu và hình ảnh piecewise-smooth, các hệ số chi phối trong biến đổi wavelet có xu hướng nhóm lại thành một nhánh nghiệm đã kết nối bên trong cây nhị phân cha -con wavelet. Trong các ứng dụng như giám sát hoặc ghi âm, các hệ số có thể xuất hiện theo từng nhóm với nhau hoặc từng phần cách nhau riêng biệt. Khi nhiều tín hiệu thưa được ghi đồng thời, những hỗ trợ của chúng có thể liên quan theo các tính chất của môi trường cảm biến. Một cấu trúc có thể dẫn đến việc đo lường nhiều vấn đề về vector.
Trong một số trường hợp một số lượng nhỏ các tín hiệu thưa tương ứng không tới các vector (cột của một ma trận ), nhưng thay vì đó lại đến các điểm đã biết nằm trong các không gian con riêng. Nếu chúng ta xây dựng một khung bằng cách ghép các chuẩn cho các không gian con thì các hệ số non - zero của tín hiệu đại diện hình thành các cấu trúc khối tại các điểm đã biết.
Ví dụ như cơ cấu bổ sung có thể được chụp trong điều kiện hạn chế tín hiệu khả thi hỗ trợ cho một tập hợp nhỏ các lựa chọn ( ) khả thi của các hệ số khác không cho một tín hiệu thưa. Các mô hình này thường được gọi là mô hình cấu trúc thưa. Trong trường hợp các hệ số khác không xuất hiện thành nhóm. Các cấu trúc có thể được diễn tả thỏa mãn điều kiện của một tập hợp các không gian con thưa. Cấu trúc thưa và tập hợp các mô hình không gian con mở rộng khái niệm thưa tới nhiều lớp rộng hơn của tín hiệu và có thể kết hợp cả hai đại diện chiều hữu hạn và chiều vô hạn.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 51
Để xác định các mô hình này, nhớ lại các tín hiệu thưa kiểu mẫu, tập hợp Σk bao gồm các không gian con mẫu Ui được liên kết vs bên ngoài hệ trục tọa độ n của Rn . Xem hình 2.5, với = 3 và = 2. Cho phép nhiều sự lựa chọn chung cho Ui dẫn đến sự biểu diễn mạnh hơn phù hợp với rất nhiều tín hiệu thú vị ban đầu. Đặc biệt, biết rằng x nằm trong một trong M không gian con khả thi U1, U2, … UM , ta có nằm trong tập hợp M không gian con
⋃
Lưu ý rằng, như trong cấu hình thưa chung, tập hợp các mô hình là phi tuyến: tổng hai tín hiệu từ một tập hợp không còn thuộc . Thành phần phi tuyến này của tín hiệu làm cho bất kỳ một quá trình nào có lợi cho các mô hình này đều phức tạp hơn. Vì vậy, thay vì cố gắng xử lý tất cả các tập hợp theo một cách thống nhất, ta tập trung vào một số các trường hợp đặc biệt của tập hợp các mô hình theo độ phức tạp.
Lớp đơn giản nhất của các tập hợp phát sinh khi một số các không gian con bao gồm các tập hợp là hữu hạn và mỗi không gian con đều có kích thước hữu hạn. Ta gọi đó là thiết lập một tập hợp mô hình không gian con hữu hạn. Trong kết cấu hữu hạn chiều, ta xem lại hai loại mô hình đã mô tả ở trên:
Cấu trúc hỗ trợ rải rác: lớp này bao gồm các vector rải rác đáp ứng hạn chế bổ sung cho sự hỗ trợ (i.e.. tập hợp các chỉ số cho các phần khác không của vector). Điều này tương ứng với việc chỉ một không gian con được ra khỏi các không gian con ( ) hiện diện trong Σk được cho phép.
Tập hợp các không gian con rải rác: tại đó mỗi không gian con bao gồm tập hợp các tổng trực tiếp của các không gian con k ít chiều.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 52
Ở đây Ai là một tập hợp các không gian con với kích thước dim(Ai) = di và
chọn của các không gian con. Như vậy, mỗi không gian con tương ứng với một sự lựa chọn khác nhau của bên ngoài M không gian con Ai bao gồm cả tổng. Cấu trúc này có thể mô hình sự rải rác tiêu chuẩn bằng cách để Ạ trở thành vùng không gian con một chiều với vector mẫu jth .Điều đó chỉ ra rằng mô hình này dẫn tới việc ngặn cản sự rải rác trong đó các khối xác định bên trong vector bằng không, và các phần còn lại khác không.
Có hai trường hợp có thể kết hợp để cho phép một tổng nhất định của không gian con là một phần của tập hợp U. Cả hai mô hình trên đều có thể được tận dụng để làm giảm hơn nữa tỉ lệ lấy mẫu và cho phép lấy mẫu nén của một lớp rộng hơn của tín hiệu.
2.4.4 Tập hợp các không gian con cho các mô hình tín hiệu tƣơng tự
Một trong những động lực chính cho lấy mẫu nén là thiết kế các hệ thống cảm biến mới để có được thời gian liên tục, tín hiệu hoặc các hình ảnh tương tự. Ngược lại, mô hình rời rạc hữu hạn chiều mô tả ở trên vốn giả thiết rằng các tín hiệu x là rời rạc. Đôi khi có thể mở rộng mô hình này với các tín hiệu thời gian liên tục sử dụng một đại diện rời rạc trung gian. Ví dụ, trong một băng tần hạn chế, một tín hiệu tuần hoàn có thể được biểu diễn bởi một vector chiều dài hữu hạn bao gồm tỷ lệ các mẫu Nyquist của nó. Tuy nhiên, nó thường sẽ có ích hơn để mở rộng các khái niệm về sự rời rạc để cung cấp tập hợp các không gian con cho các mô hình tín hiệu tương tự. Hai trong số các khuôn khổ rộng lớn hơn của nghiên cứu lấy mẫu tín hiệu tương tự phụ Nyquist là Sampling và tốc độ hữu hạn của sự đổi mới.
Khi nghiên cứu tập hợp không gian con cho tín hiệu tương tự có ba trường hợp chính để xem xét:
Tập hợp hữu hạn của không gian vô hạn chiều.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 53
Tập hơp vô hạn của không gian vô hạn chiều.
Trong mỗi trường hợp ở trên có một yếu tố mà có thể mất trong giá trị vô hạn, nó là kết quả thực tế của việc xem xét các tín hiệu analog hoặc các không gian con cơ bản là vô hạn chiều, hoặc số lượng không gian con là vô hạn.
Có nhiều ví dụ điển hình của tín hiệu tương tự có thể được diễn tả như một sự kết hợp của không gian con. Ví dụ, một nhóm tín hiệu quan trọng tương ứng với tập hợp hữu hạn của không gian vô hạn chiều là mô hình nhiều băng. Trong mô hình này, các tín hiệu tương tự bao gồm một tổng hữu hạn của tín hiệu băng tần hạn chế, nơi mà các thành phần tín hiệu thường có băng thông tương đối nhỏ nhưng được phân phối trên một dải tần số tương đối lớn.
Một ví dụ khác của một lớp tín hiệu thường có thể được diễn tả như tập hợp của không gian con là lớp của tín hiệu có tốc độ hữu hạn của sự đổi mới. Tùy thuộc vào cấu trúc cụ thể, mô hình này tương ứng với một tập hợp vô hạn hay hữu hạn của không gian con hữu hạn chiều, và mô tả nhiều tín hiệu phổ biến có một số ít các bậc tự do. Trong trường hợp này, mỗi không gian con tương ứng với một sự lựa chọn nhất định của giá trị tham số, với các thiết lập của giá trị có thể là vô hạn chiều, và do đó số lượng không gian con mở rộng của mô hình là vô hạn. Mục tiêu cuối cùng là để khai thác các cấu trúc có sẵn để giảm tốc độ lấy mẫu. Bằng cách dựa vào sự kết hợp tương tự của mô hình không gian con chúng ta có thể thiết kế phần cứng hiệu quả mà tín hiệu mẫu tương tự ở mức phụ Nyquist, do đó đưa các lý thuyết lấy mẫu nén tương tự từ lý thuyết vào thực tế.
2.4.5 Mô hình ma trận bậc thấp
Một mô hình liên quan chặt chẽ đến sự rời rạc là tập hợp các ma trận bậc thấp:
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 54
Thiết lập gồm có các ma trận M sao cho
∑
Khi là các giá trị đơn lẻ khác 0, và ,
là các vector đơn lẻ tương ứng. Thay vì hạn chế số lượng các yếu tố được sử dụng để xây dựng các tín hiệu, chúng tôi hạn chế số lượng các giá trị đơn lẻ khác không.
Ta có thể dễ dàng quan sát rằng các thiết lập có ( ) bậc tự do bằng cách đếm số lượng các tham số tự do trong quá trình phân tích giá trị đơn. Đối với nhỏ, số bậc này thấp hơn đáng kể so với số bậc trong ma trận . Ma trận bậc thấp phát sinh trong một loạt các thiết lập thực tế. Ví dụ, ma trận bậc thấp Hankel tương ứng tuyến tính bậc thấp, hệ thống thời gian bất biến. Trong nhiều vấn đề dữ liệu nhúng, chẳng hạn như cảm biến định vị, ma trận khoảng cách theo cặp thường sẽ có bậc hai hoặc ba. Cuối cùng, gần như ma trận bậc thấp phát sinh một các tự nhiên trong điều kiện các hệ thống lọc cộng tác như hệ thống Netflix đề xuất và các vấn đề liên quan hoàn thành ma trận, nơi mà một ma trận thứ hạng thấp được phục hồi từ một mẫu nhỏ của bản thân nó. Mặc dù chúng tôi không hoàn toàn tập trung chuyên sâu về ma trận hoặc các vấn đề tổng quát hơn về phục hồi ma trận bậc thấp, chúng tôi lưu ý rằng nhiều khái niệm và các công cụ xử lý trong cuốn sách này là rất phù hợp với lĩnh vực mới nổi này, cả hai đều từ một lý thuyết và thuật toán quan điểm.
2.4.6 Các mô hình tham số và đa tạp (manifold)
Mô hình tham số và đa tạp hình thành theo cách khác, nhiều lớp chung của các mô hình tín hiệu ít chiều hơn. Những mô hình này phát sinh khi một tham số