Trong một ứng dụng, tín hiệu có cấu trúc ko thể thể hiện một cách hoàn toàn khi sử dụng thưa đơn nhất (sparsity alone). Ví dụ, khi chỉ có một số mô hình hỗ trợ thưa được cho phép trong tín hiệu, nó có thể tận dụng những hạn chế như vậy để xây dựng mô hình tín hiệu ngắn gọn hơn. Chúng tôi đưa ra một vài ví dụ tiêu biểu dưới đây:
Cho tín hiệu và hình ảnh piecewise-smooth, các hệ số chi phối trong biến đổi wavelet có xu hướng nhóm lại thành một nhánh nghiệm đã kết nối bên trong cây nhị phân cha -con wavelet. Trong các ứng dụng như giám sát hoặc ghi âm, các hệ số có thể xuất hiện theo từng nhóm với nhau hoặc từng phần cách nhau riêng biệt. Khi nhiều tín hiệu thưa được ghi đồng thời, những hỗ trợ của chúng có thể liên quan theo các tính chất của môi trường cảm biến. Một cấu trúc có thể dẫn đến việc đo lường nhiều vấn đề về vector.
Trong một số trường hợp một số lượng nhỏ các tín hiệu thưa tương ứng không tới các vector (cột của một ma trận ), nhưng thay vì đó lại đến các điểm đã biết nằm trong các không gian con riêng. Nếu chúng ta xây dựng một khung bằng cách ghép các chuẩn cho các không gian con thì các hệ số non - zero của tín hiệu đại diện hình thành các cấu trúc khối tại các điểm đã biết.
Ví dụ như cơ cấu bổ sung có thể được chụp trong điều kiện hạn chế tín hiệu khả thi hỗ trợ cho một tập hợp nhỏ các lựa chọn ( ) khả thi của các hệ số khác không cho một tín hiệu thưa. Các mô hình này thường được gọi là mô hình cấu trúc thưa. Trong trường hợp các hệ số khác không xuất hiện thành nhóm. Các cấu trúc có thể được diễn tả thỏa mãn điều kiện của một tập hợp các không gian con thưa. Cấu trúc thưa và tập hợp các mô hình không gian con mở rộng khái niệm thưa tới nhiều lớp rộng hơn của tín hiệu và có thể kết hợp cả hai đại diện chiều hữu hạn và chiều vô hạn.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 51
Để xác định các mô hình này, nhớ lại các tín hiệu thưa kiểu mẫu, tập hợp Σk bao gồm các không gian con mẫu Ui được liên kết vs bên ngoài hệ trục tọa độ n của Rn . Xem hình 2.5, với = 3 và = 2. Cho phép nhiều sự lựa chọn chung cho Ui dẫn đến sự biểu diễn mạnh hơn phù hợp với rất nhiều tín hiệu thú vị ban đầu. Đặc biệt, biết rằng x nằm trong một trong M không gian con khả thi U1, U2, … UM , ta có nằm trong tập hợp M không gian con
⋃
Lưu ý rằng, như trong cấu hình thưa chung, tập hợp các mô hình là phi tuyến: tổng hai tín hiệu từ một tập hợp không còn thuộc . Thành phần phi tuyến này của tín hiệu làm cho bất kỳ một quá trình nào có lợi cho các mô hình này đều phức tạp hơn. Vì vậy, thay vì cố gắng xử lý tất cả các tập hợp theo một cách thống nhất, ta tập trung vào một số các trường hợp đặc biệt của tập hợp các mô hình theo độ phức tạp.
Lớp đơn giản nhất của các tập hợp phát sinh khi một số các không gian con bao gồm các tập hợp là hữu hạn và mỗi không gian con đều có kích thước hữu hạn. Ta gọi đó là thiết lập một tập hợp mô hình không gian con hữu hạn. Trong kết cấu hữu hạn chiều, ta xem lại hai loại mô hình đã mô tả ở trên:
Cấu trúc hỗ trợ rải rác: lớp này bao gồm các vector rải rác đáp ứng hạn chế bổ sung cho sự hỗ trợ (i.e.. tập hợp các chỉ số cho các phần khác không của vector). Điều này tương ứng với việc chỉ một không gian con được ra khỏi các không gian con ( ) hiện diện trong Σk được cho phép.
Tập hợp các không gian con rải rác: tại đó mỗi không gian con bao gồm tập hợp các tổng trực tiếp của các không gian con k ít chiều.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 52
Ở đây Ai là một tập hợp các không gian con với kích thước dim(Ai) = di và
chọn của các không gian con. Như vậy, mỗi không gian con tương ứng với một sự lựa chọn khác nhau của bên ngoài M không gian con Ai bao gồm cả tổng. Cấu trúc này có thể mô hình sự rải rác tiêu chuẩn bằng cách để Ạ trở thành vùng không gian con một chiều với vector mẫu jth .Điều đó chỉ ra rằng mô hình này dẫn tới việc ngặn cản sự rải rác trong đó các khối xác định bên trong vector bằng không, và các phần còn lại khác không.
Có hai trường hợp có thể kết hợp để cho phép một tổng nhất định của không gian con là một phần của tập hợp U. Cả hai mô hình trên đều có thể được tận dụng để làm giảm hơn nữa tỉ lệ lấy mẫu và cho phép lấy mẫu nén của một lớp rộng hơn của tín hiệu.
2.4.4 Tập hợp các không gian con cho các mô hình tín hiệu tƣơng tự
Một trong những động lực chính cho lấy mẫu nén là thiết kế các hệ thống cảm biến mới để có được thời gian liên tục, tín hiệu hoặc các hình ảnh tương tự. Ngược lại, mô hình rời rạc hữu hạn chiều mô tả ở trên vốn giả thiết rằng các tín hiệu x là rời rạc. Đôi khi có thể mở rộng mô hình này với các tín hiệu thời gian liên tục sử dụng một đại diện rời rạc trung gian. Ví dụ, trong một băng tần hạn chế, một tín hiệu tuần hoàn có thể được biểu diễn bởi một vector chiều dài hữu hạn bao gồm tỷ lệ các mẫu Nyquist của nó. Tuy nhiên, nó thường sẽ có ích hơn để mở rộng các khái niệm về sự rời rạc để cung cấp tập hợp các không gian con cho các mô hình tín hiệu tương tự. Hai trong số các khuôn khổ rộng lớn hơn của nghiên cứu lấy mẫu tín hiệu tương tự phụ Nyquist là Sampling và tốc độ hữu hạn của sự đổi mới.
Khi nghiên cứu tập hợp không gian con cho tín hiệu tương tự có ba trường hợp chính để xem xét:
Tập hợp hữu hạn của không gian vô hạn chiều.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 53
Tập hơp vô hạn của không gian vô hạn chiều.
Trong mỗi trường hợp ở trên có một yếu tố mà có thể mất trong giá trị vô hạn, nó là kết quả thực tế của việc xem xét các tín hiệu analog hoặc các không gian con cơ bản là vô hạn chiều, hoặc số lượng không gian con là vô hạn.
Có nhiều ví dụ điển hình của tín hiệu tương tự có thể được diễn tả như một sự kết hợp của không gian con. Ví dụ, một nhóm tín hiệu quan trọng tương ứng với tập hợp hữu hạn của không gian vô hạn chiều là mô hình nhiều băng. Trong mô hình này, các tín hiệu tương tự bao gồm một tổng hữu hạn của tín hiệu băng tần hạn chế, nơi mà các thành phần tín hiệu thường có băng thông tương đối nhỏ nhưng được phân phối trên một dải tần số tương đối lớn.
Một ví dụ khác của một lớp tín hiệu thường có thể được diễn tả như tập hợp của không gian con là lớp của tín hiệu có tốc độ hữu hạn của sự đổi mới. Tùy thuộc vào cấu trúc cụ thể, mô hình này tương ứng với một tập hợp vô hạn hay hữu hạn của không gian con hữu hạn chiều, và mô tả nhiều tín hiệu phổ biến có một số ít các bậc tự do. Trong trường hợp này, mỗi không gian con tương ứng với một sự lựa chọn nhất định của giá trị tham số, với các thiết lập của giá trị có thể là vô hạn chiều, và do đó số lượng không gian con mở rộng của mô hình là vô hạn. Mục tiêu cuối cùng là để khai thác các cấu trúc có sẵn để giảm tốc độ lấy mẫu. Bằng cách dựa vào sự kết hợp tương tự của mô hình không gian con chúng ta có thể thiết kế phần cứng hiệu quả mà tín hiệu mẫu tương tự ở mức phụ Nyquist, do đó đưa các lý thuyết lấy mẫu nén tương tự từ lý thuyết vào thực tế.
2.4.5 Mô hình ma trận bậc thấp
Một mô hình liên quan chặt chẽ đến sự rời rạc là tập hợp các ma trận bậc thấp:
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 54
Thiết lập gồm có các ma trận M sao cho
∑
Khi là các giá trị đơn lẻ khác 0, và ,
là các vector đơn lẻ tương ứng. Thay vì hạn chế số lượng các yếu tố được sử dụng để xây dựng các tín hiệu, chúng tôi hạn chế số lượng các giá trị đơn lẻ khác không.
Ta có thể dễ dàng quan sát rằng các thiết lập có ( ) bậc tự do bằng cách đếm số lượng các tham số tự do trong quá trình phân tích giá trị đơn. Đối với nhỏ, số bậc này thấp hơn đáng kể so với số bậc trong ma trận . Ma trận bậc thấp phát sinh trong một loạt các thiết lập thực tế. Ví dụ, ma trận bậc thấp Hankel tương ứng tuyến tính bậc thấp, hệ thống thời gian bất biến. Trong nhiều vấn đề dữ liệu nhúng, chẳng hạn như cảm biến định vị, ma trận khoảng cách theo cặp thường sẽ có bậc hai hoặc ba. Cuối cùng, gần như ma trận bậc thấp phát sinh một các tự nhiên trong điều kiện các hệ thống lọc cộng tác như hệ thống Netflix đề xuất và các vấn đề liên quan hoàn thành ma trận, nơi mà một ma trận thứ hạng thấp được phục hồi từ một mẫu nhỏ của bản thân nó. Mặc dù chúng tôi không hoàn toàn tập trung chuyên sâu về ma trận hoặc các vấn đề tổng quát hơn về phục hồi ma trận bậc thấp, chúng tôi lưu ý rằng nhiều khái niệm và các công cụ xử lý trong cuốn sách này là rất phù hợp với lĩnh vực mới nổi này, cả hai đều từ một lý thuyết và thuật toán quan điểm.
2.4.6 Các mô hình tham số và đa tạp (manifold)
Mô hình tham số và đa tạp hình thành theo cách khác, nhiều lớp chung của các mô hình tín hiệu ít chiều hơn. Những mô hình này phát sinh khi một tham số liên tục có giá trị - chiều có thể được xác định rằng các sóng mang có chứa tín hiệu và tín hiệu f(ɵ) ϵ Rn thay đổi như là một chức năng liên tục (thường là phi
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 55
tuyến) của những tham số này. Ví dụ điển hình là một tín hiệu một chiều đã dịch chuyển bởi một khoảng thời gian trễ chưa xác định (tham số hóa bởi biến dịch), một bản ghi của tín hiệu nói (tham số hóa bởi các âm vị cơ bản được nói), và một ảnh của một vật thể 3 chiều (3D) tại một vị trí chụp và góc chụp ko xác định (tham số hóa bởi tọa độ 3 chiều của vật thể và trục, khoảng cách và độ lệch của nó). Trong trường hợp này và nhiều trường hợp khác, lớp tín hiệu hình thành một đa tạp phi tuyến chiều trong Rn
* ( ) +
Với là không gian tham số chiều. Các phương pháp dựa trên sự đa tạp dùng trong xử lý ảnh đã thu hút đc sự chú ý đáng kể, đặc biệt là trong cộng đồng trí tuệ nhân tạo. Chúng có thể đc áp dụng cho các ứng dụng đa dạng bao gồm dữ liệu trực quan, phân loại và phát hiện tín hiệu, ước lượng tham số, hệ thống kiểm soát, phân nhóm và trí tuệ nhân tạo. Các đa tạp ít chiều cũng đã được đưa ra như là mô hình gần đúng cho một số lớp tín hiệu phi tham số như hình ảnh của khuôn mặt người và ký tự số viết tay.
Mô hình đa tạp có liên quan chặt chẽ với tất cả các mô hình mô tả ở trên. Ví dụ, tập hợp các tín hiệu với ‖ ‖0 = hình thành một chiều đa tạp Riemannian. Tương tự, tập hợp n1 × n2 các ma trận hạng r hình thành một r(n1 + n2 - r) chiều đa tạp Riemannian. Hơn nữa, nhiều đa tạp có thể được mô tả tương đương như sự kết hợp vô hạn của các không gian con. Tuy nhiên, đa tạp ít chiều có kết nối chặt chẽ với nhiều kết quả trong lấy mẫu nén. Đặc biệt, nhiều ma trận cảm biến ngẫu nhiên được sử dụng trong lấy mẫu nén cũng có thể được hiển thị để bảo vệ cấu trúc trong đa tạp ít chiều.
2.5 Phép lẫy mẫu trong ma trận
Trong phần này, chúng ta sẽ tập trung sự quan tâm về mô hình lấy mẫu hữu hạn chiều tiêu chuẩn. Cụ thể, khi cho một tín hiệu x n, chú tâm đến m phép đo
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 56
tuyến tính thu được trong hệ thống đo lường. Chúng ta có thể biểu diễn phương trình toán học này như sau:
y = Ax
trong đó A là một ma trận và y m. Ma trận A biểu diễn một sự suy giảm số chiều, nghĩa là nó ánh xạ n, trong đó khá lớn, với m, có M thường nhỏ hơn nhiều so với N. Lưu ý rằng trong khuôn khổ lấy mẫu nén chuẩn chúng tôi giả thiết rằng các phép đo là không thay đổi được, có nghĩa là các hàng của A được cố định trước và không phụ thuộc vào các kết quả đo được trước đó. Việc điều chỉnh thông số cho phép đo có thể thu được hiệu suất cao.
Như đã đề cập trước đó, mặc dù khuôn khổ lấy mẫu nén tiêu chuẩn giả định rằng có chiều dài hữu hạn với một giá trị rời rạc (ví dụ như thời gian hay không gian), nhưng trong thực tế chúng ta thường quan tâm đến việc thiết kế hệ thống đo lường để thu được tín hiệu liên tục về giá trị như các tín hiệu liên tục theo thời gian hoặc hình ảnh. Đôi khi có thể để mở rộng mô hình này với các tín hiệu có gia trị liên tục bằng cách sử dụng một phép biểu diễn rời rạc trung gian
Có hai câu hỏi lý thuyết chính trong lấy mẫu nén. Đầu tiên, chúng ta nên thiết kế ma trận đo A như thế nào để đảm bảo rằng nó duy trì các thông tin trong các tín hiệu Thứ hai, làm thế nào chúng ta có thể khôi phục lại tín hiệu ban đầu từ các phép đo . Trong trường hợp dữ liệu của chúng tôi là thưa hoặc nén, chúng ta sẽ thấy rằng chúng ta có thể thiết kế ma trận A với để đảm bảo rằng chúng ta sẽ có thể phục hồi tín hiệu ban đầu một cách chính xác và hiệu quả sử dụng một loạt các thuật toán thực tế khác nhau. Chúng tôi bắt đầu trong phần này bằng cách giải quyết những câu hỏi đầu tiên là làm thế nào để thiết kế ma trận đo A. Thay vì trực tiếp đưa ra một quy trình thiết kế, chúng tôi xem xét thay thế một số đặc tính mong muốn mà chúng ta muốn ma trận A có. Sau đó chúng tôi cung cấp một số ví dụ quan trọng cấu trúc của ma trận đáp ứng các tính chất này.
GVHD: PGS.TS Nguyễn Hữu Trung Học viên: Hoàng Minh Giang – CB141009 Page | 57
2.5.1 Các điều kiện không gian không (Null)
Để bắt đầu xét điểm A tự nhiên bằng cách xem xét một không gian rỗng A, kí hiệu
N(A) = {z : Az = 0}
Nếu chúng ta muốn phục hồi tất cả các tín hiệu thưa x từ các phép đo Ax, sau đó nó là ngay lập tức phân biệt rõ ràng cho bất kỳ cặp vector riêng biệt x, x’ k, chúng ta phải có Ax Ax’, vì nếu không sẽ không thể phân biệt x từ x’ chỉ dựa trên các phép đo y. Chính thức hơn, bằng cách quan sát rằng nếu Ax Ax’ sau đó A (x – x’) = 0 với x – x’ 2k, chúng ta thấy rằng A biểu diễn duy nhất cho tất cả x k khi và chỉ khi N (A) không chứa vectơ trong 2k. Trong khi có rất nhiều cách tương đương