10 So sánh bước cập nhật vector nghiệm của OMP và LARS trước và sau
2.2 Thuật toán Least Angle Regression (LARS) [1]
2.2.4 Một số kết quả thực nghiệm[1]
Trong phần này tơi xin trình bày một số ứng dụng thực tế của bài tốn biểu diễn thưa.
Ví dụ về sửa lỗi trong một kênh truyền dữ liệu nhiễu thưa.
Các kết quả được thực hiện trên một bài toán thực tế. Gần đây, các nhà nghiên cứu chỉ ra rằng ý tưởng biểu diễn thưa có vai trị quan trọng trong việc giải mã các mã sửa
dụng thuật toán LARS cải biên cho một số trường hợp của bài toán này, chúng ta chứng minh được một số tính chất đáng chú ý sau đây:
Hệ quả 1:Xét một kênh truyền thông với tỷ lệ sai số dữ liệu < 0.24với n số nguyên được truyền dẫn, giả sử các vị trí sai sót được lựa chọn bởi phân bốBernoulli(). Khin
lớn, với tỷ lệ mã hóa 1/5 ta có thể được giải mã được tín hiệu gốc chỉ sử dụng tối đa0.24n
bước lặp của thuật tốn LARS cải biên.
Nói cách khác, ngay cả khi có tới một phần tư các tập dữ liệu được truyền bị hỏng, thuật tốn LARS cải biên có thể phục hồi các bit được mã hoá trong một số bước cố định được biết trước.
Chúng ta hãy mô tả chi tiết hơn về chiến lược mã hóa. Giả sửθlà một tín hiệu số chiều dàip, với các phần tử là±1, thể hiện các bít được truyền qua kênh truyền thơng kỹ
thuật số. Trước khi truyền, chúng tơi mã hóaθ với một tỷ lệ 1/5 theo cách sau. ChoH là ma trậnn×nHadamard,n ≈5p. Xây dựng ’ma trận mã hóa’E bằng cách chọn ra ngẫu nhiên phàng của H. Ma trận giải mã D bao gồm4p các hàng còn lại củaH. Giai đoạn
mã hố chúng ta ước tínhx=ETθ, vớixtín hiệu mã hố có chiều dàin. Tại bộ giải mã,
chúng ta nhận đượcr = x+z, trong đóz có k vị trí ngẫu nhiên khác 0 và các vị trí này được xác định tuân theo một phân bố được chỉ định. Tại bộ giải mã, chúng ta áp dụng LARS cải biên để giải quyết bài toán:
(EC1) =minkα1 kthỏa mãnDα =Dr
Gọi nghiệm thu được sau khi giải bài tốn làbα. Khi đó, dữ liệu đầu ra của bộ giải mã là: b
θ =sgn(ET(r−α))b
Chìa khóa chính được lợi dụng là sự trực giao trực hóa củaDvàE. Lưu ý rằng: Dr =D(ETθ+z) = Dz
Do đó, bài tốn (EC1) thực sự cần thiết để trong việc giải quyết bài tốn mơ hình lỗi thưa.
Để minh chứng cho lý thuyết trên, ta đặt p = 256, và xét tỉ lệ lỗi k = n, với
thuộc khoảng [0.04, 0.4]. Trong mỗi trường hợp, chúng tôi tạo ra một thể hiện của bài tốn được mơ tả ở trên, và đo số bước LARS cải biên cần để đạt được nghiệm chính xác. Kết quả được vẽ trong hình 8, thể hiện với bốn phân phối nhiễu khác nhau. Từ kết quả thu được, chúng ta đưa ra nhận xét quan trọng. Với các phân bố nhiễu được xét, nếu số
lượng các phần tử nhiễu của dữ liệu đầu vào ít hơn 0.24n, thuật tốn LARS cải biên có
thể khơi phục chính xác dữ liệu ban đầu với tối đa0.24nbước lặp thực hiện.
Mỗi ký hiệu o thể hiện thuật tốn khơi phục thành cơng dữ liệu ban đầu sau k
bước thực hiện và ký hiệuxthể hiện thuật toán cần nhiều hơnk bước thực hiện để khôi phục dữ liệu ban đầu.
Hình 10: Kết quả thực sau khi sửa lỗi trong một kênh truyền dữ liệu nhiễu thưa
Chương 3 Phân tích và so sánh giữa hai thuật toán OMP và LARS
Trong các nghiên cứu về xử lý tín hiệu và thống kê, thuật tốn OMP và LARS cải biên để giải bài toán LASSO được coi là những thuật tốn phổ biến để tìm ra nghiệm thưa cho hệ phương trình tuyến tính dưới xác định. Trong chương này sẽ trình bày:
- So sánh giữa thuật tốn OMP và LARS cải biên trên khía cạnh các bước thuật tốn và hiệu quả của chúng.
- Xây dựng lại một số bước trong quá trình thực hiện của thuật tốn OMP và LARS để tìm ra những điểm tương đồng và khác biệt giữa chúng. Để tìm hiểu về hiệu quả của OMP và LARS cải biên chúng tơi so sánh thời gian thực hiện và độ chính xác của nghiệm thu được.
3.1 Các bước thuật tốn
Các cơng trình nghiên cứu trước đây cho thấy thuật toán LARS cơ bản và OMP có các bước thực hiện thuật tốn giống nhau, tuy nhiên khác nhau ở bước cập nhật. Thuật toán OMP cập nhật các số dư của vector nghiệm x bằng cách giải bài tốn bình phương tối thiểu. Điều này được thực hiện bằng cách chiếu vectorylên không gian sinh bởi các cột hỗ trợ, và được thực hiện bằng cách giải phương trình chuẩn tắc sau đây:
ATIAIxt(I) = ATIy (3.1.1) Thuật tốn LARS cập nhật các số dư của vector nghiệmx bằng cách giải bài tốn bình phương tối thiểu như sau:
ATIAIxt(I) =ATIy−λt+1sign(ct(I)) (3.1.2) Phương trình (3.1.2) sẽ trở thành (3.1.1) nếu chúng ta bỏ đi phần{λt+1sign(ct(I))}trong phương trình (3.1.2).
Thuật tốn "LARS" cải biên được sử dụng để giải bài toán LASSO là “LARS”.
OMP và LARS là các thuật toán đươc sử dụng để giải các vấn đề tối ưu hóa khác nhau: OMP được sử dụng để tìm một nghiệm xấp xỉ cho cho bài tốn tối thiểu hóa chuẩn
`0 được nhắc đến trong phương trình (1.2), cịn LARS được sử dụng để giải bài toán tối thiểu hóa chuẩn` được nhắc đến trong phương trình (1.4). Tuy nhiên, cả OMP và LARS
đều dựa trên thuật toán tham lam. Thực ra, các bước cơ bản của hai thuật toán là gần như giống nhau. Cả hai thuật toán đều bắt đầu từ một nghiệm gồm các phần tử không, một tập hợp hỗ trợ rỗng, và vector đo lường y là số dư ban đầu. Cả hai thuật toán đều phụ thuộc vào mối tương quan giữa các cột của ma trậnA và số dư hiện tại để duy trì tập hỗ trợ. Chúng cũng tính tốn vector dư tương tự nhau. Ngồi ra, cả hai thuật toán đều cần giải được bài tốn bình phương tối thiểu trên tập hỗ trợ cập nhật vector nghiệmx.
Tuy nhiên, một số bước của OMP và LARS là khác nhau. Ở mỗi vòng lặp của LARS, một cột được bổ sung vào hoặc xoá khỏi tập hỗ trợ, trong khi ở OMP, ln có một cột được thêm vào tập hỗ trợ. Ngồi ra, mỗi thuật tốn sử dụng mỗi cách khác nhau để cập nhật vector nghiệmx. Thuật tốn OMP sử dụng bước lớn nhất có thể theo hướng
bình phương tối thiểu của các cột hỗ trợ. OMP thực hiện điều này bằng cách cập nhật các phần tử của vector nghiệmxbằng cách chiếu vectorylên không gian sinh bởi các cột hỗ trợ. Ngược lại, LARS sử dụng bước nhỏ nhất có thể để đưa một cột từ tập hợp không hỗ trợ vào tập hỗ trợ hoặc loại bỏ một cột từ tập hỗ trợ.
OMP LARS . Khởi tạo x0 = 0,r0 = y,t = 1 x0 = 0,r0 = y,t = 1, I = ∅ I = ∅ Tính tốn vector ct = ATrt−1 ct = ATrt−1 tương quan Cập nhật tập hỗ trợ λt =k ct k∞
Nếu (γt−1 = γt−1+ ),t = 1// thêm côt
i = {j ∈ Ic :| ct(j) |= λt}
i = argmax
i∈Ic | ct(j) | I = I ∪ {i}
I = I ∪ {i} Nếu (γt−1 = γt−1+ )// loại bỏ cột
i = {j ∈ I : xt−1(j) = 0} I = I − {i} Cập nhật vector nghiệm ATIAIxt(I) = ATIy ATI AIdt(I) =sign(ct(I)) xt(Ic) = 0 dt(Ic) = 0 vt = AIdt(I) γt+ = min i∈Ic λt−ct(i) 1−aTi vt , λt +ct(i) 1 +aTi vt γt = min i∈I −xt−1(i) dt(i) γt = min{γt+, γt−} xt = xt−1+γtdt Tính tốn số dư rt = y −Axt rt = y −Axt Điều kiện dừng k rt k2< k rt k2< Tăng biến đếm t= t+ 1 t= t+ 1
Bảng 8: So sánh các bước của hai thuật toán OMP VÀ LARS
Từ bảng 8, chúng ta thấy rằng hai thuật tốn này có các bước thuật tốn giống nhau, trừ các bước cập nhật tập hỗ trợ và vector nghiệm. Để tìm ra nhiều điểm chung
hơn giữa OMP và LARS, chúng ta xây dựng lại các bước cập nhật tập hỗ trợ và vector nghiệm trong thuật toán OMP.