Tài liệu tham khảo bài giảng mô hình hóa, Nhận dạng và mô phỏng bộ môn điều khiển tự động Khoa điện - điện tử -
Trang 1Chương 5: Tính hội tụ và phân bố tiệm cận của tham số
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động
1
Chương 5
TÍNH HỘI TỤ VÀ PHÂN BỐ TIỆM CẬN
CỦA THAM SỐ ƯỚC LƯỢNG
Chương 5: TÍNH HỘI TỤ VÀ PHÂN BỐ TIỆM CẬN CỦA THAM SỐ ƯỚC
LƯỢNG 5.1 Giới thiệu
5.2 Tính hội tụ của tham số ước lượng
5.3 Phân bố tiệm cận của tham số ước lượng
Tham khảo:
[1] L Ljung (1999), System Identification – Theory for the user
5.1 GIỚI THIỆU
Chương 4 đã đề cập đến các loại cấu trúc mô hình, các phương pháp ước lượng tham số và các thuật toán ước ước lượng tham số Về nguyên tắc, chúng ta đã ước lượng được tham số θˆ N của mô hình y ˆ θ(t, ) từ tập dữ liệu
N
Z Vấn đề đặt ra là:
1 ?θˆ →N khi N →∞
2 Phân bố xác suất của biến ngẫu nhiên (θˆN −θ *)?
Chương 5 trình bày cơ sở lý thuyết để trả lời các câu hỏi trên
5.2 TÍNH HỘI TỤ CỦA THAM SỐ ƯỚC LƯỢNG
Chỉ xét tính hội tụ của tham số mô hình tuyến tính bất biến
) ( ) , ( ) ( ) , ( ) (t G q u t H q e t
5.2.1 Điều kiện đối với tập dữ liệu
Cho tập dữ liệu:
{y(1),u(1), ,y(N),u(N)}
khi N →∞ ta có tập Z∞
Trang 2Chương 5: Tính hội tụ và phân bố tiệm cận của tham số
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động
2
Dữ liệu Z N có thể tạo ra từ thí nghiệm thu thập dữ liệu vòng hở hoặc vòng kín Sơ đồ khối thí nghiệm thu thập dữ liệu như hình 5.1 Chú ý rằng nếu thí nghiệm vòng hở thì hàm truyền của khối chỉnh định bằng 0
Hình 5.1: Sơ đồ khối thí nghiệm thu thập dữ liệu
Điều kiện D1:
Tập dữ liệu Z∞ là tập dữ liệu sao cho tồn tại các bộ lọc {d t i)(k)}, i =1,4, )
(t
y và u (t) có thể biểu diễn dưới dạng:
∑
=
∞
=
− +
−
=
) 2 ( 1
) 1 ( ( ) ( ) ( ) ( ) )
(
k t e k d k
t r k d t
∑
=
∞
=
− +
−
=
) 4 ( 1
) 3 ( ( ) ( ) ( ) ( ) )
(
k t e k d k
t r k d t
trong đó:
1 { }r (t) là chuỗi tín hiệu vào bên ngoài, tiền định, bị chặn
2.{e0(t)} là chuỗi biến ngẫu nhiên độc lập có trung bình bằng 0 và moment đến bậc 4+δ, δ >0 bị chặn
3 Các bộ lọc { }∞
=1 )( ) k
i
d ổn định đều (i=1,4, t =1,2, )
4 Các tín hiệu { }y (t) , { }u (t) liên kết gần dừng
• Nhắc lại các khái niệm:
1 Moment bậc k của biến ngẫu nhiên X có hàm mật độ phân bố xác
suất f X (x) là kỳ vọng của đại lượng ngẫu nhiên (X −a)k Nếu a=EX ta gọi đó là moment trung tâm, ký hiệu là µk; nếu a=0 ta gọi đó là moment gốc, ký hiệu là v k
∫ +∞
∞
−
−
= x a k f X x dx
Hệ thống cần nhận dạng
e0(t)
r (t)
y0=const
Trang 3Chương 5: Tính hội tụ và phân bố tiệm cận của tham số
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động
3
2 Xét họ các bộ lọc ∑∞
=
−
=
1
) ( )
(
k
k q k g q
Gα α , α∈A Họ bộ lọc Gα(q) được
gọi là ổn định đều nếu gα(k) ≤ g(k), ∀α∈A và ∑∞ ≤∞
=1
) (
k k
3 Hai tín hiệu { }y (t) và{ }u (t) được gọi là liên kết gần dừng nếu { }y (t) ,
{ }u (t) là các tín hiệu gần dừng, đồng thời tồn tại:
) ( ) ( )
(τ =E y t u t−τ
Giả thiết S1:
Tập dữ liệu Z∞ được tạo ra do hệ thống thật:
S: y(t)=G0(q)u(t)+H0(q)e0(t) (5.7)
trong đó {e0(t)} là chuỗi các biến ngẫu nhiên độc lập có trung bình bằng 0, phương sai là λ0 và moment bị chặn đến bậc 4+δ , δ >0; H0(q) là bộ lọc ổn định, khả đảo và monic
Cho cấu trúc mô hình tuyến tính bất biến:
M: G(q,θ),H(q,θ)θ∈D (5.8)
Ta cần xác định xem hệ thống thật (5.7) có nằm trong tập hợp định nghĩa ở biểu thức (5.8) hay không?
Ký hiệu:
) ,
H(e jω,θ)=H0(e jω);−π ≤ω ≤π} (5.9)
Nếu D T ( M S, )≠∅ thì S ∈ M
Bổ đề:
Nếu giả thiết S1 thỏa mãn, và tín hiệu vào được chọn như sau:
) ( ) ( ) ( )
(t F q y t r t
sao cho có trễ trong G0 hoặc F , các bộ lọc:
) ( )]
( ) (
1
[ +G0 q F q −1G0 q , [1+G0(q)F(q)]−1H0(q)
) ( )]
( ) ( 1
)[
(q G0 q F q 1G0 q
F + − , F(q)[1+G0(q)F(q)]−1H0(q)
ổn định, và { }w (t) gần dừng thì điều kiện D1 thỏa mãn
Trang 4Chương 5: Tính hội tụ và phân bố tiệm cận của tham số
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động
4
Thông tin trong tập dữ liệu:
• Tập dữ liệu gần dừng Z∞ được gọi là đủ giàu thông tin đối với tập hợp mô hình *
M nếu cho hai mô hình W1(q) và W2(q) bất kỳ thuộc *
M :
0 )]
( )) ( ) ( [(W1 q −W2 q z t 2 =
thì W1(e jω)≡W1(e jω) tại hầu hết mọi tần số ω
• Tập dữ liệu gần dừng Z∞ được gọi là giàu thông tin nếu tập dữ liệu
này đủ giàu thông tin đối với tập hợp mô hình *
L chứa tất cả các mô hình
tuyến tính bất biến
Định lý 5.1: (Định lý 8.1, [Ljung,1999]) Tính giàu thông tin của tập dữ liệu
thực nghiệm
Tập dữ liệu gần dừng Z∞ giàu thông tin nếu ma trận phổ Φz(ω) của tín hiệu z(t)=[u(t) y(t)]T xác định dương tại hầu hết tất cả các tần số ω
Trong đó:
Φ Φ
Φ Φ
= Φ
) ( )
(
) ( )
( )
(
ω ω
ω ω
ω
y yu
uy u
∑+∞
−∞
=
−
=
Φ
τ
ωτ
τ
u
∑+∞
−∞
=
−
=
Φ
τ
ωτ
τ
y
∑+∞
−∞
=
−
=
Φ
τ
ωτ
τ
uy
∑
=
∞
=
−
t N
N t
u t u E R
1
) ( ) (
1 lim ) ( ) ( )
∑
=
∞
=
−
t N
N t
y t y E R
1
) ( ) (
1 lim ) ( ) ( )
∑
=
∞
=
−
t N
N t
y t u E R
1
) ( ) (
1 lim ) ( ) ( )
Trang 5Chương 5: Tính hội tụ và phân bố tiệm cận của tham số
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động
5
5.2.2 Tính hội tụ của tham số ước lượng theo phương pháp sai số dự báo
Tham số ước lượng theo phương pháp sai số dự báo là:
) , ( min arg
N D
θ
θ ∈ M
=
t
N
N Z
V
1
2( , )
1 ) ,
=
∞
→
=
t
N t
E V
1
2
2( , )] lim 1 [ (, )]
[ )
Bổ đề: Xét cấu trúc mô hình tuyến tính bất biến ổn định đều M Nếu tập dữ
liệu thực nghiệm Z∞ thỏa mãn giả thiết D1 thì sup | ( , )− ( )|→0
θ V N Z N V
D M
với xác suất bằng 1 khi N →∞
Định lý 5.2: (Định lý 8.2, [Ljung,1999]) Tính hội tụ của tham số ước lượng
trong trường hợp cấu trúc mô hình tuyến tính bất biến và tiêu chuẩn ước lượng dạng toàn phương
Cho θˆ xác định bởi (5.19) và (5.20), trong đó N ε(t,θ) được định nghĩa từ
cấu trúc mô hình tuyến tính bất biến ổn định đều M Nếu tập dữ liệu thực
nghiệm thỏa mãn giả thiết D1 thì:
C
θˆ với xác suất bằng 1 khi N →∞ (5.22)
trong đó:
=
=
∈
′
∈ ( ) | ( ) min ( ) min
θ
D
D D
C
M
Nếu tập hợp D C chỉ có một phần tử θ∗, θ arg min (θ)
θ V
D M
∈
viết lại là:
θˆN →θ∗ với xác suất bằng 1 khi N →∞ (5.24)
Chú ý: Các kết quả trên có thể mở rộng cho trường hợp tiêu chuẩn ước lượng
tổng quát:
∑
=
t
N
N Z
V
1
) ), , ( (
1 ) ,
và cấu trúc mô hình phi tuyến, biến đổi theo thời gian:
) , , ( ) , (t θ g Z t θ
Kết quả tổng quát:
)]
), , ( ( [ min arg
θ
θ E l t D
M
∈
Trang 6Chương 5: Tính hội tụ và phân bố tiệm cận của tham số
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động
6
5.2.3 Tính vững và tính nhận dạng được của tham số ước lượng theo
phương pháp sai số dự báo
Ở mục trước ta đã rút ra kết luận khi điều kiện D1 thỏa mãn thì θˆN →θ∗
với xác suất bằng 1 khi N →∞ Vấn đề đặt ra là θ∗ =θ0? (với θ0 là tham số
“thật” của hệ thống) Nếu θ∗ =θ0 thì ước lượng θˆ được gọi là ước lượng N vững
Định lý 5.3: (Định lý 8.3, [Ljung,1999]) Tính vững của ước lượng trong trường
hợp S ∈ M và tiêu chuẩn ước lượng dạng toàn phương
Giả thiết:
• tập dữ liệu Z∞ thỏa mãn giả thiết D1 và S1,
• M là cấu trúc mô hình tuyến tính ổn định đều sao cho S ∈ M,
• Z∞ đủ giàu thông tin đối với M
• Nếu tín hiệu vào có chứa thành phần hồi tiếp từ ngõ ra thì giả thiết có một khâu trể trong bộ chỉnh định hoặc trong cả G0(q) và G(q,θ)
Kết luận:
) ,
( M S T
trong đó:
=
=
∈
′
∈ ( ) | ( ) min ( ) min
θ
D
D D
C
M
M M , V(θ)= E[ε2(t,θ)]
) ,
H(e jω,θ)=H0(e jω);−π ≤ω ≤π}
Ngoài ra nếu cấu trúc mô hình nhận dạng được toàn cục tại
) ,
(
0∈D T S M
{ }θ0
=
C D
Kết hợp định lý 5.2 và định lý 5.3, ta rút ra kết luận hàm truyền nhận dạng được thỏa mãn:
→
→
) ( )
ˆ , (
) ( )
ˆ , (
0
0
ω ω
ω ω
j N
j
j N
j
e H e
H
e G e
G
θ
θ với xác suất bằng 1 khi →∞
N
Trang 7Chương 5: Tính hội tụ và phân bố tiệm cận của tham số
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động
7
Định lý 5.4: (Định lý 8.4, [Ljung,1999]) Tính vững của ước lượng trong trường
hợp tập hợp mô hình chỉ có thể mô tả chính xác hàm truyền G, không thể mô tả chính xác bộ lọc H và tiêu chuẩn ước lượng dạng toàn phương
Giả thiết:
• tập dữ liệu Z∞ thỏa mãn giả thiết D1 và S1,
• M là cấu trúc mô hình tuyến tính ổn định đều sao cho
♦ G và H được tham số hóa độc lập:
=
η
ρ
θ G(q,θ)=G(q,ρ) H(q,θ)=H(q,η)
♦ tập hợp D G(S,M)={ρ|G(e jω,ρ)=G0(e jω ,)∀ω}≠∅
• Z∞ đủ giàu thông tin đối với M
• hệ thống hoạt động vòng hở, tức là { }u (t) và {e0(t)} độc lập
=
Ν
Ν
ρ θ
ˆ
ˆ
ˆ là vector tham số lượng được bằng phương pháp sai số dự báo (công thức (5.19) và (5.20))
Kết luận:
) , (
ˆN →D G S M
ρ với xác suất bằng 1 khi N →∞ (5.27)
hay viết cách khác:
) ( ) ˆ ,
N
e
G ρ = với xác suất bằng 1 khi N →∞
Định lý 5.5: (Định lý 8.5, [Ljung,1999]) Tính vững của ước lượng trong trường
hợp S ∈ M và tiêu chuẩn ước lượng tổng quát l(ε)
Giả thiết:
• l (x) là hàm khả vi hai lần sao cho:
0 )) (
′ e t
El
l′′(x)≥δ >0, ∀x
• Các giả thiết của định lý 5.3 đều thỏa mãn
Kết luận:
) ,
( M S T
trong đó:
=
=
∈
′
∈ ( ) | ( ) min ( ) min
θ
D
D D
C
M
M M , V(θ)=E[l(ε(t,θ))]
) ,
H(e jω,θ)=H0(e jω);−π ≤ω ≤π}
Trang 8Chương 5: Tính hội tụ và phân bố tiệm cận của tham số
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động
8
5.2.4 Biểu diễn mô hình giới hạn hệ tuyến tính bất biến trong miền tần số
Nhắc lại:
Hàm hiệp phương sai của tín hiệu )s (t là:
) ( ) ( ) (τ =E s t s t−τ
Phổ của tín hiệu )s (t là biến đổi Fourier của hàm hiệp phương sai:
∑+∞
−∞
=
−
=
Φ
τ
τω
τ
s
Có thể tính được hàm hiệp phương sai R s(τ) khi biết phổ Φs(ω) bằng cách lấy biến đổi Fourier ngược:
∫
=
Φ
π
τω ω ω
π
s
2
1 )
Biểu diễn V(θ) trong miền tần số:
Theo các công thức trên ta có:
∫
−
Φ
=
=
π ε
π
E
2
1 ) , 0 ( )]
, ( [ )
Theo giả thiết S1:
) ( ) ( ) ( ) ( ) (t G0 q u t H0 q e0 t
trong đó e0(t) là nhiễu ngẫu nhiên có phương sai là λ0
Ta có thể biểu diễn sai số dự báo như sau:
)]
( ) , ( ) ( )[
, ( )
,
(t θ =H− 1 qθ y t −G q θ u t
ε
=H− 1(q,θ){[G0(q)−G(q,θ)u(t)]+H0(q)e0(t)}
=H− 1(q,θ){[G0(q)−G(q,θ)u(t)]+[H0(q)−H(q,θ)]e0(t)}+e0(t)
) (
) ( ] , ( ) ( [ )]
, ( ) ( [ ) ,
0 0
0
t e
t u q
H q H q
G q G q
−
−
Giả thiết:
• hệ thống có thể hoạt động vòng kín, nhưng có trì hoãn hoặc trong hệ thống và mô hình (nghĩa là G0(q) và G(q,θ) đều có trể) hoặc trong bộ chỉnh định (sao cho u (t) chỉ phụ thuộc vào y(t−k), k≥1 )
• các hàm truyền H0(q) và H(q,θ) đều momic nên thành phần
) ( )]
, (
)
(
[H0 q −H qθ e0 t độc lập với e0(t)
⇒ e0(t) không tương quan với thành phần đầu tiên trong biểu thức (5.34)
Trang 9Chương 5: Tính hội tụ và phân bố tiệm cận của tham số
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động
9
Do đó phổ của sai số dự báo có thể biểu diễn như sau:
) , (
1 )
,
θ
ω
e
= Φ
0
0
0 ( ) ( , )
) , ( ) ( )
(
) ( )
(
λ λ
ω
ω
ω
ω ω
ω ω
+
−
−
Φ
Φ Φ
×
θ
θ
j j
j j
eu
ue u
e H e
H
e G e
G
(5.35) (dấu gạch ngang ký hiệu liên hợp phức)
Chú ý rằng phổ dữ liệu có thể phân tích như sau:
−
Φ
=
Φ
Φ Φ
Φ Φ
Φ
Φ Φ
Φ
I
I I
I
u ue
u
eu u
eu
u eu
ue u
0 0
0 )
( 0 )
(
) ( )
(
) ( ) (
) ( ) ( 0
) ( ) ( 0
ω ω
ω ω
ω
λ
ω λ
ω
ω ω
(5.36)
Đặt:
) (
) ( )]
, ( ) ( [ ) ,
ω
ω
ω ω
ω
u
ue j
j
e B
Φ
Φ
−
Thay (5.36) vào (5.35), để ý (5.37) ta có thể viết lại phổ của sai số dự báo như sau:
2
2 0
) , (
) ( ) , ( ) , ( ) ( )
,
(
θ
θ θ
θ
ω
ω ω
ω ε
ω ω
j
u j
j j
e H
e G e
B e
= Φ
) ( 0
2 0
) , (
) , ( )
λ
λ
ω
ω ω ω
ω
+
−
Φ
θ
θ
j
j j
e H
e H e
H
u ue
(5.38)
Thay (5.38) vào (5.32), ta được:
∫
−
Φ Φ
+
− + Φ
− +
=
π
π
ω λ
λ
H H H
G B G
ue
u
0 2
0
2 0
2
2 0
2
2
1 )
(
θ
θ θ
θ θ
(trong (5.39) ta đã giản lược đối số của các hàm)
Tham số ước lượng trong trường hợp N →∞ là:
) ( min
θ V
+
− + Φ
− +
−
Φ
Φ
π
π
ω λ
λ
d H
H H H
G B G
ue
u
0
2 0
2
2 0
2
min
arg
θ
θ θ
θ θ
Trang 10Chương 5: Tính hội tụ và phân bố tiệm cận của tham số
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động
10
Nhận xét:
1 Nếu tồn tại vector tham số θ0 sao cho G(e jω,θ0)=G0(e jω) và
) ( )
,
(e jω 0 H0 e jω
H θ = thì (5.39) đạt cực tiểu vì hai thành phần đầu tiên của biểu thức dưới dấu tích phân bị triệt tiêu Kết quả này đã được biết đến ở định lý 5.3
2 Trong trường hợp cấu trúc mô hình chọn không thích hợp thì không thể nhận dạng chính xác hệ thống thật Để biểu thức (5.39) đạt cực tiểu thì:
G(e jω,θ) bị “kéo” về G0(e jω)+B(e jω,θ) với trọng số 2
θ
H u
Φ
H(e jω,θ) bị “kéo” về H0(e jω) với trọng số 0 2
2
θ
H
u ue
Φ
Φ
λ
Để cụ thể hơn, ta xét một số trường hợp:
Trường hợp nhận dạng vòng hở:
Nếu hệ thống hoạt động vòng hở, u (t) và )e (t độc lập, Φue(ω)=0, do đó B(e jω,θ)=0 Nếu mô hình nhiễu được chọn cố định H(q,θ)=H*(q), từ (5.40) ta suy ra:
−
−
π π
ω
ω G e Q ω dω
e G
*
*
) (
) ( )
(
ω
ω ω
j
u e H
(5.42)
Đặt θ*∈D C, trong trường hợp này mô hình giới hạn G(e jω,θ*) xấp xỉ mô hình thật G0(e jω) theo chuẩn bình phương với trọng số Q*(ω)
Trường hợp nhận dạng vòng kín:
Nếu bộ chỉnh định tuyến tính, tức là u (t) là hàm tuyến tính của tính hiệu chuẩn r (t) và nhiễu e0(t) như giả thiết D1, thì ta có thể phân tích phổ tín hiệu vào Φu(ω) như sau:
) ( ) ( )
u
r u
Nếu bộ lọc tuyến tính xác định tín hiệu vào u (t) là bất biến:
) ( ) ( ) ( ) ( ) (t K1 q r t K2 q e0 t
ta thấy rằng (ω) λ0 2( jω)
) ( )
(ω 2 λ0 e ω
u
Trang 11Chương 5: Tính hội tụ và phân bố tiệm cận của tham số
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động
11
Do đó B(e jω,θ) có thể biểu diễn rõ hơn như sau:
2 0
0 2
) , ( ) ( ) (
) ( ) ( )
,
ω
ω ω
u
e u u
e
Φ
Φ Φ
Vì vậy tham số xác định bởi:
Φ
Φ
− +
−
−
π π
π π
ω λ
ω
H
H H d
H
G B G
u
r u u
2
2 0
0 2
2 0
* argmin
θ
θ θ
θ θ θ
5.2.5 Tính hội tụ và tính vững của tham số ước lượng theo phương pháp
tương quan
Học viên tự đọc tài liệu [Ljung,1999], trang 269-273
5.3 PHÂN BỐ TIỆM CẬN CỦA THAM SỐ ƯỚC LƯỢNG
- Ở mục 5.2 ta đã biết khi dữ liệu thực nghiệm thỏa mãn điều kiện D1 thì: θˆ θ arg min [ ( ( ,θ),θ)]
θ E l t D
M
∈
∗ =
- Câu hỏi đặt ra là tốc độ hội tụ của θˆ đến N θ∗?
⇒ Cần xác định phân bố xác xuất của biến ngẫu nhiên θˆN −θ∗ hay cụ thể
hơn là xác định ma trận hiệp phương sai của biến ngẫu nhiên θˆN −θ∗
Do ta chỉ xác định được ma trận hiệp phương sai của biến ngẫu nhiên
∗
−θ
θˆN trong trường hợp N lớn nên phương sai đó được gọi là phương sai tiệm cận của tham số ước lượng
Nhắc lại lý thuyết xác suất thống kê
Phân bố chuẩn:
Đại lượng ngẫu nhiên X được gọi là có phân bố chuẩn với hai tham số
µ và λ nếu hàm mật độ phân bố xác suất của nó là:
−
=
λ
µ
) ( exp 2
1 ) (
2
x x
Trang 12Chương 5: Tính hội tụ và phân bố tiệm cận của tham số
Huỳnh Thái Hồng – Bộ mơn Điều khiển Tự động
12
Định lý giới hạn trung tâm Lyapunov:
=
= N
t
X
1
) ( ) , (
α
trong đó { }w (t) là chuổi biến ngẫu nhiên độc lập thỏa:
0 )]
( [w t =
E
t t w
E[ 2( )]=λ
t t
w
E[| 3( )|]=γ
=
∞
→
N
1
2( , ) lim
0 ) , ( lim
1
∑
=
∞
→
N
Thì X N là đại lượng ngẫu nhiên có phân bố xấp xỉ chuẩn với giá trị trung bình là 0 và phương sai là λ Ký hiệu:
Phát biểu khác của định lý giới hạn trung tâm:
Nếu { }X k là chuỗi các biến ngẫu nhiên độc lập có cùng phân bố xác suất với giá trị trung bình bằng µ và phương sai là λ thì trung bình cộng
∑
=
N
Y
1
1 sẽ có phân bố xấp xỉ chuẩn với giá trị trung bình là µ và
phương sai là
N
λ
5.3.1 Phương sai tiệm cận của tham số ước lượng theo phương pháp sai
số dự báo
Phân tích trực giác
D
θ
θ ∈ M
=
t N
N Z
V
1
2( , )
1 ) ,
Giả sử tập hợp D C ở biểu thức (5.23) chỉ có một phần tử θ∗:
) ( min
θ
θ V
D M
∈