Bài giảng Lý thuyết xác suất và thống kê toán học - Chương 6: Lý thuyết ước lượng - Phan Văn Tân

LÝ THUYẾT 
XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC
Phan Văn Tân
Bộ mô Khí tượng
CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
• Bài toán: Cho X là đại lượng ngẫu nhiên có phân bố F(x,θ) (hoặc 
f(x,θ)), dạng của F(x,θ) đã biết nhưng chưa biết θ. Hãy xác định θ
• Thực tế, rất khó hoặc không thể xác định chính xác giá trị θ nên 
người ta chỉ ước lượng nó thông qua tập mẫu của X
• Giả sử có mẫu (X1, X2,, Xn) của X, để thay thế cho θ ta lập đại 
lượng thống kê ),...,,(ˆ 21 nXXXθ
• Định nghĩa: Đại lượng thống kê
được chọn dùng để thay thế cho tham số θ được gọi là hàm ước 
lượng của θ (hay ngắn gọn hơn là ước lượng của θ)
),...,,(ˆ 21 nXXXθ
• Chú ý: ),...,,(ˆ 21 nXXXθ là hàm của (X1,..,Xn) Î biến ngẫu nhiên
• Với mỗi (x1,,xn) thì ),...,,(ˆ 21 nXXXθ là một điểm trên trục số
),...,,(ˆ 21 nXXXθ⇒ còn gọi là ước lượng điểm của θ
CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
• Ví dụ: Xét đại lượng ngẫu nhiên X với mẫu (X1, X2,, Xn) 
• Khi đó: ])[(][],[ 22 xxxx mXMXDDXMm −==≡= σ
∑
=
=
n
i
iXn
X
1
1
• Nói chung, ứng với một tham số θ có thể có nhiều cách ước 
lượng khác nhau Î Cần chọn ước lượng nào tốt nhất
là một ước lượng mx
là các đặc trưng chính xác (các tham số chính xác) của X 
∑
=
−=≡
n
i
ixx XXn
sD
1
22 )(1~ là một ước lượng của Dx
CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
• Định nghĩa: Hàm ước lượng
gọi là ước lượng không chệch nếu:
),...,(ˆ 1 nXXθ
x
n
i
i
n
i
i
n
i
i mXMXMn
XM
n
X
n
MXM ===== ∑∑∑
===
][][1][1]1[][
111
của tham số θ được
• Ví dụ: Kỳ vọng mẫu là ước lượng không chệch của kỳ vọng mx
])([1])(1[][]~[
1
2
1
22 ∑∑
==
−=−=≡
n
i
i
n
i
ixx XXMn
XX
n
MsMDM
• Phương sai mẫu là ước lượng chệch của phương sai Dx
θθ =)],...,(ˆ[ 1 nXXM
Vì Xi nhận các giá trị của X và có cùng phân bố với X nên
][][][ XMXMXM i ==
CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
( ) =⎥⎦⎤⎢⎣⎡ −−−=⇒ ∑=
n
i
iix XMXXMXMn
DM
1
2
])[(])[(1]~[
( ) =⎥⎦⎤⎢⎣⎡ −−−−+−= ∑=
n
i
ii XMXXMXXMXXMXMn 1
22 ])[])([(2])[(])[(1
[ ]
]])[])([([2
]])[([1
])[(1
1
1
2
1
2
∑
∑
∑
=
=
=
−−−
−+
−=
n
i
i
n
i
n
i
i
XMXXMXM
n
XMXM
n
XMXM
n x
n
i
x
n
i
x DDn
D
n i
=== ∑∑
== 11
11
][]])[[(]])[([1 22 XDXMXMXMXnM
n
=−=−=
][2]])[[(2
])][(])[[(2
]])[(])[[(2
2
1
XDXMXM
XMXnXMXM
n
XMXXMXM
n
n
i
ii
−=−−=
=−−−=
=−−−= ∑
=
][]~[ XDDDM xx −=⇒
CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
( ) =⎥⎦⎤⎢⎣⎡ −−−=⇒ ∑=
n
i
iix XMXXMXMn
DM
1
2
])[(])[(1]~[
][]~[ XDDDM xx −=
⎥⎦
⎤⎢⎣
⎡=⎥⎦
⎤⎢⎣
⎡= ∑∑
==
n
i
i
n
i
i XDn
X
n
DXD
1
2
1
11][
Vì các Xi là độc lập, có cùng phân bố với X nên
x
n
i
n
i
i
n
i
i nDXnDXDXDXD ====⎥⎦
⎤⎢⎣
⎡ ∑∑∑
===
][][][
111
xDn
XD 1][ =⇒
211]~[ σ≡≠−=−= xxxxx DDn
nD
n
DDM
CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
2* 1
1
]~[
1
]~[ σ==−−=−=⇒ xxxx DDn
n
n
nDM
n
nDM
• Nếu dùng
211]~[ σ
n
nD
n
nDM xx
−=−=
∑
=
−=
n
i
ix XXn
D
1
2)(1~thay cho∑
=
−−==
n
i
ixx XXn
sD
1
22** )(
1
1~
Khi đó: xx
n
i
ixx Dn
nDXXDnDn ~
1
~)(~~)1( *
1
2*
−=⇒−==− ∑=
Tức ∑
=
−−==
n
i
ixx XXn
sD
1
22** )(
1
1~
là ước lượng không chệch của Dx
Đó cũng chính là lý do tại sao người ta thường dùng *~xD
Tuy nhiên, khi n đủ lớn thì tỷ số (n–1)/n≈1 do đó chúng hầu 
như không sai khác nhau
CHƯƠNG 6. LÝ THUYẾT ƯỚC LƯỢNG
6.1 Hàm ước lượng của một tham số chưa biết
• Độ chính xác của ước lượng không chệch
222
2
1
111)|),...,(ˆ(| εσε
σεσθθ
θ
θ
θ −=−≥<−nXXP
• Giả sử
• Nếu chọn ε=3 ta có:
),...,(ˆ 1 nXXθ
Î Với xác suất khá lớn, chênh lệch giữa θ và ước lượng của 
nó không vượt quá 3 lần độ lệch chuNn
là ước lượng không chệch của θ, và
2
1 )],...,(ˆ[ θσθ =nXXD
Từ bất đẳng thức Tchebychev ta có:
8889.0
9
11)3|),...,(ˆ(| 1 ≈−≥<− θσθθ nXXP
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.1 Hàm ước lượng của một tham số chưa biết
• Định nghĩa: Hàm ước lượng
gọi là ước lượng vững nếu với ∀ε>0 bất kỳ cho trước ta có
),...,(ˆ 1 nXXθ của tham số θ được
• Định lý: N ếu
1)|),...,(ˆ(| 1 =<−+∞→ εθθ nXXPnlim
thì
),...,(ˆ 1 nXXθ là hàm ước lượng của θ sao cho:
a) ),...,(ˆ 1 nXXθ là ước lượng không chệch của θ hoặc
0})],...,(ˆ[{ 1 =−+∞→ θθ nXXMnlim (độ chệch tiến tới 0–không chệch)
b) 0)],...,(ˆ[ 1 =+∞→ nXXD θnlim
),...,(ˆ 1 nXXθ là ước lượng vững của θ
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.1 Hàm ước lượng của một tham số chưa biết
• Chứng minh:
• Áp dụng bất đẳng thức Tchebychev:
2
1
11
)],...,(ˆ[1)|)],...,(ˆ[),...,(ˆ(| ε
θεθθ nnn XXDXXMXXP −≥<−+∞→nlim
0})],...,(ˆ[{ 1 =−+∞→ θθ nXXMnlim
0)],...,(ˆ[ 1 =+∞→ nXXD θnlim
Viết lại:
2
1
11
)],...,(ˆ[1)|))],...,(ˆ[(),...,(ˆ(| ε
θεθθθθ nnn XXDXXMXXP −≥<−−−+∞→nlim
1)|),...,(ˆ(| 1 ≥<−⇒ +∞→ εθθ nXXPnlim
• Ví dụ: Kỳ vọng mẫu là ước lượng vững, vì xmXMXM == ][][
∞→→== nkhi
n
DXD
n
XD x 0][1][
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.1 Hàm ước lượng của một tham số chưa biết
• Định nghĩa: N ếu ),...,(ˆ 1 nXXθ là ước lượng không chệch của θ và
)],...,(ˆ[ 1 nXXD θ
thì
• Định lý: Cho mẫu (X1,,Xn) của X có phân bố f(x,θ) thỏa mãn 
một số điều kiện nhất định và
không lớn hơn mọi hàm ước lượng không chệch khác
),...,(ˆ 1 nXXθ được gọi là ước lượng hiệu quả của θ
),...,(ˆ 1 nXXθ
là ước lượng không chệch bất kỳ của θ thì:
⎥⎥⎦
⎤
⎢⎢⎣
⎡ ⎟⎠
⎞⎜⎝
⎛
∂
∂×
≥ 21 ),(ln
1)],...,(ˆ[
θ
θθ xfMn
XXD n
Người ta gọi đây là bất đẳng thức thông tin hay bất đẳng 
thức Crame–Rao
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.1 Hàm ước lượng của một tham số chưa biết
• Ví dụ: Cho X có phân bố chuNn N (μ,σ). Chứng minh rằng kỳ vọng 
mẫu là ước lượng hiệu quả của μ=M[X]
• Giải: Ta có:
2)(
2
1
2
1),( σ
μ
σπμ
−−=
x
exf
X
2)(
2
12ln),(ln σ
μσπμ −−−=⇒ xxf 2),(ln σ
μ
μ
μ −=∂
∂⇒ xxf
2
2
4
2
2
2
1])[(1),(ln σμσσ
μ
μ
μ =−=⎥⎥⎦
⎤
⎢⎢⎣
⎡ ⎟⎠
⎞⎜⎝
⎛ −=
⎥⎥⎦
⎤
⎢⎢⎣
⎡
⎟⎟⎠
⎞⎜⎜⎝
⎛
∂
∂⇒ XMXMxfM
][
/
1
),(ln
1 2
22 XDnnxfMn
===
⎥⎥⎦
⎤
⎢⎢⎣
⎡ ⎟⎠
⎞⎜⎝
⎛
∂
∂×
σ
σ
θ
θ
X⇒ là ước lượng hiệu quả của μ
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.2 Ước lượng tham số theo phương pháp hợp lý cực đại
• Xét đại lượng ngẫu nhiên X có mật độ phân bố f(x,θ) với dạng của 
f(x,θ) đã biết, còn θ chưa biết và cần phải ước lượng. Giả sử
(X1,,Xn) là một mẫu của X. Khi đó, hàm
),...,(ˆ 1 nXXθ
được gọi là hàm hợp lý của mẫu.
),(...),(),()( 21 θθθθ nXfXfXfL ×××=
• Vì hàm logarit là hàm đơn điệu nên thay cho L(θ) người ta dùng 
hàm H(θ)=lnL(θ), và
Gọi là ước lượng của θ. Cần xác định ),...,(ˆ 1 nXXθ
sao cho: Θ∈∀≥ θθθ víi)()),...,(ˆ( 1 LXXL n
Trong đó Θ là miền giá trị của θ
),...,(ˆ 1 nXXθ được xác định từ
Θ∈∀≥ θθθ víi)()),...,(ˆ( 1 HXXH n
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.2 Ước lượng tham số theo phương pháp hợp lý cực đại
• Khi đó, nếu tồn tại đạo hàm thì
là nghiệm của phương trình 0)( =θ
θ
d
dH
),...,(ˆ 1 nXXθN ghiệm
),...,(ˆ 1 nXXθ
Phương trình này được gọi là phương trình hợp lý cực đại
ước lượng hợp lý cực đại của θ
của phương trình này được gọi là
• N hư vậy, các bước để tìm ước lượng hợp lý cực đại của θ:
– Lập hàm hợp lý L(θ) của mẫu
– Tìm hàm H(θ)=ln L(θ)
– Tìm nghiệm phương trình 0)( =θ
θ
d
dH
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.2 Ước lượng tham số theo phương pháp hợp lý cực đại
• Ví dụ 1: Giả sử X∈N (μ,σ) với σ đã biết. Xác định ước lượng hợp 
lý cực đại của μ, biết (X1,,Xn) là một mẫu của X
( ) ⎥⎦⎤⎢⎣⎡ −−== ∑∏ ==
n
i
in
n
i
i XXfL
1
2
2
1
)(
2
1exp
2
1),()( μσσπμμ
• Giải: Lập hàm hợp lý
( )σπμσμμ 2ln)(21)(ln)( 1 22 nXLH
n
i
i −−−==⇒ ∑
=
0)(1)(
1
2 =−=⇒ ∑
=
n
i
iXd
dH μσμ
μ
0)(
1
=−⇒∑
=
n
i
iX μ
∑∑∑
===
=⇒=−⇒
n
i
i
n
i
n
i
i XnX
111
0 μμ XX
n
XX
n
i
in ==⇒ ∑
=1
1
1),...,(μˆ
μσμ
μ ˆ0)( 22
2
⇒<−= n
d
Hd
là hàm hợp lý đạt giá trị cực đại
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.2 Ước lượng tham số theo phương pháp hợp lý cực đại
• Ví dụ 2: Giả sử X∈N (μ,σ), trong đó cả μ và σ đều chưa biết. Tìm 
ước lượng hợp lý cực đại của μ, σ biết (X1,,Xn) là một mẫu của X
• Giải: Coi θ=(μ,σ). Từ ví dụ trước: ( )σπμσθθ 2ln)(21)(ln)( 1 22 nXLH
n
i
i −−−== ∑
=
00)(
1
=−⇒=∂
∂ ∑
=
μμ
θ nXH n
i
i
0
)(
2
2
4
)(4
)(
3
1
2
4
1
2
=−
−
=−
−
=∂
∂ ∑∑ ==
σσ
μ
σπ
π
σ
μσ
σ
θ nXn
X
H
n
i
i
n
i
i
Giải ra ta được:
XX
n
XX
n
i
in == ∑
=1
1
1),...,(μˆ ∑
=
−=
n
i
in XXn
XX
1
2
1 )(
1),...,(σˆ
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.2 Ước lượng tham số theo phương pháp hợp lý cực đại
• Nhận xét:
– Hàm hợp lý được lập trên cơ sở tập mẫu (X1,,Xn) trong đó
các Xi là độc lập có cùng phân bố với X
– Mỗi nghiệm của phương trình hợp lý cực đại là một giá trị cụ
thể tính được từ tập mẫu nên ước lượng của tham số được gọi là
ước lượng điểm (xác định một điểm trên trục số)
– N ếu có nhiều tham số cần được ước lượng (như ví dụ 2), sau 
khi lập hàm hợp lý cực đại, lấy đạo hàm bậc nhất ứng với từng 
tham số và cho bằng 0 để nhận được một hệ phương trình
– Giải hệ này ta được các ước lượng tương ứng
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.3 Ước lượng tham số bằng khoảng tin cậy
• Định nghĩa: Khoảng tin cậy )ˆ,ˆ( 21 θθ của tham số θ với độ tin cậy γ
và
• Bài toán: Cho biến ngẫu nhiên X và mẫu (X1,,Xn) của X. Hãy 
xác định 
là một khoảng với hai đầu mút ),...,(ˆˆ),,...,(ˆˆ 122111 nn XXXX θθθθ ==
sao cho:
γθθθ =≤≤ )),...,(ˆ),...,(ˆ( 1211 nn XXXXP
),...,(ˆˆ),,...,(ˆˆ 122111 nn XXXX θθθθ ==
γθθθ =≤≤ )),...,(ˆ),...,(ˆ( 1211 nn XXXXP với γ là một hằng số cho trước
• Nhận xét: Từ định nghĩa ta thấy, nếu γ càng lớn và khoảng
càng nhỏ thì ước lượng của θ càng chính xác
)ˆ,ˆ( 21 θθ
• Giải: Xét một số ví dụ
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.3 Ước lượng tham số bằng khoảng tin cậy
• Ví dụ 1: Cho X∈N (μ,σ) với σ đã biết và (X1,,Xn) là một mẫu 
của X. Hãy xác định ước lượng khoảng của μ với độ tin cậy γ
• Giải: Xét biến ngẫu nhiên Khi đó U∈N (0,1)
n
XU
/σ
μ−=
γπ
γ
γ
γγγ ==≤≤−=≤⇒ ∫
−
−u
u
x
dxeuUuPuUP
2
2
1
2
1)()|(|
γσμσσ
μ
γγγγ =⎟⎠
⎞⎜⎝
⎛ +≤≤−=≤−≤−⇒
n
uX
n
uXPu
n
XuP )
/
(
⎥⎦
⎤⎢⎣
⎡ +−∈⇒
n
uX
n
uX σσμ γγ , với độ tin cậy γ
Với γ cho 
trước, giải ra 
tìm được uγ
γ=0.95 => uγ=1.96; γ=0.99 => uγ=2.58;
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.3 Ước lượng tham số bằng khoảng tin cậy
• Ví dụ 2: Cho X∈N (μ,σ) với σ chưa biết và (X1,,Xn) là một mẫu 
của X. Hãy xác định ước lượng khoảng của μ với độ tin cậy γ
• Giải: Ở đây ta xét biến ngẫu nhiên 
Khi đó t∈St(n–1)
ns
Xt
x /
*
μ−=
γ
γ
γ
γγγ =−=≤≤−=≤⇒ ∫
−
t
t
dxnxftttPttP )1,()()|(|
γμμ γγγγ =⎟⎟⎠
⎞
⎜⎜⎝
⎛ +≤≤−=≤−≤−⇒
n
stX
n
stXPt
ns
XtP xx
x
**
* )/
(
⎥⎦
⎤⎢⎣
⎡ +−∈⇒
n
stX
n
stX xx
**
, γγμ với độ tin cậy γ
Với γ cho 
trước, giải ra 
tìm được uγ
∑
=
−−=
n
i
ix XXn
s
1
22* )(
1
1với
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.4 Ước lượng theo phương pháp bình phương tối thiểu
• Bài toán: Cho mẫu (Y1,,Yn) của biến ngẫu nhiên Y. Giả sử đã 
biết: 
Trong đó: xij (i=1..n, j=1..m) là các hằng số đã biết còn β1, β2,.., βm
và σ là các tham số chưa biết; X=X(n,m), β=β(m), Y=Y(n). Yêu 
cầu xác định các ước lượng
),...,2,1(,][
...][
2
2211
niYD
xxxYM
i
mimiii
==
+++=
σ
βββ
mβββ ˆ,...,ˆ,ˆ 21 (là các hàm của (Y1,,Yn)) sao cho:∑
=
+++−=
n
i
mimiii xxxYR
1
2
2211
2 ))...(( βββ đạt giá trị nhỏ nhất
Tức cần tìm mβββ ˆ,...,ˆ,ˆ 21 thỏa mãn
∑ ∑∑ ∑
= == = ⎟
⎟
⎠
⎞
⎜⎜⎝
⎛ −=⎟⎟⎠
⎞
⎜⎜⎝
⎛ −
n
i
m
j
jiji
n
i
m
j
jiji xYxY
1
2
1,..,1
2
1
ˆ ββ ββ m1min
• Giải:
2][
][
σ
β
IYD
XYM
=
=
Hay
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.4 Ước lượng theo phương pháp bình phương tối thiểu
là đạo hàm R2 theo các βk phải bằng 0:
mkxxYR ik
n
i
m
j
jiji
k
,...,2,1,02
1 1
2
==⎟⎟⎠
⎞
⎜⎜⎝
⎛ −−=∂
∂ ∑ ∑
= =
ββ
Điều kiện cần để thỏa mãn ∑ ∑∑ ∑
= == = ⎟
⎟
⎠
⎞
⎜⎜⎝
⎛ −=⎟⎟⎠
⎞
⎜⎜⎝
⎛ −
n
i
m
j
jiji
n
i
m
j
jiji xYxY
1
2
1,..,1
2
1
ˆ ββ ββ m1min
Dưới dạng ma trận:
⎟⎟
⎟
⎠
⎞
⎜⎜
⎜
⎝
⎛
=
⎟⎟
⎟
⎠
⎞
⎜⎜
⎜
⎝
⎛
=
⎟⎟
⎟
⎠
⎞
⎜⎜
⎜
⎝
⎛
=
mnmn
m
n xx
xx
X
Y
Y
Y
β
β
β ...,
...
.........
...
,...
1
1
1111
)()(2 ββ XYXYR T −−=⇒ 0)(2
2
=−−=∂
∂⇒ ββ XYX
R T
YXXX TT =⇒ β )()(ˆ 1 YXXX TT −=⇒ β
Phương trình chính tắc
CHƯƠN G 6. LÝ THUYẾT ƯỚC LƯỢN G
6.4 Ước lượng theo phương pháp bình phương tối thiểu
Kỳ vọng và phương sai của ước lượng 
là ước lượng không chệch của β
)()(ˆ 1 YXXX TT −=ββˆ
][)()]()[(]ˆ[ 11 YMXXXYXXXMM TTTT −− ==β
βXYM =][Vì βββ ==⇒ − )()(]ˆ[ 1 XXXXM TT
βˆ⇒
Tương tự, có thể tính được:
12 )(]ˆ[ −= XXD Tσβ
HẾT CHƯƠNG 6