Ôn tập lại xác xuất thống kê

Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 2: Ôn lại xác suất thống kê CHƯƠNG Ôn Lại Xác Suất Thống Kê Trong chương này, tóm tắt khái niệm xác suất thống kê sử dụng kinh tế lượng Bởi số kiến thức trước xác suất thống kê giả sử sách này, việc ôn lại thiết kế để phục vụ hướng dẫn lại chủ đề sử dụng chương sau Điều nghóa nghiên cứu chặt chẽ trọn vẹn chủ đề Vì lý này, trình bày chứng minh Để thay thế, định nghóa khái niệm quan trọng tiêu đề “Định nghóa” tóm tắt kết hữu dụng tiêu đề “Các tính chất.” Muốn có thảo luận chi tiết chủ đề, bạn nên tham khảo sách tuyệt hảo liệt kê mục lục sách tham khảo cuối chương Các phần đánh dấu hoa thị (*) có tính chất cao cấp bỏ qua mà không ý nghóa nội dung chủ đề: Chương ôn lại tất chủ đề có liên quan xác suất thống kê Nếu có lúc bạn học chủ đề rồi, bạn nên lướt nhanh qua chương để gợi nhớ lại Tuy nhiên, bạn vừa hoàn thành khóa học tài liệu này, đề nghị bạn đọc Phần 2.1 đến 2.5 (đặc biệt trọng đồng phương sai tương quan thảo luận Phần 2.3) tiếp đến vào trực tiếp Chương đọc phần lại chương Bạn quay lại để ôn phần có liên quan chương cần Các phần Chương song song với phần Chương 3, tham khảo chéo định nhằm giúp cho hoán đổi suôn sẻ phần thực Điều cho phép bạn hiểu lý thuyết kinh tế lượng tốt đánh giá hữu ích xác suất thống kê cách dễ dàng 2.1 Các Biến Ngẫu Nhiên Phân Phối Xác Suất Một cách điển hình, nhà nghiên cứu thực thí nghiệm đơn giản tung đồng xu hay quay cặp súc sắc phức tạp làm khảo sát tác nhân kinh tế hay thực chương trình điều trị y học thực nghiệm Dựa kết thí nghiệm, nhà phân tích đo giá trị biến quan tâm mà chúng mô tả đặc điểm kết Các biến biết đến biến ngẫu nhiên thường ký hiệu X Các ví dụ bao gồm nhiệt độ thời điểm đó, số gọi đến qua tổng đài điện thoại khoảng phút, thu nhập hộ gia đình, tồn kho công ty, giá bán nhà đặc điểm nó, diện tích sinh hoạt hay kích thước lô đất Một biến ngẫu nhiên rời rạc Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 2: Ôn lại xác suất thống kê mang giá trị lựa chọn Số đèn điện tử TV theo lô 20 số mặt ngửa 10 lần tung đồng xu ví dụ biến ngẫu nhiên rời rạc Một biến ngẫu nhiên liên tục mang giá trị khoảng số thực Khi đo lường xác, chiều cao người, nhiệt độ lúc riêng biệt đó, lượng lượng tiêu thụ ví dụ biến ngẫu nhiên liên tục Quy ước sử dụng sách ký hiệu biến ngẫu nhiên mẫu tự hoa (như X hay Y) kết cụ thể mẫu tự thường (như x hay y) Để giữ cho trình bày đơn giản, ta minh họa khái niệm khác sử dụng hầu hết biến ngẫu nhiên rời rạc Các mệnh đề dễ dàng mở rộng tới trường hợp biến ngẫu nhiên liên tục Liên kết với biến ngẫu nhiên phân phối xác suất [ký hiệu hàm f(x)] xác định xác suất mà biến ngẫu nhiên mang giá trị khoảng xác định cụ thể Định nghóa thức biến ngẫu nhiên không trình bày tìm thấy sách liệt kê mục lục sách tham khảo Trong sách ta thảo luận phân phối có sử dụng trực tiếp kinh tế lượng Ramanathan (1993) có nhiều ví dụ phân phối liên tục rời rạc không trình bày VÍ DỤ 2.1 Như minh họa, Cục Thuế Nội Bộ Mỹ có thông tin tổng thu nhập có hiệu chỉnh từ tất tiền thu thuế thu nhập cá nhân (kể tính trả chung) cho toàn nước Mỹ Giả sử ta thiết lập khoảng thu nhập – 10.000, 10.000 – 20.000, 20.000 – 30.000, v.v… tính toán tỷ lệ tiền thu thuế thuộc vào nhóm thu nhập Điều tạo phân phối tần suất Tỷ lệ tiền thu thuộc vào nhóm thu nhập 40.000 – 50.000 xem xác suất mà khoản thu thuế rút ngẫu nhiên có thu nhập thuộc vào khoảng Trong Hình 2.1 tỷ lệ tiền thu thuế vẽ đồ thị dựa vào trung điểm khoảng dạng biểu đồ (được biết biểu đồ tần suất) diện tích hình chữ nhật với tỷ lệ tương ứng Nếu kích thước mẫu đủ lớn khoảng đủ nhỏ, ta làm gần tần suất với đường cong trơn (như trình bày biểu đồ), phân phối xác suất thu nhập VÍ DỤ 2.2 Điểm trung bình (GPA) sinh viên thay đổi từ đến Bảng 2.1 có ví dụ phân phối xác suất GPA Hình 2.2 trình bày hình vẽ phân phối xác suất Xác suất mà sinh viên chọn ngẫu nhiên có GPA 2,5 0,244 Sự diễn giải số khác tương tự Bảng 2.1 Phân Phối Xác Suất Của Điểm Trung Bình (GPA) Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Khoảng Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 2: Ôn lại xác suất thống keâ – 0,5 1,0 – 1,5 1,5 – 2,0 2,0 – 2,5 2,5 – 3,0 3,0 – 3,5 3,5 – 4,0 0,25 x f(x) 0,5 – 1,0 0,75 0,002 1,25 0,010 1,75 0,049 2,25 0,244 2,75 0,342 3,25 0,255 3,75 0,098 Hình 2.1 Biểu Đồ Tần Suất Đối Với Thu Nhập Hàng Năm Tỷ lệ tiền thu thuế 15 Hình 2.2 25 35 45 Thu nhập theo ngàn đô la 55 Phân Phối Xác Suất Của Điểm Trung Bình (GPA) f(x) 0,342 0,300 0,200 0,100 0,25 0,75 Hình 2.3 Đồ Thị Mật Độ Chuẩn Chuẩn Hóa Ramu Ramanathan 1,25 1,75 2,25 f(x) 2,75 3,25 3,75 X Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 2: Ôn lại xác suất thống kê Người sử dụng chương trình GRELT nên thử Phần Máy Tính Thực Hành Phụ lục C Những người khác khuyến khích dùng chương trình hồi qui họ để thu phân phối tần suất cho DATA2-1 DATA2-2 (xem Phụ lục D) Phân Phối Chuẩn Phân phối liên tục dùng rộng rãi phân phối chuẩn (còn biết phân phối Gaussian) Dạng đơn giản nó, biết đến phân phối chuẩn chuẩn hóa (hoặc chuẩn chuẩn hóa), hàm mật độ xác suất (PDF) phân phối f(x) = 2π exp( −x / 2) – ∞ < x < ∞ exp hàm mũ Mật độ chuẩn f(x) đối xứng xung quanh tọa đôï gốc có hình chuông (xem Hình 2.3) P(a ≤ X ≤ b) xác định vùng tô màu a b VÍ DỤ 2.3 Bảng Phụ lục A.1 có diện tích đường cong chuẩn chuẩn hóa điểm z Như vậy, lấy ví dụ, diện tích từ đến 1,72 0,4573 Bởi đường cong chuẩn đối xứng xung quanh tọa độ gốc, diện tích từ đến –1,72 0,4573 Diện tích từ 0,65 đến 1,44 có độ chênh lệch diện tích tính từ 0,4251 – 0,2422 = 0,1829 Dùng kỹ thuật tính chất đối xứng, dễ dàng xác minh raèng P(– 0,65 ≤ X ≤ 1,44) = 0,2422 + 0,4251 = 0,6673 vaø P(–1,44 ≤ X ≤ –0,65) = 0,1829 Để tính Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 2: Ôn lại xác suất thống kê P(X > 1,12), ta dùng quan heä P(X > 1,12) = P(X> 0) – P(0 < X < 1,12) = 0,5 – 0,3686 = 0,1314 Bảng 2.2 Phân Phối Xác Suất cho Số Mặt Ngửa Ba Lần Tung Một Đồng Xu x f(x) 1/8 3/8 3/8 1/8 Phân Phối Nhị Thức Như ví dụ hàm xác suất rời rạc, gọi X số mặt ngửa xuất ba lần tung đồng xu X có giá trị 0, 1, 2, hay Tám kết riêng biệt lẫn nhau, kết có xác suất 1/8, xác định (HHH), (HHT), (HTH), (THH), (HTT), (THT), TTH), (TTT) Từ ñoù coù P(X=2) = P(HHT) + P(HTH) + P(THH) = 3/8 Tiến hành theo cách tương tự, ta thu xác suất cho giá trị có X Bảng 2.2 cung cấp hàm xác suất f(x) cho bốn giá trị X Phân phối phần tử họ phân phối biết đến phân phối nhị thức Nó phát sinh có kết xảy thí nghiệm, mệnh danh “thành công” “thất bại” Gọi p xác suất thành công thí nghiệm cho trước Xác suất thất bại – p Hơn giả sử xác suất thành công cho thí nghiệm thí nghiệm độc lập Gọi X số lần thành công n thí nghiệm độc lập Vậy f(x) trình bày [xem Freund (1992), trang 184-185] n! n f(x) =   p x q n −x = p x q n−x x! (n − x)! x x = 0, 1, , n – p = q n! = n(n –1) … (0! định nghóa 1) VÍ DỤ 2.4 Một điều trị bệnh bạch hầu đặc biệt có 25 phần trăm xác suất chữa khỏi hoàn toàn Nếu 40 bệnh nhân chọn ngẫu nhiên đem điều trị, xác suất để có 15 bệnh nhân chữa khỏi gì? Gọi X = số lần thành công 40 lần thử Vậy ta cần P(X > 15) với p = 0,25 Bảng Phụ Lục A.6 có xác suất tích lũy cận mong muốn 0,0544 Thử làm Bài tập 2.1 đến 2.5 nghiên cứu đáp án cho Bài tập 2.4 Phụ lục B Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 2: Ôn lại xác suất thống kê 2.2 Kỳ Vọng, Trung Bình Phương Sai Toán Học Xét thí nghiệm nhị thức mô tả trước đồng xu tung ba lần Giả sử ta trả 3$ kết ba mặt ngửa, 2$ có hai mặt ngửa, 1$ có ngửa, hết ba lần tung cho kết mặt sấp Về mặt trung bình, thí nghiệm tung ba lần, ta kỳ vọng thắng bao nhiêu? Từ Bảng 2.2 ta lưu ý lần thí nghiệm ta kỳ vọng, mặt trung bình, có lần có ba mặt ngửa (dẫn đến trả 3$), ba lần có hai mặt ngửa (tổng tiền trả 6$, tính 2$ cho lần), ba lần với mặt ngửa (tổng tiền trả 3$) Vậy ta kỳ vọng tổng tiền trả 12$ (3+6+3) lần thử, thành tiền trả trung bình 1,5 $ cho lần thử Trung Bình Của Một Phân Phối Giá trị trung bình tính phần trước gọi trung bình phân phối (cũng biết đến kỳ vọng toán học X giá trị kỳ vọng X) Nó biết đến momen bậc xung quanh giá trị gốc, hay momen định tâm bậc nhất, đại lượng định vị Nó ký hiệu E(X) hay µ E(X) trung bình có trọng số X, với trọng số xác suất tương ứng Trong trường hợp tổng quát, giả sử biến ngẫu nhiên rời rạc có giá trò x1, x2, , xn P(X = xi) = f(xi) hàm xác suất biến Nếu tiền trả cho kết X = xi xi đô-la, tiền trả trung bình x1f(x1) + x2f(x2) + + xnf(xn) = ∑[xif(xi)], ∑ ký hiệu cho phép lấy tổng số hạng, với i = đến n (Xem Phụ lục 2.A.1 phép tổng.) Vậy ta có định nghóa sau ĐỊNH NGHĨA 2.1 (Trung Bình Của Một Phân Phối) Với biến ngẫu nhiên rời rạc, trung bình phân phối (µ) định nghóa µ = E(X) = i =n ∑ [x f (x )] i =1 i i (2.1) Bởi E(X) trọng số theo xác suất, khác với trung bình số học, x = (∑xi)/n Không có lý kết mô tả giới hạn x Nó hàm x Giả sử kết x2 Kết trung bình ∑[xi2f(xi)] Điều gọi momen bậc hai phân phối X xung quanh giá trị gốc Khái niệm kỳ vọng toán học mở rộng cho hàm số x Vậy, ta có diễn tả sau cho giá trị kỳ vọng hàm tổng quát g(X): VÍ DỤ 2.5 Ramu Ramanathan (2.2) E[g(X)] = ∑[g(xi)f(xi)] Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 2: Ôn lại xác suất thống kê Điểm Kiểm Tra Khả Năng Học Thuật Về Từ Vựng (VSAT) sinh viên nộp đơn xin vào đại học có giá trị trải từ đến 700 Bảng 2.3 có ví dụ phân phối xác suất điểm VSAT cho tổng thể lớn sinh viên đại học Trung bình phân phối tính 100 × + 225 × 0,003 + … + 675 × 0,063 = 506,25 Bảng 2.3 Phân Phối Xác Suất Của Điểm VSAT Khoảng – 200 200 – 250 250 – 300 300 – 350 350 – 400 400 – 450 450 – 500 500 – 550 550 – 600 600 – 650 650 – 700 x 100 225 275 325 375 425 475 525 575 625 675 f(x) 0,003 0,021 0,033 0,061 0,131 0,201 0,234 0,169 0,084 0,063 Bài Tập Thực Hành 2.1 Giả sử có 10.000 vé số 1$ bán có ba giải thưởng đưa ra: giải 5.000$, giải nhì 2.000$, giải ba 500$ Kỳ vọng thắng giải bao nhiêu? Bài Tập Thực Hành 2.2 Một thợ bánh mì có hàm xác suất sau cho nhu cầu bánh mì (tính theo tá hay 12 đơn vị ngày) Tồn kho trung bình nên bao nhiêu? x f(x) 0,05 0,10 0,25 0,30 0,20 0,10 hay lớn Chúng ta viết số kết liên quan đến giá trị kỳ vọng mà chứng minh Những kết kiến nghị nên nghiên cứu kỹ lưỡng chúng sử dụng thường xuyên chương sau (Hãy thử chứng minh chúng.) Tính chất 2.1 a E(X – µ) = E(X) – µ = b Nếu c số biến không ngẫu nhiên, E(c) = c c Nếu c số biến không ngẫu nhiên, E[cg(X)] = cE[g(x)] Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 2: Ôn lại xác suất thống kê d E[u(X) + v(X)] = E[u(X)] + E[v(X)] Diễn tả từ ngữ, giá trị kỳ vọng độ lệch so với trung bình Giá trị kỳ vọng số hay biến không ngẫu nhiên Giá trị kỳ vọng số nhân với biến ngẫu nhiên số nhân với giá trị kỳ vọng Giá trị kỳ vọng tổng hàm số X tổng kỳ vọng Đáp án cho Bài tập 2.6 Phụ lục B có chứng minh Tính chất 2.1 cho trường hợp rời rạc Phương Sai Độ Lệch Chuẩn Một Biến Ngẫu Nhiên Đặt µ = E(X) trung bình phân phối X Một trường hợp đặc biệt hàm g(X), mà kỳ vọng định nghóa Phương trình (2.2), quan tâm đáng kể Cho g(X) = (X – µ)2 X – µ đại lượng để xem X lệch so với trung bình µ Bình phương đại lượng phóng rộng độ lệch xử lý độ lệch dương âm Trung bình có trọng số xác suất độ lệch bình phương (hay, cụ thể hơn, kỳ vọng chúng) đo lường phân tán giá trị X xung quanh giá trị trung bình µ Nó gọi phương sai phân phối (hay momen định tâm bậc hai) ký hiệu σ2 hay Var(X) Nó đo lường phân tán X xung quanh µ Một cách thức, ta có định nghóa sau ĐỊNH NGHĨA 2.2 (Phương Sai Độ Lệch Chuẩn) Phương sai X định nghóa σ2 = Var(X) = E[(X – µ)2] = ∑(xi – µ)2f(xi) (2.3) Căn bậc hai (σ) biểu thức gọi độ lệch chuẩn (s.d.) Tính chất 2.2 liệt kê vài tính chất phương sai cho phân phối liên tục rời rạc Tính chất 2.2 a σ2 = E[(X – µ)2] = E[X2 – 2µX + µ2] = E(X2) – 2µE(X) + µ2 = E(X2) – µ2 b Theo c số hay không ngẫu nhiên, Var(c) = c Nếu a b số hay không ngẫu nhiên, Var(a + bX) = b2σ2 VÍ DỤ 2.6 Hàm xác suất biến ngẫu nhiên rời rạc cho sau: Ramu Ramanathan Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 x f(x) 0,1 Phương pháp phân tích Bài đọc 0,3 0,4 Nhập môn kinh tế lượng với ứng dụng Chương 2: Ôn lại xác suất thống kê 0,2 Hãy tính trung bình, phương sai, độ lệch chuẩn µ = E(X) = ∑xif(xi) = (0 × 0,1) + (1 × 0,3) + (2 × 0,4) + (3 × 0,2) = + 0,3 + 0,8 + 0,6 = 1,7 E(X ) = ∑xi2f(xi) = (0 × 0,1) + (1 × 0,3) + (4 × 0,4) + (9 × 0,2) = + 0,3 + 1,6 + 1,8 = 3,7 Var(X) = E(X2) – µ2 = 3,7 – (1,7)2 = 0,81 σ = Var( X) = 0,9 BÀI TẬP THỰC HÀNH 2.3 Hãy tính trung bình, phương sai, độ lệch chuẩn cho phân phối Bảng 2.1 2.3 BÀI TẬP THỰC HÀNH 2.4 Hãy chứng tỏ biến ngẫu nhiên X có trung bình µ độ lệch chuẩn σ, biến ngẫu nhiên biến đổi Z = (X – µ)/σ (thường tham chiếu giá trị z) có trung bình phương sai Phân Phối Chuẩn Tổng Quát Phân phối chuẩn trình bày Phần 2.1 có trung bình phương sai đơn vị Một phân phối chuẩn tổng quát, với trung bình µ phương sai σ2, thường viết N(µ, σ2), có hàm mật độ sau: f(x) =  (x − µ)  exp −  2σ  σ 2π  –∞ ln x2), cực đại L(θ|x) tương đương với cực đại ln L(θ|x) Thực cực đại hàm thích hợp log thường dễ Giả sử hàm gần có số thông số θi chưa biết, (i = 1, 2, …, k), chẳng hạn trung bình µ(θ1) phương sai σ2(θ2) phân phối Thì cực đại hóa L(θ1.θ2…, θk|x) Các điều kiện bậc ∂ L/ ∂θI = với i từ đến k k phương trình kết giải để tìm giá trị θ Trong thực tế, thực cực đại hàm ln L sử dụng điều kiện ln L/ ∂ θI = để giải tìm giá trị θ dễ dàng Tính Chất Của Các Ước Lượng Thích hợp cực đại Các ước lượng thích hợp cực đại có số tính chất liệt kê Tính chất 2.A,6 Tính chất 2.A.6 Các ước lượng thích hợp cực đại Ramu Ramanathan 60 Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 2: Ôn lại xác suất thống kê a Nhất quán b Hiệu cách tiệm cận; nghóa n lớn, ước lượng quán khác có phương sai nhỏ c Chuẩn cách tiệm cận; nghóa với n lớn, ước lượng gần phân phối chuẩn, phân phối quan sát phân phối chuẩn VÍ DỤ 2.A.2 Giả sử biến ngẫu nhiên X có phân phối chuẩn với trung bình µ phương sai σ2 Lấy mẫu ngẫu nhiên gồm n quan sát x1, x2, …, xn Tìm ước lượng thích hợp cực đại µ σ2? Từ Phương trình (2.4) biết hàm mật độ xi f (xi, µ, σ ) = σ 2π -(xi - µ)2/(2σ2) e Vì vậy, hàm thích hợp xác định bởi: 2  n -[Σ(xi - µ) ]/(2σ ) L(µ, σ | x) =   e σ 2π Lấy logarit hai vế cóhàm gần log ln L = − n ln σ − n ln ( 2π ) − Σ (xi − µ)2 2σ2 Chúng ta lưu ý ln L phụ thuộc vào µ số hạng cuối liên quan đến tổng bình phương sai lệch xi so với giá trị trung bình µ Vì có dấu trừ trước số hạng nên việc cực đại ln L tương đương với cực tiểu Σ(xi − µ)2, giống thủ tục bình phương tối thiểu trình bày trước Ước lượng µ làm tổng bình phương nhỏ (và hàm thích hợp cực đại) trung bình mẫu − Vì vậy, trung bình mẫu x − ước lượng thích hợp cực đại µ X phân phối chuẩn N(µ, σ2) x Để có ước lượng thích hợp cực đại σ2, lấy vi phân riêng phần ln L theo σ Chúng ta có điều kiện bậc (lưu ý x, n p xem số vi phân riêng phần này) n − σ − Σ(xi − µ)2 (−2σ −3) = ^ Dễ dàng chứng minh ước lượng thích hợp cực đại σ2 ký hiệu σ 2, tính ^ σ = (1/n) Σ(xi − − )2 Để tính công thức này, sử dụng ước lượng − x x thay cho µ So sánh công thức với phương trình (2.9), lưu ý phương sai Ramu Ramanathan 61 Thục Đoan/Hào Thi Chương trình Giảng dạy Kinh tế Fulbright Niên khóa 2003-2004 Phương pháp phân tích Bài đọc Nhập môn kinh tế lượng với ứng dụng Chương 2: Ôn lại xác suất thống kê ^ mẫu s2 ước lượng thích hợp cực đại σ khác Vì E(s2) = σ2 theo tính chất ^ 2.15b, E(σ 2) ≠ σ2 Điều cho kết ước lượng thích hợp cực đại thông số không thiết phải ước lượng không thiên lệch Tuy nhiên theo Tính chất 2.A.6a, ước lượng quán Ước lượng không thiên lệch cách tiệm cận Ramu Ramanathan 62 Thục Đoan/Hào Thi