xác suất Thống kê phần1

PHẦN II: THỐNG KÊ Thống kê tốn mơn tốn học nghiên cứu quy luật tượng ngẫu nhiên có tính chất số lớn sở thu nhập xử lý số liệu thống kê (các kết quan sát) Nội dung chủ yếu thống kê tốn xây dựng phương pháp thu nhập xử lý số liệu thống kê nhằm rút kết luận khoa học thực tiễn, dựa thành tựu lý thuyết xác suất Việc thu thập, xếp, trình bày số liệu tổng thể hay mẫu gọi thống kê mơ tả Còn việc sử dụng thơng tin mẫu để tiến hành suy đốn, kết luận tổng thể gọi thống kê suy diễn Thống kê ứng dụng vào lĩnh vực Một số ngành phát triển thống kê ứng dụng chun sâu ngành thống kê xã hội học, y khoa, giáo dục học, tâm lý học, kỹ thuật, sinh học, phân tích hóa học, thể thao, hệ thống thơng tin địa lý, xử lý hình ảnh… Chương I: LÝ THUYẾT MẪU Chương II: LÝ THUYẾT ƯỚC LƯỢNG Chương III: KIỂM ĐỊNH GIẢ THIẾT THỐNG KÊ Chương IV: LÝ THUYẾT HỒI QUY ĐƠN Tài liệu tham khảo chính: Thống kê ứng dụng kinh tế- xã hội, tác giả Hồng Trọng, Chu Nguyễn Mộng Ngọc; NXBLĐXH;2011 Giáo trình L{ thuyết xác suất thống kê tốn; PGS.TS Nguyễn Cao Văn, TS.Trần Thái Ninh; NXB ĐHKTQD; 2008 Chương I: LÝ THUYẾT MẪU I.1 Một số khái niệm: • Tổng thể thống kê tập hợp phần tử thuộc đối tượng nghiên cứu, cần quan sát, thu thập phân tích theo đặc trưng Các phần tử tạo thành tổng thể thống kê gọi đơn vị tổng thể • Mẫu số đơn vị chọn từ tổng thể theo phương pháp lấy mẫu Các đặc trưng mẫu sử dụng để suy rộng đặc trưng tổng thể nói chung • Đặc điểm thống kê (dấu hiệu nghiên cứu) tính chất quan trọng liên quan trực tiếp đến nội dung nghiên cứu khảo sát cần thu thập liệu đơn vị tổng thể; Người ta chia làm loại: đặc điểm thuộc tính đặc điểm số lượng • Trong thực tế, phương pháp nghiên cứu tồn tổng thể áp dụng với tập hợp có qui mơ nhỏ, chủ yếu người ta áp dụng phương pháp nghiên cứu khơng tồn bộ, đặc biệt phương pháp chọn mẫu • Nếu mẫu chọn cách ngẫu nhiên xử lý phương pháp xác suất thu kết luận cách nhanh chóng, đỡ tốn mà đảm bảo độ xác cần thiết • Có phương pháp để lấy mẫu có n phần tử : lấy có hồn lại lấy khơng hồn lại Nếu kích thước mẫu bé so với kích thước tổng thể hai phương pháp coi cho kết • Về mặt lý thuyết, ta giả định phần tử lấy vào mẫu theo phương thức có hồn lại phần tử tổng thể lấy vào mẫu với khả Khái qt q trình nghiên cứu thống kê Xác định vấn đề nghiên cứu, mục tiêu, nội dung, đối tượng nghiên cứu Xây dựng hệ thống khái niệm, tiêu thống kê Thu thập liệu thống kê Xử lý số liệu: - Kiểm tra, chỉnh lý xếp số liệu - Phân tích thống kê sơ - Phân tích thống kê thích hợp Phân tích giải thích kết Báo cáo truyền đạt kết nghiên cứu CẤP BẬC ĐO LƯỜNG VÀ THANG ĐO (đọc thêm): TT Các loại thang đo Khái niệm, tính chất Thang đo định danh - Chỉ dùng cho đặc điểm thuộc tính (Nominal scale) - Khơng có so sánh biểu thuộc tính - Đây bậc thấp thang đo Thang đo thứ bậc - Dùng chủ yếu cho đặc điểm thuộc (Ordinal scale ) tính - Có so sánh biểu thuộc tính Thang đo khoảng - Dùng chủ yếu cho đặc điểm số lượng (Interval scale ) - Các khoảng chênh lệch lấy tỉ lệ - Có thể áp dụng phép tốn +/- liệu Thang đo tỉ lệ - Dùng cho đặc điểm số lượng (Ratio scale) - Đây bậc cao thang đo - Sự so sánh mặt tỉ lệ giá trị có { nghĩa Câu hỏi ví dụ Xin bạn cho biết nơi sinh sống bạn?  TPHCM  Hà nội Hải phòng Cần Thơ Đà nẵng  Nơi khác Xin cho biết mức chi phí TB hàng tháng bạn dành cho việc học?  < 500 ngàn  500-1triệu 1-2 triệu 2-3 triệu  >3 triệu Bạn đánh giá mức độ u thích mơn học? Khơng Rất thích thích Xin cho biết mức chi phí TB hàng tháng bạn dành cho việc học? ………………… đồng Có nhóm kỹ thuật lấy mẫu kỹ thuật lấy mẫu xác suất (probability sampling ) , ngun tắc phần tử tổng thể có hội lấy vào mẫu nhau) lấy mẫu phi xác suất (non- probability sampling ) I.2 CÁC KỸ THUẬT LẤY MẪU XÁC SUẤT (đọc thêm): I.2.1 Lấy mẫu ngẫu nhiên đơn giản ( simple random sampling): Cách tiến hành: - Lập danh sách tổng thể theo số thứ tự, gọi khung lấy mẫu - Xác định số phần tử n cần lấy vào mẫu (sample size) - Chọn mẫu gồm đối tượng có số thứ tự lựa chọn cách ngẫu nhiên cách bốc thăm, lấy từ bảng số ngẫu nhiên; MTBT hay phần mềm thống kê - Ưu điểm: Tính đại diện cao - Hạn chế: Mẫu phải khơng có kích thước q lớn; Người nghiên cứu phải lập danh sách tổng thể cần khảo sát I.2.2 Lấy mẫu hệ thống ( systematic sampling): Cách tiến hành: - Lập danh sách N phần tử tổng thể, có mã số thứ tự - Xác định số phần tử n cần lấy vào mẫu (sample size) - Xác định số ngun k gọi khoảng cách, k lấy giá trị làm tròn N/n Chọn phần tử vào mẫu cách ngẫu nhiên (có số thứ tự khoảng đến k hay đến N) Các phần tử phần tử có STT = STT phần tử + k/2k/3k/… Có thể quay vòng lại để tiếp tục lấy mẫu chưa đủ n phần tử; coi phần tử số có STT N+1,… - Ưu điểm: Tiết kiệm thời gian cần mẫu có kích thước lớn - Hạn chế: Người nghiên cứu phải lập danh sách tổng thể cần khảo sát Thứ tự danh sách tổng thể để mã hóa, khơng xếp theo đặc điểm khảo sát I.2.3 Lấy mẫu phân tầng ( stratified sampling): Cách tiến hành: - Chia tổng thể thành nhiều tầng khác dựa vào tính chất liên quan đến đặc điểm cần khảo sát Trên tầng thực lấy mẫu ngẫu nhiên đơn giản với số lượng phần tử cần lấy vào mẫu ni phân bổ theo tỉ lệ phần tử tầng - Trong thực tế, với mẫu chọn, người ta kết hợp khảo sát thêm đặc điểm riêng lẻ phần tử tầng Khi nhận thấy vài giá trị mi q nhỏ làm khảo sát riêng lẻ khơng đủ độ tin cậy cần lấy mẫu khơng cân đối (disproportionately) phải quan tâm đến việc hiệu chỉnh kết theo trọng số ( xem thêm tài liệu) - Ưu điểm: Kỹ thuật làm tăng khả đại diện mẫu theo đặc điểm cần khảo sát Ở nghiên cứu có quy mơ lớn, người ta thường kết hợp với cách lấy mẫu cụm I.2.4 Lấy mẫu cụm( cluster sampling) lấy mẫu nhiều giai đoạn (multi- stage sampling): Cách tiến hành: - Chia tổng thể thành nhiều cụm theo tính chất liên quan đến đặc tính cần khảo sát, chọn m cụm ngẫu nhiên Khảo sát hết phần tử cụm lấy Theo cách số phần tử lấy vào mẫu nhiều số cần thiết n phần tử cụm có khuynh hướng giống - Để khắc phục, ta chọn m cụm gọi mẫu bậc khơng khảo sát hết mà cụm bậc lại chọn ngẫu nhiên ki cụm nhỏ gọi mẫu bậc 2;…làm đủ số lượng cần Khảo sát tất phần tử chọn bậc cuối - Ưu điểm: Kỹ thuật xử lý tốt khó khăn gặp phải tổng thể có phân bố rộng mặt địa lý ( thời gian, tiền bạc, nhân lực, bảo quản liệu…), hay lập danh sách tổng thể đầy đủ 10 III.3 Bài tốn kiểm định phi tham số: ( xét KĐ Chi Bình Phương) III.3.1 Bài tốn kiểm định tính độc lập: ( so sánh ti lệ) Xét mẫu kích thước n BNN định tính chiều (X,Y) X nhận giá trị A1; A2;….; Ak Y nhận giá trị B1; B2; …; Bh Y Tổng hàng B1 B2 … Bh A1 n11 n12 … n1h n1 A2 n21 n22 … n2h n2 … … … … … … Ak nk1 nk2 … nkh nk Tổng cột m1 m2 … mh X 𝑛𝑖 =n Hãy kiểm định xem X,Y có độc lập hay khơng với mức ý nghĩa  62 * Giả thiết kiểm định H0: X,Y độc lập Giả thiết đối H1: X, Y khơng độc lập * Miền bác bỏ W = ( 2 (số hàng-1)*(số cột-1) ; +) * Do giả thiết X,Y độc lập nên xác suất tính theo l{ thuyết ni m j pij = P(X= Ai ; Y= Bj) = P(X= Ai)*P(Y= Bj) = * n n suy tần số l{ thuyết là: n * m tong hang i * tong cot j i j  Eij = n*pij = n kich thuoc mau Tính tiêu chuẩn kiểm định:   qs O i; j hoặc: * B4: Kết luận ij  Eij  Eij  i; j  Observed ij  Expectedij  Expectedij   n ij  qs  n    1  i ; j ni  m j  63 Ví dụ 19: Ở trường đại học, để nghiên cứu xem khả học toán sinh viên có tương quan với yêu thích môn thống kê hay không, người ta chọn ngẫu nhiên 200 SV khảo sát có kết quả: Khả học toán Mức độ u thích môn thống kê Thấp Trung bình Cao Ít thích 60 15 15 Thích vừa 15 45 10 Rất thích 10 25 Với mức ý nghóa  = 0,05, kiểm đònh xem yêu thích môn thống kê có phụ thuộc vào khả học toán sinh viên trường hay không? Hướng dẫn: Gọi X : mức độ u thích mơn TK SV Gọi Y : mức độ thể khả học tốn sinh viên 64 + Giả thiết kiểm định H0: X, Y độc lập H1: X,Y khơng độc lập + Miền bác bỏ: W = (2 (3-1)*(3-1) ; +) = ( 9,49; +) + Tính tiêu chuẩn kiểm định: Cách 1: Bảng tần số thực nghiệm Oij Bảng tần số lý thuyết Eij Cách 2: 60 15 15 90 15 45 10 70 10 25 40 80 70 50 200   qs i; j O ij  Eij  Eij 90*80 200 90*70 200 … … … … … … 40*50 200  84, 7513  Wα 2   60 15 25  qs  200       1  84, 7513  Wα 40  50   90  80 90  70 Bác bỏ H0, chấp nhận H1 Mức độ u thích SV mơn học thống kê có liên quan đến khả học tốn Lưu ý: Kiểm định Chi-Bình-Phương coi xác tất giá trị bảng tần số lý thuyết lớn hay Vì bảng tần số lý thuyết xuất số nhỏ ta nên xếp lại liệu ban đầu cho thích hợp thực lại tốn III.3.2 Bài tốn kiểm định dạng phân phối XS tổng thể : Chúng ta xét tốn kiểm định sau: • Kiểm định phân phối Poisson • Kiểm định phân phối chuẩn • Kiểm định phù hợp ( tham khảo) ( trường hợp riêng: kiểm định phân phối rời rạc) Các bước tiến hành chung: + B1: Đặt giả thiết kiểm định: H0: Tổng thể có phân phối F(x) H1: Tổng thể khơng có phân phối F(x) Tính đặc trưng mẫu cần thiết dạng ước lượng hợp l{ cực đại + B2: Tìm miền bác bỏ W = ( 2 (k-r-1); +) k: số hàng ( cột) chia bảng liệu mẫu r: số tham số chưa biết phân phối F(x).( số tham số cần ước lượng từ mẫu để sử dụng cơng thức tính pi ) k  Oi  Ei  + B3: Tính tiêu chuẩn kiểm định: ;    qs Ei i 1 Oi = ni tần số từ mẫu thực nghiệm; Ei tần số theo l{ thuyết giả thiết H0 + B4: Kết luận Nếu  qs  Wα ta bác bỏ giả thiết H0 Chấp nhận H0 trường hợp ngược lại 67 Ví dụ 20: Kiểm định phân phối Poisson Một hãng bảo hiểm nghiên cứu số tai nạn xảy gia đình có từ nhỏ trở lên năm Dưới bảng số liệu thống kê mẫu: Số tai nạn 5 Số gia đình 135 344 257 165 78 21 Với mức ý nghĩa 5%, xem số vụ tai nạn loại tn theo quy luật phân bố Poisson hay khơng? Hướng dẫn: Gọi X số vụ tai nạn năm gia đình có từ nhỏ trở lên + Giả thiết kiểm định H0: X có phân phối Poisson H1: X khơng có phân phối Poisson Tra bảng Chi-Bình-Phương với k= ; r = tìm : 2 (k  r  1)   0,05 (6   1)  9, 49 Miền bb W= ( 9,49; +) pi = P(X= xi)  x e  = ni  Oi xi i n*pi  Ei ( xi )! 135 344 257 165 78 21 0.170333 0.301489 0.266818 0.157423 0.06966 0.024659 Tổng: 2qs = n=1000 Do   qs i  Oi  Ei  Ei 170.333 301.4894 266.8181 157.4227 69.65954 24.65948  Oi -Ei  Ei  n  npi   i npi 7.329291 5.994081 0.361277 0.364723 0.998619 0.543068 15.59106  15,59106  W nên bác bỏ H0 Số tai nạn gia đình khơng tn theo phân phối Poisson Ví dụ 21: (Kiểm định phân phối Chuẩn) Khảo sát chiều cao chọn ngẫu nhiên từ vườn ươm, người ta có kết sau: xi (cm) – 15 15 – 25 ni 25 67 25 - 35 35 – 45 191 273 45 - 55 55 - 65 65 - 75 202 54 18 Với mức ý nghĩa 1%, coi mẫu phù hợp phân phối chuẩn hay khơng? Hướng dẫn: Gt kđ H0: Mẫu phù hợp với phân phối Chuẩn Gt đối H1: Mẫu khơng phù hợp với phân phối Chuẩn Tính đặc trưng mẫu: n= 830 ; x = 39.5663; s = 12.3329 x ước lượng hợp l{ cực đại cho a  a = 39,5663 s ước lượng hợp l{ cực đại cho 2   = 12,3329 Tra bảng Chi-BP với k= ; r =  2 (k  r  1)  13, 28 Miền bác bỏ W= ( 13,28; +) Tính tiêu chuẩn kiểm định: Khoảng (; ) ni  Oi (-; 15) 25 (15; 25) (25; 35) (35; 45) (45; 55) (55; 65) (65;+) pi = P([...]... phút f  II.2 Quy luật phân phối xác suất của các đặc trưng mẫu: 1- Phân phối xác suất của tỷ lệ mẫu pq nên theo đònh lý 4.5 chương 4 (xem giáo trình n pq XS) thì với n30 ta có thể coi F ~ N ( p, ) n Vì E(F) = p và D ( F )  Với một mẫu cụ thể kích thước n, tỷ lệ mẫu f, ta có p  f, nên: F ~ N ( p, f (1  f ) ) hay n ( F  p) ~ N (0,1) f (1  f ) n 2- Phân phối xác suất của trung bình mẫu 2  Vì... tính thì ta coi X có phân phối khơng – một Tỉ lệ tổng thể là xác suất lấy được phần tử mang dấu hiệu nghiên cứu từ tổng thể - Tỉ lệ tổng thể: Kí hiệu : p 15 • Mẫu ngẫu nhiên 1 chiều kích thước n là tập hợp của n biến ngẫu nhiên độc lập X1 , X2 , , Xn được thành lập từ biến ngẫu nhiên X của tổng thể nghiên cứu và có cùng quy luật phân phối xác suất với X • K/h của mẫu nn tổng qt kích thước n là: W = (X1...I.3 MỘT SỐ KỸ THUẬT LẤY MẪU PHI XÁC SUẤT (đọc thêm): I.3.1 Lấy mẫu thuận tiện (convenient sampling): Người lấy mẫu lấy thơng tin cần khảo sát ở những nơi mà người đó nghĩ là thuận tiện I.3.1 Lấy mẫu định mức (quota sampling): Người lấy mẫu chia tổng thể thành các tổng thể con ( tương tự như phân tầng trong lấy mẫu phi xác suất) rồi dựa vào kinh nghiệm tự định mức số phần từ cần... ra 1 mẫu ngẫu nhiên kích thước n ( gọi là mẫu thực nghiệm _ empirical) và dựa vào đó xây dựng một hàm thống kê θ = f( X1 , X2 , , Xn) dùng để ước lượng  bằng cách này hay cách khác, gọi là hàm ước lượng (estimator) Có 2 phương pháp ước lượng: ƯL điểm và ƯL khoảng - ƯL điểm là dùng một tham số thống kê mẫu đơn lẻ để ước lượng giá trị tham số của tổng thể Ví dụ dùng một giá trị cụ thể của trung bình... Phương pháp này do Ronald Fisher đề ra, nó là một trong những phương pháp quan trọng và hay dùng nhất để tìm hàm ước lượng Giả sử ta đã biết phân phối xác suất tổng qt của biến ngẫu nhiên gốc X dưới dạng hàm mật độ f(x, ) Đó cũng có thể là biểu thức xác suất nếu X là biến ngẫu nhiên rời rạc Để ước lượng , ta lấy mẫu ngẫu nhiên (X1,X2,…,Xn) và lập hàm số: L()= f(X1, ) f(X2, )….f(Xn, ) Hàm L được... đó tìm hàm ước lượng θ phụ thuộc vào X1, X2,….,Xn sao cho L() đạt GTLN tại θ 25 Bảng 1- Tóm tắt một số hàm ước lượng tham số thơng dụng: Tham số  cần ước lượng Tỉ lệ p (xác suất) Kỳ vọng a = E(X) Phương sai  = D(X) 2 Chọn thống kê θ để ước lượng m F= n 1 n X =  Xi n i=1 E[ θ ] D[ θ ] Tính chất của ước lượng E(F) =p p(1-p) D(F)= n Khơng chệch, vững, hiệu quả, đủ; hợp lý cực đại Khơng chệch, vững,... thế hơn phương pháp ƯL điểm vì nó làm tăng độ chính xác của ước lượng và còn đánh giá được mức độ tin cậy của ước lượng Nó chứa đựng khả năng mắc sai lầm là  27 • • Phương pháp tìm khoảng tin cậy cho tham số  với độ tin cậy 1- cho trước: Trước tiên ta tìm hàm ước lượng G = f(X1 , X2 , , Xn , ) sao cho quy luật phân phối xác suất của G hồn tồn xác định, khơng phụ thuộc vào các đối số Chọn cặp giá... nhưng đáp án duy nhất là khơng có Về ngun tắc, mẫu càng lớn thì càng chính xác vì sai số lấy mẫu có thể giảm khi tăng kích thước mẫu Tuy nhiên thời gian và nguồn lực của nhà nghiên cứu có hạn nên người ta phải cân nhắc chúng với u cầu về độ chính xác, độ tin cậy của khảo sát, loại phân tích sẽ dùng để xử lý dữ liệu I.4.2 Sai lệch hệ thống (Bias) trong chọn mẫu: - Sai lệch ( hay thiên lệch) trong lấy mẫu... ta có X a n ~ T (n  1) s 3- Phân phối xác suất của phương sai mẫu Nếu tổng thể có phân phối chuẩn thì ta có nS 2 n  1 2 1 n  2 S  2  ( X i  X )2 ~ χ 2 (n  1) 2    i 1 Chương II: LÝ THUYẾT ƯỚC LƯỢNG Giả thiết một dấu hiệu nghiên cứu trong tổng thể được xem như một biến ngẫu nhiên X mà ta chưa biết một tham số  nào đó của X Ta cần phải ước lượng ( xác định một cách gần đúng) giá trị tham... lệ nào đó I.3.1 Lấy mẫu phán đốn (judgement sampling): Người lấy mẫu dựa vào năng lực và kinh nghiệm của mình để tự phán đốn cần khảo sát trong phạm vi nào, những phần tử nào cần chọn vào mẫu Mẫu phi xác suất khơng đại diện cho tồn bộ tổng thể nhưng được chấp nhận trong nghiên cứu khám phá; trong việc ước lượng sơ bộ do việc nghiên cứu bị hạn chế thời gian, kinh phí, hay đơi khi chỉ để hồn thiện một