PHN II THNG KE

PHẦN II: THỐNG KÊ Thống kê tốn mơn toán học nghiên cứu quy luật tượng ngẫu nhiên có tính chất số lớn sở thu nhập xử lý số liệu thống kê (các kết quan sát) Nội dung chủ yếu thống kê toán xây dựng phương pháp thu nhập xử lý số liệu thống kê nhằm rút kết luận khoa học thực tiễn, dựa thành tựu lý thuyết xác suất Việc thu thập, xếp, trình bày số liệu tổng thể hay mẫu gọi thống kê mơ tả Cịn việc sử dụng thơng tin mẫu để tiến hành suy đoán, kết luận tổng thể gọi thống kê suy diễn Thống kê ứng dụng vào lĩnh vực Một số ngành phát triển thống kê ứng dụng chuyên sâu ngành thống kê xã hội học, y khoa, giáo dục học, tâm lý học, kỹ thuật, sinh học, phân tích hóa học, thể thao, hệ thống thơng tin địa lý, xử lý hình ảnh… Chương I: LÝ THUYẾT MẪU Chương II: LÝ THUYẾT ƯỚC LƯỢNG Chương III: KIỂM ĐỊNH GIẢ THIẾT THỐNG KÊ Chương IV: PHÂN TÍCH PHƯƠNG SAI ( BTL) Chương V: LÝ THUYẾT HỒI QUY ĐƠN ( sơ lược) Chương I: LÝ THUYẾT MẪU I.1 Một số khái niệm: • Tổng thể thống kê tập hợp phần tử thuộc đối tượng nghiên cứu, cần quan sát, thu thập phân tích theo đặc trưng Các phần tử tạo thành tổng thể thống kê gọi đơn vị tổng thể • Mẫu số đơn vị chọn từ tổng thể theo phương pháp lấy mẫu Các đặc trưng mẫu sử dụng để suy rộng đặc trưng tổng thể nói chung • Đặc điểm thống kê (dấu hiệu nghiên cứu) tính chất quan trọng liên quan trực tiếp đến nội dung nghiên cứu khảo sát cần thu thập liệu đơn vị tổng thể; Người ta chia làm loại: đặc điểm thuộc tính đặc điểm số lượng • Trong thực tế, phương pháp nghiên cứu toàn tổng thể áp dụng với tập hợp có qui mơ nhỏ, cịn chủ yếu người ta áp dụng phương pháp nghiên cứu khơng tồn bộ, đặc biệt phương pháp chọn mẫu • Nếu mẫu chọn cách ngẫu nhiên xử lý phương pháp xác suất thu kết luận cách nhanh chóng, đỡ tốn mà đảm bảo độ xác cần thiết • Có phương pháp để lấy mẫu có n phần tử : lấy có hồn lại lấy khơng hồn lại Nếu kích thước mẫu bé so với kích thước tổng thể hai phương pháp coi cho kết • Về mặt lý thuyết, ta giả định phần tử lấy vào mẫu theo phương thức có hồn lại phần tử tổng thể lấy vào mẫu với khả • Việc sử dụng bất kz phương pháp thống kê đắn tổng thể nghiên cứu thỏa mãn giả thiết toán học cần thiết phương pháp Việc sử dụng sai liệu thống kê tạo sai lầm nghiêm trọng việc mô tả diễn giải Bằng việc chọn ( bác bỏ, hay thay đổi) giá trị đó, hay việc bỏ giá trị quan sát lớn nhỏ cách làm thay đổi kết quả; kết thú vị nghiên cứu với mẫu nhỏ lại khơng cịn với mẫu lớn • Dữ liệu sơ cấp liệu người làm nghiên cứu thu thập trực tiếp từ đối tượng nghiên cứu thuê công ty, tổ chức khác thu thập theo u cầu • Dữ liệu thứ cấp liệu thu thập từ nguồn có sẵn, thường qua tổng hợp, xử lý Dữ liệu thứ cấp thường có ưu điểm thu nhập nhanh, tốn cơng sức chi phí so với việc thu thập liệu sơ cấp; nhiên liệu thường chi tiết đơi không đáp ứng yêu cầu nghiên cứu Khái quát trình nghiên cứu thống kê Xác định vấn đề nghiên cứu, mục tiêu, nội dung, đối tượng nghiên cứu Xây dựng hệ thống khái niệm, tiêu thống kê Thu thập liệu thống kê Xử lý số liệu: - Kiểm tra, chỉnh lý xếp số liệu - Phân tích thống kê sơ - Phân tích thống kê thích hợp Phân tích giải thích kết Báo cáo truyền đạt kết nghiên cứu Có nhóm kỹ thuật lấy mẫu kỹ thuật lấy mẫu xác suất (probability sampling ) , nguyên tắc phần tử tổng thể có hội lấy vào mẫu nhau) lấy mẫu phi xác suất (non- probability sampling ) I.2 CÁC KỸ THUẬT LẤY MẪU XÁC SUẤT: I.2.1 Lấy mẫu ngẫu nhiên đơn giản ( simple random sampling): Cách tiến hành: - Lập danh sách tổng thể theo số thứ tự, gọi khung lấy mẫu - Xác định số phần tử n cần lấy vào mẫu (sample size) - Chọn mẫu gồm đối tượng có số thứ tự lựa chọn cách ngẫu nhiên cách bốc thăm, lấy từ bảng số ngẫu nhiên; MTBT hay phần mềm thống kê - Ưu điểm: Tính đại diện cao - Hạn chế: Mẫu phải khơng có kích thước lớn; Người nghiên cứu phải lập danh sách tổng thể cần khảo sát I.2.2 Lấy mẫu hệ thống ( systematic sampling): Cách tiến hành: - Lập danh sách N phần tử tổng thể, có mã số thứ tự - Xác định số phần tử n cần lấy vào mẫu (sample size) - Xác định số nguyên k gọi khoảng cách, k lấy giá trị làm tròn N/n Chọn phần tử vào mẫu cách ngẫu nhiên (có số thứ tự khoảng đến k hay đến N) Các phần tử phần tử có STT = STT phần tử + k/2k/3k/… Có thể quay vòng lại để tiếp tục lấy mẫu chưa đủ n phần tử; coi phần tử số có STT N+1,… - Ưu điểm: Tiết kiệm thời gian cần mẫu có kích thước lớn - Hạn chế: Người nghiên cứu phải lập danh sách tổng thể cần khảo sát Thứ tự danh sách tổng thể để mã hóa, khơng xếp theo đặc điểm khảo sát I.2.3 Lấy mẫu phân tầng ( stratified sampling): Cách tiến hành: - Chia tổng thể thành nhiều tầng khác dựa vào tính chất liên quan đến đặc điểm cần khảo sát Trên tầng thực lấy mẫu ngẫu nhiên đơn giản với số lượng phần tử cần lấy vào mẫu ni phân bổ theo tỉ lệ phần tử tầng - Trong thực tế, với mẫu chọn, người ta kết hợp khảo sát thêm đặc điểm riêng lẻ phần tử tầng Khi nhận thấy vài giá trị mi nhỏ làm khảo sát riêng lẻ khơng đủ độ tin cậy cần lấy mẫu không cân đối (disproportionately) phải quan tâm đến việc hiệu chỉnh kết theo trọng số ( xem thêm tài liệu) - Ưu điểm: Kỹ thuật làm tăng khả đại diện mẫu theo đặc điểm cần khảo sát Ở nghiên cứu có quy mơ lớn, người ta thường kết hợp với cách lấy mẫu cụm I.2.4 Lấy mẫu cụm( cluster sampling) lấy mẫu nhiều giai đoạn (multi- stage sampling): Cách tiến hành: - Chia tổng thể thành nhiều cụm theo tính chất liên quan đến đặc tính cần khảo sát, chọn m cụm ngẫu nhiên Khảo sát hết phần tử cụm lấy Theo cách số phần tử lấy vào mẫu nhiều số cần thiết n phần tử cụm có khuynh hướng giống - Để khắc phục, ta chọn m cụm gọi mẫu bậc không khảo sát hết mà cụm bậc lại chọn ngẫu nhiên ki cụm nhỏ gọi mẫu bậc 2;…làm đủ số lượng cần Khảo sát tất phần tử chọn bậc cuối - Ưu điểm: Kỹ thuật xử lý tốt khó khăn gặp phải tổng thể có phân bố rộng mặt địa lý ( thời gian, tiền bạc, nhân lực, bảo quản liệu…), hay lập danh sách tổng thể đầy đủ 10 Ví dụ 30: ( Kiểm định phù hợp – tham khảo ) Một công ty dược phẩm cho biết lượng thuốc cảm họ bán hàng năm thay đổi theo mùa Lượng thuốc cảm bán vào mùa đông chiếm 40%; 30% lượng thuốc bán vào mùa xuân, lại chia vào mùa thu mùa hè Để đánh giá xem lượng thuốc năm có phân bố theo mùa năm hay không, người ta khảo sát ngẫu nhiên hồ sơ 1000 lơ thuốc tiêu thụ năm có số liệu: Được bán vào mùa Xuân : … … 282 hộp …………………………… Hè : ……… 185 hộp …………………………… Thu : ……… 159 hộp …………………………… Đông: ……… 374 hộp Với mức ý nghĩa 1%, nêu kết luận cho yêu cầu toán? 78 Hướng dẫn: Giả thiết kđ H0: lượng thuốc bán năm phân bố phù hợp với năm trước Giả thiết đối H1: lượng thuốc bán năm có phân bố thay đổi so với năm trước (  Miền bác bỏ W= 0,01 (4   1);  )  (11,34;  ) xi ni  Oi Xuân Hạ Thu Đông 282 185 159 374 n = 1000  Do qs   i  Oi  Ei  Ei pi = P(X= xi) n*pi  Ei 30% 15% 15% 40% 300 150 150 400 Tổng: 2qs=  Oi -Ei  Ei  n  npi   i npi 1,08 8,1667 0,54 1,69 11,4767  11, 4767  W nên bác bỏ H0, chấp nhận H1 79 Ví dụ 31: Kiểm định phân phối rời rạc ( tham khảo) Để kiểm tra cân đối mặt xúc xắc, người ta tung ngẫu nhiên xúc xắc 120 lần thống kê kết sau: Mặt xuất Số lần xuất 23 19 24 21 18 15 Với mức ý nghĩa 5%, xem xúc xắc cân đối hay không? Hướng dẫn: Gọi X số chấm xuất tung xúc xắc Giả thiết kiểm định H0: X có phân phối rời rạc, xúc xắc cân đối Giả thiết đối H1: Con xúc xắc không cân đối 80 Miền bác bỏ W= ( 0,05 (6   1);  )  (11,07;  ) xi ni  Oi 23 19 24 21 18 15 n = 120 pi = P(X= xi) 1/6 1/6 1/6 1/6 1/6 1/6 n*pi  Ei 20 20 20 20 20 20 Tổng: 2qs=  Oi -Ei  Ei  n  npi   i npi 0,45 0,05 0,8 0,05 0,2 1,25 2,8 Oi  Ei    qs    2,8  W Ei i Do nên chưa bác bỏ H0 Chưa có sở để nói xúc xắc không cân đối 81 Chương V: HỒI QUY TUYẾN TÍNH ĐƠN ( Giới thiệu sơ lược) V.1 Các đặc trưng mẫu hệ số tương quan mẫu: Một bảng tương quan mẫu chiều (X,Y) kích thước n có dạng sau: Y X x1 x2 … xk mj   y1 y2 … yh ni n11 n21 … nk1 m1 n12 n22 … nk2 m2 … … … … … n1h n2h … nkh mh n1 n2 … nk =n 82 Các đặc trưng mẫu: k k 2 x   xi ni ; x   xi ni ; n i 1 n i 1 k s   ( xi  x) ni  x  ( x) n i 1 k n 2 sX  ( xi  x) ni  sX  n  i 1 n 1 X h h k 2 y   y j m j ; y   y j m j ; sY   ( y j  y ) mi  y  ( y ) n j 1 n j 1 n i 1 k n 2 sY  ( xi  x) m j  sY  n  i 1 n 1 k h xy   nij xi y j n i 1 j 1 Hệ số tương quan mẫu: rXY  xy  x y sx sY 83 Các bước thực Vào chế độ thống kê hai biến Mở cột tần số (nếu máy chưa mở) Máy CASIO fx 570 ES (PLUS)… MODE (STAT) (A+BX) x; y Đọc kết s X ; sY Đọc kết xy Đọc kết RXY (MODE) – (REG) - (Lin) SHIFT MODE (SETUP)  - (STAT) (ON) Nhập liệu Đọc kết Máy CASIO fx 500 MS… … X x1 x1 … Y y1 y2 … FREQ n 11 n 12 … … xk yh n kh Nhập theo dòng , thứ tự nhập sau: Xi , Yj ; nij M+ AC SHIFT – (STAT)- (VAR) – - ( x ) = Tương tự ta chọn y SHIFT – (STAT)- (VAR) – - ( σ X ) = Tương tự ta chọn σ Y SHIFT – (SVAR) -1 ( x ) = SHIFT – (STAT)- (SUM) – (  xy ) - n = SHIFT – (SSUM) – - n - =  SHIFT – 2( SVAR) --1 ( y) = SHIFT – (SVAR)- ( xσn) = SHIFT – 2( SVAR) --1 ( yσn) =   xy SHIFT – (STAT)-6(REG)–3 (r ) = SHIFT – (SVAR) -- 3( r)-= 84 Ví dụ 1: Xét bảng tương quan mẫu chiều (X,Y) thu người ta sơ chế loại nông sản, X (đơn vị: phút) biểu diễn thời gian chế biến, Y (đơn vị: %) thể mức suy giảm lượng đường sản phẩm Hãy tính đặc trưng mẫu hệ số tương quan mẫu X Y 35 40 16 10 10 30 45 50 85 Ví dụ 2: Theo dõi kết thực hành sinh viên, người ta có số liệu mẫu sau Tìm đặc trưng mẫu tìm hệ số tương quan X,Y Thời gian thí nghiệm (phút) Khối lượng sản phẩm tạo thành (gram) 7.3 VD1: 6 10.5 8.2 10.8 9.5 n  60 x  6,5667 s X  2, 2536 s X  2, 2727 xy  284,5 y  41, 6667 sY  5, 4518 sY  5, 4978 x  5,1 s X  1,5780 s X  1, 6633 y  9,33 sY  1, 6181 sY  1, 7056 VD : n  10 xy  50,1 11 12 rXY  0,8863 rXY  0,9858 86 Hướng dẫn nhập liệu: X Y Freq X Y Freq 30 35 40 3 7.3 35 40 16 10.5 45 4 8.2 40 10.8 45 10 9.5 50 11 10 45 12 10 50 Ví dụ Ví dụ 87 V.2 LÝ THUYẾT HỒI QUY: Lý thuyết hồi quy (đơn biến) nghiên cứu toán dự báo biến ngẫu nhiên Y sở biết biến ngẫu nhiên X Biến X gọi biến độc lập, hay gọi biến giải thích Y gọi biến phụ thuộc, hay biến giải thích Người ta tìm cách thay Y hàm f(X) cho “chính xác nhất” Trong mối liên hệ hàm số, với giá trị X ta tìm giá trị Y Tuy nhiên thống kê, giá trị X cho tương ứng nhiều giá trị Y khác nhau, ngồi biến X, biến Y cịn chịu tác động số yếu tố khác Định nghĩa hồi quy: Hàm hồi quy Y theo X kz vọng có điều kiện Y X, tức E(Y|X) Nếu đồ thị hàm hồi quy đường thẳng ta nói hồi quy tuyến tính Phần sau đề cập đến đường hồi quy mẫu đường hồi quy tuyến tính mẫu 88 V.2.1 Đường hồi quy mẫu: Xét bảng tương quan mẫu chiều Với h i =1,2, ,k; ta đặt: y X  xi  E Y | X  xi    nij y j ni j 1 Nối điểm có tọa độ (X i ; y X  xi ) theo thứ tự i đoạn thẳng, ta đường gấp khúc, gọi đường hồi quy mẫu Y theo X Ví dụ 3: Sử dụng bảng tương quan ví dụ để vẽ đường hồi quy mẫu Y theo X: y| X   30 35*7  40*3 40*  45*10  50*3  36,5 y | X 8   45,3333 10 15 35*1  40*16  45* 45*  50*6   40, 7143 y| X 10   48 21 10 y| X 4  y| X 6 89 Đường hồi quy mẫu Y theo X ( đường gấp khúc): 90 V.2.2 Đường hồi quy tuyến tính mẫu: Đường hồi quy tuyến tính mẫu Y theo X đường thẳng có dạng y = A + Bx, xấp xỉ “gần nhất” với đường hồi quy mẫu Người ta dùng phương pháp bình phương bé để tìm hệ số A, B này, tức (A,B) làm cho hàm Q đạt giá trị nhỏ k Q(A, B)   ni ( A  Bxi )  y | X  xi  i 1 Giải toán cực trị tự do, ta tìm được:  xy  x y B   sX    A  y  B.x Giá trị Y dự báo qua đường hồi quy tuyến tính mẫu thường viết dạng Y  A  B.X ( Có thể sử dụng MTBT tìm A,B, Y ) 91 Ví dụ 4: Sử dụng bảng tương quan (X,Y) ví dụ a) Tìm phương trình đường hồi quy tuyến tính Y theo X Từ dự đốn mức suy giảm lượng đường sản phẩm thời gian sơ chế phút; 11 phút? b) Tìm phương trình đường hồi quy tuyến tính X theo Y a)  xy  x y 284,5  6,5667  41, 6667   2,1440 B  2 2, 2536 sX    A  y  B.x  41, 6667  2,1440  6, 6567  27,5881 Đường hổi quy tuyến tính mẫu Y theo X: y = 27,5881 + 2,1440x Y (X  11)  51,1715(%) Dự đoán: Y (X  9)  46,8836 (%) b) Phương trình hồi quy tuyến tính X theo Y có dạng x = C+Dy, với:  D  xy  x y  284,5  6,5667  41, 6667  0,3664  2 5, 4518 sY   C  x  D y  6, 6567  0,3664  41, 6667  8, 6981 92 ... chiều cao cân nặng bé trai độ tuổi tuân theo quy luật phân phối chuẩn 41 Chương III: KIỂM ĐỊNH GIẢ THIẾT THỐNG KÊ III.1 Một số khái niệm: - Giả thiết kiểm định H0 (Null Hypothesis) gồm: - Giả thiết... (- , - Z2 ) (1  2 )  ( Z 2 )  Miền bác bỏ bên phải: W = ( Z2, +) 47 III.2 Bài toán kiểm định tham số: III.2.1 Bài toán kiểm định tỉ lệ: Giả thiết KĐ H0 BT mẫu n 30 BT mẫu n1 30 n2...Chương I: LÝ THUYẾT MẪU Chương II: LÝ THUYẾT ƯỚC LƯỢNG Chương III: KIỂM ĐỊNH GIẢ THIẾT THỐNG KÊ Chương IV: PHÂN TÍCH PHƯƠNG SAI ( BTL) Chương V: