Bài giảng Thống kê ứng dụng và xây dựng: Chương 5 do Đặng Thế Gia biên soạn nhằm mục đích phục vụ cho việc giảng dạy. Nội dung bài giảng gồm: Giới thiệu, Nguồn dữ liệu (Sources of data), Chọn mẫu (Sampling), Phương pháp và Kế hoạch chọn mẫu (Sampling Methods và Plans), Các lỗi trong chọn mẫu (Erorres in Sampling). Mời các bạn cùng tham khảo!
10/7/2017 Chương 5: MÔN HỌC THỐNG KÊ ỨNG DỤNG (KC107) GIÁO VIÊN PHỤ TRÁCH THU THẬP DỮ LIỆU & CHỌN MẪU (Data Collection and Sampling) ĐẶNG THẾ GIA Bộ môn Kỹ Thuật Xây Dựng Khoa Công Nghệ, Trường Đại Học Cần Thơ Nội dung chương Giới thiệu Nguồn liệu (Sources of data) GIỚI THIỆU Chọn mẫu (Sampling) Phương pháp & Kế hoạch chọn mẫu (Sampling Methods & Plans) INTRODUCTION Các lỗi chọn mẫu (Erorres in Sampling) Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 10/7/2017 Thu thập liệu Mẫu ngẫu nhiên - Định nghĩa tốn học • Là q trình gom góp đo lường thơng tin biến số quan tâm theo cách làm thiết lập có hệ thống, cho phép người ta trả lời câu hỏi nghiên cứu nêu, kiểm định giả thuyết, đánh giá kết • Việc thu thập liệu nghiên cứu phổ biến tất lĩnh vực nghiên cứu bao gồm: khoa học tự nhiên xã hội, nhân văn, kinh doanh, quản lý, kỹ thuật,… • Dù nhiều phương pháp khác tùy theo chuyên ngành, nhấn mạnh đảm bảo thu thập xác trung thực giá trị chung Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Nguồn liệu (Sources of Data) NGUỒN DỮ LIỆU SOURCES OF DATA • Độ tin cậy (realiability) độ xác (accuracy) liệu ảnh hưởng đến tính hợp lệ (validity) kết phân tích thống kê • Độ tin cậy độ xác liệu phụ thuộc vào phương pháp thu thập liệu • Ba số nguồn liệu thống kê phổ biến là: • Dữ liệu xuất (dữ liệu thứ cấp) • Nghiên cứu quan sát • Nghiên cứu thực nghiệm Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 10/7/2017 Dữ liệu xuất Nghiên cứu quan sát & thực nghiệm (Published Data) (Observational and experimental studies) • Đây thường nguồn liệu ưa thích chi phí thấp tiện lợi • Dữ liệu xuất tìm thấy dạng tài liệu in, băng, đĩa Internet • Dữ liệu xuất tổ chức • Khi liệu thứ cấp khơng có sẵn thiết phải có liệu sơ cấp • Nghiên cứu quan sát phép đo thực biến quan sát ghi lại mà khơng kiểm sốt yếu tố ảnh hưởng đến giá trị chúng • Nghiên cứu thực nghiệm phép đo thực biến quan sát ghi lại, đồng thời kiểm sốt yếu tố ảnh hưởng đến giá trị chúng Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Khảo sát (Surveys) Bảng câu hỏi chất lượng cần thiết kế tốt • Bảng câu hỏi ngắn tốt thập thơng tin từ người dân • Ngắn, đơn giản, từ ngữ đơn giản • Khảo sát thu • Khảo sát • Bắt thực đầu với cácbằng: câu hỏi nhân học để giúp • Phỏng vấn cá nhânngười trả lời khởi đầu thoải mái • Sửthoại dụng câu hỏi có hai phương án trả lời • Phỏng vấn qua điện (dichotomous câu hỏi nhiều lựa • Phiếu trắc nghiêm hay Bảng câuquestions) hỏi chọn • Sử dụng câu hỏi mở cách thận trọng CHỌN MẪU SAMPLING • Tránh sử dụng câu hỏi hàng đầu • Kiểm tra trước bảng câu hỏi • Khi soạn bảng câu hỏi, suy nghĩ cách bạn dự định sử dụng liệu thu thập Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 10/7/2017 Chọn mẫu Mẫu ngẫu nhiên • Giả sử ta cần nghiên cứu tính chất (thơng số) quần thể • Trong thực tế số phần tử đám đông lớn lý khơng thể khảo sát tồn quần thể • Tuy nhiên muốn có kết luận xác tính chất (thông số) của cá thể/phần tử quần thể (Sampling) • Động lực để tiến hành thủ tục lấy mẫu: • Chi phí • Quy mơ tổng thể • Khả phá hoại tính qn trình lấy mẫu • Kích thước mẫu mục tiêu tổng thể phải giống • Khi đó, ta thường chọn tập hợp phần tử từ đám đơng đại diện cho đám đơng Tập hợp gọi mẫu Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Phương pháp chọn mẫu ngẫu nhiên Mẫu ngẫu nhiên đơn giản KẾ HOẠCH CHỌN MẪU • Mẫu ngẫu nhiên hồn lại • Mẫu ngẫu nhiên khơng hồn lại SAMPLING PLANS Mẫu ngẫu nhiên phân tầng Mẫu ngẫu nhiên hệ thống Mẫu ngẫu nhiên học Mẩu “điển hình” Mẫu ngẫu nhiên nhiều nhóm Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 10/7/2017 Mẫu ngẫu nhiên đơn giản (Simple random sampling) Mẫu hoàn lại • Là tập hợp cá thể/phần tử (một mẫu) lựa chọn từ tập hợp lớn (một quần thể) Mẫu ngẫu nhiên đơn kỹ thuật khảo sát khơng thiên vị • Mỗi cá thể/phần tử chọn ngẫu nhiên hoàn toàn tình cờ, cá thể có xác suất chọn giai đoạn trình lấy mẫu, tập hợp k cá thể có xác suất chọn mẫu tập k cá thể khác Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Mẫu khơng hồn lại Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Cách thực • Đối với phương pháp trước tiên người nghiên cứu cần lập danh sách đơn vị tổng thể chung theo trật tự ví dụ lập theo tên, theo quy mô, theo địa chỉ,… Sau đánh STT vào danh sách • Dùng phương pháp ngẫu nhiên rút thăm, dùng bảng số ngẫu nhiên, dùng hàm random máy tính để chọn đơn vị tổng thể chung vào mẫu • Phương pháp thường vận dụng đơn vị tổng thể chung nằm vị trí địa lý gần nhau, đơn vị đồng đặc điểm Phương pháp thông thường áp dụng trình kiểm tra chất lượng sản phẩm dây chuyền sản xuất hàng loạt Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 10/7/2017 Ví dụ x (100) • Một kiểm tốn viên thuế thu nhập phủ chịu trách nhiệm 1000 tờ khai thuế • Kiểm tốn viên lựa chọn ngẫu nhiên 40 mức lợi nhuận để kiểm tốn • Sử dụng hàm ngẫu nhiên Excel để chọn tờ khai Bài giải • Lấy ngẫu nhiên 50 sớ khoảng từ đến 1000 Thực cần 40 số cho 40 tờ khai, ta chọn dư để phòng trường hợp có sự trùng lặp từ sớ tạo Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 50 số phân bố đồng đều và 0.3820002 0.1006806 0.5964843 0.8991058 0.8846095 0.9584643 0.0144963 0.4074221 0.8632466 0.1385846 0.2450331 382.00018 100.68056 596.48427 899.10581 884.60952 958.46431 14.496292 407.4221 863.24656 138.58455 245.03311 50 số ngẫu nhiên 10 và 1000, mỗi số có xác suất chọn là 1/1000 Làm tròn 383 383 101 101 597 597 900 900 885 885 959 959 15 15 408 408 864 864 139 139 246 246 50 số nguyên ngẫu nhiên phân bố đồng đều và 1000 Kiểm toán viên sẽ chọn 40 hồ sơ có số thứ tự 383, 101, 597,… Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Mẫu ngẫu nhiên phân tầng (Stratified Random Sampling) • Trước tiên phân chia tổng thể thành tổ theo tiêu thức hay nhiều tiêu thức có liên quan đến mục đích nghiên cứu (như phân tổ DN theo vùng, theo khu vực, theo loại hình, theo quy mơ,…) • Sau tổ, dùng cách chọn mẫu ngẫu nhiên đơn giản hay chọn mẫu hệ thống để chọn đơn vị mẫu • Phương pháp lấy mẫu chia quần thể thành nhóm loại trừ (tầng - starta), sau lấy mẫu ngẫu nhiên đơn giản từ tầng • Với thủ tục này, chúng tơi thu thập thơng tin về: • Tồn tổng thể • Mỗi tầng • Mối quan hệ tầng Nghề nghiệp • kỹ sư • thư ký • cơng nhân T̉i • < 20 • 20-30 • 31-40 • 41-50 Giới tính • Nữ • Nam Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 10/7/2017 Mẫu ngẫu nhiên phân tầng (Stratified Random Sampling) • Đối với chọn mẫu phân tầng, số đơn vị chọn tổ tuân theo tỷ lệ số đơn vị tổ chiếm tổng thể, khơng tn theo tỷ lệ • Ví dụ: Một tồ soạn báo muốn tiến hành nghiên cứu mẫu 1000 doanh nghiệp nước quan tâm họ tờ báo nhằm tiếp thị việc đưa thơng tin quảng cáo báo Tồ soạn vào tiêu thức: vùng địa lý (miền Bắc, miền Trung, miền Nam) ; hình thức sở hữu (quốc doanh, ngồi quốc doanh, cơng ty 100% vốn nước ngoài,…) để định cấu mẫu nghiên cứu Có số cách để lấy mẫu phân tầng Chẳng hạn, giữ nguyên tỷ lệ tầng tổng thể Một mẫu có kích thước 1,000 phần tử cấn lấy Tầng Thu nhập Tỉ lệ tổng thể < $15,000 population proportions 2These are the15,000-29,999 category 3of each income 30.000-50,000 over $50,000 Kích thước tầng 25% 40% 30% 5% 250 400 300 50 Tổng 1,000 Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Mẫu ngẫu nhiên học Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Mẫu ngẫu nhiên “điển hình” Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 10/7/2017 Cách thực Mẫu ngẫu nhiên hệ thống • Trước tiên lập danh sách tổng thể chung theo khối (như làng, xã, phường, lượng sản phẩm sản xuất khoảng thời gian…) Sau đó, ta chọn ngẫu nhiên số khối điều tra tất đơn vị khối chọn • Khi mơ hình hệ thống giới thiệu vào lấy mẫu ngẫu nhiên, gọi "hệ thống (ngẫu nhiên) lấy mẫu" • Thường dùng phương pháp khơng có sẵn danh sách đầy đủ đơn vị tổng thể cần nghiên cứu • Ví dụ: Tổng thể chung sinh viên trường đại học Khi ta lập danh sách lớp khơng lập danh sách sinh viên, sau chọn lớp để điều tra • Một ví dụ sinh viên trường gắn số liền với tên tuổi họ, ví dụ 0001-1000 Chọn điểm khởi đầu ngẫu nhiên, ví dụ 0533, sau chọn tất tên thứ 10 sau để lấy cho mẫu Với kích thước mẫu 100, bắt đầu lại với 0003 sau đạt 0993 Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Cách thực • Trước tiên lập danh sách đơn vị tổng thể chung theo trật tự quy ước đó, sau đánh số thứ tự đơn vị danh sách • Đầu tiên chọn ngẫu nhiên đơn vị danh sách; sau cách k đơn vị lại chọn đơn vị vào mẫu,…cứ chọn đủ số đơn vị mẫu • Ví dụ : Dựa vào danh sách bầu cử thành phố, ta có danh sách theo thứ tự vần tên chủ hộ, bao gồm 240.000 hộ Ta muốn chọn mẫu có 2.000 hộ Vậy khoảng cách chọn : k = 240.000/2.000 = 120, có nghĩa cách 120 hộ ta chọn hộ vào mẫu Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Mẫu ngẫu nhiên nhiều cụm (Cluster sampling) • Phương pháp thường áp dụng tổng thể chung có quy mơ q lớn địa bàn (geographical) nghiên cứu rộng Việc chọn mẫu phải trải qua nhiều giai đoạn (nhiều cấp) • Trước tiên phân chia tổng thể chung thành đơn vị cấp I, chọn đơn vị mẫu cấp I Tiếp đến phân chia đơn vị mẫu cấp I thành đơn vị cấp II, chọn đơn vị mẫu cấp II… • Trong cấp áp dụng cách chọn mẫu ngẫu nhiên đơn giản, chọn mẫu hệ thống, chọn mẫu phân tầng,… để chọn đơn vị mẫu Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 10/7/2017 Mẫu ngẫu nhiên nhiều cụm (Cluster sampling) • Ví dụ: Muốn chọn ngẫu nhiên 50 hộ từ thành phố có 10 khu phố, khu phố có 50 hộ Cách tiến hành sau : Trước tiên đánh số thứ tự khu phố từ đến 10, chọn ngẫu nhiên khu phố Đánh số thứ tự hộ khu phố chọn Chọn ngẫu nhiên 10 hộ khu phố ta có đủ mẫu cần thiết Phương pháp chọn mẫu phi ngẫu nhiên Mẫu phi ngẫu nhiên thuận tiện Mẫu phi ngẫu nhiên phán đoán Mẫu phi ngẫu nhiên định ngạch • Lấy mẫu ngẫu nhiên nhiều cụm làm tăng lỗi lấy mẫu có tương tự phần tử cụm Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Mẫu phi ngẫu nhiên thuận tiện • Lấy mẫu dựa thuận lợi hay dựa tính dễ tiếp cận đối tượng, nơi mà nhân viên điều tra có nhiều khả gặp đối tượng • Chẳng hạn, gặp người trung tâm thương mại, đường phố, cửa hàng,… để xin thực vấn Nếu người vấn khơng đồng ý họ chuyển sang đối tượng khác • Lấy mẫu thuận tiện thường dùng nghiên cứu khám phá, để xác định ý nghĩa thực tiễn vấn đề nghiên cứu; để kiểm tra trước bảng câu hỏi nhằm hoàn chỉnh bảng; muốn ước lượng sơ vấn đề quan tâm mà khơng muốn nhiều thời gian chi phí Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Mẫu phi ngẫu nhiên phán đốn • Là phương pháp mà vấn viên người tự đưa phán đoán đối tượng cần chọn vào mẫu • Tính đại diện mẫu phụ thuộc nhiều vào kinh nghiệm hiểu biết người tổ chức việc điều tra người thu thập liệu • Chẳng hạn, nhân viên vấn yêu cầu đến trung tâm thương mại chọn phụ nữ ăn mặc sang trọng để vấn Như khơng có tiêu chuẩn cụ thể “thế sang trọng” mà hồn tồn dựa vào phán đốn để chọn người cần vấn Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 10/7/2017 Mẫu phi ngẫu nhiên định ngạch Mẫu phi ngẫu nhiên định ngạch • Đối với phương pháp chọn mẫu này, trước tiên ta tiến hành phân tổ tổng thể theo tiêu thức mà ta quan tâm, giống chọn mẫu ngẫu nhiên phân tầng Tuy nhiên sau ta lại dùng phương pháp chọn mẫu thuận tiện hay chọn mẫu phán đoán để chọn đơn vị tổ để tiến hành điều tra • Chẳng hạn nhà nghiên cứu yêu cầu vấn viên vấn 800 người có tuổi 18 thành phố • Sự phân bổ số đơn vị cần điều tra cho tổ chia hoàn toàn theo kinh nghiệm chủ quan người nghiên cứu • Sau nhân viên điều tra chọn người gần nhà hay thuận lợi cho việc điều tra họ để dễ nhanh chóng hồn thành cơng việc Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ • Nếu áp dụng phương pháp chọn mẫu định ngạch, ta phân tổ theo giới tính tuổi sau: chọn 400 người (200 nam 200 nữ) có tuổi từ 18 đến 40, chọn 400 người (200 nam 200 nữ) có tuổi từ 40 trở lên Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Tính chất • Chọn mẫu phi ngẫu nhiên (hay chọn mẫu phi xác suất) phương pháp chọn mẫu mà phần tử tổng thể khơng có khả ngang để chọn vào mẫu • Việc chọn mẫu phi ngẫu nhiên hoàn toàn phụ thuộc vào kinh nghiệm hiểu biết tổng thể người nghiên cứu nên kết điều tra thường mang tính chủ quan người nghiên cứu LỖI CHỌN MẪU (ERRORS INVOLVED IN SAMPLING) • Mặt khác, ta khơng thể tính sai số chọn mẫu, khơng thể áp dụng phương pháp ước lượng thống kê để suy rộng kết mẫu cho tổng thể Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 10/7/2017 Các loại lỗi lấy mẫu • Có loại lỗi xảy thực lấy mẫu • Lỗi lấy mẫu (Sampling error): lỗi lấy mẫu xảy đặc trưng thống kê quần thể tính tốn từ tập con, mẫu, tổng thể • Lỗi khơng lấy mẫu (Non-sampling error): Là thuật ngữ tất sai lệch so với giá trị thực mà chức mẫu chọn, bao gồm lỗi hệ thống khác lỗi ngẫu nhiên lấy mẫu • Các lỗi khơng lấy mẫu khó định lượng nhiều so với lỗi lấy mẫu Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Lỗi lấy mẫu (Sampling error) • Lỗi lấy mẫu liên quan đến khác biệt mẫu tổng thể, quan sát định xảy để chọn • Lỗi lấy mẫu dự kiến xảy đưa tuyên bố tổng thể dựa mẫu lấy Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Lỗi lấy mẫu Lỗi không lấy mẫu (Sampling error) (Non-sampling error) Phân bố thu nhập tổng thể m – Giá trị bình quân thu nhập tổng thể Lỗi lấy mẫu x Giá trị bình quân mẫu rơi vào vị trí vài quan sát chọn ngẫu nhiên định vào mẫu Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ • Lỗi không lấy mẫu xảy sai lầm thực suốt trình thu thập liệu • Tăng kích cỡ mẫu khơng làm giảm loại lỗi • Có ba loại lỗi khơng lấy mẫu: Lỗi thu thập liệu (Errors in data acquisition) Lỗi không đáp ứng (Non-response errors) Lựa chọn thiên vị (Selection bias): Thiên vị lấy mẫu nguồn gây lỗi lấy mẫu, mẫu chọn theo cách mà số cá thể dường không thuộc mẫu so với cá thể khác Nó dẫn đến lỗi lấy mẫu làm tăng giảm tính trội Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 10/7/2017 Lỗi thu thập liệu Lỗi không đáp ứng (Data Acquisition Error) (Non-response errors) Tổng thể Tổng thể Lỗi lấy mẫu + Lỗi thu thập số liệu Nếu quan sát này… Khơng đáp ứng đây… dẫn đến kết thiên vị ghi nhận sai Mẫu Mẫu Khi bình qn mẫu bị ảnh hưởng Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Lỗi không lấy mẫu (Non-sampling error) Tổng thể Thank you! Khi vài phận tổng thể không chọn… Mẫu Mẫu đại diện cho tổng thể Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ ... thể < $ 15, 000 population proportions 2These are the 15, 00 0-2 9,999 category 3of each income 30.000 -5 0 ,000 over $50 ,000 Kích thước tầng 25% 40% 30% 5% 250 400 300 50 Tổng 1,000 Đặng Thế Gia, BM... thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Mẫu ngẫu nhiên học Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Mẫu ngẫu nhiên “điển hình” Đặng Thế Gia, BM Kỹ thuật xây. .. • thư ký • công nhân Tuổi • < 20 • 2 0-3 0 • 3 1-4 0 • 41 -5 0 Giới tính • Nữ • Nam Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ Đặng Thế Gia, BM Kỹ thuật xây dựng ĐH Cần Thơ 10/7/2017 Mẫu ngẫu