Bài 5 trình bày một số vấn đề đặc biệt như: Phân tầng (stratification) và phân khối (blocking), tính cỡ mẫu và sai số của ước lượng (Power Calculations), kiểm tra điều kiện cân bằng. Mời các bạn cùng tham khảo.
Đánh giá sách Bài giảng 5: Những vấn đề đặc biệt Edmund Malesky, Ph.D July 2, 2018 Duke University Cơ chế phương pháp ngẫu nhiên hóa • Cần có thiết kế mẫu quan sát (khung liệu mẫu/sampling frame) • Có thể rút thăm từ mũ • Sử dụng hàm tạo số ngẫu nhiên chương trình tính tốn để xếp quan sát ngẫu nhiên • Sử dụng chương trình Stata Source: Chris Blattman Các vấn đề đặc biệt • Phân tầng (stratification) phân khối (blocking) • Tính cỡ mẫu sai số ước lượng (Power Calculations) • Kiểm tra điều kiện cân Phân khoảng Lấy mẫu ngẫu nhiên đơn giản: Sẽ tính phần trăm số bóng màu (+/- 3%) Nếu tơi muốn chắn hơn, phân tầng theo màu lấy mẫu ngẫu nhiên màu 15% Yellow 10% Green 50% Blue 25% Red = Phân tầng phân khối Tại bạn khơng muốn thực ngẫu nhiên hóa lần (ngẫu nhiên hóa đơn giản)? Mường tượng bạn có biến số X liên tục quan sát có tương quan với kết việc tham gia chương trình – Tại lại sử dụng việc lấy mẫu ngẫu nhiên cho việc tham gia chương trình hồn tồn khơng phụ thuộc vào X? Bạn phân tầng theo giá trị X để tạo xác xuất việc tham gia chương trình khơng tương quan với biến X Điều bạn có biến số X rời rạc quan sát có tương quan với kết việc tham gia chương trình, bạn muốn phân tích tác động việc tham gia chương trình theo giá trị khác biến rời rạc này? – Bạn phân khối (Block) biến số để đảm bảo nhóm đối tượng tồn mẫu có tỷ lệ tham gia chương trình với tỷ lệ tham gia mẫu Phương sai kỳ vọng ước lượng phân tầng phân khối cao phương sai kỳ vọng ước lượng dựa ngẫu nhiên hóa lần Khi phân tầng • Khi cỡ mẫu nhỏ, để giảm sai số làm: – Phân tầng theo biến có khả tác động lớn đến biến kết – Phân tầng theo nhóm mẫu mà bạn thực quan tâm (nhất bạn nghi ngờ tác động chương trình khác nhau) – Phân tầng quan trọng với mẫu liệu có quan sát • Cảnh báo 1: Có thể trở nên phức tạp phân tầng dựa nhiều biến số • Cảnh báo 2: Khi phân tầng nhiều kết lấy mẫu tính minh bạch Phân tầng Cần có danh sách quan sát khung liệu cần ngẫu nhiên hóa Tạo số ngẫu nhiên cho quan sát Xếp hạng theo tầng hay theo khối trước, sau theo số ngẫu nhiên Tung đồng xu để xác định quan sát bảng nhóm tham gia hay nhóm đối chứng Sau thay đổi trạng thái tham gia quan sát Cách giả định tỷ lệ tham gia = 50% Đối với nhiều tầng nhiều khối: • Xếp hạng tầng hay khối, sau theo số ngẫu nhiên, trình tự tương tự Lấy mẫu ngẫu nhiên phân tầng điều tra PCI Joint Stock Companies Province Manufacturing An Giang Bac Can Bac Giang Bac Lieu Bac Ninh Ben Tre Binh Dinh Binh Duong Binh Phuoc Binh Thuan BR-VT Ca Mau Can Tho Cao Bang Da Nang Dak lak Dak nong Services Construction Sole Propietorships Agriculture Manufacturing Services Construction Agriculture New Old New Old New Old New Old New Old New Old New Old New Old 46 89 128 26 172 19 44 161 60 61 242 53 232 28 285 102 43 0 0 0 18 13 107 10 191 18 46 234 34 30 78 14 84 169 36 1 2 3 10 58 31 160 23 198 31 156 292 51 112 287 52 231 25 1239 105 33 3 17 2 43 25 30 41 24 37 33 61 63 52 10 26 29 36 52 29 1 1 1 1 236 68 59 27 142 134 88 45 75 96 123 89 127 179 101 29 6 15 2 13 115 60 22 53 177 109 120 527 88 131 156 113 268 12 113 65 52 73 53 10 24 14 63 17 11 48 38 14 750 60 110 385 140 706 503 1227 652 539 803 1115 837 56 728 727 223 165 45 295 74 117 82 35 66 140 41 71 88 13 34 29 23 181 74 27 117 118 104 23 21 17 23 48 42 0 11 362 31 9 1 Hãy xem xét khung liệu mẫu dự án Tại bạn không thiết phải phân tầng hay phân khối? • Bruhn & McKenzie chứng minh cho thấy cấu trúc thiết kế nghiên cứu phải thể việc xử lý sai số phương trình ước lượng • Ví dụ, bạn muốn phân khối theo giá trị rời rạc bạn cần đưa thêm tác động cố định giá trị phương trình ước lượng Làm số bậc tự (DOF) Điều có đáng làm không? – Trả lời: cần thiết phải phân khối bạn nghi ngờ đặc tính biến số có tác động mạnh mẽ lên biến kết – Nếu không, phân khối làm bậc tự giảm hiệu lực kiểm định thống kê • Sự khác biệt ngẫu nhiên hóa có phân khối phân tầng ngẫu nhiên hóa đơn giản nói chung khơng đáng kể số quan sát > 300 đơn vị SỨC MẠNH KIỂM ĐỊNH THỐNG KÊ - STATISTICAL POWER 10 Thiết kế can thiệp theo nhóm Nhận xét khác biệt “tác động tối thiểu phát được” – tác động thực nhỏ mà thử nghiệm phát với xác suất cao Khơng có thiết kế theo nhóm: MDE ( t1− + t ) Với thiết kế theo nhóm: MDE ( t1− + t ) J 2 p(1 − p) N 1− + p(1 − p) J n ( số nhóm kích cỡ, n tương quan nội nhóm, số quan sát nhóm.) 18 Tính độ mạnh thống kê thực tế: • Sử dụng phần mềm! Có nhiều phần mềm cho phép tính tốn Internet: – EGAP • https://egap.shinyapps.io/Power_Calculator/ – ‘Optimal Design’ • http://sitemaker.umich.edu/groupbased/optimal_design_software – ‘G*Power’ • http://www.psycho.uni-duesseldorf.de/aap/projects/gpower/ Nhiều chương trình sử dụng khái niệm tham số thống kê khoa học y tế khoa học xã hội, gây rắc rối sử dụng Cần thiết phải sử dụng cơng thức tính độ mạnh thống kê với chức cho phép tính thiết kế can thiệp theo nhóm đơn vị nghiên cứu nghiên cứu không với đơn vị can thiệp Thực tế: Bạn thường xuyên phải đối mặt với hạn chế cỡ mẫu khó khăn thực điều tra, cơng thức tính độ mạnh thống kê sử dụng để tính xác xuất bạn phát tác động 19 CÂN BẰNG THỐNG KÊ 20 Các kiểm định cân sau ngẫu nhiên hóa Các nhà nghiên cứu thường viết vòng lặp đệ quy để thực việc ngẫu nhiên hóa nhiều lần, kiểm tra cân theo tiêu chí khác nhau, lặp lại trình điều kiện cân theo tiêu chí cho trước đảm bảo Có tranh cãi liên quan đến hoạt động Tất nhiên, hoạt động cung cấp bảng thống kê kiểm định t kết tham chiếu Sử dụng tiêu chí phân tầng đa chiều Tuy nhiên: • Kiểm định T khác biệt dựa so sánh đơn giá trị trung bình khơng nữa, • Khơng dễ để chỉnh sửa cấu trúc thiết kế nghiên cứu ước lượng tác động can thiệp (Bruhn & McKenzie, 2008) 21 Ví dụ bảng thống kê cân 22 Cân với khoảng tin cậy Figure 2: Survey Attrition & Balance of Confounders Item Non-Response=1 CEO is male=1 Years since registration (ln) Capital size (8pt Scale) Labor size (8pt Scale) Multinational Corp.=1 Entry through M&A=1 Union in firm==1 Workers under contract (%,ln) Losses/Profits (8pt Scale) Plan to expand business =1 Customer is SOE=1 Customer is government=1 Customer is private firm=1 Customer is foreign firm=1 Export to home country=1 Export to third country=1 Vendor is SOE=1 Vendor is private firm=1 Vendor is household=1 Inputs from in house=1 Import from Home country=1 Import from third country=1 Company from Europe=1 Company from India=1 90% Confidence Intervals -.4 -.2 India Treatment - European Treatment 23 Cân với giá trị p-value 24 PHÂN TÍCH NHĨM MẪU (SUBGROUP ANALYSIS)/TÁC ĐỘNG CAN THIỆP KHÁC BIỆT (HETEROGENOUS TREATMENTS) 25 Tác động can thiệp khác biệt gì? • Một can thiệp ảnh hưởng đến đối tượng thử nghiệm theo nhiều cách khác nhau: – Tác động lớn đến đối tượng nào? – Tác động nhỏ với đối tượng nào? – Với đối tượng can thiệp tạo ích lợi hay thiệt hại? • Nghiên cứu câu hỏi giúp thiết lập lý thuyết điều kiện thực thi cho can thiệp có hiệu hay hiệu • Nó giúp thiết lập hình thức thiết kế triển khai sách để tối đa hóa tính hiệu 26 Tác động can thiệp trung bình có điều kiện - Conditional Average Treatment Effects (CATEs) • CATE tác động can thiệp trung bình nhóm mẫu, nhóm mẫu xác định đặc tính chủ thể (ví dụ tác động can thiệp trung bình ATE nhóm phụ nữ), đặc tính bối cảnh thử nghiệm (ví dụ tác động can thiệp trung bình ATE địa điểm cố định thử nghiệm nhiều địa điểm) 27 Sử dụng ảnh hưởng tương tác • Nhà nghiên cứu ước lượng tác động can thiệp mối tương quan với biến giải thích khác (treatmentby-covariate interaction effects), khác biệt hai tác động CATE nhân tố kiểm soát cho phép phân tách mẫu thành nhóm mẫu (và nhân tố kiểm sốt khơng chủ định thử nghiệm) • Tham số δ ảnh hưởng tương tác, giải thích khác biệt ATE nhóm hưởng lợi (X) nhóm mẫu Z ATE chương trình dạy nghề nhóm mẫu khơng phải Z • Nếu Z không phân bổ ngẫu nhiên, tính chất nhân quả, có tính chất định tính 28 VẤN ĐỀ THỰC TẾ CUỐI CÙNG 29 Cái dễ ngẫu nhiên hóa nhất? Thơng tin: – – – – – Chương trình đào tạo Tuyên truyền thơng điệp trị Tun truyền thơng điệp chất lượng ứng cử viên, mức độ tham nhũng Gửi thư cho phép thay đổi cách tiếp cận Khuyến khích tham gia – Vấn đề tất nội dung chúng nhân tố phụ trội nội dung mà bạn thực quan tâm – Điều dẫn đến có hàng loạt nghiên cứu loại hình ngẫu nhiên hóa thực được, thay hỏi lại muốn thực nghiên cứu Phân cấp, can thiệp cấp độ cá nhân: – Dẫn đến việc đánh giá nhiều câu hỏi trọng tâm sách khó khăn – Khơng dễ hệ thống bầu cử, sách quốc gia, tác động cấp độ đại diện, đồng thuận quốc tế – Dễ thực với chương trình kêu gọi cử tri, thơng điệp, tái phân bố địa bàn, kiểm toán 30 Những vấn đề thực tiễn thiết kế thử nghiệm Bạn có trực tiếp kiểm sốt vấn đề thực hiện? – Nếu vậy, bạn có thiết kế nghiên cứu tham vọng – Nếu không, bạn cần phải thực tế mục đích chiến lược quan thực Cần giữ mức độ giản đơn: – Cơ quan thực có giao nhân viên điều tra trường trách nhiệm đảm bảo tính xác đáng thiết kế nghiên cứu? Nếu không, bạn phải làm Chương trình can thiệp có q trình lựa chọn phức hợp khơng? – Nếu có, bạn phải thiết kế việc đánh giá theo trình – – Hoặc lựa chọn trước ước lượng TET, ước lượng ITE Nếu mức độ tham gia thấp, bạn cần chọn trước mẫu có tỷ lệ tham gia cao để ước lượng ITE Có ràng buộc tự nhiên việc thực chương trình khơng? – Nếu có, sử dụng để nhận diện: – – Phương pháp đăng ký vượt mức (Oversubscription) Nếu việc thực tiến hành dần dần, bạn nghiên cứu ứng dụng ngẫu nhiên hóa thứ tự thực 31 Ngẫu nhiên hóa khơng hồn hảo • Tác động can thiệp trung bình nội - Local Average Treatment Effect (LATE) • Tuân thủ phần - Partial Compliance – Cố gắng chọn thiết kế với mức độ tuân thủ cao • Ngoại tác – Tác động lan tỏa xảy nội nhóm nhóm – Nếu xảy ngoại tác lan tỏa, cần thiết kế chương trình để xử lý (Miguel and Kremer) • Rơi rớt mẫu - Attrition – Rơi rớt ngẫu nhiên ảnh hưởng đến sai số chuẩn ước lượng – Rơi rớt có hệ thống làm sai lệch kết – Cần thiết phải theo dõi giám sát vấn đề rơi rớt mẫu 32 ... India=1 90% Confidence Intervals -. 4 -. 2 India Treatment - European Treatment 23 Cân với giá trị p-value 24 PHÂN TÍCH NHĨM MẪU (SUBGROUP ANALYSIS)/TÁC ĐỘNG CAN THIỆP KHÁC BIỆT (HETEROGENOUS TREATMENTS)... nhóm có giá trị trung bình (bằng trung bình quần thể), kết luận khơng có khác biệt giá trị trung bình hai quần thể, mà thực tế có khác biệt mức độ định • Do xác suất kết luận hai nhóm khác biệt. .. kêu gọi cử tri, thơng điệp, tái phân bố địa bàn, kiểm toán 30 Những vấn đề thực tiễn thiết kế thử nghiệm Bạn có trực tiếp kiểm sốt vấn đề thực hiện? – Nếu vậy, bạn có thiết kế nghiên cứu tham vọng