Bài 3 - Nhập môn Thử nghiệm ngẫu nhiên có kiểm soát (RCTs). Nội dung trình bày trong chương này: Tại sao lại thực hiện thử nghiệm ngẫu nhiên có kiểm soát? Các hình thức thử nghiệm ngẫu nhiên. Mời các bạn cùng tham khảo.
Đánh giá Chính sách Bài giảng 3: Nhập mơn Thử nghiệm Ngẫu nhiên có Kiểm sốt (RCTs) Edmund Malesky, Ph.D June 22, 2018 Duke University Nội dung • Tại lại thực thử nghiệm ngẫu nhiên có kiểm sốt? • Các hình thức thử nghiệm ngẫu nhiên – ATE vs ITE vs TET – Ví dụ JTPA – Thiết kế thăng tiến/khuyến khích Q nóng bỏng • Trong vài năm gần đây, việc sử dụng thử nghiệm ngẫu nhiên bùng nổ lĩnh vực khoa học xã hội, đặc biệt kinh tế học vi mô ứng dụng kinh tế học phát triển • Gần đây, thử nghiệm ngẫu nhiên trở thành xu hướng số nhà kinh tế học phát triển nhà nghiên cứu trị Tiêu chuẩn vàng • Thử nghiệm ngẫu nhiên có kiểm sốt (RCT), không chấp nhận cách phổ thông, bắt đầu coi “tiêu chuẩn vàng đánh giá tác động sách” • Phịng thí nghiệm nghiên cứu đói nghèo Jameel Poverty Action Lab (J-PAL) MIT, lãnh đạo Esther Duflo Abhijit Banerjee, trung tâm nghiên cứu quan trọng • J-PAL gây tranh cãi lớn cho định khoảng 2% dự án Ngân hàng Thế giới đánh giá đắn sử dụng RCT • Các tranh cãi tiếp tục… Kết hợp nhiều kỹ • Để thực thử ngiệm ngẫu nhiên, cần phải sử dụng nhiều công cụ kỹ thuật học môn học – Xác định đối tượng nghiên cứu – Đặt câu hỏi – Thiết kế khảo sát – Kỹ thiết kế mẫu – Lựa chọn đối tượng khảo sát – Phân tích kinh tế lượng • Nếu làm khơng cần thiết phải sử dụng kỹ thuật phân tích phức tạp Tóm tắt lịch sử • Khơng hồn tồn khoa học xã hội • Các nhà tâm lý học tiến hành từ đầu kỷ 18 • Harold Gosnell bắt đầu sử dụng thử nghiệm nghiên cứu trị New York – Việc sử dụng đội ngũ “tiếp thị trị nhà” cho ứng cử viên có làm tăng tỷ lệ bỏ phiếu không? – Phân bổ ngẫu nhiên khu phố nhận thông báo bầu cử – Tỷ lệ bỏ phiếu đợt bầu cử tổng thống tăng 1% năm 1924, tăng 9% bầu cử địa phương năm 1925 • Nói chung, khoa học trị kinh tế học thường sau ứng dụng • Mặc dù khoa học trị có cách mạng nghiên cứu hành vi thập kỳ 50 60, nghiên cứu chủ yếu dựa vào khảo sát thay thử nghiệm Study of specific “real world” behavioral domain (unlike psychology) – Hoàn toàn hiểu “tính ảo” thử nghiệm – Phương pháp thử nghiệm bắt buộc phải tạo tính chất ảo, dễ bị nghi ngờ – Khơng phải lúc kiểm sốt điều khiển hành vi Đối tác công tìm kiếm thật Chính phủ: Cần thiết sách áp dụng cho tồn dân cư, nhiên cần phải thử trước mở rộng chương trình • Để làm việc với phủ yêu cầu phải đạt đồng thuận cao gặp khó khăn trị gia có cử tri bị ảnh hưởng chương trình NGOs: Ít gặp phải vấn đề phân biệt đối xử chương trình NGĨ độc lập tùy biến phụ thuộc vào bối cảnh • Nhưng liệu kết thu phụ thuộc vào nhân tố đặc biệt ứng dụng mơi trường khác văn hóa tổ chức? Các tổ chức đa biên World Bank, Asian Development Bank… Các doanh nghiệp: Đặc biệt vấn đề cung cấp tín dụng vi mơ Tại phải sử dụng thử nghiệm ngẫu nhiên? Ôn lại: Nhân Phản thực • Quan trọng đánh giá tác động sách ước lượng phản thực nhóm so sánh hợp lệ • Nhóm so sánh không hợp lệ dẫn đến ước lượng tác động chương trình bị nhiễu nhân tố khác khác biệt nhóm • phương pháp dễ gây vấn đề phản thực không hợp lệ: So sánh kết nhóm tham gia trước sau có chương trình So sánh kết nhóm có khơng tham gia chương trình • Ngược lại, ngẫu nhiên hóa tiêu chuẩn vàng để đánh giá tác động sách • Phân bổ ngẫu nhiên cho phép ước lượng phản thực hợp lệ Lợi ích ngẫu nhiên hóa • Phân bổ ngẫu nhiên nhóm đối tượng tham gia đảm bảo nguyên tắc công minh bạch thực chương trình • Do hạn chế ngân sách hay lực dẫn đến chương trình khó tiếp cận nhóm đối tượng dự kiến • Phân bổ ngẫu nhiên thay phân bổ dựa đặc tính quan sát quy tắc đến trước phục vụ trước • Phân bổ ngẫu nhiên đảm bảo hai nhóm tham gia đối chứng tương đồng mặt thống kê, cỡ mẫu N đủ lớn • Nếu N lớn, phân bổ ngẫu nhiên đảm bảo đặc tính quan sát khơng quan sát nhóm tương đồng • Do đó, phân bổ ngẫu nhiên đảm bảo tìm nhóm so sánh hợp lệ (phản thực) Ôn lại: Khung lý thuyết kết tiềm 10 Thử nghiệm khơng tn thủ • • • Nhiều chương trình mang tính tự nguyện, tn thủ khơng hồn hảo • Một số đối tượng phân bổ vào nhóm hưởng lợi khơng tham gia Một số đối tượng phân bổ vào nhóm đối chứng lại tham gia vào chương trình cách loại hình cá thể tồn chương trình đánh giá (giả định khơng có kẻ phá bĩnh - “defiers”): 1) Những người tuân thủ - Compliers (được phân bổ vào nhóm, thực theo yêu cầu chương trình) 2) Những người tham gia - Always-takers (Luôn tham gia vào chương trình, bất chấp việc phân bổ vào nhóm nào) 3) Những người không tham gia - Never-takers (Khơng tham gia vào chương trình, bất chất việc phân bổ vào nhóm nào) Khơng thể nhận diện, có đặc tính với nhóm hưởng lợi đối chứng • Phân bổ vào nhóm hưởng lợi làm tăng xác suất tham gia chương trình, không chắn (xác suất tham gia < 1) • Với số giả định (độc lập đơn điệu), ước lượng Wald tác động sách nhóm tn thủ tính sau: 27 Ngẫu nhiên hóa đề xuất tham gia • ITT: Tác động chương trình nhóm đề xuất tham gia, bất chấp việc thực tế họ có tham gia hay khơng • TOT: Tác động chương trình nhóm đề xuất tham gia 28 thực tế có tham gia So sánh ITE TET: • ITE so sánh A & B với C & D • So sánh B với C & D có hàm chứa tác động chệch mang tính lựa chọn (selection bias) việc lựa chọn tham gia chương trình thực ngẫu nhiên • TET so sánh B với D, nhiên làm để đảm bảo tuân thủ nhóm đối chứng? 29 Phân tích ý tưởng phân bổ ngẫu nhiên Chúng ta quan tâm đến ước lượng nào: ATE, ITT hay TOT? • Tác động can thiệp trung bình (Average Treatment Effect - ATE): If Nếu chương trình áp dụng phổ qt bắt buộc: – • Nhà hoạch định sách quan tâm đến tác động nhóm đề xuất tham gia ( intention to treat - ITT) mở rộng chương trình – – – – • Tác động kỳ vọng cá nhân điển hình xã hội Tác động có tính đến trường hợp đối tượng tham gia không tuân thủ Phù hợp mặt thực tiễn khó bắt buộc nhóm lựa chọn tham gia Ví dụ trẻ em khơng có mặt thực chương trình tẩy giun, khó tìm địa nhà để cố gắng yêu cầu tham gia Giúp trả lời câu hỏi: Tác động kỳ vọng lên cá nhân đề xuất tham gia, thực tế cá nhân có thực hay không Tuy nhiên tác động can thiệp lên đối tượng tham gia (treatment on treated TOT) quan trọng – – – – – Thể tác động việc tham gia chương trình thiết kế áp dụng với cac công cụ khác Ví dụ người muốn uống thêm vitamin sắt vi lượng, muốn biết tác động sắt lên thể Điều chỉnh cho thực tế số người phân bổ vào nhóm hưởng lợi lại khơng tham gia vào chương trình, số người phân bổ vào nhóm đối chứng lại tìm cách tham gia Ước lượng phù hợp với nhóm tn thủ, khơng phù hợp cho quần thể Giúp trả lời câu hỏi: tác động kỳ vọng cá nhân đề xuất tham gia chương trình 30 thực tế họ thực theo yêu cầu Tác động muốn đánh giá định thiết kế nghiên cứu • Tác động can thiệp trung bình (Average Treatment Effect): trực tiếp sử dụng thử nghiệm ngẫu nhiên • Tác động lên nhóm đề xuất tham gia (Intention to Treat Effect): – Lấy mẫu ngẫu nhiên cho quần thể – Tiến hành lựa chọn mẫu quần thể nhóm lựa cách ngẫu nhiên – ITE tính khác biệt kết nhóm đề xuất tham gia so với nhóm khơng • Tác động can thiệp lên đối tượng tham gia (Treatment Effect on Treated): – Chỉ sử dụng nhóm cá nhân đề xuất tham gia làm theo yêu cầu Đó nhóm người tuân thủ – Phân bổ ngẫu nhiên việc tham gia chương trình nhóm tn thủ – TET tính khác biệt kết nhóm có tham gia khơng tham gia người tuân thủ – Không dễ ước lượng TET thực tế u cầu phải xác định nhóm người tân thủ yêu cầu họ đăng ký vào chương trình nghiên cứu thử nghiệm Việc thực tương tự bốc thăm 31 Chương trình đào tạo nghề JTPA • Đạo luật đào tạo nghề (JTPA): Nghiên cứu Bộ Lao động Mỹ năm 1986 để đánh giá chương trình đào tạo • Ứng viên 16 chương trình JTPA phân bổ ngẫu nhiên vào nhóm hưởng lợi đối chứng – Nhóm hưởng lợi cho phép tham gia, nhóm đối chứng khơng cho phép tham gia • Thu thập liệu ban đầu, vấn điện thoại, liệu bang • 2/3 nhóm hưởng lợi thực tế đăn ký vào chương trình đào tạo JTPA, 2% thuộc nhóm đối chứng đăng ký • Không phải tất tăng lương chương trình JTPA, có sụt giảm thu nhập trước áp dụng chương trình • Hỗ trợ tài cho chương trình đào tạo dành cho vị thành niên bị cắt giảm sau kết nghiên cứu cơng bố 32 Cân nhóm thuộc chương trình JTPA (Với giới tính Nam cân phần) 33 Kết đào tạo nghề (người lớn) 34 Kết đào tạo nghề (vị thành niên) 35 TET so với ITE TET ITE Corrected 36 Thiết kế khuyến khích/Đề bạt ngẫu nhiên • Thử nghiệm đề bạt ngẫu nhiên để ước lượng tác động chương trình trường hợp khơng thể kiểm sốt vấn đề tham gia – – • Mặc dù có ngân sách thực hiện, khơng khả thi trị hay đạo đức để ngăn cản tham gia Có thể lựa chọn ngẫu nhiên người nhận đề bạt/khuyến khích (khơng phải can thiệp sách, tất đối tượng tham gia sách) Các chương trình phổ biến thơng tin hay khuyến khích làm tăng mức độ chấp nhận nhóm ngẫu nhiên lựa từ quân thể – – – Dùng để tăng mức độ chấp nhận chương trình, khơng tác động đến kết trực tiếp (do tốn kém) Các chương trình khuyến khích ảnh hưởng đến nhóm tn thủ, bất chấp việc ln có đối tượng ln tham gia không tham gia Nhằm tạo nhóm so sánh (việc nhận khuyến khích đại diện cho nhóm hưởng lợi) 37 Ngẫu nhiên hóa khuyến khích 38 Ngẫu nhiên hóa khuyến khích: Chương trình bảo hiểm y tế 39 Các bước để thực phân bổ ngẫu nhiên Xác định cá nhân/quan sát phù hợp tham gia chương trình Xác định kích cỡ mẫu sử dụng cơng thức tính độ vững sai số (power calculation) • Lựa chọn mẫu, tốt ngẫu nhiên • Cần cỡ mẫu lớn muốn phát tác động nhỏ, tần suất thành cơng chương trình thấp, có độ dao động lớn kết quả, muốn so sánh khác biệt nhóm mẫu Sử dụng kỹ thuật dạy lớp học Phân bổ nhóm tham gia đối chứng sử dụng nguyên tắc minh bạch xác lập trước bắt đầu thử nghiệm: • • Tung đồng xu, xúc xắc, bốc thăm, hay lấy số ngẫu nhiên Ghi lại, mô lại với mã số tham chiếu (seed) mơ chuỗi ngẫu nhiên 40 Kết luận • Thử nghiệm giải pháp lý tưởng toán ước lượng quan hệ nhân • Các vấn đề phức tạp thường nằm giai đoạn chuẩn bị ban đầu • Có nhiều thử nghiệm để xử lý vấn đề gặp phải thực • Có nhiều hình thức ước lượng tác động chương trình • Quan trọng sử dụng công cụ phù hợp cho mục tiêu cụ thể 41 ... kế thử nghiệm ngẫu nhiên cấp độ với sách can thiệp 21 Phương pháp thử nghiệm ngẫu nhiên Thiết kế thử nghiệm lâm sàng truyền thống ▪ Phương pháp đăng ký vượt (Oversubscription) ▪ Phân bổ ngẫu nhiên. .. làm sách, chứng thử nghiệm ngẫu nhiên xác thực minh bạch Các chương trình thử nghiệm ngẫu nhiên Progresa Mexico có tác động lớn lên sách ban hành • Mặc dù cơng cụ phân tích định lượng sử dụng thử. ..Nội dung • Tại lại thực thử nghiệm ngẫu nhiên có kiểm sốt? • Các hình thức thử nghiệm ngẫu nhiên – ATE vs ITE vs TET – Ví dụ JTPA – Thiết kế thăng tiến/khuyến