Bài giảng Đánh giá chính sách - Bài 4: Thiết kế và thực hiện một thử nghiệm ngẫu nhiên có kiểm soát (RCT)

Bài 4 - Thiết kế và thực hiện một thử nghiệm ngẫu nhiên có kiểm soát (RCT). Nội dung trình bày trong chương này: Các ràng buộc thực tế, phương pháp ngẫu nhiên hóa, các dạng thực hiện đối với thử nghiệm tham gia đối chứng đơn giản.

Đánh giá Chính sách Bài 4: Thiết kế thực thử nghiệm ngẫu nhiên có kiểm sốt (RCT) Edmund Malesky, Ph.D June 25, 2018 Duke University Các bước để thực phân bổ ngẫu nhiên Xác định cá nhân/quan sát phù hợp tham gia chương trình Xác định kích cỡ mẫu sử dụng cơng thức tính độ vững sai số (power calculation) • Lựa chọn mẫu, tốt ngẫu nhiên • Cần cỡ mẫu lớn muốn phát tác động nhỏ, tần suất thành công chương trình thấp, có độ dao động lớn kết quả, muốn so sánh khác biệt nhóm mẫu Sử dụng kỹ thuật dạy lớp học Phân bổ nhóm tham gia đối chứng sử dụng nguyên tắc minh bạch xác lập trước bắt đầu thử nghiệm: • • Tung đồng xu, xúc xắc, bốc thăm, hay lấy số ngẫu nhiên Ghi lại, mô lại với mã số tham chiếu (seed) mô chuỗi ngẫu nhiên Bài giảng hơm • Các ràng buộc thực tế • Phương pháp ngẫu nhiên hóa • Các dạng thực thử nghiệm tham gia-đối chứng đơn giản Ràng buộc nguồn lực • Hầu hết chương trình có hạn chế nguồn lực – Số phiếu khuyến mãi, không gian thực chương trình đào tạo, ngân quỹ cho người hỗ trợ • Dẫn đến có nhiều người muốn tham gia nguồn lực cho phép • Việc bị hạn chế nguồn lực hội để đánh giá Ràng buộc tính cơng • Bốc thăm thực đơn giản, phổ biến, minh bạch • Hữu ích khơng có lý nhãn tiền để phải phân biệt đối xử • Người tham gia biết thua • Bốc thăm đơn giản thường nhìn nhận cơng Ràng buộc: Tác động lan tỏa (contamination/spillover) băng (cross-over) • Nhóm đối chứng sử dụng để ước lượng phản thực • Nếu nhóm đối chứng khác với phản thực kết ước lượng bị chệch • Xảy có: – Tác động lan tỏa – Tác động băng Tác động lan tỏa • Khi có tác động lan tỏa, khác biệt đơn nhóm tham gia nhóm kiểm sốt khơng tác động chương trình – Có thể mang tính tích cực tiêu cực • Tác động lan tỏa gây rắc rối cho thiết kế nghiên cứu mức độ tham gia bị hạn chế, nhiên thiết kế phương pháp xử lý dễ dàng để đo lường tác động lan tỏa trực tiếp Ước lượng tác động lan tỏa thửu nghiệm Miguel & Kremer, ‘Worms: Identifying Impacts on Education and Health in the Presence of Treatment Externalities’ (Giun: Nhận diện tác động lên giáo dục sức khỏe xảy ngoại tác tham gia chương trình) – Chương trình tẩy giun áp dụng thử nghiệm cấp độ trường học – Kiểm soát số học sinh khoảng cách định đến học sinh khơng tham gia chương trình, nghiên cứu tác động chương trình lên kết đầu (giáo dục sức khẻ) phụ thuộc vào số học sinh tham gia chương trình – Bởi chương trình thực ngẫu nhiên, cường độ tác động can thiệp ngẫu nhiên Baird, McIntosh, & Özler, ‘Schooling, Income, & HIV Risk in Malawi’ (Đi học, thu nhập, rủi ro nhiễm HIV Malawi) – Chương trình trợ cấp tiền mặt có điều kiện, thử nghiệm ngẫu nhiên cấp độ làng xã – Mức độ bão hòa tình trạng tham gia chương trình thử nghiệm ngẫu nhiên hóa, cho phép so sánh nữ sinh không tham gia chương trình làng xã chọn tham gia với nhóm kiểm sốt thiết lập hàm số tỷ phần nữ sinh chọn tham gia làng chọn tham gia Ràng buộc – tổ chức thực • Cần thiết phải nhận diện ràng buộc tổ chức thực khâu thiết kế chương trình – Ví dụ nhân viên y tế thực hoạt động tẩy giun – Có nhiều nhiệm vụ khác, khơng tẩy giun • Các nhân viên thực nhiệm vụ với nhóm tham gia đối chứng • Có nguyên tắc thủ tục khác với nhóm khác nhau? Ràng buộc – tổ chức thực • Tính dễ nhận diện việc tham gia chương trình • Ngẫu nhiên hóa cấp độ trẻ em lớp học • Ngẫu nhiên hóa lớp học trường học • Ngẫu nhiên hóa cấp độ thơn 10 Thiết kế khuyến khích Ví dụ tác động • Bạn mở chương trình đào tạo nghề cho tất đối tượng phân bổ ngẫu nhiên số khu vực cá nhân nhận khuyến khích để tham gia • Bạn phát khu vực nhận khuyến khích tỷ lệ dân số đăng ký tham gia 25% cao so với khu vực khác Sau năm, thu nhập trung bình khu vực nhận khuyến khích $100, so với khu vực khác $80 • Tác động can thiệp ước lượng là: ITE = ($100-$80)/.25 = $25 29 Thiết kế khuyến khích/Đề bạt ngẫu nhiên • Thử nghiệm đề bạt ngẫu nhiên để ước lượng tác động chương trình trường hợp khơng thể kiểm sốt vấn đề tham gia – – • Mặc dù có ngân sách thực hiện, khơng khả thi trị hay đạo đức để ngăn cản tham gia Có thể lựa chọn ngẫu nhiên người nhận đề bạt/khuyến khích (khơng phải can thiệp sách, tất đối tượng tham gia sách) Các chương trình phổ biến thơng tin hay khuyến khích làm tăng mức độ chấp nhận nhóm ngẫu nhiên lựa từ quân thể – – – Dùng để tăng mức độ chấp nhận chương trình, khơng tác động đến kết trực tiếp (do tốn kém) Các chương trình khuyến khích ảnh hưởng đến nhóm tn thủ, bất chấp việc ln có đối tượng ln tham gia khơng tham gia Nhằm tạo nhóm so sánh (việc nhận khuyến khích đại diện cho nhóm hưởng lợi) 30 Ngẫu nhiên hóa khuyến khích 31 Ngẫu nhiên hóa khuyến khích: Chương trình bảo hiểm y tế 32 Phương pháp ngẫu nhiên hóa – Ơn tập Thiết kế Bốc thăm giản đơn Hiệu khi… •Nhiều người muốn tham gia chương trình Lợi •Thơng dụng •Dễ hiểu •Dễ thực •Có thể thực cơng khai Bất lợi •Nhóm đối chứng khơng hợp tác •Rơi rớt mẫu nhóm Phương pháp ngẫu nhiên hóa – Ơn tập Thiết kế Theo giai đoạn Hiệu khi… •Chương trình mở rộng theo thời gian •Sau Sau người tham gia Lợi •Dễ hiểu •Dễ giải thích hạn chế •Nhóm kiểm sốt tn thủ kỳ vọng tham gia tương lai Bất lợi •Kỳ vọng tham gia tương lai ảnh hưởng đến hành vi •Khó đo lường tác động dài hạn Phương pháp ngẫu nhiên hóa – Ơn tập Thiết kế Khuyến khích Hiệu khi… •Chương trình phải để ngỏ tất đối tượng •Khi việc chấp nhận chương trình thấp, cải thiện khuyến khích Lợi •Có thể ngẫu nhiên hóa cấp độ cá nhân chương trình khơng thực cấp độ Bất lợi •Đo lường tác động chương trình nhóm phản ứng với khuyến khích •Cần khuyến khích đủ lớn để cải thiện mức độ chấp nhận chương trình •Khuyến khích tự có tác động trực tiếp lên kết Bài giảng hôm • Các ràng buộc thực tế • Phương pháp ngẫu nhiên hóa • Các dạng thực thử nghiệm tham gia-đối chứng đơn giản 36 Nhiều can thiệp lúc • Đơi câu hỏi trọng tâm định hình thức can thiệp tối ưu hình thức can thiệp khác lúc • Có thể ngẫu nhiên hóa can thiệp • Liệu điều có giúp biết tác động can thiệp? • Bạn có nhóm kiểm sốt khơng? 37 Nhiều can thiệp lúc Can thiệp Can thiệp Can thiệp RCTs |RCTs với nhiều nhánh Đào tạo nghề tập trung NGO Toàn quần thể người tìm việc Mẫu người tìm việc Đào tạo tập trung nhóm tư nhân Phân bổ ngẫu nhiên Kiểm soát Đào tạo tiêu chuẩn NGO Đào tạo tiêu chuẩn nhóm tư nhân So sánh chương trình đào tạo tập trung NGO private So sánh chương trình đào tạo tiêu chuẩn NGO private So sánh chung NGO Private So sánh tiêu chuẩn NGO Private So sánh tập trung NGO Private Can thiệp có nhiều cấu phần (cross-cutting treatment) • Kiểm định cấu phần khác can thiệp • Kiểm định liệu cấu phần bổ sung hay thay cho • Những cấu phần hiệu mặt chi phí? • Lợi thế: ưu điểm mặt hoạt động, giúp trả lời câu hỏi liên quan, thay hỏi tác động 40 Thiết kế nhân tố kết hợp (Factorial Design) loại can thiệp Chương trình đào tạo cho doanh nhân Chương trình cho vay tín dụng vi mơ Cho vay Không cho vay Đào tạo Vay + đào tạo Chỉ đào tạo Không đào tạo Chỉ vay Không vay hay đào tạo 41 Can thiệp với nhiều mức độ • Một số trường học tham gia chương trình đầy đủ • Tất trẻ em uống thuốc • Một số trường học tham gia phần • 50% trẻ uống thuốc • Kiểm định tác động trợ cấp giá 42 Tổng hợp • Vấn đề thực quan trọng • Có nhiều phương pháp tiếp cận để xử lý vấn đề gặp phải thực thực tế • Hình thức thiết kế phân tích có khác không nhiều, phụ thuộc vào loại hình thử nghiệm bạn thực • Chú ý phân biệt khái niệm ATE, ITE, TET, LATE 43 ... lấy số ngẫu nhiên Ghi lại, mô lại với mã số tham chiếu (seed) mô chuỗi ngẫu nhiên Bài giảng hơm • Các ràng buộc thực tế • Phương pháp ngẫu nhiên hóa • Các dạng thực thử nghiệm tham gia-đối chứng... Vòng Kết thúc đánh giá thử nghiệm 2 Tham gia: 1/3 Đối chứng: 2/3 3 1 RCTs | Thiết kế theo giai đoạn Không nằm chương trình đánh giá Quần thể mục tiêu Mẫu thuộc chương trình đánh giá Năm Phân bổ ngẫu. .. ($10 0-$ 80)/.25 = $25 29 Thiết kế khuyến khích/Đề bạt ngẫu nhiên • Thử nghiệm đề bạt ngẫu nhiên để ước lượng tác động chương trình trường hợp khơng thể kiểm sốt vấn đề tham gia – – • Mặc dù có ngân