Bài 7 ôn lại các kiến thức như: Phân biệt các khái niệm ATE, ITE, TOT; sức mạnh thống kê, cỡ mẫu và tác động tối thiểu có thể phát hiện được; thử nghiệm tự nhiên và các phương pháp ước lượng tác động sử dụng dữ liệu quan sát được. Mời các bạn cùng tham khảo.
Bài giảng 7: Ôn tập Lê Việt Phú 9/7/2018 So sánh nhóm hưởng lợi nhóm đối chứng Phân biệt khái niệm ATE, ITE, TOT Ngẫu nhiên hóa đề xuất tham gia • ITT: Tác động chương trình nhóm đề xuất tham gia, bất chấp việc thực tế họ có tham gia hay khơng • TOT: Tác động chương trình nhóm đề xuất tham gia thực tế có tham gia So sánh ITE TET • ITE so sánh A & B với C & D • So sánh B với C & D có hàm chứa tác động chệch mang tính lựa chọn (selection bias) việc lựa chọn tham gia chương trình thực ngẫu nhiên • TET so sánh B với D, nhiên làm để đảm bảo tuân thủ nhóm đối chứng? Tác động muốn đánh giá định thiết kế nghiên cứu • Tác động can thiệp trung bình (Average Treatment Effect): trực tiếp sử dụng thử nghiệm ngẫu nhiên • Tác động lên nhóm đề xuất tham gia (Intention to Treat Effect): – Lấy mẫu ngẫu nhiên cho quần thể – Tiến hành lựa chọn mẫu quần thể nhóm lựa cách ngẫu nhiên – ITE tính khác biệt kết nhóm đề xuất tham gia so với nhóm khơng • Tác động can thiệp lên đối tượng tham gia (Treatment Effect on Treated): – Chỉ sử dụng nhóm cá nhân đề xuất tham gia làm theo yêu cầu Đó nhóm người tuân thủ – Phân bổ ngẫu nhiên việc tham gia chương trình nhóm tn thủ – TET tính khác biệt kết nhóm có tham gia khơng tham gia người tuân thủ – Không dễ ước lượng TET thực tế yêu cầu phải xác định nhóm người tân thủ yêu cầu họ đăng ký vào chương trình nghiên cứu thử nghiệm Việc thực tương tự bốc thăm Sức mạnh thống kê, cỡ mẫu tác động tối thiểu phát Sức mạnh kiểm định thống kê • Độ mạnh kiểm định khả (xác suất) bác bỏ giả thuyết thông kê (giả thuyết không – Null) giả thuyết thay • Khi nghiên cứu so sánh nhóm, độ mạnh kiểm định xác suất bác bỏ giả thuyết khơng hai nhóm có giá trị trung bình (bằng trung bình quần thể), kết luận khơng có khác biệt giá trị trung bình hai quần thể, mà thực tế có khác biệt mức độ định • Do xác suất kết luận hai nhóm khác biệt Sức mạnh kiểm định thống kê Sức mạnh thống kê mức ý nghĩa Đồ thị trái phân phối beta mũ theo giả thuyết khơng Đồ thị phải phân phối beta mũ độ lớn thực tế beta Mức ý nghĩa nhận diện vùng đuôi bên phải phân phối bên trái Sức mạnh thống kê vùng đuôi bên trái phân phối bên phải (source: Duflo & Kremer ‘Toolkit’) 10 Cỡ mẫu tối thiểu N 2 ETE ( t1− + t ) p (1 − p ) Bạn chấp nhận cỡ mẫu nhỏ nếu: – Kỳ vọng tác động can thiệp lớn – Kết có độ dao động nhỏ – Nhóm tham gia đối chứng nhóm tương đồng số quan sát (p=.5) – Sẵn lòng chấp nhận mức ý nghĩa thấp độ mạnh thống kê thấp 11 Thiết kế can thiệp theo nhóm (cluster design) Nhận xét khác biệt “tác động tối thiểu phát được” – tác động thực nhỏ mà thử nghiệm phát với xác suất cao Khơng có thiết kế theo nhóm: MDE ( t1− + t ) 2 p (1 − p ) N Với thiết kế theo nhóm: MDE ( t1− + t ) 1− + p (1 − p ) J n ( J số nhóm kích cỡ, số quan sát nhóm.) tương quan nội nhóm, n 12 Thử nghiệm tự nhiên phương pháp ước lượng tác động sử dụng liệu quan sát Thử nghiệm tự nhiên gì? • Nhà nghiên cứu lợi dụng tình can thiệp tự nhiên để lựa chọn nhóm tham gia nhóm hưởng lợi thay q trình thử nghiệm ngẫu nhiên hóa • Nhà nghiên cứu khơng can thiệp thay đổi mẫu nghiên cứu, ví dụ phân bổ vào nhóm nào, hưởng lợi hay đối chứng • Nhà nghiên cứu phải chứng minh trình can thiệp tự nhiên tạo nhóm hưởng lợi đối chứng hoàn toàn ngẫu nhiên - tương tự phân bổ ngẫu nhiên thử nghiệm có kiểm soát 14 Tại lại sử dụng thử nghiệm tự nhiên? • Giúp nhà nghiên cứu xử lý vấn đề thực nghiệm: Vấn đề nhân ngược/nội sinh (Reverse Causality/Endogeneity): Một cú sốc ngoại sinh giúp phá vỡ vòng luẩn quẩn nguyên nhân – kết Khác biệt đặc tính khơng quan sát được: Unobserved Heterogeneity (OV Bias) Tác động lên biến giải thích: Thử nghiệm tự nhiên giúp xác lập nhóm hưởng lợi đối chứng cách rõ ràng 15 Những giả định “có thể coi ngẫu nhiên” Hiệu lực Kém hiệu lực Observational • • Interrupted Time Series w/in Unit Exogenous geographic or policy change serving as treatment effect Regression Discontinuity Randomization Device/ Downstream Randomization Randomized Experiment Giả định “có thể coi ngẫu nhiên” hiệu lực nhà nghiên cứu phải chắn mơ hình nhân tố gây nhiễu (confounding factors) đánh giá tác động Do đó, nghiên cứu sử dụng thử nghiệm tự nhiên cần có tảng lý thuyết vững vàng 16 Các phương pháp tiếp cận đánh giá tác động Differences in Differences Regression Discontinuity Matching Randomized Evaluation 17 Phương pháp Diff-in-Diff (DD) • Sử dụng với liệu quan sát (observational data), khơng phải liệu thử nghiệm ngẫu nhiên • Có thể xử lý hai vấn đề liên quan đến “phản thực khơng hợp lệ” (counterfeit counterfactuals) • DD giả định tồn khác biệt không quan sát nhóm, chúng khơng thay đổi theo thời gian – Khác biệt giá trị trung bình kết theo nhóm tự động bị khử • Có thể kết hợp với phương pháp khác phương pháp ghép cặp (matching) 18 Phản thực khơng hợp lệ gì? • Nhóm đối chiếu khơng hợp lệ làm cho kết bị chệch • phương pháp dẫn đến phản thực khơng hợp lệ: So sánh kết nhóm tham gia sách trước sau thực sách So sánh trực tiếp kết nhóm tham gia nhóm khơng tham gia • Nếu nhóm đối chiếu khơng hợp lệ, tác động sách bị nhiễu với tác động nhân tố khác 19 Cơ chế phương pháp DD • So sánh thay đổi kết theo thời gian nhóm hưởng lợi nhóm đối chứng • Giả định khác biệt không quan sát không thay đổi theo thời gian • Ước tính tác động sau: (1) Tính khác biệt kết nhóm hưởng lợi (2) Tính khác biệt kết nhóm đối chứng (3) Tác động sách khác biệt giá trị (1) so với (2) 20 Cơ chế phương pháp DD • • Kết hợp phản thực không hợp lệ – So sánh trước sau thực chương trình nhóm tham gia – So sánh nhóm tham gia với nhóm khơng tham gia • 1st difference: Δ kết trước sau chương trình nhóm tham gia • Cho phép kiểm sốt vấn đề khơng thay đổi theo thời gian • 2nd difference: Δ kết trước sau chương trình nhóm khơng tham gia • • Kiểm sốt thay đổi nhóm tham gia khơng có sách Để ước lượng phản thực u cầu phải có nhóm đối chứng hợp hệ • Thực DD cho phép kiểm sốt đặc tính quan sát không, không thay đổi theo thời gian 21 Giả định song song • • • • Nếu khơng có chương trình xu hướng thay đổi kết nhóm tham gia nhóm đối chứng Để ước lượng phản thực u cầu khơng có khác biệt thay đổi theo thời gian nhóm tham gia đối chứng Nếu xu hướng nhóm khác ước lượng bị chệch Nếu thu nhập nhóm đối chứng tăng nhanh ước lượng bị chệch xuống Giả định song song chứng minh cách chắn, nhiên sử dụng số kiểm định để kiểm chứng phù hợp 22 Sử dụng hồi quy để ước lượng Có thể đưa thêm biến kiểm sốt khác vào mơ hình: 23 ... gây nhiễu (confounding factors) đánh giá tác động Do đó, nghiên cứu sử dụng thử nghiệm tự nhiên cần có tảng lý thuyết vững vàng 16 Các phương pháp tiếp cận đánh giá tác động Differences in Differences... khơng hợp lệ gì? • Nhóm đối chiếu không hợp lệ làm cho kết bị chệch • phương pháp dẫn đến phản thực không hợp lệ: So sánh kết nhóm tham gia sách trước sau thực sách So sánh trực tiếp kết nhóm tham... suất) bác bỏ giả thuyết thông kê (giả thuyết không – Null) giả thuyết thay • Khi nghiên cứu so sánh nhóm, độ mạnh kiểm định xác suất bác bỏ giả thuyết khơng hai nhóm có giá trị trung bình (bằng