Chương 3: Các phương pháp thử nghiệm docx

Chương Các phương pháp thử nghiệm 3.1 Các khung cảnh thử nghiệm 3.2 Những mơ hình thử nghiệm 3.3 Sự mở rộng mơ hình thử nghiệm 3.4 Lựa chọn mơ hình thử nghiệm thích hợp Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.1 CÁC KHUNG CẢNH THỬ NGHIỆM Thử nghiệm tiến hành khung cảnh: (1) Thử nghiệm phịng thí nghiệm: Nhà nghiên cứu bố trí đối tượng khung cảnh đặt cho mục tiêu nghiên cứu thử nghiệm, việc giúp nhà nghiên cứu giảm thiểu đến mức thấp ảnh hưởng khơng thích hợp biến số ngoại lai nhờ vào kiểm soát điều chỉnh biến thiên số biến số Trong phịng thí nghiệm trang bị đầy đủ thiết bị cần thiết như: gương chiều, máy ảnh, nút kiểm tra độ thắp sáng nhiệt độ, yếu tố khác có ảnh hưởng đến thử nghiệm Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn Giá trị nội nghiệm – Giá trị ngoại dụng Hai khái niệm liên quan đến môi trường thử nghiệm (1) giá trị nội nghiệm (2) giá trị ngoại dụng (1) Giá trị nội nghiệm: xem kết thử nghiệm nguyên nhân định đưa thử nghiệm từ đầu, kết không chịu ảnh hưởng nguyên nhân khác dù yếu tố có mặt lúc thử nghiệm Ta kết luận kết đạt thử nghiệm phòng thí nghiệm việc xử lý biến số, yếu tố ngoại lai bị kiểm soát, bị loại trừ tác dụng ể (2) Giá trị ngoại dụng: giá trị ứng dụng vào thực tế Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn Các khung cảnh thử nghiệm (2) Thử nghiệm trường: Thử nghiệm trường thử nghiệm tiến hành mơi trường “ngồi đời (thế giới thực sống) đời” sống) Cái lợi lớn tính thật khung cảnh, biến số đưa thử nghiệm (định giá, quảng cáo, sản phẩm,…) giống hồn cảnh mua bán bình thường Hình thức thử nghiệm cho giá trị ngoại dụng cao, người tham gia có điều kiện để xử hồn cảnh bình thường Tuy nhiên, giá trị nội nghiệm gặp khó khăn chỗ vận dụng khung cảnh thật khó kiểm sốt yếu tố ngoại lai Thử nghiệm trường thường tốn phức tạp Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn Đặc điểm thử nghiệm phòng thí nghiệm thử nghiệm trường Thử nghiệm phịng thí nghiệm Thử nghiệm trường Giá trị nội nghiệm Cao Thấp Giá trị ngoại dụng Thấp Cao Tổn phí Có thể thấp Cao Thời gian Có thể thấp ể ấ Cao Thấp Cao Đặc điểm Tính phản ánh thật Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.2 NHỮNG MƠ HÌNH THỬ NGHIỆM Ba mơ hình thử nghiệm: • Đo lường trước-sau với nhóm kiểm chứng (before-after with control group) • Đo lường sau với nhóm kiểm chứng (after-only with control group) • Mơ hình bốn nhóm Solomon Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.2 NHỮNG MƠ HÌNH THỬ NGHIỆM Hai tác giả Cambell Stanley (1963) dùng ký tự sau để diễn tả mơ hình thử nghiệm: • Ký t R (R d tự (Random, ngẫu nhiên) để đối t ẫ hiê ) hỉ tượng tác nhân thử nghiệm lựa chọn áp dụng theo phương pháp ngẫu nhiên Cũng có trường hợp khơng áp dụng phương pháp ngẫu nhiên, nên ký tự R thường để ngoặc đơn (R) • Ký tự O (Observation hay Output) để quan sát hay đo lường kết quả, ví dụ: doanh số, mức độ thỏa mãn khách hàng, O1 hàng …O1 đo lường trước O2 đo lường sau trước, sau • Ký tự X dùng tượng trưng cho nhân tố gây tác động (chẳng hạn: hạ giá, tăng cường quảng cáo, thay đổi bao bì, …) Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.2 NHỮNG MƠ HÌNH THỬ NGHIỆM Trước sơ đồ hóa số phương án thử nghiệm bản, cần đề cập đến ba ghi chú: Thứ nhất: Các ghi từ trái qua phải chuyển động qua thời gian, trước sau, biến số thử nghiệm Thí dụ ghi R O1 X O2 Ng a chủ Nghĩa c ủ đề trắc nghiệm tiến hành t ê nhóm ( R), lần t ắc g ệ t ế ột ó ỳ ), ột lầ lượng định (đo lường) trước tiến hành (O1), sau đối tượng xử lý thử nghiệm (X) sau lần lượng định (lần sau) (O2) lại tiến hành Thứ hai: tất ghi dòng ngang tất đối tượng thuộc nhóm chịu bước xử lý thử nghiệm Thứ ba: ghi theo cột thẳng đứng nối tiếp chiều thẳng đứng biến số diễn đồng thời Vậy R O1 X O2 R X O3 Chỉ hai nhóm đối tượng định (R) đưa vào thử nghiệm ỉ ằ ó ố ỉ ấ ỳ thời gian trải qua cách xử lý (X), nhóm tiến hành đo lường trước sau thử nghiệm (O1, O2), nhóm tiến hành lượng định sau thử nghiệm; lượng định hậu test (O3); (O3) tiến hành đồng thời với (O2) Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.2 NHỮNG MƠ HÌNH THỬ NGHIỆM Đo lường trước-sau với nhóm kiểm chứng (before-after with control group) Mơ hình đo lường trước-sau với nhóm kiểm chứng (before-after with control group), nhà nghiên cứu sử dụng nhóm thực nghiệm để đo lường hiệu ứng xử lý nhóm kiểm chứng để loại trừ số hiệu ứng biến ngoại lai Mơ hình thực nghiệm đo lường trước sau với nhóm kiểm chứng biểu diễn sau: - Nhóm thực nghiệm: R O1 X O2 - Nhóm kiểm chứng: R O3 O4 Hiệu ứng biến ngoại lai O4-O3 (khơng xử lý đo lường ế thay đổi từ O3 sang O4) nên có hiệu ứng xử lý (treatment effect) = (O2-O1) – (O4- O3) Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.2 NHỮNG MƠ HÌNH THỬ NGHIỆM Thí dụ: Đo lường trước sau với nhóm kiểm chứng Giả sử muốn đo lường hiệu ứng POP vào doanh thu cửa hàng loại thương hiệu “x” với thời gian thực nghiệm 30 ngày Thực nghiệm tiến hành cách chọn ngẫu nhiên, lấy ví dụ d 20 cửa hà chia ngẫu nhiên chúng h h i nhóm: 10 cửa hàng hàng hi ẫ hiê hú thành hai hó hà cho nhóm thực thực nghiệm 10 cho nhóm kiểm sốt Giả sử trước tiến hành trưng bày POP doanh thu trung bình “x” cửa hàng ngày 10 triệu đồng (O1=O3 = 10.000.000 đồng) Sau 30 ngày trưng bày POP, giả sử doanh thu trung bình “x” cửa hàng 15 triệu đồng (O2= 15.000.000 đồng) Với nhóm kiểm sốt, dù khơng trưng bày POP tác động biến ngoại lai nên sau 30 ngày, giả sử doanh thu trung bì “x” cửa hàng 12 triệu đồng (O4=12.000.000 đồng) (O4=12 000 000 đồng) Như chương trình chiêu thị POP làm tăng vậy, doanh thu trung bình cửa hàng (hiệu ứng xử lý): TE = (O2- O1)- (O4 –O3) = (15.000.000-10.000.000) – (12.000.000- 10.000.000) = 3.000.000 đồng Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.2 NHỮNG MƠ HÌNH THỬ NGHIỆM Đo lường sau với nhóm kiểm chứng (after-only with control group) Mơ hình thực nghiệm đo lường sau với nhóm kiểm sốt (After-only with control group) tương tự mơ hình đo lường trước sau với nhóm kiểm chứng chứng Tuy nhiên mơ hình nhà nghiên cứu đo l ờng sau Mô lường sau hình đo lường sau với nhóm kiểm chứng cho phép giảm chi phí tránh hiệu ứng thử khơng đo lường trước Mơ hình ký hiệu sau: Nhóm thử nghiệm (EG): R X O1 Nhóm kiểm chứng (CG): R O2 Tuy khơng đo lường trước giả sử lần đo lường trước hai nhóm – thực nghiệm kiểm chứng có chung giá trị α Dựa vào cơng thức tính tốn hiệu ứng xử lý mơ hình đo lường trước sau với nhóm kiểm chứng , có hiệu ứng xử lý mơ hình là: TE = (O1- α) – (O2 – α) = (O1-O2) Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.2 NHỮNG MƠ HÌNH THỬ NGHIỆM Mơ hình bốn nhóm Solomon Nếu kết hợp hai mơ hình thực nghiệm – đo lường trướcsau với nhóm kiểm chứng đo lường sau với nhóm kiểm chứng có mơ hình thực nghiệm bốn nhóm Solomon Mơ hình bốn nhóm Solomon cịn gọi thiết kế nhóm, nghiên cứu ( 4-group, 6-study design) có ký hiệu sau: Nhóm thử nghiệm (EG1) = R O1 X O2 Nhóm kiểm chứng (CG1) = R O3 O4 Nhóm thử nghiệm (EG2) = R X O5 Nhóm kiểm chứng (CG2) = R O6 Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.2 NHỮNG MƠ HÌNH THỬ NGHIỆM Mơ hình bốn nhóm Solomon Vì tính lựa chọn đối tượng vào nhóm trắc nghiệm, nên giả định nhóm tương đương với trước thử nghiệm Như ta lấy số đo trước nhóm thử nghiệm nhóm kiểm chứng làm sở để tính số đo trước cho nhóm thử nghiệm Ta lấy số trung bình cộng hai số đo để tránh sai số dùng số đo nhóm khơng đảm bảo tính đại diện Do đó, số đo trước nhóm thử nghiệm là: ½(O1+ O3) Hiệu ứng xử lý (nghiên cứu) = [O5- (O1+O3)/2] – [O6 –(O1+O 3)/2] Mơ hình cho nhà nghiên cứu lấy ước lượng mức độ hiệu ứng trắc nghiệm tương tác Để tính hiệu ứng này, cần nhớ nhóm thử nghiệm nhóm nhóm có xảy hiệu ứng Vậy, mức độ tương tác có cách so sánh nhóm thử nghiệm nhóm thử nghiệm hay: Tương tác = (O2-O1) – [O5 –(O1+O3)/2] Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.3 SỰ MỞ RỘNG CÁC MƠ HÌNH THỬ NGHIỆM Thử nghiệm ngẫu nhiên hồn toàn (completely randomized design) Thử nghiệm khối ngẫu nhiên (randomized block design) Thử nghiệm thừa số ố (factorial design) Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.3 SỰ MỞ RỘNG CÁC MƠ HÌNH THỬ NGHIỆM Thử nghiệm ngẫu nhiên hoàn toàn (completely randomized design) Thử nghiệm ngẫu nhiên hoàn toàn (completely randomized design) cho phép so sánh nhiều mức khác xử lý Để thực điều chúng phải giả sử biến ngoại lai có tác động vào đơn vị thử Giả sử có mức xử lý với k mức khác (1, 2, …, i, …k) Chọn ngẫu nhiên n đơn vị thử chia ngẫu nhiên thành k nhóm n1, n2, …ni,…nk (n=n1 + n2+….+ni+…+nk) Mỗi nhóm chịu mức xử lý tương ứng đo lường kết Xij đơn vi nhóm cho phép so sánh khác nhau, có, hiệu ứng xử lý mức độ khác Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.3 SỰ MỞ RỘNG CÁC MƠ HÌNH THỬ NGHIỆM Mơ hình thử nghiệm ngẫu nhiên hoàn toàn Q Quan sát J n1, n2,…,nk X11 X1j X1n1 Thạc sĩ Huỳnh Quang Minh X21 X2j X2n2 Mức xử lý ý I Xi1 Xij Xini K Xk1 Xkj Xknk Email: minhhqvn@hcm.vnn.vn 3.3 SỰ MỞ RỘNG CÁC MƠ HÌNH THỬ NGHIỆM Thí dụ: Thử nghiệm ngẫu nhiên hồn tồn Để so sánh (giống hay khác nhau) hiệu ứng ba dạng POP (POP1, POP2, POP3) vào doanh thu loại thương hiệu, thực thử nghiệm sau: chọn chín cửa hàng chia ngẫu nhiên chúng thành nhóm, nhóm ba cửa hàng Sau trình bày POP cho ỗ nhóm cửa hàng (chẳng hạn POP1 cho cửa hàng 2, 5, 9,…) So sánh doanh thu nhóm cửa hàng kiểm nghiệm giả thuyết hiệu ứng POP doanh thu Dữ liêu thu thập trình bày bảng sau: Thiết kế mẫu Chọn cửa hàng chia g ngẫu nhiên thành ba nhóm, nhóm trưng bày dạng POP POP1 Doanh thu cửa hàng g Doanh thu cửa hàng Doanh thu hàng Thạc sĩ Huỳnh Quang Minh Mức xử lý POP2 Doanh thu cửa hàng g Doanh thu hàng Doanh thu cửa hàng POP3 Doanh thu cửa hàng g Doanh thu cửa hàng Doanh thu cửa hàng Email: minhhqvn@hcm.vnn.vn 3.3 SỰ MỞ RỘNG CÁC MƠ HÌNH THỬ NGHIỆM Thử nghiệm khối ngẫu nhiên (randomized block design) Thử nghiệm khối ngẫu nhiên (Randomized block design) tương tự nhu thử nghiệm ngẫu nhiên hoàn toàn Tuy nhiên, với mơ hình k ể sốt h hú ó hể kiểm hiệu ứng b ế ngoại l mà ủ biến lai nghĩ có tác động mạnh mơ hình ngẫu nhiên hồn tồn Trong mơ hình đo lường hiệu ứng k mức xử lý (1,2,…,i,…k) xử lý h mức biến thiên biến ngoại lai (1,2,…,j,…h) Kết đo lường Xij đơn vị thử nghiệm cho phép so sánh khác nhau, có, hiệu ứng xử lý mức độ khác Kết đo lường cho phép nhận diện xem có khác mức biến thiên khác biến ngoại lai không Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 3.3 SỰ MỞ RỘNG CÁC MƠ HÌNH THỬ NGHIỆM Mơ hình thử nghiệm khối ngẫu nhiên Biến ngoại lai j h X11 X1j X1h1 X21 X2j X2h2 Thạc sĩ Huỳnh Quang Minh Mức xử lý I Xi1 Xij Xihi k Xk1 Xkj Xkhk Email: minhhqvn@hcm.vnn.vn 3.3 SỰ MỞ RỘNG CÁC MƠ HÌNH THỬ NGHIỆM Thí dụ: Thử nghiệm khối ngẫu nhiên Trở lại ví dụ mơ hình thử nghiệm ngẫu nhiên hồn tồn, nhiên, giả sử nhà nghiên cứu thấy loại cửa hàng ảnh hưởng đến kết thử nghiệm Nghĩa là, loại hàng biến ngoại lai có khả t hiệ ứ vào thử nghiệm nhà nghiên cứu muốn l i ó ă tạo hiệu ứng hiệ hà hiê ứ ố loại trừ Trong trường hợp mơ hình khối ngầu nhiên thích hợp Giả sử có năm dạng cửa hàng khác nhau: (1) cửa hàng siêu thị, ký hiệu A, (2) cửa hàng tự phục vụ, ký hiệu B, (3) cửa hàng khu thương mại, ký hiệu C, (4) cửa hàng tạp hóa, ký hiệu D, (5) cửa hàng chợ, ký hiệu E Trong dạng cửa hàng chọn ngẫu nhiên ba cửa hàng Mỗi cửa hàng trưng bày dạng POP Cụ thể dạng POP1 trưng bày cửa hàng A1, B1, C1, D1 E1 POP2 trưng bà t t bày cửa hà A2 B2, C2 D2 E2 C ối cùng, POP3 đ hàng A2, B2 C2, D2, E2 Cuối ù trưng bày cửa hàng A3, B3, C3, D3 E3 Đo lường so sánh doanh thu cửa hàng theo mức xử lý nhóm cửa hàng kiểm nghiệm giả thuyết POP khác có tạo hiệu ứng khác vào doanh thu hay không Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 10 3.3 SỰ MỞ RỘNG CÁC MƠ HÌNH THỬ NGHIỆM Thí dụ: Thử nghiệm khối ngẫu nhiên Dữ liệu thu thập thực nghiệm trình bày bảng sau: Loại cửa hàng A B C D E POP1 Doanh thu A1 Doanh thu B1 Doanh thu C1 Doanh thu D1 Doanh thu E1 Thạc sĩ Huỳnh Quang Minh Mức xử lý POP2 Doanh thu A2 Doanh thu B2 Doanh thu C2 Doanh thu D2 Doanh thu E2 POP3 Doanh thu A3 Doanh thu B3 Doanh thu C3 Doanh thu D3 Doanh thu E3 Email: minhhqvn@hcm.vnn.vn 3.3 SỰ MỞ RỘNG CÁC MƠ HÌNH THỬ NGHIỆM Thử nghiệm thừa số (factorial design) Thử nghiệm thừa số (factorial design) cho phép nhà nghiên cứu đo lường hiệu ứng hai hay nhiều xử g g g y lý nhiều mức khác khám phá hiệu ề ứng hỗ tương chúng Thử nghiệm thừa số biểu diễn cho trường hợp thiết kế có từ hai biến độc lập trở lên Khi có n biến độc lập gọi thử nghiệm thừa số n chiều (n-way factorial design) Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 11 3.3 SỰ MỞ RỘNG CÁC MƠ HÌNH THỬ NGHIỆM Thí dụ: Thử nghiệm thừa số Giả sử muốn thử kiểu đồng hồ Để thử nghiệm, thiết kế ba mức giá (P1, P2, P3), ba loại nhạc chuông (N1, N2, N3) hai mức thời gian bảo hành (T1, T2) Mơ hình hình dây biểu diễn diễ thử nghiệm thừ số t hiệ thừa ố t h trường hợp gọi mơ hì h à óđ i hình thừa số 3x3x2 Như vậy, mơ hình có tổng cộng 18 quan sát Mỗi quan sát mơ hình cấp xử lý kết hợp ba mức khác ba mức xử lý P1 X111 X211 P2 X121 … P3 X131 X311 T2 T1 N1 Thạc sĩ Huỳnh Quang Minh N2 N3 Email: minhhqvn@hcm.vnn.vn 3.3 SỰ MỞ RỘNG CÁC MƠ HÌNH THỬ NGHIỆM Thí dụ: Thử nghiệm thừa số (tt) Lấy ví dụ X111 cấp xử lý kết hợp mức nhạc chuông N1, mức giá P1, mức thời gian bảo hành T1 Trong thí dụ này, chẳng hạn chọn mẫu ngẫu nhiên 180 người tiêu dùng, chia ngẫu nhiên thành 18 ẫ ẫ ê ê ù ẫ ê nhóm tương ứng với 18 quan sát, nhóm gồm 10 người tiêu dùng trình bày cấp xử lý Cụ thể người tiêu dùng nhóm 10 người tiêu dùng ô thứ (N1, P1, T1) đánh giá kiểu đồng hồ với nhạc chuông N1, mức giá P1, mức thời gian bảo hành T1 Tương tự nhu cho 17 nhóm người tiêu dùng lại Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 12 3.4 LỰA CHỌN MƠ HÌNH THỬ NGHIỆM THÍCH HỢP Ba biến số có tính định việc lựa chọn mơ hình thử nghiệm là: ọ g ệ Thời gian Chi phí hao tổn Yêu cầu bí mật (khơng cho đối thủ cạnh tranh biết) Thạc sĩ Huỳnh Quang Minh Email: minhhqvn@hcm.vnn.vn 13 ... minhhqvn@hcm.vnn.vn Các khung cảnh thử nghiệm (2) Thử nghiệm trường: Thử nghiệm trường thử nghiệm tiến hành môi trường “ngoài đời (thế giới thực sống) đời” sống) Cái lợi lớn tính thật khung cảnh, biến số đưa thử. .. Email: minhhqvn@hcm.vnn.vn Đặc điểm thử nghiệm phịng thí nghiệm thử nghiệm trường Thử nghiệm phịng thí nghiệm Thử nghiệm trường Giá trị nội nghiệm Cao Thấp Giá trị ngoại dụng Thấp Cao Tổn phí Có... minhhqvn@hcm.vnn.vn 3.3 SỰ MỞ RỘNG CÁC MƠ HÌNH THỬ NGHIỆM Thử nghiệm ngẫu nhiên hoàn toàn (completely randomized design) Thử nghiệm khối ngẫu nhiên (randomized block design) Thử nghiệm thừa số ố (factorial