performance_vn

Slide 1 Sébastien Lê Agrocampus Rennes Làm thế nào để đánh giá năng lực của hội đồng và thành viên hội đồng? Đánh giá năng lực hội đồng 2 Nội dung chính • Bảng số liệu • Đánh giá năng lực hội đồng • Đ[.]

Làm để đánh giá lực hội đồng thành viên hội đồng? Sébastien Lê Agrocampus Rennes Nội dung • • • • Bảng số liệu Đánh giá lực hội đồng Đánh giá lực thành viên hội đồng Hiệu ứng tương tác có khả ảnh hưởng đến kết Đánh giá lực hội đồng Trình bày số liệu • sản phẩm sôcôla đen (Excellence, Amère, Mi-doux, Amazonie, Pâtissier, Supérieur) • 29 người thử (sinh viên) • buổi thử • 14 thuật ngữ : cocoa aroma, milk aroma, sweet, acid, bitter, cocoa, milk, caramel, astringent, crunchy, melt, sticky, granular • Cho điểm từ đến 10 Đánh giá lực hội đồng Trình bày số liệu Đánh giá lực hội đồng Trình bày số liệu 10 MilkA 0 10 CocoaA CocoaF MilkF 0 10 choc1 choc2 choc3 choc4 choc5 choc6 10 choc1 choc2 choc3 choc4 choc5 choc6 choc1 choc2 choc3 choc4 choc5 choc6 Đánh giá lực hội đồng choc1 choc2 choc3 choc4 choc5 choc6 Trình bày số liệu 0.00 10 MilkA Histogram of CocoaF Histogram of MilkF 10 0.10 0.00 0.00 0.10 Density 0.20 CocoaA 0.20 Density 0.10 Density 0.00 Phân bố chuẩn với trung bình phương sai tập số liệu thực nghiệm 0.10 Density Mật độ ước lượng 0.20 Histogram of MilkA 0.20 Histogram of CocoaA CocoaF Đánh giá lực hội đồng 10 10 MilkF Nhắc lại Phân tích phương sai Định nghĩa :  (i, j , k ) Yijk    i   j  k  ij  ik   jk   ijk L( ijk ) N (0,  ) et cov( ijk ,  'ij 'k ' ) 0 (i, j , k ) (i ' , j ' , k ' ) Hiệu ứng giá trị trung bình Hiệu ứng sản phẩm i Trong : Hiệu ứng người thử j Hiệu ứng buổi thử k Hiệu ứng tương tác sản phẩm – người thử Hiệu ứng tương tác sản phẩm – buổi thử Hiệu ứng người thử – buổi thử Đánh giá lực hội đồng Ý nghĩa hiệu ứng khác • Hiệu ứng sản phẩm: sản phẩm phân biệt với (rất thú vị) • Hiệu ứng người thử: người thử khác việc sử dụng thang điểm đánh giá (không thực quan trọng) • Hiệu ứng buổi thử: việc sử dụng thang điểm khác từ buổi thử sang buổi thử khác (không thực quan trọng) Đánh giá lực hội đồng Ý nghĩa hiệu ứng khác • Tương tác Sản phẩm - Buổi thử : tồn hội đồng khơng có khả lập lại cho thuật ngữ (nghiêm trọng) • Tương tác Sản phẩm - Người thử : khơng có đồng thuận người thử cho thuật ngữ (nghiêm trọng) • Tương tác Người thử - Buổi thử : vài người thử, việc sử dụng thang đo thay đổi từ buổi thử sang buổi thử khác (không quan trọng) Đánh giá lực hội đồng Cố định hay ngẫu nhiên? • Hiệu ứng cố định (Fixed effect): hiệu ứng mong đợi liên quan đến nhóm yếu tố (người ta quan tâm đến kết hội đồng) • Hiệu ứng ngẫu nhiên (Random effect): hiệu ứng mong đợi xem liên quan đến nhóm yếu tố (người ta muốn hiểu “hội đồng đánh giá nói chung” nghĩa tập hợp mẫu người thử; trường hợp này, nói “suy diễn” the effect of interest is not strictly speaking linked to the categories of the factor (people want to understand what “panelists in general” are saying from a sample of panelists; in that case we talk about “inference”) Đánh giá lực hội đồng Năng lực lặp lại thông qua tương tác Sản phẩm Buổi thử Sản phẩm:Buổi thử Sticky Caramel Astringency MilkF Sweetness Bitterness Granular Melting Vanilla CocoaF Crunchy CocoaA MilkA Acidity 0.009964 0.07315 0.08183 0.1182 0.1188 0.1897 0.283 0.3041 0.3183 0.4487 0.6869 0.8011 0.8287 0.9835 Tất sản phẩm không đánh giá cách giống suốt hai buổi đánh giá thuật ngữ “sticky” (dính): Các thành viên khơng có khả lặp lại Các sản phẩm bị thay đổi (nhiệt độ khác nhau, …) Đối với thuật ngữ khác hội đồng có tính lặp lại Đánh giá lực hội đồng Tương tác tham gia vào tương tác chung Sản phẩm – Buổi thử Sticky Buổi1 choc1 choc2 choc3 choc4 choc5 choc6 0.325 -0.261 -0.193 0.704 -0.417 -0.158 Buổi -0.325 0.261 0.193 -0.704 0.417 0.158 choc4 “dính” buổi thử thứ hai so với buổi thứ Các điểm số Choc6 giống cho hai buổi thử Các hệ số tương tác Sản phẩm - Buổi thử Đánh giá lực hội đồng Tương tác Sản phẩm - Buổi thử 5.0 choc3 choc4 Buổi Các sản phẩm xếp theo thứ tự tăng dần giá trị trung bình 4.5 4.0 choc1 Buổi choc6 choc2 3.5 Mỗi đường thẳng biểu diễn cho buổi thử 3.0 Trung bình buổi thử Session Session choc5 2.5 3.0 Sticky 3.5 4.0 4.5 5.0 Không song song = có tương tác 5.5 Giá trị trung bình toàn buổi thử Đánh giá lực hội đồng Tương tác Sản phẩm - Buổi thử Sticky choc6 choc5 choc4 choc3 choc2 choc1 0.0 0.2 0.4 Chocolate đóng góp nhiều 50% tương tác Sản phẩm - Buổi thử xác định theo cách sau: Đánh giá lực hội đồng Năng lực lặp lại Hội đồng Thành viên hội đồng • Đánh giá thông qua tương tác P*J*S mô hình : Điểm = P + J + S + J*P + J*S + P*S + P*J*S Không thể khơng có lặp (nghĩa có điểm số cho ba P*J*S) • Đánh giá (bởi thành viên hội đồng) tương tác P*S mơ hình: Điểm = P + S + P*S (bởi thành viên) Khơng thể khơng có lặp • Đánh giá độ lệch chuẩn sai số (đối với toàn hội đồng thành viên hội đồng) • Vấn đề: khơng có kiểm định có khả (so sánh chất thành viên thuật ngữ) Đánh giá lực hội đồng Năng lực lặp lại hội đồng Độ lệch chuẩn sai số mơ hình: Điểm = P + J + S + J*P + J*S + P*S Đánh giá lực hội đồng Năng lực lặp lại hội đồng CocoaF CocoaA Vanilla 14 0.707 0.764 0.707 23 1.08 1.61 1.15 11 1.73 1.68 1.22 22 1.19 1.71 24 0.645 0.816 0.764 0.913 0.913 1.63 28 0.816 1.26 1.38 21 2.1 1.29 0.913 0.913 13 0.913 1.22 0.5 10 1.44 1.12 1.41 12 1.38 1.55 1.44 1.19 1.22 1.63 27 0.866 1.08 1.5 19 1.98 1.35 1.12 25 1.32 1.22 1.73 1.04 1.26 1.61 15 0.764 1.19 17 1.19 1.78 0.764 26 1.78 1.29 0.913 1.61 1.35 0.645 16 1.73 2.04 18 1.44 2.53 1.8 0.816 2.2 1.8 1.58 1.41 1.96 1.73 2.45 2.53 29 2.43 4.11 2.48 20 2.42 3.27 2.12 2.66 3.25 2.5 median 1.19 1.35 1.41 Astringency MilkF Caramel SweetnessCrunchy Bitterness Melting Acidity 1.35 1.29 1.29 1.29 0.5 1.19 0.913 1.15 1.12 1.22 0.957 2.04 1.12 1.53 1.58 1.15 1.04 0.707 1.55 1.32 2.5 1.91 0.957 0.577 1.5 0.866 1.53 1.15 0.645 1.26 2.31 1.32 1.63 1.04 1.22 1.61 1.41 1.47 1.85 1.38 0.913 1.19 1.5 0.913 1.58 2.43 1.94 0.913 1.5 0.289 1.87 1.47 1.15 1.8 0.707 0.5 1.8 1.87 1.35 1.38 1.26 0.408 0.913 1.53 1.29 1.73 1.04 1.53 1.38 1.83 0.866 1.12 2.63 2.31 1.5 2.81 1.22 2.52 0.408 1.61 1.63 0.577 1.5 1.73 1.29 0.408 1.32 2.45 0.913 1.98 0.408 1.26 2.38 2.02 0.957 1.22 0.764 1.58 1.73 1.41 2.12 1.04 1.58 2.63 2.72 0.645 1.41 1.32 1.04 1.8 1.53 1.58 1.5 1.08 1.68 2.25 1.38 1.15 1.8 3.14 1.96 1.71 0.764 0.707 0.5 1.89 0.764 2.02 1.53 1.76 1.58 1.55 1.8 1.55 2.69 3.16 1.55 1.41 1.89 1.63 1.47 0.764 1.38 1.26 2.36 1.71 1.35 2.27 1.58 0.957 2.58 0.957 1.83 2.45 1.68 0.957 2.33 1.85 2.57 0.764 2.36 1.63 1.15 2.06 0.957 0.957 1.8 0.957 0.957 0.707 1.76 0.707 2.14 1.38 2.99 2.5 2.57 2.29 1.68 1.08 0.707 1.78 2.06 2.29 1.12 2.02 2.1 3.38 2.58 2.42 1.76 0.957 2.31 1.19 3.62 1.66 1.53 2.58 2.36 2.74 3.01 2.81 2.77 2.55 2.74 2.65 1.63 1.53 2.68 1.58 2.1 3.14 2.27 2.48 2.1 2.6 3.08 2.52 2.74 1.66 1.47 3.37 3.66 1.61 1.26 1.5 1.53 1.53 1.53 1.55 1.58 1.58 1.63 Đánh giá lực hội đồng Sticky 1.35 2.12 1.61 1.26 1.76 1.26 1.22 1.73 1.76 1.29 2.33 2.27 1.94 1.58 1.61 3.35 1.78 0.645 1.89 2.16 2.2 1.89 1.76 3.48 1.53 1.76 2.12 2.72 1.85 1.76 MilkA Granular median 0.764 0.957 1.053 1.71 0.645 1.185 0.764 0.957 1.27 1.78 3.91 1.29 0.957 1.98 1.315 1.26 1.83 1.32 0.866 2.08 1.32 0.5 2.47 1.32 2.16 1.335 1.53 2.53 1.395 1.44 0.957 1.425 1.44 1.35 1.44 2.14 1.5 1.455 1.63 0.645 1.455 2.12 0.957 1.515 1.98 0.577 1.515 1.29 2.36 1.565 1.85 1.87 1.59 1.87 1.83 1.59 2.43 0.866 1.63 3.19 1.91 1.74 1.98 2.65 1.745 1.71 0.289 1.78 2.16 1.12 1.79 1.89 3.25 1.99 2.22 1.83 2.29 2.29 0.957 2.515 3.75 2.61 2.54 2.81 2.81 2.59 1.78 1.83 1.515 Năng lực lặp lại hội đồng Ca cao Người thử số có khả lặp lại tốt Khả lặp lại người thử 29 14 24 15 27 10 13 25 28 21 26 Độ lệch chuẩn sai số mơ hình: Điểm = P 0.764 0.816 0.913 1 1.08 1.12 1.22 1.22 1.22 1.26 1.26 1.29 1.29 1.35 Đánh giá lực hội đồng 19 12 23 11 22 16 17 18 20 29 1.35 1.41 1.55 1.61 1.68 1.71 1.73 1.78 2.2 2.45 2.53 3.25 3.27 4.11 Năng lực tổng quát thành viên hội đồng • Mục tiêu : tuyển chọn thành viên có lực tốt để thành lập hội đồng huấn luyện • Một thành viên cho thấy có lực tốt nếu: – Phân biệt tốt sản phẩm – Có khả lặp lại – Ăn khớp với mà thành viên khác nói Đánh giá lực hội đồng Năng lực tổng quát thành viên, khả phân biệt • Đánh giá thành viên cho hiệu ứng sản phẩm mơ hình: Điểm = sản phẩm (+ buổi thử) • Hiệu ứng sản phẩm mơ hình đo sau: SCproduit ddl produit Fobs  SCresiduelle ddl residuelle Lớn sản phẩm phân biệt Nhỏ sai số nhỏ (tương tác Sản phẩm - Buổi thử) nghĩa người thử có khả lặp lại Kiểm định tốt để đánh giá lực Đánh giá lực hội đồng Năng lực tổng quát thành viên, đồng thuận với tồn hội đồng • Đánh giá thơng qua giá trị trung bình hiệu chỉnh cho hiệu ứng Sản phẩm thành viên (mơ hình: Điểm = Sản phẩm) • Đánh giá trung bình hiệu chỉnh cho toàn hội đồng cho hiệu ứng Sản phẩm (mơ hình : Điểm = P + J + S + PJ + PS + JS) • Sự đồng thuận thành viên hội đồng đánh giá hệ số tương quan: Thành viên j Đánh giá lực hội đồng Hội đồng Năng lực tổng quát thành viên, khả phân biệt 60 40 20 MilkF Crunchy Bitterness CocoaF Sweetness Melting Caramel Vanilla Acidity Astringency Granular MilkA Sticky CocoaA median 16 0.024 0.044 0.001 0.023 0.0078 0.0015 0.002 0.16 0.033 0.0053 0.77 0.17 0.37 0.59 0.028 28 0.0015 0.086 0.0014 0.013 0.00016 0.04 0.019 0.18 0.68 0.052 0.76 0.0032 0.045 0.049 0.043 24 0.078 0.021 0.06 0.015 0.024 0.37 0.022 0.032 0.047 0.32 0.78 0.035 0.091 0.096 0.053 0.031 0.064 0.081 0.0074 0.0025 0.31 0.022 0.34 0.054 0.28 0.27 0.008 0.25 0.014 0.059 17 0.019 0.011 0.13 0.052 0.021 0.0097 0.004 0.008 0.19 0.37 0.068 0.56 0.45 0.54 0.06 0.013 0.071 0.018 0.065 0.0041 0.79 0.28 0.54 0.14 0.0085 0.58 0.038 0.69 0.022 0.068 15 0.065 0.047 0.016 8.3e-05 0.091 0.24 0.005 0.15 0.41 0.064 0.69 0.79 0.26 0.082 0.087 23 0.0049 0.065 0.033 0.0027 0.15 0.24 0.013 0.13 0.024 0.21 0.014 0.95 0.92 0.99 0.096 22 0.019 0.0049 0.0079 0.14 0.38 0.057 0.003 NaN 0.056 0.5 0.62 0.11 0.47 0.84 0.11 11 0.012 0.12 0.11 0.35 0.033 0.027 0.0064 0.041 0.026 0.94 0.11 0.16 0.2 0.5 0.11 10 9.4e-05 0.016 0.048 0.069 0.087 0.74 0.068 0.14 0.5 0.18 0.014 0.41 0.25 0.79 0.11 0.0065 0.43 0.071 0.011 0.031 0.072 0.13 0.066 0.21 0.17 0.89 0.48 0.47 0.095 0.11 14 0.1 0.097 0.1 0.061 0.26 0.11 0.025 0.83 0.38 0.18 0.062 0.31 0.12 0.24 0.12 0.063 0.86 0.31 0.83 0.46 0.0018 0.21 0.11 0.14 0.15 0.64 0.14 0.1 0.089 0.14 18 0.0016 0.22 0.0098 0.036 0.025 0.43 0.21 0.5 0.022 0.18 0.071 0.32 0.12 0.59 0.15 0.014 0.55 0.042 0.08 0.0059 0.82 0.059 0.22 0.34 0.23 0.16 0.77 0.16 0.14 0.16 26 0.35 0.045 0.14 0.18 0.18 0.65 0.0065 0.11 0.067 0.55 0.088 0.79 0.56 0.41 0.18 0.19 0.0056 0.068 0.21 0.019 0.24 0.018 0.64 0.2 0.18 0.32 0.04 0.23 0.094 0.39 20 0.014 0.083 0.026 0.089 0.19 0.37 0.2 0.69 0.24 0.092 0.096 0.84 0.53 0.57 0.2 0.0086 0.0015 0.15 0.16 0.095 0.18 0.5 0.5 0.5 NaN 0.35 0.57 0.21 0.84 0.21 29 0.24 0.29 0.04 0.12 0.19 0.024 0.13 0.093 0.47 0.48 0.15 0.23 0.56 0.21 19 0.025 0.019 0.12 0.23 0.14 0.055 0.19 0.27 0.38 0.89 0.64 0.22 0.68 0.39 0.23 21 0.0084 0.66 0.35 0.81 0.28 0.045 0.00044 NaN 0.00091 0.021 0.25 0.0028 0.79 0.78 0.25 12 0.0043 0.12 0.0081 0.33 0.075 0.63 0.25 0.036 0.54 0.5 0.5 0.24 0.32 0.38 0.28 13 0.0024 0.35 0.79 0.0044 0.38 0.024 0.37 0.034 0.59 0.29 0.85 0.049 0.33 0.035 0.31 27 0.19 0.15 0.16 0.2 0.91 0.42 0.37 0.5 0.47 0.4 0.26 0.35 0.87 0.48 0.39 0.6 0.05 0.79 0.56 0.05 0.078 0.49 0.68 0.047 0.37 0.25 0.88 0.28 0.9 0.43 25 0.42 0.008 0.011 0.09 0.37 6.9e-73 0.5 0.5 0.5 0.19 0.5 0.97 0.9 0.74 0.46 0.26 0.037 0.62 0.15 0.52 0.75 0.53 0.65 0.15 0.075 0.056 0.57 0.52 0.92 0.52 median 0.019 0.068 0.071 0.08 0.095 0.11 0.13 0.18 0.19 0.22 0.26 0.31 0.33 0.48 0.15 Frequency 80 100 120 Histogram of resprob Điểm = Sản phẩm + Buổi thử 0.0 0.2 0.4 0.6 0.8 1.0 Probabilités critiques Đánh giá lực hội đồng Năng lực tổng quát thành viên, khả phân biệt MilkF Crunchy CocoaF Sweetness Melting Caramel Vanilla 16 0.024 0.044 0.001 0.023 0.0078 0.0015 0.002 0.16 28 0.0015 0.086 0.0014 0.013 0.00016 0.04 0.019 0.18 24 0.078 0.021 0.06 0.015 0.024 0.37 0.022 0.032 0.031 0.064 0.081 0.0074 0.0025 0.31 0.022 0.34 17 0.019 0.011 0.13 0.052 0.021 0.0097 0.004 0.008 0.013 0.071 0.018 0.065 0.0041 0.79 0.28 0.54 15 0.065 0.047 0.016 8.3e-05 0.091 0.24 0.005 0.15 23 0.0049 0.065 0.033 0.0027 0.15 0.24 0.013 0.13 22 0.019 0.0049 0.0079 0.14 0.38 0.057 0.003 NaN 11 0.012 0.12 0.11 0.35 0.033 0.027 0.0064 0.041 10 9.4e-05 0.016 0.048 0.069 0.087 0.74 0.068 0.14 0.0065 0.43 0.071 0.011 0.031 0.072 0.13 0.066 14 0.1 0.097 0.1 0.061 0.26 0.11 0.025 0.83 median 0.019 0.068 0.071 0.08 0.095 0.11 0.13 0.18 Bitterness Đánh giá lực hội đồng