PHƯƠNG PHÁP ĐÁNH GIÁ CÁC CHIẾN LƯỢC 3.1 Chi phí và độ chính xác trong việc ra quyết định
3.5.4.Kết quả mô phỏng
3.5.4.1. Chiến lược thực hiện trong các bối cảnh khác nhau.
Bảng 4.2 trình bày độ chính xác tương đối và chi phí cho 10 chiến lược quyết định trong 4 môi trường quyết định được xác định thông qua bối cảnh có yếu tố trọng số phân tán trọng số (thấp hoặc cao) và phương án trội (có hay không có). Các kết quả được lấy trung bình qua các phương án và số lượng thuộc tính.
Các kết quả mô phỏng thể hiện trongBảng 4.2 chỉ ra rằng trong một số môi trường sử dụng chiến lược không chuẩn không chỉ làm giảm chi phí cần thiết để đạt được một quyết định nhưng cũng có thể cung cấp mức độ chính xác tương đương với độ chính xác thu được bởi chiến lược chuẩn. Trong trường hợp này là chiến lược LEX khá tốt, trong đó độ chính xác tương đối đạt 90% với chi phí chỉ bằng 40% chí phí của chiến lược WADD trong môi trường phân tán cao. Ngoài ra, chiến lược EQW cung cấp độ chính xác tương đối là 89% với chi phí ít hơn 50% trong trường hợp độ phân tán trọng số thấp và có mặt phương án trội.
Hầu hết hiệu quả của các chiến lược thay đổi qua các môi trường nhiệm vụ. Trong môi trường độ phân tán thấp (phân tán trọng số), có phương án trội, đơn giả hoá việc xử lý bằng cách bỏ qua trọng số thông tin tạo ra độ chính xác khá cao. Ngược lại, khi độ phân tán trọng số (xác suất) cao hơn, chiến lược LEX bỏ qua tất cả các thông tin giới hạn (ngưỡng) ngoại trừ việc liên kết với thuộc tính đơn có khả năng nhất, là chiến lược chính xác nhất và cơ bản tốt hơn so với chiến lược EQW. Rõ ràng một số chiến lược (ví dụ, MCD và SAT) thực hiện hợp lý trong môi trường có phương án trội, nhưng độ chính xác của các chiến lược đó lại giảm đáng kể khi phương án trội bị loại bỏ.
Trong môi trường độ phân tán thấp và không trội (không có phương án trội) thì chiến lược đơn giản LEX có độ chính xác là 0,67. Độ chính xác đó là 0,22 ít hơn so với độ chính xác cho chiến lược"tốt nhất" trong ba môi trường khác.Điều này cho thấy người ra quyết định trong môi trường như vậy sẽ không thể giảm nhiều chi phí mà không bị tổn
Tóm lại, các chiến lược có thể có độ chính xác cao trong một số môi trường, nhưng cũng không tồn tại Chiến lược cho kết quả tốt trên tất cả các bối cảnh. Điều này cho thấy rằng nếu người ra quyết định muốn đạt sự hợp lý cả về độ chính xác cao và chi phí thấp, người đó sẽ phải sử dụng tất cả thông tin ban đầu của các chiến lược, với lựa chọn phụ thuộc vào tình huống yêu cầu.
Bảng 4.2. Kết quả mô phỏng độ chính xác và chi phí của các chiến lược trong điều kiện không hạn chế thời gian qua 4 môi trường nhiệm vụ.
Nguồn:”Adaptive strategy selection in decision maker” John W.Payne, James R. Bettman, và Eric J. John.
Khả năng cân bằng giữa độ chính xác và chi phí cho các chiến lược khác nhau được là nổi bật trong hình 4.1. Hình đó cho thấy kết quả mô phỏng thực tế từ hai bối cảnh – độ phân tán trọng số thấp, có phương án trội, với độ phân tán trọng số cao, có phương án trội
– trên trung bình số phương án và thuộc tính. Phép đo chi phí cho mỗi chiến lược đã trở thành phép đo tương đối dựa trên tỷ lệ số lượng EIPs yêu cầu của một Chiến lược với số EIPs yêu cầu củachiến lược sử dụng nhiều chi phí nhất (đó là chiến lược WADD). Hình 4.1 minh họa mức độ nhạy cảm của độ chính xác và chi phí đặc trưng cho các chiến lược khác nhau.
Hình 4.1. Cân bằng độ chính xác đối với các chiến lược khác trong điều kiện có phương án trội và ■ Môi trường độ phân tán cao, □ Môi trường độ phân tán thấp.
Nguồn:”Adaptive strategy selection in decision maker” John W.Payne, James R. Bettman, và Eric J. John.
Các mô phỏng không xác định được chiến lược cụ thể mà người ra quyết định sẽ lựa chọn trong môi trường quyết định cho trước.Điều đó sẽ phụ thuộc vào mức độ mà người ra quyết định đã sẵn sàng thương lượng để giảm độ chính xác cho việc tiết kiệm chi phí. Tuy nhiên, có chiến lược chính xác trong từng môi trường với việc tiết kiệm đáng kể chi phí: chiến lược LEX trong điều kiện trọng số phân tán cao và EQW trong điều kiện trong số phân tán thấp. Vì vậy, mô phỏng dự đoán rằng khi có phương án trội, người ra quyết
Hình 4.2 cho thấy sự thay đổi độ chính xác của một số chiến lược trong điều kiện số lượng các phương án (bảng a) hoặc các thuộc tính (bảng b) tăng lên, được tính trung bình qua bốn môi trường phân tán – trội. Lưu ý rằng độ chính xác tương đối ít thay đổi khi số lượng các phương án thay đổi đối với các chiến lược khác nhau. Độ chính xác tương đối nhạy cảm hơn với thay đổi số lượng thuộc tính. Tăng số lượng thuộc tính dẫn đến giảm độ chính xác của các chiến lược EQW, LEX, SAT; Tuy nhiên, độ chính xác lại tăng với chiến lược EBA. Độ chính xác của EBA tăng do phương án cuối cùng được lựa chọn có xu hướng vượt qua giới hạn trên nhiều thuộc tính.
Hình 4.2. Ảnh hưởng của số lượng phương án và thuộc tính lên độ chính xác của chiến lược lựa chọn.
Nguồn: “Understanding contingent choice” John W.Payne, James R.Bettman, và Eric J. John.
Các kết quả trung bình qua bốn môi trường phân tán – trội cho thấy sự khác biệt thú vị giữa những ảnh hưởng của số lượng các phương án và thuộc tính lên độ chính xác. Hơn nữa, để hiểu rõ có thể xem xét những ảnh hưởng của số lượng phương án và thuộc tính trong môi trường quyết định cụ thể. Ví dụ, độ chính xác trung bình của chiến lược EQW chỉ giảm từ 0,93 xuống còn 0,87 nhưng số lượng thuộc tính tăng từ 2 đến 8 lần trong môi trường phân tán thấp – có phương án trội. Tuy nhiên, độ chính xác trung bình
của chiến lược LEX giảm đáng kể từ 0,86 xuống còn 0,55 trong cùng môi trường và điều kiện số lượng thuộc tính tăng.Việc độ chính xác của chiến lược LEX giảm phản ánh một thực tế là chỉ sử dụng thông tin liên quan đến thuộc tính thì độ chính xác sẽ thấp hơn. Ngược lại, tác động của việc tăng số lượng các thuộc tính đối với chiến lược EQW và LEX đảo ngược lại trong môi trường độ phân tán cao – có phương án trội. Độ chính xác trung bình đối với chiến lược EQW giảm từ 0,71 (đối với vấn đề có hai thuộc tính) xuống 0,49 (đối với vấn đề có tám thuộc tính). Chiến lược LEX chỉ giảm từ 0,93 (đối với vấn đề có hai thuộc tính) xuống 0,87 (đối với vấn đề có tám thuộc tính).
Số lượng các phương án cũng có ảnh hưởng về chi phí, như trong hình 4.3a. Điều quan trọng nhất, chi phí cần thiết để sử dụng một chiến lược tăng chậm hơn so với chi phí cần thiết để sử dụng quy luật chuẩn như WADD với điều kiện số lượng các phương án tăng.
Những ảnh hưởng của số lượng thuộc tính về chi phí trong mô phỏng hiển thị trong hình 4.3b. Trong hình 4.3b, ta thấy chi phí cần thiết cho chiến lược WADD tăng nhanh hơn so với chi phí cần thiết đối với các chiến lược khác nhau trong điều kiện số lượng thuộc tính tăng.
Cuối cùng, lưu ý rằng đối với tập các biến được nghiên cứu trong mô phỏng, biến nhiệm vụ và bối cảnh thường như có những ảnh hưởng tương đối khác nhau đối với độ chính xác và chi phí của chiến lược. Nhìn chung, mức độ chi phí của rất nhiều chiến lược về cơ bản là giống nhau qua những thay đổi trong độ phân tán trọng số (xác suất) và trong điều kiện có phương án trội. Ngược lại, biến bối cảnh thay đổi có ảnh hưởng đáng kể đến độ chính xác tương đối của chiến lược. Mặt khác, nói chung chi phí của các chiến lược bị ảnh hưởng bởi các biến yêu cầu, trong khi độ chính xác thì ít chịu ảnh hưởng.
Hình 4.3. Ảnh hưởng của số lượng phương án và thuộc tính lên số lượng trung bình phép toán của chiến lược.
Nguồn: “Understanding contingent choice” John W.Payne, James R.Bettman, và Eric J. John.
Nhìn chung, mô phỏng cho thấy biến nhiệm vụ có xu hướng ảnh hưởng nhiều hơn đối với chi phí trong khi biến bối cảnh có xu hướng ảnh hưởng nhiều hơn đối với độ chính xác.
3.5.4.3. Loại bỏ giả thiết về chi phí bằng nhau đối với tất cả EIPs.
Các kết quả mô phỏng cho đến nay dựa trên giả thiết tất cả các EIPs mất cùng khối lượng thời gian thực hiện. Tuy nhiên, một số EIPs có thể phức tạp hơn (ví dụ, PRODUCT).Để kiểm tra những ảnh hưởng có thể của các trọng số chi phí khác nhau đối với các EIPs khác nhau, Các mô phỏng thực hiện với ước lượng thời gian như sau cho EIPs (lấy từ Bettman, 1990):
Phép toán Thời gian
READ and MOVE 1,19s
ADDITION 0,84s
DIFFERENCE 0,32s
PRODUCT 2,23s (adsbygoogle = window.adsbygoogle || []).push({});
COMPARE 0,20s
ELIMINATE 0,39s
Kết quả dưới điều kiện hạn chế về thời gian. Trong mô phỏng này, một tập ba phần tử về giới hạn thời gian được kiểm tra (LTP – hạn chế thấp, MTP – hạn chế trung bình, và STP – hạn chế lớn). Trước tiên, em kiểm tra việc thực hiện các chiến lược khác nhau trong bốn môi trường nhiệm vụ độ phân tán – trội khác nhau. Sau đó, các kết quả chi tiết ảnh hưởng đến kích thước của vấn đề lực chọn được xem xét. Cuối cùng, xem xét chi tiết các ảnh hưởng của việc loại bỏ giả thiết rằng các EIPs mất cùng khối lượng chi phí thời gian.
Như kết quả thể hiện trong Bảng 4.3, rõ ràng các ràng về thời gian có ảnh hưởng khác nhau đối với các chiến lược khác nhau. Ví dụ, đối với chiến lược WADD độ chính xác giảm đáng kể từ giá trị giới hạn 1,0 trong điều kiện không hạn chế thời gian xuống độ chính xác trung bình chỉ còn 0,12 trong điều kiện hạn chế lớn về thời gian trong môi trường không có phương án trội – độ phân tán thấp. Ngược lại, chiến lược EBA cho thấy ít chịu ảnh hưởng bởi điều kiện hạn chế thời gian. Chiến lược EBA thực sự là chiến lược quyết định chính xác nhất trong ba môi trường hạn chế lớn về thời gian. Một kết quả từ mô phỏng trong điều kiện bao gồm cả hạn chế thời gian và không hạn chế thời gian thì chiến lược EBA có độ chính xác cao nhất qua nhiều môi trường khác nhau. Một chiến lược khác cũng có độ chính xác ổn định cao dưới điều kiện hạn chế thời gian là chiến lược đơn giản LEX. Dường như các chiến lược như EBA và LEX đều bao gồm quá trình xử lý ban đầu tất cả các phương án sử dụng giới hạn tập các thuộc tính, thực hiện tốt dưới
Bảng 4.3. kết quả mô phỏng độ chính xác của các chiến lược dưới điều kiện có hạn chế thời gian qua các môi trường nhiệm vụ khác nhau
Nguồn: ”Adaptive strategy selection in decision maker” John W.Payne, James R. Bettman, và Eric J. John.
3.5.4.4. Ảnh hưởng của hạn chế thời gian kết hợp với kích thước vấn đề.
Tăng cả hạn chế thời gian và kích thước vấn đề lớn có thể được nghĩ như là cách để tăng mức độ khó khăn hay phức tạp của vấn đề quyết định. Bảng 4.4 cho thấy độ chính xác tương đối đối với một số chiến lược trong điều kiện kết hợp MTP và STP với MPS (5 phương án và 5 thuộc tính) và LPS (8 phương án và tám thuộc tính). Chỉ xem xét độ chính xác bởi vì số lượng EIP được giới hạn bởi điều kiện hạn chế thời gian.
Bảng 4.4.Những ảnh hưởng của hạn chế thời gian và kích thước vấn đề lựa chọn đối với độ chính xác trung bình của chiến lược.
Lưu ý: Độ tin cậy là 95% và sai số của độ chính xác là 1,3%.
Nguồn: “Understanding contingent choice: A computer simulation approach,” John W. Payne, Eric J. Johnson. James R. Bettman, and Eloise Coupey, IEEE Transactions on Systems, Man, and Cybernetics.
Bảng 4.4 cho thấy hạn chế thời gian và kích thước vấn đề có ảnh hưởng khác nhau đến độ chính xác của các chiến lược khác nhau. Dưới điều kiện trung bình cả về hạn chế thời gian và kích thước vấn đề, các chiến lược WADD, EQW, LEX, và EBA có độ chính xác khá cao.Các chiến lược LEX và EBA vẫn có độ chính xác cao, đặc biệt là chiến lược LEX. Trong môi trường STP - LPS, hạn chế thời gian lớn và kích thước vấn đề lớn, chỉ có EBA là chiến lược duy trì mức độ chính xác hợp lý. Do đó, EBA là chiến lược mạnh nhất trong môi trường STP - LPS. Đối với các môi trường ngoài môi trường STP - LPS, chiến lược LEX có độ chính xác khá cao.
Bảng 4.5. Kết quả mô phỏng với thành phần EIPs có chi phí thời gian khác nhau đối với độ chính xác của các chiến lược dưới điều kiện STP cho các môi trường nhiệm vụ khác nhau.
Lưu ý: Độ tin cậy khoảng 95% và sai số của độ chính xác là 0,41. Dấu “ * ” thể hiện chiến lược có độ chính xác cao nhất trong mỗi môi trường.
Nguồn: “Understanding contingent choice: A computer simulation approach,” John W. Payne, Eric J. Johnson, James R. Bettman and Eloise Coupey, IEEE Transactions on Systems. Man, and Cybernetics.
Trong khi, chiến lược EBA vẫn có độ chính xác cao, nhưng độ chính xác của LEX bây giờ đã vượt qua độ chính xác của chiến lược EBA. Trong điều kiện này, chiến lược LEX có độ chính xác cao nhất trong ba môi trường (trừ môi trường có phương án trội – độ phân tán thấp). Tuy nhiên, các chiến lược xử lý ban đầu tất cả các phương án sử dụng giới hạn các thuộc tính (như EBA và LEX) thường thực hiện tốt dưới điều kiện hạn chế thời gian cao.
Bảng 4.6. Những ảnh hưởng của hạn chế thời gian và kích thước của vấn đề đối với độ chính xác tương đối trung bìnhcủa các chiến lược trong điều kiện mô phỏng các EIPs có chi phí thực hiện khác nhau.
Lưu ý: Độ tin cậy khoảng 95% và sai số của độ chính xác là 4,1%.
a: 5 phương án và 5 thuộc tính.
b: 8 phương án và 8 thuộc tính.
Nguồn: Understanding contingent choice: A computer simulation approach.’ John W. Payne, Eric 3. Johnson, James R. Bettman, and Eloise Coupey. IEEE Transactions on Systems. Man, and Cybernetics.
Các kết quả trình bày trong bảng 4.6 cung cấp cách hiểu sâu hơn vào việc cải thiện thực hiện của chiến lược LEX. Trong khi, chiến lược LEX cho thấy sự sụt giảm lớn độ chính xác trong môi trường hạn chế thời gian cao và kích thước vấn đề lớn dưới điều kiện các EIPs có cùng mức độ chi phí, thì độ chính xác của chiến lược LEX vẫn ở mức cao trong môi trường hạn chế thời gian cao và kích thước vấn đề lớn dưới điều kiện các EIPs không có cùng mức độ chi phí. Các chiến lược LEX và EBA thực hiện tốt đối với cả bốn môi trường(hạn chế thời gian – kích thước vấn đề). Trong khi các chiến lược khác cho thấy độ chính xác giảm trong môi trường hoặc hạn chế thời gian tăng hoặc kích thước vấn đề tăng.