ĐỒ ÁN CÔNG NGHỆ THỰC PHẨM PHƯƠNG PHÁP REPERTORY GRID VÀ ỨNG DỤNG TRONG ĐÁNH GIÁ CẢM QUAN

Phương pháp Repertory Grid Về cơ bản, repertory grid sẽ bao gồm một chuỗi các yếu tố elements đại diện cho nội dung của lĩnh vực cần nghiên cứu, một chuỗi các kiến lập constructs là các

1.Giới thiệu chung 2

2.Phương pháp Repertory Grid 2

2.1.Lựa chọn yếu tố 3

2.2.Rút ra những kiến lập 7

2.2.1.Các phương pháp 7

2.2.2.Một số lưu ý khi thực hiện 12

2.3.Liên kết các yếu tố và kiến lập 14

2.4.Phân tích dữ liệu 15

2.4.1.Phân tích một lưới dữ liệu 15

2.4.2.Phân tích nhiều lưới dữ liệu 19

3.Ứng dụng trong đánh giá cảm quan 22

3.1.Mô tả các thuộc tính của bao bì phomai dựa trên một bản từ vựng đồng thuận 23

3.2.Một tài liệu về phương pháp Repertory Grid để đánh giá sự chấp nhận của người tiêu dùng Úc về sản phẩm thực phẩm sản xuất theo công nghệ mới 24

3.3.Sử dụng phương pháp Repertory Grid và mô tả lựa chọn tự do để đánh giá tính chất cảm quan của các món tráng miệng vani – sữa 27

3.4.Cảm nhận về bánh mì: So sánh giữa người tiêu dùng và người thử đã qua huấn luyện 28

3.5.Cảm nhận của người tiêu dùng Argentina đối với thực phẩm biến đổi gen 29

4.Kết luận 31

Tài liệu tham khảo 32

Lê Thị Ngọc Hương 2

1 Giới thiệu chung

Repertory Grid (RepGrid) hay phương pháp lưới thông tin repertory Grid là một công cụ dùng để nắm bắt cấu trúc và chiều hướng của suy nghĩ Mục đích của nó là mô tả cách mà con người đưa ra suy nghĩ từ những kinh nghiệm trong cuộc sống của họ Cách thức mà chúng

ta tìm hiểu và diễn tả thế giới xung quanh, về bản thân chúng ta và mọi người được phát triển từ những kinh nghiệm mà chúng ta đã xây dựng trong cuộc sống

George A.Kelly đã phát triển kỹ thuật Repertory Grid như là một công cụ để đưa ra những kiến lập cá nhân (personal construct) Kỹ thuật này bắt nguồn từ thuyết “Kiến lập cá

nhân” (Personal Construct Theory – PCT) của Kelly (1955) Kelly nhận thấy con người

như một nhà khoa học có thể tự mình tạo ra những giả thuyết về một vấn đề để từ đó đơn giản hoá nó đi trong việc hiểu và diễn đạt Những giả thuyết ấy được coi như là những kiến lập cá nhân (personal construct) có tính chất lưỡng cực, cụ thể như ta sẽ thấy hai sự việc nào đó (con người, đồ vật, sự kiện…) là tương tự nhau và đối lập với một sự việc thứ

ba nào đó RepGrid là công cụ giúp ta có thể khơi gợi lên tất cả các kiến lập (construct) cũng như khám phá cấu trúc và các mối liên hệ giữa các kiến lập này

Trong đánh giá cảm quan, RepGrid được coi như một mô tả lựa chọn tự do có cấu trúc hơn, là cách lấy ra các thuật ngữ từ người thử thông qua một loạt phép so sánh giữa các nhóm đối tượng Nó giúp giải quyết sự khó khăn trong việc đưa ra thuật ngữ cảm quan đối với những người thử thiếu kinh nghiệm cũng như giảm chi phí và thời gian trong việc huấn luyện hội đồng Vì những ưu điểm trên nên những năm gần đây, RepGrid đã được ứng dụng trong một số đề tài nghiên cứu về phân tích cảm quan như nghiên cứu cảm nhận của người tiêu dùng về thực phẩm biến đổi gen (Andrea và Guillermo, 2004), sữa (Monique và Richard , 1991-1992), mô tả thuộc tính của bao bì phomát Cheddar (Frances,

John và Alistair ,1994; Jane và Conor, 1999), cảm nhận về bánh mì của người tiêu

dùng(Margrethe, Raymond, Frank và Magni, 2005), nước quả madarin (L Carbonell, L Izquierdo và I Carbonell, 2006), cảm nhận của người trung niên về thịt (C.G Russell và D.N Cox, 2003), cảm nhận của người tiêu dùng về món tráng miệng “natillas” (Luis và Elvira, 2005), cảm nhận của người tiêu dùng về thực phẩm được chế biến theo công nghê

mới (C.G Russell và D.N Cox, 2004), yaourt (V.P Tu, D Valentin, F Husson , A Sutan ,

D.T Ha và C Dacremont, 2007 ), chocolate (McEwan và Thomson;1998), sự ưa thích và cảm nhận của trẻ em về các loại rau củ (Irene, Monika và John, 2000)

Bài báo cáo này sẽ cung cấp một cái nhìn khái quát về phương pháp RepGrid, các cách thực hiện cũng như ứng dụng trong cảm quan của phương pháp này

2 Phương pháp Repertory Grid

Về cơ bản, repertory grid sẽ bao gồm một chuỗi các yếu tố (elements) đại diện cho nội dung của lĩnh vực cần nghiên cứu, một chuỗi các kiến lập (constructs) là các sự giống nhau hay không giống nhau có thể xảy ra giữa các yếu tố, và hệ thống liên kết yếu tố với các kiến lập sẽ đánh giá các yếu tố dựa trên sự sắp xếp lưỡng cực của mỗi kiến lập Trong

Lê Thị Ngọc Hương 3

phân tích cảm quan yếu tố (element) chính là mẫu thử, sản phẩm mà ta cần phân tích, các kiến lập (construct) chính là những thuật ngữ mô tả của người thử

RepGrid được thực hiện theo các bước: lựa chọn yếu tố, rút ra các kiến lập, liên kết các yếu tố, kiến lập và phân tích dữ liệu Lựa chọn yếu tố là chọn ra các đối tượng đại diện cho nội dung của lĩnh vực cần nghiên cứu Trong bước rút ra các kiến lập ta sẽ giới thiệu cho người thử các yếu tố và yêu cầu họ so sánh các yếu tố với nhau từ đó người phỏng vấn sẽ rút ra được các kiến lập Liên kết yếu tố với kiến lập chính là việc yêu cầu người thử đánh giá yếu tố dựa trên sự sắp xếp lưỡng cực của mỗi kiến lập, sau bước này ta sẽ thu được các bảng đánh giá hay lưới dữ liệu (grid) Cuối cùng các lưới dữ liệu này sẽ được phân tích thông qua các công cụ thống kê để thu được kết quả mà ta mong muốn

2.1 Lựa chọn yếu tố

Yếu tố có thể là con người, sự vật, sự kiện, hoạt động phụ thuộc vào lĩnh vực mà đối tượng nghiên cứu cần được phân tích, đánh giá Có hai cách để lựa chọn yếu tố Cách thứ nhất là nhà nghiên cứu sẽ đưa ra những yếu tố Cách thứ hai là yêu cầu người tham gia đưa ra những yếu tố

Có một số lý do cho rằng nên để nhà nghiên cứu đưa ra yếu tố (Reger,1990) Thứ nhất, nhà nghiên cứu có thể dựa vào một số nguyên tắc và cơ sở khoa học để lựa chọn yếu tố Thứ hai là từ việc so sánh những câu trả lời từ người tham gia mà nhà nghiên cứu có thể đưa ra một tập hợp các yếu tố chuẩn Lý do này đặc biệt quan trọng nếu nhà nghiên cứu muốn so sánh những kết quả thu được từ những người thử trong cùng một nhóm hay giữa những nhóm khác nhau Tuy nhiên trong cách thứ hai do người tham gia tự đưa ra những yếu tố cho mình nên có thể họ sẽ dễ dàng hơn trong việc rút ra kiến lập cũng như đánh giá các yếu tố đó

Sau đây là một số nguyên tắc trong việc lựa chọn hay suy luận ra những yếu tố (Stewart and Stewart, 1981) Thứ nhất, các yếu tố phải riêng biệt với nhau để không gây sự nhầm lẫn đối với người tham gia Thứ hai, yếu tố phải tương đồng với nhau, có nghĩa là các yếu tố phải nằm trong một lĩnh vực Thứ ba, yếu tố không mang tính đánh giá (Stewart and Stewart, 1981) Ví dụ, những từ mang tính đánh giá như nhiệt tình, khả năng lãnh đạo, kiến thức và giao tiếp thường được sử dụng một cách sai lầm để gợi ra phẩm chất của một người quản lý giỏi, thay vì sử dụng tên của những người quản lý khác nhau Tuy nhiên trong đánh giá cảm quan các yếu tố thường được giới thiệu dưới dạng vô danh và được mã hóa nên ba nguyên tắc trên luôn được đảm bảo Cuối cùng, yếu tố phải mang tính đại diện trong phạm vi nghiên cứu, (Beail, 1985; Easterby-Smith, 1980) Nhà nghiên cứu phải đảm bảo rằng tất cả những người tham gia đều liên quan đến yếu tố được chọn Trong cảm quan điều này có nghĩa là người tham gia phải từng sử dụng các sản phẩm đang nghiên cứu

Trong phân tích cảm quan thì các yếu tố chính là các mẫu thử, các sản phẩm ta cần đánh giá Các yếu tố thường đưa ra bởi nhà nghiên cứu và thỏa mãn các yêu cầu nêu trên Ngoài ra, trong phân tích cảm quan ta còn quan tâm đến dạng trình bày của yếu tố vì điều

Lê Thị Ngọc Hương 4

này ảnh hưởng rất lớn trong việc lập kế hoạch cũng như tiến hành thí nghiệm Các dạng yếu tố có thể sử dụng là thực phẩm, hình ảnh của sản phẩm hay là bản giới thiệu

Yếu tố là thực phẩm là dạng phổ biến nhất trong phân tích cảm quan Đối với mẫu thử dạng này ta cần quan tâm đến hình thức bên ngoài của mẫu, kích thước, kiểu dáng và nhiệt độ giới thiệu mẫu, dụng cụ chứa mẫu, bao nhiêu mẫu có thể được thử trong một buổi thử, liệu người thử có phải thanh vị giữa các lần thử hay không, các mẫu sẽ được nuốt hay nhổ ra… Ngoài ra cần phải đảm bảo tính vô danh giữ các mẫu bằng cách mã hóa mẫu

Trong nghiên cứu của Luis và Elvira (2005) về đánh giá tính chất cảm quan của các món tráng miệng vani – sữa, hai ông đã thực hiện RepGrid trên 8 sản phẩm có mặt trên thị trường Tây Ban Nha được mua từ các siêu thị 5 mẫu có thành phần bao gồm tinh bột và các phụ gia tạo cấu trúc như chất tạo đặc và 3 mẫu còn lại có chứa trứng Mẫu thử được bảo quản trong tủ lạnh ở nhiệt độ 4  1oC trước khi tiến hành thí nghiệm, và các mẫu thử đều còn nằm trong hạn sử dụng , thường là 2 đến 8 tuần

Bảng 1: Thành phần của 8 mẫu thử Mẫu Thành phần chính Chất tạo cấu trúc Chất tạo màu

1 Sữa nguyên, lòng đỏ trứng, kem Bột bắp Tartrazine, cochineal-red A

2 Sữa nguyên, bột sữa gầy, kem, jelly Tinh bột biến tính Tartrazine, cochineal-red A

3 Sữa nguyên, kem Carrageenan, tinh bột biến tính Tartrazine, orange-yellow S

4 Sữa nguyên, lòng đỏ trừng, kem

Carrageenan, bean gum, guar gum, pectin, tinh bột biến tính, tinh bột

locust-Tartrazine, orange-yellow S

5 Sữa nguyên, sữa gầy, trứng

Carrageenan, bean gum, guar gum, pectin, tinh bột biến tính, tinh bột

locust-Tartrazine, cochineal-red A

6 Sữa bán gầy Carrageenan, xantham gum, tinh bột biến tính Tartrazine, cochineal-red A

7 Sữa nguyên Carrageenan, xantham gum, tinh bột biến tính Annatto, curcumin

8 Sữa bột nguyên

kem, một phần bột

Carrageenan, guar gum, tinh bột biến tính Mixed carotenes

Lê Thị Ngọc Hương 5

sữa gầy, kem

Mẫu thử được đựng trong những chén nhựa màu trắng với thể tích 30ml được lấy trực tiếp từ tủ lạnh ở nhiệt độ 5  1oC, và được mã hóa bởi ba chữ số ngẫu nhiên, Các mẫu được đánh giá liên tục và khoảng thời gian nghỉ giữa hai mẫu liên tiếp là 30s Đối với mỗi mẫu thì những thuộc tính về hình thức bên ngoài sẽ được đánh giá trước, sau đó ngưới thử sẽ được yêu cầu đánh giá mùi vị bằng cách nhấp một ngụm và cuối cùng là đánh giá về cấu trúc với ngụm thứ hai Nước thanh vị sẽ được cung cấp giữa các lần thử mẫu

Đối với yếu tố được trình bày dưới dạng hình ảnh thì việc chuẩn bị mẫu sẽ trở nên rất đơn giản Theo Irene, Monika và John (2000) thì quá trình chuẩn bị mẫu cũng như cách thức thử mẫu sẽ ảnh hưởng rất lớn đến cảm nhận của người thử đến mẫu thử Ví dụ như người thử không có kinh nghiệm trong việc thử mẫu hoặc họ không thích thử mẫu

Trong nghiên cứu về cảm nhận và sự ưa thích của trẻ em vùng tây Scotland về rau củ, Irene, Monika và John (2000) đã trình bày mẫu dưới dạng hình ảnh Tám loại rau củ thường được sử dụng nhất ở Scotland được chọn để nghiên cứu bao gồm đậu trắng, carrot, cà chua, đậu Hà Lan, bắp non, bắp cải, súp lơ, củ cải Trong đó cà chua, carrot, súp lơ và củ cải ở dạng tươi chưa qua chế biến, còn đậu trắng, bắp non ở dạng đóng hộp và đậu Hà Lan ở dạng lạnh đông Các sản phẩm này được giới thiệu với người thử qua hình ảnh, không nếm mẫu Do người thử trong nghiên cứu này là trẻ từ 8 đến 10 tuổi nên việc đánh giá qua hình ảnh sẽ dễ dàng được sự đồng ý của nhà trường cũng như phụ huynh để các em tham gia thí nghiệm hơn là đánh giá qua việc thử mẫu Ngoài ra những vấn đề như bảo quản mẫu, vận chuyển mẫu đến nơi thí nghiệm cũng được loại bỏ và sự tiêu chuẩn hóa các mẫu giữa những người thử cũng được đảm bảo Và một yếu tố quan trọng nhất trong việc sử dụng hình ảnh để đánh giá là trẻ sẽ hợp tác một cách nhiệt tình hơn nếu chúng biết rằng sẽ không phải ăn bất cứ thứ gì chúng không thích

Russel và Cox (2004) trong nghiên cứu về cảm nhận của người trung niên về thịt cũng giới thiệu mẫu dưới dạng hình ảnh 14 mẫu thịt trắng và đỏ từ nhiều loại thịt khác nhau trên thị trường Úc được chọn Các mẫu sẽ được chụp hình lại và được giới thiệu trên màn hình máy tính (kích thước mỗi tấm hình là 5.47 – 6.5 cm) Trong mỗi tấm hình mẫu thịt sẽ được nấu chín tới, được đặt trên một dĩa màu trắng với nền màu đen

Cuối cùng đối với yếu tố ở dạng bản giới thiệu, yêu cầu của các bản này là phải rõ ràng và dễ hiểu đối với người thử

Bảng 2: Các loại thịt

Lê Thị Ngọc Hương 6

Trong nghiên cứu về cảm nhận của người tiêu dùng Argentina đối với thực phẩm biến đổi gen của Andrea Mucci, Guillermo Hough (2003) các tác giả này đã đưa ra các bước xây dựng một bản giới thiệu:

a Phân tích các bản giới thiệu đã được sử dụng bởi những nhà nghiên cứu khác trong lĩnh vực thực phẩm biến đổi gen hoặc các cuộc nhiên cứu về sinh học

b Một nhóm người tiêu dùng định hướng được sử dụng để khám phá những ngôn ngữ tự nhiên

c Xác định những đối tượng phù hợp với cuộc nghiên cứu Các bản giới thiệu này sẽ được kiểm tra lại với 5 người thử bằng phương pháp RepGrid

Những người thử trong nhóm định hướng và tham gia test RepGrid trên sẽ không được tham gia vào test RepGrid cuối cùng

Các bản giới thiệu

A Sản phẩm biến đổi gen với mục đích hạ giá thành sản phẩm Ví dụ, thịt gà

bình thường có giá $1.70/kg trong khi thịt gà biến đổi gen có giá $1.10/kg

B Rau trái biến đổi gen với mục đích có thể tiêu thụ quanh năm Ví dụ, cà chua

và dâu có thể ăn vào mùa động, và bắp có vào mùa đông và màu xuân

C Thực phẩm có nguồn gốc từ thực vật ( cà chua, gạo, đậu nành…) được biến

đổi gen nhằm mục đích nâng cao giá trị dinh dưỡng như tăng hàm lương vitamin, tăng khả năng tiêu hóa Ví dụ, gạo bình thường không chứa vitamin A, gạo biến đổi gen có chứa một lượng vitamin A cần thiết cho nhu cầu hàng ngày

D Thực phẩm có nguồn gốc từ động vật (thịt heo, thịt cừu, thịt bê, thịt gà, cá…)

biến đổi gen để tăng gái trị dinh dưỡng như hàm lượng béo thấp, chứa protein dễ tiêu hóa Ví dụ, thịt heo chứa hàm lượng chất béo và cholesterol cao, đối với thịt heo biến đổi gen thì hàm lượng này giảm đi một nửa

E Các sản phẩm như yourt, bia, rượu, xúc xích khô… qua quá trình lên men,

thực hiện biến đổi gen các vi khuẩn lên men để tăng các tính an toàn, dinh dưỡng

Ví dụ, sử dụng các vi sinh vật biến đổi gen trong một số loại xúc xích khô thay cho việc sử dụng háo chất bảo quản

F Biến đổi gen thực phẩm có nguồn gốc từ thực vật để cải thiện hình thức, mùi

vị và cấu trúc của chúng Ví dụ, cam biến đổi gen ngọt hơn, nhiều múi hơn và ít hạt hơn

G Thực phẩm có nguồn gốc từ động vật được biến đổi gen để cải thiện hình

thức, mùi vị và cấu trúc của chúng Ví dụ, các phần thịt dai cứng sẽ mềm hơn nếu tiến hành biến đổi gen đối với vật nuôi

H Các sản phẩm như yaourt, bia, rượu, xúc xích khô… qua quá trình lên men,

thực hiện biến đổi gen các vi khuẩn lên men để cải thiện hình thức, mùi vị và cấu trúc của các sản phẩm trên Ví dụ, rượu làm từ vi khuẩn biến đổi gen có mùi vị trái cây nhiều hơn

Lê Thị Ngọc Hương 7

I Chính phủ quyết định rằng không có mối nguy nào trong việc sản xuất cũng

như tiêu thụ các sản phẩm biến đổi gen và các sản phẩm này được bán mà không cần dán nhãn đặc biệt

J Thực phẩm biến đổi gen được dán nhãn hoặc có một biểu tượng đặc biệt, sau

đó được đưa đến tay người tiêu dùng

K Trong một số trường hợp thực phẩm biến đổi gen tác động xấu sức khỏe như

gây dị ứng, vấn đề về tiêu hóa hoặc kháng lại thuốc kháng sinh

L Nếu các cây trồng bị biến đổi gen không được kiểm soát, thì chúng sẽ là

nguồn gốc gây ra những biến đổi sinh thái

M Theo tổ chức y tế Argentine thì thực phẩm biến đổi gen không có bất cứ một

tác động xấu nào đế sức khỏe cũng như môi trường

N Theo tổ chức y tế thế giới thì thực phẩm biến đổi gen không có bất cứ một

tác động xấu nào đế sức khỏe cũng như môi trường

Melanie Mireaux, David N Cox , Amy Cotton, Greg Evans (2007), cũng sử dụng các bản giới thiệu để đánh giá sự chấp nhận của người tiêu dùng Úc về sản phẩm thực phẩm sản xuất theo công nghệ mới

2.2 Rút ra những kiến lập

2.2.1 Các phương pháp

Có rất nhiều phương pháp để rút ra các kiến lập từ người thử

Cách thứ nhất, nhà nghiên cứu sẽ cung cấp những kiến lập cho người thử Điều

này giúp cho việc đưa ra kiến lập được rút ngắn, tuy nhiên vì những kiến lập này do nhà nghiên cứu đưa ra nên phần nào mang tính chủ quan, và việc cung cấp này sẽ làm giảm khả năng tìm tòi của người thử do vậy trong cảm quan thì việc đưa ra các kiến lập này chưa được thực hiện

Cách thứ hai là những kiến lập được rút ra từ những “mẫu không đầy đủ”

(minimum context form) , nghĩa là tất cả yếu tố không được giới thiệu cùng một lúc mà được giới thiệu nhiều lần và mỗi lần ta chỉ giới thiệu một hai hay ba yếu tố Phương pháp này bao gồm: kiểu bộ ba yếu tố, bộ hai yếu tố và một yếu tố

Khơi gợi các kiến lập bằng cách sử dụng bộ ba yếu tố (trial of elements): phương pháp này

được bắt nguồn từ Kelly Ba yếu tố sẽ được trình bày và người tham gia được yêu cầu trả lời câu hỏi: “hai trong ba yếu tố nào giống nhau? Tại sao chúng giống nhau nhưng lại khác yếu tố thứ ba và yếu tố thứ ba khác như thế nào so với hai yếu tố cùng loại?” Việc xác định những sự khác biệt và tương đồng là để đưa ra những kiến lập trái ngược nhau Quá trình này được lặp lại cho đến khi người nghiên cứu cảm thấy thỏa mãn với những kiến lập đã được xác định Nhà nghiên cứu có thể để người tham gia tự do đưa ra bất cứ kiến lập nào Mặt khác, người nghiên cứu có thể đưa ra một ngữ cảnh để tập trung sự chú ý của người tham gia vào một vấn đề nào đó, ví dụ trong phân tích cảm quan ta có thể yêu cầu

Lê Thị Ngọc Hương 8

người thử chỉ tập trung vào những tính chất cảm quan như mùi vị, cấu trúc Trong cảm quan ngoài cách đặt câu hỏi mà Kelly đã nêu ra ở trên ta còn có thể yêu cầu người thử sắp xếp theo mức độ ưa thích (Cox và Russel, 2004)hoặc quan tâm (Andrea và Guillermo, 2003)và giải thích lý do

Một vấn đề được đặt ra là sẽ có bao nhiêu bộ ba được giới thiệu và thứ tự trình bày của các bộ ba này Nghiên cứu cho thấy rằng chỉ cần từ bảy đến mười bộ ba là đủ để gợi ra tất cả kiến lập của người tham gia trong tất cả các lĩnh vực (Reger, 1990) Có nhiều cách trình bày các bộ ba:

 Các bộ ba mẫu được tạo ra một cách ngẫu nhiên từ tập hợp mẫu trong mỗi lần giới thiệu

 Các bộ ba được giới thiệu liên tục bằng cách chỉ thay đổi một yếu tố tại một thời điểm Theo cách đó, bộ ba thứ nhất sẽ bao gồm yếu tố A, B và C; thứ hai là B, C và D; thứ ba là C, D và E … cho đến khi tất cả yếu tố đều được giới thiệu

 Bộ ba thứ nhất được tạo ra một cách ngẫu nhiên từ tập hợp mẫu.Bộ ba thứ hai bao gồm một mẫu được chọn một cách ngẫu nhiên từ bộ ba thứ nhất và hai mẫu còn lại cũng được rút ra ngẫu nhiên từ tập hợp mẫu còn lại (đã loại trừ ba mẫu của bộ ba thứ nhất) Mẫu giống nhau giữa hai bộ ba đầu tiên bị loại bỏ, một trong hai mẫu còn lại trong bộ ba thứ hai sẽ được giữ lại trong bộ ba thứ ba, hai mẫu còn lại của bộ ba này được rút ra ngẫu nhiên từ tập hợp mẫu còn lại (đã loại trừ ba mẫu của bộ ba thứ hai) Ví dụ ta có 8 mẫu, bộ ba thứ nhất sẽ là 4, 3, 8; thứ hai là 6, 7, 3; thứ ba là 5, 2, 6; thứ tư là 7, 5, 1; thứ năm là 1, 2, 8… (Jane và Conor, 1999)

Kelly đề nghị các bộ ba nên được giới thiệu liên tục bằng cách chỉ thay đổi một yếu tố tại một thời điểm Để kết quả thu được chính xác thể hiện được mối quan hệ giữa các kiến lập và cá nhân đối tượng thì trong mỗi bộ ba trình bày nên giữ lại ít nhất một yếu tố không thay đổi

Đây là phương pháp được áp dụng trong nhiều nghiên cứu cảm quan như phân tích thực phẩm biến đổi gen (Andrea và Guillermo, 2004), sữa (Monique và Richard , 1991-

1992), phomát Cheddar (Frances, John và Alistair ,1994; Jane và Conor, 1999), thịt (C.G

Russell và D.N Cox, 2003), món tráng miệng “natillas” (Luis và Elvira, 2005), thực phẩm biến đổi gen (Andrea Mucci, Guillermo Hough; 2003), chocolate (McEwan và Thomson;1998) Trong nghiên cứu về bao bì phomai của mình, Jane và Conor (1999) đã lập các bộ ba từ 8 mẫu (bảng 3) và 12 mẫu phomai (bảng 5) theo cách thứ ba đã nêu ở trên Từ 8 mẫu phomai tác giả lập thành 5 bộ ba ( bảng 4) , 12 mẫu lập được 8 bộ ba (bảng 6) và mỗi bộ ba sẽ có 4 trật tự trình bày mẫu nhằm giảm sai sót dự đoán (người thử có thể biết được trình tự được giới thiệu) và sự trao đổi giữa những người thử Người thử thứ nhất sẽ được phỏng vấn với nhóm bộ ba thứ nhất, người thử thứ hai với nhóm bộ ba thứ 2 … Trong buổi phỏng vấn này người thử được giới thiệu bộ ba thứ nhất và được yêu cầu chọn hai trong ba mẫu thử một cách tùy ý Sau đó họ sẽ mô tả những điểm giống nhau về bao bì

Lê Thị Ngọc Hương 9

Bảng 3: Các loại phomai

giữa hai mẫu và chúng khác như thế nào đối với với mẫu thứ ba Khi người thử không thể đưa ra những thuật ngữ mới về bao bì phomai thì họ sẽ được giới thiệu bộ ba tiếp theo và quá trình trên sẽ được lặp lại

Bảng 4: Các bộ ba được giới thiệu

Bảng 5: Các loại phomai

Lê Thị Ngọc Hương 10

Tương tự trong nghiên cứu về cảm nhận của người tiêu dùng Argentina đối với thực phẩm biến đổi gen của Andrea Mucci, Guillermo Hough (2003), các tác giả đã tổ hợp được 10 bộ ba từ 14 bản giới thiệu về các sản phẩm biến đổi gen (đã được trình bày ở phần

lựa chọn yếu tố) ) Bộ ba đầu tiên bao gồm ba bản giới thiệu được chọn ngẫu nhiên từ 14

bản ( ví dụ D, B và G) Bộ ba thứ hai bao gồm một bản được lấy ngẫu nhiên từ bộ thứ nhất (ví dụ là B), hai bản còn lại được chọn ngẫu nhiên từ 11 bản còn lại (14 – 3= 11) (ví dụ là I và M) Bản giới thiệu giống nhau giữa hai bộ ba đầu tiên bị loại bỏ (bản B), một trong hai bản còn lại ( I và M) trong bộ ba thứ hai sẽ được giữ lại trong bộ ba thứ ba, hai mẫu còn lại của bộ ba này được rút ra ngẫu nhiên từ tập hợp mẫu còn lại Cứ tiếp tục như thế cho đến khi tất cả các bộ ba được hoàn tất Mỗi người thử sẽ được giới thiệu lần lượt các bộ ba bản giới thiệu được in lên những tấm card và chọn ngẫu nhiên từ bảng 7 Với mỗi bộ ba, người thử phải trả lời các câu hỏi “trong ba bản giới thiệu, bạn quan tâm đến bản nào nhất và tại sao?” và “trong ba bản giới thiệu, bạn ít quan tâm đến bản nào nhất và tại sao?”

Trong nghiên cứu về cảm nhận của người trung niên về thịt của Cox và Russel (2004), người thử sẽ được giới thiệu lần lượt 7 bộ ba mẫu từ 14 mẫu thịt ban đầu Ở mỗi bộ

ba, người thử được yêu cầu xếp hạng ba mẫu thịt theo sự ưa thích của họ từ thích nhất đến không thích nhất và giải thích lý do

Bảng 6: Các bộ ba được giới thiệu

Bảng 7: Các bộ ba được giới thiệu

Lê Thị Ngọc Hương 11

Khơi gợi kiến lập bằng cách sử dụng bộ hai yếu tố (dyads of elements): Schuman và

Nickeson (1971) tranh luận rằng ta chỉ cần dùng hai yếu tố là đã gợi ra được các cực trái ngược nhau Phương pháp này được bắt đầu tiến hành bằng cách đặt câu hỏi như “hai yếu tố này giống nhau như thế nào? Hay chúng có cùng chung một đặc điểm nào không?” Sau đó ta lại tiếp tục hỏi về sự khác nhau giữa chúng như hai yếu tố này khác nhau như thế nào? Việc giải thích sự khác nhau giữa chúng cho phép ta thấy được những cặp trái ngược nhau, mỗi yếu tố được miêu tả sẽ cung cấp cho ta một cực của vấn đề

Phép thử này được Irene, Monika và John (2000) áp dụng trong nghiên cứu về cảm nhận và sự ưa thích của trẻ em vùng tây Scotland về rau củ Người thử sẽ được giới thiệu các cặp hình ảnh về các loại rau củ Ở mỗi cặp hình họ được yêu cầu chỉ ra những điểm giống và khác nhau, chọn ra loại rau mà họ thích nhất và giải thích Cách này cũng được sử dụng trong nghiên cứu về phomai của Pedro, Francisco, Jesus và Marta (1998) Nhóm người thử sẽ được giới thiệu 4 bộ đôi của 4 sản phẩm phomai (bộ đôi sau phải có một mẫu giống với bộ đôi trước như AB, BC, CD, DA) và được yêu cầu mô tả sự giống và khác nhau về cấu trúc, mùi vị giữa hai mẫu với nhau

Khơi gợi kiến bằng cách sử dụng một yếu tố (single element): người thử sẽ được giới thiệu

từng yếu tố và được yêu cầu đưa ra tất cả những gì mà họ cảm nhận được về yếu tố đó, nhiệm vụ của người phỏng vấn là phải biết chọn lọc và ghi lại những yếu tố xuất hiện cũng như nhận ra những mặt đối lập với nó Do việc chọn lọc các kiến lập do người phỏng vấn thực hiện nên kết quả thu được của phương pháp này có thể không mang tính khách quan Trong cảm quan, cách này khá giống với phương pháp mô tả lựa chọn tự do, tuy nhiên trong mô tả lựa chọn tự do việc đưa ra và chọn lọc các thuật ngữ là do người thử thực hiện nên mang tính khách quan cao hơn

Cách thứ ba được biết như “mẫu đầy đủ” (“full context form”) Nó đòi hỏi phải

giới thiệu đầy đủ toàn bộ yếu tố và người tham gia được yêu cầu phân loại những yếu tố này thành những tập hợp riêng lẻ dựa trên bất kì một tiêu chuẩn nào mà họ chọn Sau khi phân loại xong, người tham gia tiếp tục được yêu cầu đưa ra hai hay ba từ mô tả tiêu đề của từng tập hợp yếu tố Một ma trận mối quan hệ giữa các yều tố sẽ được tạo ra, từ ma trận này ta có thể tiếp tục khảo sát và nghiên cứu dựa trên phương pháp thống kê Dạng mẫu đầy đủ này đã được sử dụng trong nghiên cứu tìm hiểu về tâm lý của nhiều nhóm người (Reger and Huff, 1993) Tuy nhiên cách này không được ứng dụng trong cảm quan Phương pháp này tương tự như phương pháp phân nhóm trong cảm quan, người thử được nhận một bộ mẫu hoàn chỉnh và được yêu cầu phân các sản phẩn này thành nhiều nhóm nhỏ, sau đó đặt tên và nêu ra những đặc tính nổi bậtcho từng nhóm

Cách thứ tư là thảo luận hội đồng (group construct elicitation) (Stewart and

Stewart, 1981) Trong phương pháp này tất cả người tham gia sẽ được tập hợp lại và phân thành từng nhóm Sau đó những kiến lập trái ngược nhau được rút ra từ những phương pháp đã trình bày ở trên Phương pháp thảo luận hội đồng đáp ứng được hai mục đích: thứ nhất là vấn đề thu thập dữ liệu – tốn ít thời gian cũng như kinh phí cho việc đưa ra những kiến lập; thứ hai là việc xây dựng nhóm – điều này cho phép mỗi thành viên tham gia nghiên

Lê Thị Ngọc Hương 12

cứu đều biết được ý tường của những thành viên khác trong nhóm, từ đó họ có thể hiểu và đánh giá được những quan điểm khác nhau trong nhóm mình

Trong phân tích cảm quan, phương pháp RepGrid được sử dụng cho một dãy nhóm người thử tập trung để tăng hiệu quả của việc thu thập dữ liệu Lúc đầu RepGrid đòi hỏi tốn nhiều thời gian để phỏng vấn từng người thử Tuy nhiên, nếu sử dụng cho những nhóm người tiêu dùng định hướng (focus group) có thể kết hợp được lợi ích thảo luận nhóm, tương tác sẽ là lớn hơn và sẽ cho câu trả lời chung, giảm được độ lệch; thuận tiện hơn trong việc so sánh thảo luận những sản phẩm với những mô tả của từng cá nhân Mặt khác, Colwill và McEwan (1992) so sánh kết quả của lập các nhóm tập trung và phỏng vấn từng cá nhân đều cho cùng một bản đồ sản phẩm hay cùng một cách hiểu giữa 2 phương pháp luận Tuy vậy phương pháp này có một số hạn chế sau : những thành viên có cá tính mạnh và có ưu thế có thể ảnh hưởng đến định hướng của cuộc phỏng vấn, thường thì người thử chỉ có sự tiếp xúc hạn chế với sản phẩm hoặc sản phẩm không được tất cả người thử sử dụng, ngoài ra việc định hướng cuộc phỏng vấn phần nào liên quan với tính chủ quan của người điều khiển

Cách này được sử dụng trong nghiên cứu về phomai của Pedro, Francisco, Jesus và Marta (1998) Nhóm người thử sẽ được giới thiệu 4 bộ đôi của 4 sản phẩm phomai (bộ đôi sau phải có một mẫu giống với bộ đôi trước như AB, BC, CD, DA) và được yêu cầu mô tả sự giống và khác nhau về cấu trúc, mùi vị giữa hai mẫu với nhau Sau khi tất cả thành viên trong nhóm mô tả xong, trưởng nhóm sẽ bắt đầu tiến hành thảo luận để chọn ra những thuật ngữ thích hợp nhất và đưa ra định nghĩa cho từng thuật ngữ đó

Nghiên cứu sự chấp nhận của người tiêu dùng Úc về sản phẩm thực phẩm sản xuất theo công nghệ mới của Melanie Mireaux (2007) cũng sử dụng phương pháp thảo luận nhóm để rút ra thuật ngữ từ những bộ ba

2.2.2 Một số lưu ý khi thực hiện

Tiến hành phỏng vấn (facilitating the interview)

Trong đánh giá cảm quan thì trước khi phỏng vấn, người phỏng vấn nên “hâm nóng” người thử bằng cách bàn luận với họ về sự tiêu dùng (như thói quen và cách chọn lựa) của sản phẩm mà họ sắp thử Bước này không hướng tới việc đánh giá cảm quan mà mục đích là tạo không khí thư giản thoải mái trong suốt buổi phỏng vấn và tăng khả năng tiếp nhận thông tin từ người thử

Trong một số thời điểm, đối tượng không thể trả lời một số câu hỏi hay đề nghị Để dễ dàng cho quá trình phỏng vấn, đặt câu hỏi thì một số tác giả đã đề nghị với đối tượng của họ như sau:

“ khuyến khích họ nói ra bất cứ cái gì hiện lên trong đầu và đừng quan tâm rằng liệu mình có lặp lại nó trong những câu trả lời tiếp theo hay không Khi đối tượng có cảm giác rằng mình phản ứng quá chậm hay gặp khó khăn trong việc diễn đạt một cụm từ nào đó thì hãy trấn an họ rằng đây là một trải nghiệm hoàn toàn mới đối với họ và hầu hết mọi người đều gặp những khó khăn tương tự như vậy” (Landfield, 1971, p.135)

Lê Thị Ngọc Hương 13

Fransella và Bannister (1977) thì lại đề nghị những giải pháp sau:

 Bạn có thể nói rằng: “tôi nghĩ là tôi hiểu ý của bạn nhưng để chắc chắn bạn có thể nói lại cho tôi những gì bạn nghĩ một lần nữa không?” Rất thường xuyên, trong lần suy xét thứ hai thì đối tượng có thể diễn đạt ngắn gọn và xúc tích hơn rất nhiều so với trước đó

 Nếu bạn nghi ngờ không biết rằng bạn có hiểu đúng một kiến lập nào đó hay không thì những mặt đối lập của kiến lập đó sẽ giúp bạn hiểu rõ vấn đề hơn

 Nếu vẫn còn nghi ngờ hay có cảm giác rằng từ ngữ quá mơ hồ thì để chắc chắn bạn có thể hỏi lại rằng anh hay chị có đề cập đến vấn đề X đó phải không Để xác nhận lại thông tin thì đối tượng có thể sẽ nói ngắn gọn và xúc tích hơn vấn đề của họ thật sự là gì

Những đề nghị này rất có ích nhưng chúng ta phải luôn nhớ rằng chúng ta đang cố gắng khơi gợi các kiến lập của đối tượng chứ không phải là của bản thân chúng ta Vì vậy

ta phải cố gắng hạn chế sự tác động ảnh hưởng của ta đến câu trả lời của đối tượng

Kết thúc quá trình khơi gợi (ending the elicitation process)

Khi phải trả lời lần lượt các câu hỏi thì dần dần đối tượng sẽ biểu hiện sự mệt mỏi và cảm thấy “bão hòa” Họ cảm thấy khó khăn trong việc phát triển các kiến lập mới và bắt đầu trả lời một cách hời hợt, mơ hồ Nếu đến giai đoạn này mà ta đã thu thập được đủ các thông tin và các yếu tố cần thiết thì nên kết thúc và chuyển sang giai đoạn tiếp theo Tuy nhiên cũng có một số đối tượng do có kinh nghiệm và khả năng ngôn ngữ tốt nên họ không bị bão hòa và họ có thể tiếp tục quá trình này gần như đến vô hạn Kết quả là ta thu thập được một số lượng quá nhiều các kiến lập, điều này sẽ làm cho người thử rất mệt mỏi trong giai đoạn liên kết các kiến lập và yếu tố dẫn đến thiếu chính xác trong quá trình đánh giá, và việc xử lý dữ liệu sẽ trở nên phức tạp

Loại bỏ các kiến lập (construct to be discarded)

Người phỏng vấn cần phải xem xét loại bỏ những kiến lập không phù hợp Hunt (1951) trong luận án tiến sĩ của ông được hướng dẫn bởi Kelly, đã xây dựng một hệ thống phân loại những kiến lập ít được sử dụng:

 Các kiến lập chung chung, quá rộng không giúp ta phân biệt được các đối tượng đã lựa chọn như con người, động vật, đàn ông, đàn bà

 Những kiến lập chỉ giới hạn trong một vài đối tượng không mang tính đại diện

 Những khác biệt về mặt địa lý như thành phố, nông thôn hay một địa điểm cụ thể nào đó Việc nhận hay loại bỏ những kiến lập này còn tùy thuộc vào mục đích nghiên cứu nhưng thông thường là không cần trong các thí nghiệm về tâm lý

 Những kiến lập không liên quan đến lĩnh vực đang nghiên cứu

Lê Thị Ngọc Hương 14

 Những kiến lập cảm tính như “cả hai đều tốt bụng” hay “cả hai đều đáng ghét”

Trong đánh giá cảm quan, bước loại bỏ này không nên thực hiện ở giai đoạn rút ra kiến lập mà nên thực hiện sau khi người thử đã liên kết kiến lập và yếu tố với nhau và trước khi tiến hành xử lý số liệu để giảm ảnh hưởng của người phỏng vấn đến kết quả thí nghiệm

Trong một số thí nghiệm cảm quan giai đoạn rút ra kiến lập này còn được thực hiện nhiều lần để thu được những thuật ngữ và định nghĩa chính xác nhất Jane và Conor (1999) đã thực hiện mô tả các thuộc tính của bao bì phomai qua hai hai cuộc phỏng vấn, thời gian của mỗi buổi phỏng vấn khoảng 45 phút Buổi phỏng vấn thứ nhất người thử được giới thiệu bộ ba thứ nhất và được yêu cầu chọn hai trong ba mẫu thử một cách tùy ý Sau đó họ sẽ mô tả những điểm giống nhau về bao bì giữa hai mẫu và chúng khác như thế nào đối với với mẫu thứ ba Buồi thứ hai, người thử sẽ được giới thiệu nhiều mẫu phomai hơn (bảng 5) với 8 bộ ba (bảng 6) kèm theo một bản danh sách thuật ngữ (list of individual attributes) mà họ đã đưa ra ở lần phỏng vấn thứ nhất Quá trình phỏng vấn cũng giống lần thứ nhất, những từ mới sẽ được thêm vào bản danh sách, những thuật ngữ mơ hồ hoặc giống nhau sẽ được tổ hợp lại và những thuật ngữ dư thừa sẽ bị loại bỏ

2.3 Liên kết các yếu tố và kiến lập

Có ba cách để liên kết yếu tố với kiến lập đó là: phân đôi (dichotomizing), xếp dãy (ranking), và cho điểm (rating)

Trong phương pháp phân đôi, một dấu tick ( ) sẽ được đặt vào yếu tố gần với cực trái của kiến lập, ngược lại là dấu gạch chéo (X) nếu yếu tố đó gần với cực phải Phương pháp giống như một thang phân loại chỉ có hai điểm Vấn đề của phương pháp này là không cho phép có sự trung gian (Beail, 1985), người tham gia chỉ có thể chọn cực này hoặc cực kia Chính vì vậy kết quả thu được từ phương pháp này chỉ cho phép ta quyết định những yếu tố cùng loại hay khác loại, không thể đưa ra quyết định nào về thứ bậc, mức độ khác nhau cũng như tỷ số hoặc độ lớn của sự khác biệt

Phương pháp xếp dãy yêu cầu người tham gia đặt những yếu tố theo một thứ tự giữa hai cực của kiến lập Tương tự như phương pháp phân đôi, người tham gia không được xếp các yếu tố ở cùng một hạng mặc dù chúng giống nhau Xếp dãy cung cấp cho ta thứ bậc của các yếu tố, nhưng không cho biết sự khác nhau tương đối giữa các yếu tố

Phương pháp thường được sử dụng nhất đó là phương pháp cho điểm (Hunter, 1997; Latta and Swigger, 1992) Phương pháp này cho phép người tham gia tự do trong việc cho điểm các yếu tố, không bắt buộc họ phải phân biệt những điều không tồn tại Thang điểm được sử dụng có thể là năm, bảy, chín hoặc mười một Thang điểm tự do là thang điểm có số giá trị trên thang điểm lớn hơn số lượng yếu tố Một số ý kiến cho rằng sẽ có sự khác biệt về mức độ tin cậy khi ta sử dụng thang tự do và thang điểm năm (Bell, 1990) Cũng có

ý kiến cho rằng thang điểm bảy có thể tiếp cận với đa số giới hạn phân biệt của người tham gia và bất cứ điều gì trên thang điểm năm đều rất khó khảo sát trực quan được (Stewart and Stewart, 1981)

Lê Thị Ngọc Hương 15

Trong một số trường hợp, yếu tố và kiến lập có thể không liên kết với nhau

Trong một số trường hợp thì đối tượng không thể cho điểm các yếu tố chỉ đơn giản bởi vì các kiến lập đó không phù hợp với một số yếu tố Trong trường hợp này ta sẽ để trống hay ghi N/A để ám chỉ rằng kiến lập không phù hợp với yếu tố Tuy nhiên việc để trống sẽ gây ra một loạt các rắc rối trong việc xử lý thống kê sau này khi phân tích dữ liệu

vì thế đã có hai cách được đề nghị để hạn chế các rắc rối trên:

 Loại bỏ kiến lập đó: mặc dù đây là cách giải quyết hợp lý nhất nhưng như vậy ta sẽ mất đi cơ hội phân tích nó cùng với các kiến lập khác cũng như mất đi mối liên hệ về mặt ngữ nghĩa giữa các kiến lập với nhau

 Chuyển đổi chỗ để trống thành giá trị điểm ở giữa trong thang điểm: đây không phải là giải pháp chính xác lắm bởi vị giá trị điểm ở giữa có một trọng số khác Tuy nhiên, nó cho phép giữ lại kiến lập đó để phân tích Nếu

ta lựa chọn cách này thì kiến lập đó cần được xem xét kỹ lưỡng sau này Một vấn đề khác có thể gặp trong khi thực hiện liên kết yếu tố và kiến lập là tồn tại khả năng đối tượng không hiểu rõ về yếu tố để có thể đánh giá chúng dựa trên một kiến lập nào đó Trong trường hợp này thì ta cần nhấn mạnh rằng:

“Chúng tôi không chỉ quan tâm đánh giá những gì bạn hiểu và chắc chắn mà chúng tôi còn quan tâm đến sự suy luận, tưởng tượng và trực giác mà bạn có Vì vậy nếu bạn có bất

kì một ý tưởng gì thì không cần phải bận tâm xem liệu nó như thế nào mà hãy cố gắng đánh giá nó bằng 1 giá trị trên thang điểm”

Có thể đối tượng sẽ từ chối việc đánh giá cho điểm cho đến khi nào họ thật chắc chắn về điều đó Họ có thể không cung cấp thông tin dựa trên thang điểm nhưng sẽ cho chúng ta biết về những suy nghĩ nhận thức của họ khi đề cập đến yếu tố đó

Nếu đối tượng vẫn không thể hình dung, tưởng tượng ra được rằng yếu tố A là

“chân thật” hay “không chân thực” thì họ có thể đánh dấu “?” vào trong ô trống Dấu “?” trong câu trả lời được xử lý tương tự như trong trường hợp câu trả lời bị bỏ trống

2.4 Phân tích dữ liệu

2.4.1 Phân tích một lưới dữ liệu

Có năm phương pháp phân tích chính sau:, phân tích nội dung (content analysis), định hướng trực quan (visual focusing), phân tích cụm (cluster analysis - FOCUS) và phân tích thành phần chính (principal components analysis) Phương pháp đầu phân tích những yếu tố có trong lưới dữ liệu, còn ba phương pháp sau thì phân tích các yếu tố và mối tương quan giữa các yếu tố với nhau Chính vì vậy mà phương pháp phân tích nội dung không chứa nhiếu phép tính phức tạp nhưng lại không xem xét được mối tương quan giữa các yếu tố với nhau

a Phân tích nội dung

Phương pháp này đơn giản chỉ cần đếm tần số từng yếu tố theo các kiến lập hay từng kiến lập theo các yếu tố Phương pháp này được áp dụng để xử lý số liệu của phương

Lê Thị Ngọc Hương 16

pháp phân đôi và được sử dụng khi muốn tìm ra khuynh hướng chung của những người tham gia

b Định hướng trực quan

Trong phương pháp này ta sẽ tiến hành bố trí lại lưới dữ liệu bằng cách đổi chổ các cột yếu tố và hàng kiến lập để các yếu tố cũng như kiến lập nào tương đồng sẽ nhóm lại với nhau

Xét một bảng số liệu thô (dữ liệu được cho dưới dạng dấu và ×)

Trong phương pháp này ta sẽ so sánh từng phần tử với nhau, nếu cùng dấu với nhau thì là 1, khác dấu là 0, sau đó cộng tổng lại Ví dụ, ta so sánh E1 với E2, E3, …

Điểm cao nhất sẽ là 8 (bằng với tổng số yếu tố trong bảng) và thấp nhất là 0 Sau khi

so sánh tất cả các cặp phần tử E với nhau ta sẽ thu được một ma trận như sau:

Lê Thị Ngọc Hương 17

Từ ma trận trên ta sẽ tìm ra những cặp thành phần có số điểm cao và xếp những cặp này lại với nhau (số điểm càng cao thì càng gần nhau) E1 với E5 và E7 đều có điểm 8 , E2 với E4 và E8 có điểm 7 nên chúng sẽ được xếp lại gần nhau

Đối với những hàng C (kiến lập) ta cũng làm tương tự như trên

Với 8 mẫu, nếu một yếu tố nào có số điểm nhỏ hơn 4 thì ta phải đảo ngược yếu tố đó

Ở đây ta thấy C2, C4 và C8 có nhiều số điểm thấp nên tả sẽ đảo ngược những kiến lập này Sau khi đảo ngược ta thu được bảng sau:

R là dấu hiệu của những mô tả đảo ngược

Ta thu được ma trận tương quan: