Assessment of tertiary english major students writing vietnamese teachers perspectives a thesis submitted in partial fulfilment of the requirments

ASSESSMENT OF TERTIARY ENGLISHMAJOR STUDENTS5WRITING: VIETNAMESE TEACHERS， PERSPECTIVES - By NGUYEN TRA M Y B achelor o f Arts H anoi U n ive rsity o f Foreign Studies H anoi, Vietnam 1998 A thesis submitted in partial fu lfilm e n t o f the requirements fo r the degree o f Master o f Education (TE S O L ֊ International)，Faculty o f Education，Monash U nive rsity, M elbourne，A ustralia December，2003 llllllllllllllllllll 000018393 դ - ^ խ TRUNG ĨẤM ^ — 1HỞN6T1N THI/VIÊN n ik A ĩ.5 e ỏ ձ TABLE OF CONTENTS Abstract A cknowledgements Declaration List o f Tables CHAPTER ONE: INTRODUCTION 1.1 B a c k g r o u n d o f t h e r e s e a r c h 1.2 R e s e a r c h a i m s 1.3 O u t l in e o f t h e t h e s i s CHAPTER TWO: REVIEW OF THE LITER ATU R E 2.1 C o m m u n ic a t iv e c o m p e t e n c e 2 P r in c ip l e s o f C o m m u n ic a t iv e L a n g u a g e T e s t in g Ớ S u m m a r y o f t h e c h a p t e r .՜ 2.3.1 Aspects in testing w ritin g 2.3.2 M arking scheme 2.3.3 D ifficulties in assessing w ritin g : I s s u e s in t e s t in g w r it in g s k i l l s 2.2.1 V alidity 2.2.2 R elia bility 2.2.3 P racticality շ о CHAPTER THREE: M ETH O D O LO G Y 2 113 S e l e c t io n o f p a r t ic ip a n t s A QUALITATIVE APPROACH 3 M e t h o d s f o r d a t a c o l l e c t io n T e a c h e r s p e r s p e c t iv e s o n a s s e s s m e n t c r i t e r i a C h a r a c t e r is t ic s o f a “ g o o d ” a r g u m e n t e s s a y 4 F a c t o r s a f f e c t in g t e a c h e r s ' a s s e s s m e n t j u d g e m e n t s > ( р , з і 4.3.1 Purpose 4.3.2 Thesis 4.3.3 Evidence 4.3.4 Refutation 4.3.5 Persona > ^ ^^ * * ^ ^^ « ^* յ Հ Հ 4.2.1 Process o f developing criteria checklist 4.2.2 Process o f scoring л 2 4.1.1 Assessment practices 4.1.2 W riting syllabus * о V i e t n a m e s e E n g l i s h m a j o r u n i v e r s i t i e s 4.1 A n o v e r v ie w o f a s s e s s m e n t p r a c t ic e s a n d w r it in g s y l l a b u s in s o m e ՛ CHAPTER FOUR: FINDINGS AND DISCUSSION շ M e t h o d s f o r d a t a a n a l y s i s 4.4.1 The influence o f raters culturally-based perspectives and norms 47 4.4.2 The influence o f the marking scheme 49 A s s e s s m e n t c r i t e r i a T h e u s e f u l n e s s o f t h e p r o c e s s o f d is c u s s io n o f a s s e s s m e n t c r it e r ia CHAPTER FIVE: CONCLUSION AND RECO M M EDATIONS 55 5.1 S u m m a r y o f t h e s t u d y 55 R e c o m m e n d a t i o n s L im it a t io n s 57 D i r e c t i o n s f o r f u t u r e r e s e a r c h 57 REFERENCES 59 A p p e n d ix ： A n d e r s o n ’s MARKING SCHEME 66 A p p e n d ix ： J a c o b s e t AL.’s s c o r i n g p r o f i l e 68 A p p e n d ix 3: A COMPARISON OF TWO APPROACHES 69 A p p e n d ix ：S t u d e n t s ' w r i t i n g t e x t s 70 A p p e n d ix 5: R e f l e c t io n q u e s t i o n s 80 A p p e n d ix ： R e f l e c t i o n a n s w e r s 81 A p p e n d ix ： E n g l i s h T r a n s l a t i o n o f I n t e r v i e w s •••• 83 A p p e n d ix ： V ie tn a m e s e T r a n s c r ip ts o f I n te r v ie w s 02 A bstract Direct tests seem to increasingly become popular in Vietnam as getting students’ to write is the best way to test their writing ability (Hughes, 2003) One o f the most significant challenges in assessing writing is the subjectivity o f judgements and ensuring that these judgements are consistent Unfair decisions may affect individuals’ lives (Hughes, 1989) For this reason, the research was carried out in order to explore how teacher raters make their scoring judgments, to develop collaboratively a set o f criteria in a checklist through which teachers’ assumptions about 'good’ w riting were revealed and to gather teachers’ perspectives on the usefulness o f the process for a reliable and valid scoring Five Vietnamese teachers, who are pursuing their Master degrees in Melbourne, Australia, and who teach in universities with English - major courses, were involved in this study A criteria checklist was first developed by two experienced teachers A workshop was then held with the attendance o f five teachers applying the checklist to score the sample essay Changes were made after the discussion o f the marking and a new criteria checklist was established The agreed upon criteria checklist was used to rate four essays The participants were then asked to provide their reflections in w riting on the usefulness o f this process o f training for their work as raters The findings showed that inconsistency among raters in scores exists even when there was a shared criteria checklist There was a change in consistency across raters (inter-rater reliability) after the discussion o f the marking o f the sample essay Nonetheless, the question o f how much raters scale up or down in their grading is still challenging Raters’ cultural perspectives (the norm, Western style or Oriental style, that raters favour) and the rating scheme (the holistic or analytical scoring) also influence teachers’ judgments A ll o f these would be improved through on-going rater training and moderation and the development o f a more detailed criteria checklist Also, the characteristics o f a ‘good’ argument essay (the w riting genre that was assessed in this study) and the usefulness o f the discussion workshop were presented through the teachers’ perspectives Finally, in response to the findings, a holistic criteria checklist was developed with the Vietnamese ten-point scale and level descriptors ACKNO W LEDG EM EN TS I would like to express my deepest gratitude to my supervisor, Mrs Rosemary Viete for her whole-hearted assistance during the development o f this research thesis under her supervision, without which this research thesis could not have been completed I am especially indebted to my family, my husband for their constant encouragement during the course o f my study I am also very much grateful to the teacher participants without whom this thesis would have been impossible I sincerely express my great thanks to Mr Le Thanh Dzung, Dean o f English Department - Hanoi University o f Foreign Studies for his kind assistance M y special thanks also go to Dr Sophie Arkoudis，Department o f Language, Literacy & Arts Education - University o f Melbourne for her valuable help Finally, I also would like to convey my gratitude to my colleagues who have helped me in various ways Declaration This research thesis contains no material which has been accepted for the award o f any other degree or diploma in any university or tertiary institution, and to the best o f my knowledge and belief, neither does it contain material previously published or written by another person, except where due acknowledgement is made in the text Signed Full name: Nguyen Tra M y The plan for this research was approved by the Standing Committee on Ethics in Research Involving Humans on August, 2003 (Reference 2003/524) List o f Tables Page • Table 2.1 A sample holistic scale 17 • Table 2.2 A sample analytical scale 18 • Table 4.1 The calculation o f students’ final results 26 • Table 4.2 Classifying system 26 • Table 4.3 Criteria checklist set up by two experienced teacher participants 29 • Table 4.4 Scores on essay 30 • Table 4.5 The newly amended criteria checklist 36 • Table 4.6 The scores 36 • Table 4.7 Summary o f agreements and disagreements discussion in the 37 • Table 4.8 Scores on essay 38 • Table 4.9 Scores on essay 40 • Table 4.10 A holistic marking scheme 51 iv C H A PTER ONE: INTRO DUCTIO N 1.1 Background of the research The major language o f international communication for the Socialist Republic o f Vietnam was Russian from 1954 until the recent political changes in Eastern and Central Europe For the South o f Vietnam, French was the first foreign language (this area was under French occupation) till 1954，and then English (due to the fact that the US involved in Vietnam war) until the reunification o f the country in 1975 After reunification, Russian was the first national foreign language for a number o f years, and little attention was paid to the teaching o f either English or French (Do, 1999; Nguyen and Crabbe，1999) In the context o f political renovation and the open-door policy pursued by the Vietnamese government in the past decade, English has become the first foreign language In recent years, Vietnam has extended its political, diplomatic and economic relationship with other countries and consequently, it has witnessed an explosion in the demand for English (Brogan and Nguyen, 1999) With the move to a market economy by the Vietnamese government and the growth o f international business as well as an increasing number o f foreign tourists, knowledge o f English has become the passport to a better-paid job not only in the tourism and hospitality industries, but also in many other enterprises (Nguyen and Crabbe, 1999) The spread o f English as a global means o f communication has had much impact on the English language teaching and learning in Vietnam Language testing which often goes in line w ith language teaching and learning is o f high importance It works as the motivation for teaching and learning processes, measures learners’ levels and has an influence on the curriculum since designers might revise program goals and objectives in the on-going development o f the curriculum (Brown, 1995) A number o f studies have been conducted in the field o f testing in general and in testing writing in particular (Freedman, 1979; Hamp-Lyons， 1991; Vaughan, 1991; O ’Loughlin ， 1992; О 5Hagan, 1999; Lumley, 2002; Weigle ， 2002) W riting assessment in the context o f Vietnam, however, seems to be largely unexplored The fact has prompted me to conduct research on the assessment o f writing, a relatively subjective assessment, in Vietnamese universities Chapter One In terms o f subjectivity, direct tests were discouraged and avoided as reliability dominated in language testing in the past This was true in the world in the 1950s and 1960s (McNamara, 2000: 38) and still is in some Vietnamese universities as I have observed Grammatical structures and knowledge o f vocabulary were assessed instead o f writing skills However, in many universities nowadays direct tests are becoming common This gives rise to issues o f reliability and validity The problem o f subjectivity has increasingly been recognised to be “ something that had to be faced and managed， ，in direct tests (McNamara, 2000: 38) This strengthens my wish to research in this field I wish to understand which criteria Vietnamese teachers raters have employed in assessing students’ writing, how much weight they give for each criteria and to what extent their perspectives on assessment criteria are similar or different, which might explain degrees o f disagreement and discrepancy o f the final scores for a piece o f writing among raters Also, my interest lies in the factors that affect teachers’ assessment judgements I am inspired to know which norms Vietnamese teacher raters favour in their assessment since both Western w riting style and Oriental w riting style, linear and circular respectively, according to views expressed in Liddicoat (1997) might well be observed in students’ writing M y study, in addition, involves identifying which marking schemes {holistic or analytical marking) teachers favour and how these reflect students’ best abilities Finally, teachers’ perspectives on the usefulness o f discussion o f assessment criteria, a kind o f moderation, are explored The fact that we young teachers are often not given the assessment guidelines and training prompted me to offer and investigate teachers’ perceptions o f this process o f training cum moderation 1.2 Research aims The purpose o f this research is to: 1) find out the assumptions English teachers in Vietnamese universities share about ‘good w riting’ for an argument essay; 2) have participants collaboratively develop a set o f criteria for scoring such writing; 3) identify Chapter One the basis on which teachers make scoring judgements against these criteria, and 4) find out teachers’ perceptions o f the usefulness o f the process as a tool for more reliable and valid training and scoring 1.3 Outline of the thesis This thesis consists o f five chapters Chapter One is the introduction and the research aims Chapter Two reviews the literature on communicative language testing and the testing o f writing Chapter Three presents the qualitative methodology used for the research with the focus on in-depth interviews and open-ended questionnaires Chapter Four deals with the discussion o f the findings The summary o f the findings and the recommendations for teachers to be better supported in assessing writing performance are presented in Chapter Five Following the chapters are References and Appendices Chapter One լ ：Nếu viết có hai đoạn mà lặp lại chắn khơng convincing Bài viết mà có hai argument xuất xắc tốt bốn đoạn K: Không nên so sánh số lượng argument viết mà xem viết có đáp ứng yêu cầu (requirement) đề V: Nghĩa không nhấn mạnh số lượng argument К : Nhưng phải có hai argument L: Essay hiển nhiên phải có hai arguments K: Cịn thời gian nãm mươi phút mà học sinh viết năm, sáu ý chắn khơng thể viết tốt khơng thể well-supported năm, sáu ý thời gian L: Như chung ta đồng ý có hai argument well support Có hai argument tốt khơng có nghĩ cho viết có nhiều argument điểm cao Chúng ta sang phần hai: organization Trong phần V cho điểm, L cho 2.5 điểm, T, H, к cho điểm M ọi người giải thích người lại cho vậy? T: Có phần mà em khơng biết cho vào đâu, cách viết khơng formai Bài viết có chỗ informal -never give up, don X ! (repeated) Em trừ viết nhiều điểm phần L: Những chị khơng nghĩ thuộc organization К : Em nghĩ thuộc style L: Em nghĩ inform ality thuộc style nằm phần overall judgement khơng quan trọng V i trình độ sinh viên khơng địi hỏi phải viết essay stylistic T: Theo ý kiến em việc viết (essay) formal hay informal quan trọng nên em khơng nghĩ nằm phần overall judgement L: Nhưng tính informal khơng phải bao qt tồn bài, mà nằm số điểm Tùy theo perspective người chấm mà thấy mức độ informality chấp nhận hay khồng Appendices 111 к ：Có phải T muốn thêm tiêu chí register vào criteria khơng? Nghĩa cần xét xem đối tượng viết H: Em lại nghĩ informality thuộc phần mechanics Học sinh dùng từ viết tắt don 7, can Em bị confused criteria khơng có phần register nên em buộc phải cho informality vào phần mechanics L: Như thêm phần register vào phần tiêu chí V: Trong organization, gọi coherence cohesion? Có học sinh dùng firstly, secondly, thirdly lặp lặp lại, Chị nghĩ nên có tiêu chí cụ thể để đánh giá viết excellent, good hay fair L: Em nghĩ excellent phải dùng variety of coherence devices, có cohesion (discourse markers) khơng thồi khơng đủ Học sinh dùng device khác để link ideas (để tạo nên unity o f ideas, flow o f ideas) diễn đạt ý gần giống hay sử dụng synonyms v.v Cohesion nằm coherence device coherence Unity thuộc coherence Học sinh dùng pronouns để thay V í dụ với topic viết này, học sinh dùng old people, the elderly hay the older people interchangeable V: Tiêu chí thi IELTS rõ ràng, ví dụ excellent, good v.v Người chấm dựa vào điểm viết Tuy khơng tiêu chí đó, nên cố gắng xây dựng criteria rõ ràng L: Đúng Việc xây dựng criteria rõ ràng đảm bảo fair cho sinh viên Như perspectives người chấm dựa criteria giống nhau, dẫn đến fairer assessment, kết có degree o f agreement cao T: Em đồng ý với chị Nhưng em cho điểm K: Em nghĩ coherence cohesion nhấn mạnh clarity unity writing Bài viết có sử dụng từ liên kết đoạn firstly, secondly Nhưng để ý k ĩ thấy học sinh chưa dùng tốt devices đoạn văn T: Đúng Bài viết liên kết đoạn câu đoạn cịn rời rạc Appendices 112 к ：Siinh viên có dùng số cấu trúc tương phản từ however, nhiên từ Lại lặp lại đến hai, ba lần, thể thiếu sáng tạo lexical choice Ի L: Ỹ К nói variety of discourse markers, linking words Tóm lại, phần organization, thêm phần register vào tiêu chí chủng ta đồng ý T: Thế cho tiêu chí vào category hay cho đứng riêng? H, K : Cho tiêu chí đứng riêng L: Vậy giảm điểm phần phần điểm cho bao nhiêu? K: M ình giảm bớt điểm phần content hay organization L: Giảm bớt 0.5 phần organization, người có đồng ý không? H: Em nghĩ nên giảm phần content địi hỏi content q cao khó sinh viên K: Trong argumentative essay, content quan trọng M ột viết coi tốt từ vựng ngữ pháp tốt mà nơi dung khơng có T: Coherence cohesion có tốt argument tốt H: V ới kinh nghiệm người học sinh, dạy giáo viên hay ý đến structure, coherence cohesion ý đến content L: H nói có lý K hi dạy giáo viên hay ý đến organization V í dụ paragraph cần có topic sentence supporting sentences dạy nói đến nhiều Điều khơng có nghĩa organization quan trọng content Organization dễ bắt mắt dễ dạy với giáo viên hơn, học trò dễ nhớ Khi dạy cách build up argument khó Giáo viên đưa feedback viết sinh viên vậy, ý đến organization nên cách vô tình (unconsciously) gửi đến sinh viên message em nên ý đến organization Điều khơng có nghĩa content khơng quan trọng Mình nghĩ content quan trọng H: Theo em nghĩ giảm 0.5 điểm phần content xuống 3.5 V: Chị đồng ý với H cho register 0.5 điểm giảm điểm content xuống 3.5 Appendices 113 լ ：Như người thống cho content 3.5 điểm register 0.5 Bây chuyển sang tiêu chí thứ ba grammar К: Theo em khơng nên cho lexical choice vào phần grammar chúng khác Grammar nên refer tới structure syntax mà K hi em chấm viết học sinh, ý tương tự với học sinh sáng tạo hơn, dùng từ hay nên cho điểm cao Với trình độ cuối nãm thứ hai expect trình độ từ vựng sinh viên cao V ：Điều mà К đề cập đến nói level sinh viên thơi K h i chấm, vào yếu tố complexity để so sánh khả sinh viên L: Rất khó nói đề cập đến vấn đề V í dụ nói lexical choice, nhiều readers expect common words understandable, có người lại muốn có stylistic word choice, từ đặc biệt, bóng bẩy, colourful, poetic К : Trong trường hợp academic writing khơng expect dùng từ poetic Tuy nhiên việc chọn từ hay chọn cấu trúc câu cần phải ý tới Trong viết sinh viên có viết / don’t want to change the o p in io n ， cách viết rườm rà, dài dòng Rồi cấu true have advantages over somebody lặp lặp lại chứng tỏ phần từ vựng sinh viên chưa phải tốt T: Em nghĩ sinh viên năm hai khơng nên u cầu cao Cịn sinh viên có sử dụng từ hay cho điểm vào phần overall judgement V ì đọc cảm thấy hay hay có ấn tượng L: Theo nghĩ để phần grammar H: Đúng T: Cũng khó V ì phải tuỳ vào yêu cầu curricula Nếu yêu cầu diễn đạt dễ hiểu sinh viên đạt điều L: Đúng Nếu sinh viên get herself understood Nếu người khơng có ý kiến bổ sung sang phần tiêu chí thứ tư ：mechanics H cho điểm phần thấp nhất, em giải thích sao? H: Sinh viên có dùng từ viết tất don can ’t em trừ điểm vào đâu nên em trừ phần em thấy không thích hợp Một Appendices 114 điểm viết lúc double space lúc single space gạch xóa làm em cảm thấy khơng thích V: Chị lại nghĩ double space, single space hay gạch xóa lại thuộc overall judgement L: Double space, single space nằm paragraphing thuộc tiêu chi mechanics Cịn gạch xóa nằm overall judgement Như phần mechanics thêm paragraphing Còn overall judgement sao? H: Bài mức độ trung bình nên em cho 0.25, khơng có ấn tượng khơng phải q tồi L: Ở trình độ em lại thấy viết tốt nên em cho 0.5 M ọi người thống criteria phải khống? K, V ，T, H: Ok I: Phong cách viết phương Đông thường hay vòng (circular) phong cách viết phương Tây trực tiếp (linear) vào vấn đề Vậy người chấm viết sinh viên người chấm theo cách nào? (Which norm you hold when rating students’ writing?) K: Lý em cho 0.5 điểm phần overall judgement phần mở đầu sinh viên trực tiếp (go straight)vào vấn đề I w ill argue against the idea that •• fo r the follow ing reasons Mình nên ủng hộ ý kiến viết luận nên thẳng vào vấn đề, nghĩa em ủng hộ Western style Mình khơng trừ nhiều điểm sinh viên sử dụng cách viết phương Đơng sinh viên dù bị ảnh hưởng cách viết phương Đơng Nói nói, sinh viên học ngoại ngữ phải sử dụng norm ngơn ngữ chừng mực đấy(to some extent) Mình khơng nên phạt (penalise) sinh viên viết around the bush mà nên khuyên khích viết thẳng vào vấn đề T: Miễn viết rõ ràng dễ hiểu Thường đa số học sinh thẳng vào vấn đề nhiều dạy hay nhắc nhở viết lại tiết kiệm thời gian L: Khơng có tiêu chí cụ thể mà phải build up context, background (thường đề cập background knowledge) đến thesis statement được, giữ ý để assess Bên cạnh cần phải có ý nhỏ để Appendices 115 clarify Ý Ikiến к có lý, tức học ngơn ngữ phải theo norms nó, tức phải adapt to Tuy nhiên, hồn tồn obey nói theo ngồn ngữ mơn TESOL người ta gọi linguistic imperialism Việc tuân theo norms tuỳ thuộc vào contexts, readers (audience) Nếu chung ta hướng sinh viên đến gọi Western norms sau trường sinh viên làm việc cho Western company Có thể họ làm việc cho công ty Hong Kong Trung Quốc, expectation oriental style họ tương đồng với Việt Nam Do vậy, context audience có tác động đáng kể Tất nhiên take into account norms language học Em khơng nghĩ circular ln mang tính tiêu cực approach to knowledge validated coi lìà logic context, cụ thể culture Cho nên em trả lời em favour norms nào, mà T đề cập cảm thấy convincing persuasive dạt yêu cầu H: Em cũing đồng ý với chị L Tức là, em khơng hồn tồn thiên Với viiết có số lượng từ 250 em nghĩ viết cần mang tính direct với số lượng từ hạn chế mà vòng vèo, ví dụ introduction q dài khơng có arguments К: Thực điều tuỳ thuộc vào người chấm Bởi thân bị ảnh hưởng văn hố Tức khơng để ý chuyện viết có vịng khơng mà ý diễn đạt Chúng ta nên favour norm tốt để có chuẩn Nếu khơng tơi nói tiếng Anh Campuchia cịn ơng nói tiếng Anh Việt nam cuối khó có common grounds Tơi nghĩ sensitive issue liên quan đến language power V: Chị muốn viết sinh viên thẳng vào vấn đề kiểu viết logie Nói khơng có nghĩ phong cách viết phương Đơng không logic Kiểu viết phương Tây phù hợp với thời gian số lượng từ cho viết Appendices 116 с Discussion on marking essay I: Bây thảo luận vé marking số Tôi lưu ý khoảng cách điểm cao thấp 3.25 điểm Categories L V К T H Content 2.0 2.0 1.5 3.0 2.5 Organisation 1.5 2.0 1.5 2.0 2.0 Grammar 1.5 1.5 1.0 1.75 1.7 Mechanics 0.5 0.5 0.5 0.5 0.5 Overall 0.5 0.25 0.0 0.25 0.3 Register 0.5 0.5 0.25 0.5 0.5 Total 6.5 6.75 4.75 8.0 7.5 Judgement K: H giải thích H lại cho content 3.0điểm/3.5 không? H: Tôi thấy có đầy đủ supporting ideas lẫn counter argument Trong phần supporting ideas có nêu ví dụ relevant với argument Có nghĩa khơng xuất sắc tồi cho sinh viên bình thường đạt yêu cầu Cụ thể có hai argument counter argument Đối với ví dụ khơng xuất sắc điều quan trọng khơng bị lạc so với chủ đề V í dụ argument thứ hai nêu lên ý tưởng Internet current world affairs, scientific development Do dó tơi cho phù hợp với topic K: Đối với counter argument đề cập đến từ đầu Thực cách tiếp cận tốt Phần content chị V cho 1.5 điểm Chị nêu vài lý cho cách chấm điểm không ạ? V: Tôi cho phần content rối rắm (phức tạp), tức người viết không đưa ý rõ ràng để phân tích Hay nói cách khác cách lý luận chồng chéo Appendices 117 к ：Thực га nghĩ điều chấp nhận nêu lên point of view người khác Về phần cuối có giải thích lý người lớn tuồi lại wiser and more experienced Có thể đời họ nếm trải nhiều cay đắng nên tạo cho họ thái độ bình tĩnh việc xử lý vấn đề Tôi nghĩ viết tạo hai thái cực khác H: Người trẻ thường immature and spontaneous Có nghĩa viết cố tình tạo balance V: Tồi đồng ý với điểm Tuy nhiên phong cách viết (content) tạo cho cảm giác rối rắm K: Tôi đồng ý với chị V điểm chỗ nhìn vào thấy nhiều chỗ gạch chân Có nghĩa người viết cố tình nhấn mạnh điểm vào tạo cho người đọc cảm giác người viết 4lên gân， Mặt negative việc impression khơng tốt có thê hình thành người đọc Tôi nghĩ lý chị V lại cho phần overall điểm Tức chị V khơng có ấn tượng đặc biệt Có thể cịn tạo cảm giác phản cảm V: Bây xét đến cấu trúc đoạn văn Chúng ta dễ dàng nhận argument đề cập cách xen lẫn (chồng chéo nhau?) Điều tạo cảm giác không rõ ràng H: Điêu tồi đánh giá vào phần organisation phần content theo thấy K: Theo ý kiến cá nhân tơi tơi thấy phần content hẳn chấm T: Cá nhân cảm nhận phần gạch chân tạo cho em ấn tượng mạnh Cụ thể tạo cho em cảm giác rõ ràng bắt đầu đề cập đến vấn đề hay idea Bài khơng chia nhiều paragraph khác nên chỗ gạch chân dấu hiệu cho chuyển đổi ý Theo em thấy gạch chân tốt khơng gạch chân K: Theo tơi việc gạch chân khơng tốt tạo cho người đọc cảm giác người viết lên gân Hơn việc gạch chân khơng cần thiết người đọc Appendices 118 chắn phải biết người viết chuyển đổi ý lúc dấu hiệu Việc gạch chân dùng để đẻ cập đến vấn đề idea quan trọng Việc gạch chân với ý để nhấn mạnh điều Tuy nhiên lại emphasise vào sign posting T: Đúng Bài khơng chia thành paragraph nên chỗ gạch chân tách ideas với K: Theo chị V để cập phần thân (development) gói gọn trọng đoạn Đáng lẽ chia thành hai ba đoạn tốt Điều giải thích người viết lại dùng gạch chân để chia đoạn hay chia ý V: Chính organisation nên tạo cho cảm giác content khơng rõ ràng khơng tạo tính persuasive К: Tơi đồng ý khơng chia đoạn rõ ràng tạo nên cảm giác rối rắm V: Chị ý với ý kiến II có cố gắng việc cho ví dụ H: Và main idea rõ ràng không mang tính lan man T: Thực em thấy việc xếp ý (3 ý) rõ ràng chứ không bị mixed К Tôi nghĩ người negotiate chút vê điểm content H: Nếu có thay đổi em hạ xuống thành 2.5 điểm thấp K: Chị V nâng điểm content lên thành điểm không ạ? Em thấy khác biệt 05 điểm chấp nhận V: Chị đồng ý cho lên điểm H: Nếu chấm mà dựa vào cảm giác đơi khơng xác /ppendices 119 к ：Đó lý mà người ta phải có details cho việc chấm viết Đương nhiên yếu tố chủ quan ảnh hưởng phần Còn điểm chênh lệch điểm phần grammar Chị V cho H cho 1.75 Mọi người giải thích khơng ạ? V: Lý tơi chấm điểm cho phần grammar cách sử dụng ngữ pháp chưa rõ ràng Cụ thể người đọc phải đọc lui đọc tới nhiều lần nắm rõ ý người viết Em hiểu phần nào: "even possible but unavoidable ‘tricks 'facing them ? H: Đối với em ý understandable V: Chị nghĩ phần cịn có liên quan đến yếu tố mechanics Tức thêm dấu phẩy vào sau important information dể hiểu K: Tức mechanics tạo ambiguity V: Đúng Chỗ thứ hai "Ages and bitter experiences have forged them sensible and calm \ Chúng ta hiểu nào? K: Còn chỗ m yself Đối với người Việt viết dùng personal pronoun với reflective pronoun H: Tơi thấy có đâu T: Tơi thấy hồn tồn chấp nhận Nó dùng để nhấn mạnh V: Tôi thấy vấn đề với điểm H: Tơi thấy người viết dùng có nghĩa argue cho mà K: Tơi nghĩ argumentative essay có nhiều cách để nêu lên ý kiến cá nhân không thiết phải thể personal Bài có điểm tốt dùng nhiều cấu trúc phức tạp It is my belief that, truly enough Liệu người dến kết luận điểm phần grammar không? Appendices 120 V: Chị đồng ý tăng 0.5 từ lên 1.5 điểm cho phần grammar Lỗi nặng mà chị cho viết trung bình ambiguity К: Cịn có yếu tố mà cần phải để ý nhiéu lúc giáo viên phải patient để cố gắng hiểu ý sinh viên Do đó, có trường hợp nới tay, cho ý tốt Cho nên yếu tố clarity quan trọng Các điểm khác người cho gần ngang V: Còn điều ảnh hưởng đến việc chấm điểm tơi có dùng câu “ D on， t teach old dogs new tricks” mà tơi cho phản cảm Vì người đọc người lớn tuổi người ta có cảm giác coi thường họ K: Em cho lỗi vẻ expression Có thể dây phần sáng tạo cần acknowledge Tuy nhiên cần cẩn thận với sáng tạo có tác dụng ngược chiểu Cịn điểm câu cuối Nếu dùng câu làm kết luận khơng support quan điểm nêu lên phần thân Đúng người viết lại tự neutralise quan điểm T: Nếu xét đến yếu tố balance tơi cho đạt người viết đưa hai argument counter argument câu cuối balance tốt V: Tơi cho việc sử dụng câu làm điểm kết luận chấp nhận nhiên viết khác chút có lẽ mang tính thuyết phục Cụ thể ý rõ ràng không nhấn mạnh argument đề cập từ đầu K: Tóm lại người đồng ý thay đổi thang điểm cho phần, từ thay đổi điểm tổng quát, nhiên để đến điểm chung vấn để khó khăn Appendices 121 D Discussion on marking essay I: Chúng ta chuyển sang thảo luận Categories L V К T H Content 1.0 1.5 1.5 1.0 1.5 Organisation 1.0 1.5 0.5 1.5 1.5 Grammar 1.0 0.5 0.5 0.5 1.0 Mechanics 0.25 0.25 0.5 0.3 Overall 0 0.25 0.2 Register 0.25 0.25 0.25 0.5 Total 4 judgement К: Tôi cho phần mà cần thảo luận phần organisation V: Phần organisation cho 0.5 điểm phần introduction khơng rõ ràng, viết cách lộn xộn Khơng có trọng tâm rõ ràng Điểu thứ hai đoạn cụ thể Sự liên hệ câu rời rạc K: Tức có hai lý do: phần introduction khơng có topic sentence điều hưởng đến clarity Tức người đọc không nhận coherence cohesion Nếu để ý thêm chút phần development thấy chia nhỏ nhiều Bởi ý nhỏ (supporting idea) phát triển thành đoạn lại không chia nên khơng có clarity Tuy nhiên xét mặt tổng thể mặt organization có đầy đủ đoạn (mở bài, thân bài, kết luận) nên cho điểm phần H: Em đồng ý với к chị V đoạn dở V : Khi nói đến organisation nói đến paragraph structure essay structure Đối với essay structure tạm ổn mà phần paragraph structure khơng thể tính coherence cohesion Appendices 122 к ：Trong người viết có nỗ lực việc dùng sign posting in addition, nowadays, so that nên chung ta nên cho số điểm phần H: Tôi nghĩ điểm yếu phần content К: Đúng Nếu mà khơng có content khơng thể đạt điểm cao Liệu chủng ta có kết luận chung khơng? V: Nếu để ý đến nỗ lực dùng discourse markers tơi du di cho phần organisation lên điểm Nếu chung ta cho vơ nghĩa khơng có content rõ ràng Nói content diễn đạt cách rối rắm T: Nhưng trừ điểm vào phần content khơng nên trừ thêm vào phần organisation Bởi thiệt thịi cho sinh viên K: Cịn phần grammar T lại chấm điểm? T: Tôi thấy lỗi ngữ pháp không nghiêm trọng V í dụ tơi khơng trừ nhiều điểm vào lỗi dùng ending ' s’ Tôi trọng vào việc dùng understandable language К: Đối với lỗi vé ngữ pháp nhận từ đầu Và điều nói lên người viết có inadequate understanding of grammar Những lỗi ngữ pháp basic, chứng tỏ người viết có kiến thức khơng tốt mặt ngữ pháp ‘slip of the pen’ Đây lý chấm phần 0.5 điểm Tôi nghĩ discrepancy chẳng qua người để ý đến điểm lại không để ý đến điểm khác mà Nguyên nhân thứ hai viết khơng tạo cho (rater) ấn tượng (impression) tốt V: Tơi cịn có ý kiến phần physical conditions of the rater (những yếu tố ảnh hưởng đến việc chấm bài) V í dụ vừa tơi cảm thấy mệt nên bị phân tán Tôi chấm tiếp Nếu tơi tiếp tục chấm qua thứ năm chắn khơng cịn reliable Appendices 123 к ：Đúng Nếu khơng có khoảng thời gian nghỉ ngơi chấm yếu tố reliable giảm đáng kể V: Yếu tố thứ hai mồi trường chấm V í dụ chị chấm mà к đọc lên câu chị bị phân tán K: Em đồng ý với ý kiến chị V Khi chúng em chấm thường người ngồi góc khơng nói chuyện với ảnh hưởng nhiêu đến việc chấm Tâm lý người chấm ảnh hưởng nhiều đến kết V í dụ thấy vui vẻ chấm nới tay cảm thấy khó chịu chấm chặt chút V: Ví dụ chấm sinh viên mà cịn bị ảnh hưởng mơi trường chắn kết vơ thấp I: Tóm lại khơng thể đến mức điểm chung Mặc dù sau thảo luận chị V đồng ý tâng lên 0.5 điểm T giảm xuống 0.5 điểm V: Nếu đề số criteria với số điểm cụ thể cho phần khác người chấm lớn Còn đưa overall criteria người chấm dựa vào để chấm tương đồng cao T: Em thấy K: Thực đưa số criteria cụ thể tạo điều kiện dễ dàng cho việc chấm Có nghĩa có dược evidence cụ thể sinh viên có nêu lên thắc mắc kết V: Một vấn đề đến kết cuối nên trở lại xem xét điểm phần để có điều chỉnh thích hợp K: Em đồng ý với chị V vé điểm Trong testing người ta có để cập đến khái niệm raw score Có nghĩa điểm ban đầu mà Sau chấm xong phải scale up and down, so sánh kết với người khác đến định cuối Những điểm mà vừa cho final score mà raw score thỏi Appendices 124 Kết phải so sánh lớp với Nếu lớp điểm cao phải scale down ngược lại V: Như cơng V í dụ đầu tiên, chị chấm 8.25 chị không thoả mãn Nếu chị chấm tổng thể mà không cho điểm lẻ phần chị cho khoảng 7.5 điểm mà K: Thực khác biệt cách chấm điểm holistically analytically khơng thể nói lên proficiency người viết Điều quan trọng phải nhận cách chấm điểm phản ảnh thực lực sinh viên Chúng ta dùng personal judgement hay impression để đưa kết cuối V: Việc dùng criteria checklist cần phải lưu ý, chấm phần content chung ta phải tách với phần organization Trên thực tế phần lại liên hộ chặt chẽ với để tạo nội dung để người đọc rút Do chấm mà tách biệt chúng để chấm khơng xác K: Underlie assumption checklist chia nhỏ text thành nhiều tiêu chí khác Nhiều người cho global marking tốt người chấm có overall impression biết kết đạt đến mức Tuy nhiên có nhiều người cho cần phải chia nhỏ có ngữ pháp tốt từ vựng lại tồi Ngược lại, có có số lỗi tense mặt khác tốt Do việc chia nhỏ phần để chấm điểm có tính xác riêng V: Việc chia nhỏ để chứng cho việc chấm điểm thơi tơi nghĩ có gap, tức khơng nói lên mối liên hệ chặt chẽ phần với H: Khi chấm, em cố gắng vừa chia nhỏ vừa có ấn tượng chung để khơng có chênh lệch điểm hai cách chấm I: Xin cảm ơn người Appendices 125 ... circumlocution Grammar Almost all grammatical patterns inaccurate Frequent grammatical inaccuracies Chapter Two 18 Some grammatical inaccuracies Almost no grammatical inaccuracies Mechanical Accuracy I... iSoelline) Almost all spelling inaccurate Low standard o f accuracy in spelling Some inaccuracies in spelling Almost no inaccuracies in spelling In my research, the teacher participants were asked... teachers as Linh gave 1.5 marks and Khanh gave marks (Khanh gave grammar and lexical choice mark each, then combined the two in one category: grammar) (App.7, AE: 78-79; AE: 7475) They then agreed