Issues and innovations in very large scale on-line distance learning A case study

Issues and innovations in very large scale on-line distance learning: A case study Dr Gary R Alexander Director, Electronic Media in Education Research Group, Technology Faculty, The Open  University, Milton Keynes MK7 6AA, UK E­mail: g.r.alexander@open.ac.uk, Web site: http://www­emerg.open.ac.uk/gary Abstract:  A new on­line course catering for 900 students in its pilot year and about  13,000 in its full presentation is described. It covered beginning use of computing,  collaborative work on line, finding information on the Web, creating Web pages, and  skills of learning to learn. Issues discussed are the best learning approach to use, ways of coping with the wide variety of student backgrounds, experience and software, and the  nature of the on­line environment needed Key Words: Distance learning, on­line learning, large scale, teaching on the Web,  computer conferences, collaborative learning, generic teaching Biographical notes: Dr. Gary Alexander received the BSEE degree from Columbia  University in 1963 and his PhD in non­linear circuit theory from Purdue University in  1971. Since then he has been employed in the Technology Faculty at the Open University in the UK, in what is now called the Department of Telematics. He has been involved in  the development of innovative methods of distance learning since the early years of the  Open University. He has an international reputation as a pioneer in the use of computer  communications and collaborative learning techniques in distance learning through his  research publications and through participation in such international research projects  as the EC’s DELTA project, JANUS project, Café Mondial, and others. Since July 1996 he  has been Director of the Electronic Media in Education Research Group. Recently he has  been the author and architect of the first module of the on­line course, T171 You, your  computer and the Net, described in this paper Introduction The UK Open University1, in common with many other higher education institutions and  corporate training organisations, has been facing a growing demand for courses providing: • An introduction to basic skills of use of a computer • An introduction to the skills of the on­line world Most of the prospective students looking for these skills are mature adults who have not  pursued formal study for many years, thus adding the need for: • An introduction to skills of learning and study The British Open University is one of the earliest distance learning universities, pioneering techniques of supported open learning since the early 1970s using specially written texts, TV and radio programmes as learning materials It currently has around 200,000 students and is rapidly moving into on-line learning Int. J. Cont. Engineering Education and Life­long Learning -2- Issues and innovations in very large scale on­line distance learning: a case study To meet this need, the Open University Faculty of Technology decided to produce an ICT  foundation course to be taught entirely on­line as part of a complete re­vamp of its first­year  course offerings. The course is called T171 You, your computer and the Net, Learning and living in  the information age and is made up of three modules: • Module 1: You: computing with confidence • Module 2: Your computer: the story of the PC • Module 3: The net: where it came from, how it works This paper concentrates on the first of these modules, which covers the skills listed above,  although some of the issues to be discussed apply to the whole course.  The course was expected to be extremely popular and has, in fact, proved to be one of the most  popular Open University courses of all time. It was first presented in a pilot version in 1999 with student numbers limited to 900 (a very large pilot by many standards) to try out the  technological innovations. For its first full presentation, student numbers had to be limited to  9000 (because of difficulties in finding and training tutors) for an initial presentation starting in  February, 2000 and a second presentation scheduled to start in May 2000 has already attracted  3500 students. With this prospect, the course had to be designed on a very large scale The Open University has considerable experience in the use of computing, and especially  computer conferencing, in its courses [ 1]. By the end of 2000 there will be over 100,000 students  using its conference system (based around the FirstClass® software) as part of their courses.  However, most of these students will also have access to some face­to­face tuition and will  receive most of their learning materials in print through the post. The computer conferences are  largely an add­on to the more traditional OU style of distance learning. We intended T171 to be  much more fully based around on­line learning The OU also has experience in small scale courses taught entirely on­line [ 2, 3]. However, T171  was the first large scale Open University course in which: • All tuition is on­line (except for a 1 hour introductory meeting) • Most of the teaching materials are delivered on­line • The assessment is carried out on­line Although we were able to build upon our earlier experience, many new issues arose through the planned new use of media. We were determined that we would not simply transplant our  traditional distance learning techniques to the Web, but would instead develop an approach  tailored to its strengths. Too many institutions seem to think that on­line teaching means simply  putting lecture notes (or maybe even lectures!) on the Web and adding e­mail The principal issues we faced as we designed the course were: • Issue 1 ­ Learning approach. Should we use a traditional didactic approach, or could we  devise a more experiential, interactive and collaborative learning strategy? We have been  part of the movement that calls for “reshaping the curriculum (to incorporate: team skills,  including collaborative, active learning; communications skills…)” [ 4] • Issue 2 ­ Student variety. We expected students of all ages from early 20s to retirement, with  a wide range of educational backgrounds. We expected a large proportion to be complete  novices to computing, but some would have a moderate amount of experience. We could  prescribe a minimum computing specification but not what browser or office software  students would have.  • Issue 3 ­ On­line environment. What media should we use and for what purposes? We had  the possibility of using text, streaming audio and video, a variety of interactive Web devices, Int. J. Cont. Engineering Education and Life­long Learning -3- Issues and innovations in very large scale on­line distance learning: a case study email and computer conferencing. How could we integrate these in a coherent, usable on­ line environment that could handle the anticipated scale? These issues are likely to be common to any large­scale provider of distance education whether  in a conventional higher education institute or in corporate training Educational Framework The historical models of learning in higher education and distance learning are based around  largely individualistic activities, at least in their formal structure. The conventional university  model is for students to attend lectures, read textbooks and as a result to produce essays or other assignments and take examinations. Of course, the Oxbridge seminar model is an important  exception to this, and in practice, students often study together informally In traditional Open University courses, and in other distance learning organisations, the focus is  on producing written materials, or broadcast or distributed audio­visual materials that form the  basis of the students' learning experience. Students are expected to digest these materials and  confirm their mastery of them through written assignments and examinations.  In recent years, collaborative models of education have been taken much more seriously, and  have come to be seen as having important pedagogical advantages. [ 5, 6] It is even seen as worthy of mention in a British government briefing document on a major new initiative to upgrade  training for industry, where it is seen as having the additional advantage of reducing staff input  [7] The educational basis for collaborative learning is rooted in constructivist models of the way  people think and learn "From the constructivist perspective, concepts are not inherent in things but have to be  individually built up by reflective abstraction."[8] Learning is not a matter of passively accreting concepts, but of constructing a conceptual edifice  in which what is learned is integrated and linked to one's entire life experience. Understanding  is not the same as remembering. For 'deep learning', where what is learned can be applied to  new contexts and generalised, we are concerned with the higher levels of Bloom's cognitive  hierarchy [9] In practical terms, this means that students have to manipulate concepts they are learning, turn  them inside out, and look at their connections to other concepts. The job of the educator or  instructional designer then is not simply to create materials in which concepts are clearly  explained, but to create learning situations in which students find themselves actively engaging  with the concepts they are learning. A particularly powerful situation is one in which one  discusses what one has learnt with peers "In order to describe verbally what we are perceiving, doing, or thinking, we have to  distinguish and characterise the items and relations we are using. This often focuses  attention on features of our construction that had remained unnoticed, and it is not at all  uncommon that one of these features, when put into words, leads us to realise that some  conclusion we had drawn from the situation is not tenable."[ 10] and "Putting students into groups compels them to explain their thoughts to one another and  this has several advantages: on the one hand, verbalisation requires reflection (upon one's  own thoughts as well as upon what the others are saying) and, on the other, students tend to listen more openly and with more interest to their fellow students than to the teacher."[ 11] Int. J. Cont. Engineering Education and Life­long Learning -4- Issues and innovations in very large scale on­line distance learning: a case study This approach to learning has led to the twin pillars in the instructional design of Module 1 of  T171 • Activity­based learning: in which activities are devised which require reflection and  interaction with sets of concepts obtained through a set of learning resources • Collaborative learning: a sub­set of the above which includes group discussion and the  presentation and clarification of concepts One final theoretical point needs to be made: To obtain the benefits of collaborative learning it is  not sufficient to put people into groups. Groups do not automatically work well. People may get  offended by comments made to them, or feel let down if some members are perceived as not  pulling their weight. It is necessary to foster a group ethos, including skills of working together  and of giving and receiving comments and criticisms. Furthermore, our understanding is that  learning is most effective in a social situation where learners feels appreciated, supported and  accepted with all their strengths and weaknesses. [12] We have thus been concerned to develop  on­line educational communities that foster these principles Issue 1: The learning approach We devised a course structure that would enable us to embody the principles described in the  last section: • Section 1 – Learning in cyberspace: The first section was meant to provide a gentle start and  also to set up the collaborative learning by getting students on­line to meet their tutors and  the other students in their tutorial group. In that way they could immediately begin to give  and get help. The practical work of the section was activity­based and included 7 practical  exercises leading students through various aspects of using email, using computer  conferences, using an off­line reader, and exploring the various academic and social  conferences provided for them. A group ‘ice­breaker’ to help students get to know each  other was their first taste of on­line collaboration • Section 2 – Group learning in cyberspace: The second section included the first serious  collaborative activity and taught students the basic skills of group work on line. At the same  time it was meant to consolidate the student’s on­line skills and build their educational  community. They were to read at a set of papers on skills of ‘netiquette’ and groupwork and  collectively decide on the most important points in them. This formed the basis of their first  assignment • Section 3 – Computing with confidence: The third section was activity based but not  primarily collaborative. This section was where the skills of learning new software were  developed. Students were given sets of generic exercises covering word processing,  spreadsheets, graphics software, databases and integrated documents.  Thus it was based  around practical exercises with reflection and generalisation around them • Section 4 – Web skills: The final section started with a set of individual activities and then  built up to a collaborative project. Students had to create a group ‘Web channel’. Each  student created a page on a given topic of general interest (such as health and disease,  environment, current events, science and technology) but with a common group style and  home page. They first performed a set of exercises in which they learned the basics of  searching for information on the Web and then of using HTML to author Web documents.  To provide collaborative working in a course with thousands of students, we had to provide  activities at several different scales: Int. J. Cont. Engineering Education and Life­long Learning -5- Issues and innovations in very large scale on­line distance learning: a case study • Every student was assigned to a tutorial group of about 20 students, with a tutor responsible for helping and for marking the assignments. Each tutorial group had several computer  conferences of its own to work in • For some group activities, the tutorial group was again sub­divided into groups of 4 or 5  students • For more general student support activities, there were large­scale computer conferences  with specialist tutors. In the pilot year there were about 8 support conferences open to the  entire student population. This year, with 9000 students, there are 13 regional copies of each  of the support conferences. This is to keep the activity levels in each conference manageable  and within the capabilities of the support tutors Issue 2: Handling student variety The ‘preparatory period’ There were several aspects of student variety we had to consider. Firstly there was the range of  experience in using computers and in previous learning. We handled that by specifying a  ‘preparatory period’, before the course started. During that period, students with the least  background could begin to catch up with their more experienced fellows. For this initial period,  we could not assume students knew even the most basic uses of a computer so we could not  present material on­line.  For the preparatory period we sent students a set of materials to help them get started: • There was a self­running CD­ROM which installed the basic software used in the course (a  browser in case they didn’t have one, the FirstClass client, various plug­ins, a typing tutor,  an HTML editor), and presented a short multi­media welcome to the course • We sent an introductory booklet that contained material on basic study skills, reprinted from The Sciences Good Study Guide [13]. There was also a short essay on ‘Clear Thinking’ spelling  out principles we expected students to consider later in the course.  • We sent two short booklets called ‘Working with Windows’ which had been developed for  use in earlier first­year Technology courses. The first of these gives a basic explanation of the parts of a computer and what they are for. The second contains a graded series of exercises  leading through the main features of Microsoft Windows. The exercises were originally  presented on audio­tape so students could listen while doing what the tape asked them to  do. In our version, the audio was included on the course CD­ROM A generic approach to teaching software Another major aspect of student variety was that we expected students to have a variety of  different browsers, word processors, spreadsheets, etc. installed on their PCs that they would  want to learn to use in the course.  In earlier courses we had specified a particular, low­cost  ‘Works’ package for all students which  incorporated a word processor, spreadsheet, etc. so that we could give students specific  instructions on how to use it and so that they would easily be able to exchange files with one  another. We encountered considerable resistance to this package from students who already had other software and were used to it.  Int. J. Cont. Engineering Education and Life­long Learning -6- Issues and innovations in very large scale on­line distance learning: a case study In this course we decided to try to handle the variety students brought with them by teaching a  ‘generic’ approach to learning software. We would teach them the general principles of learning  new software, combined with exercises taking them through the basic features of any word  processor, spreadsheet, graphics software, etc. We saw this as having many advantages to the  student. It would enable them to learn to use new versions of their software or entirely new  software without needing to take training courses whenever something new appeared The starting point for this was a document describing general strategies for learning software,  with hints about toolbars, menus, help files, ways of exploring new software, ways of getting  personal support. Backing this up was a set of on­line computer conferences geared to providing help with each type of software. We encouraged students to give and get help from each other  through this conference but specialist tutors also staffed it As an example of this approach, we started the section on spreadsheets with a short document  called ‘What is a spreadsheet?’ explaining what spreadsheets were for and giving a few basic  concepts. This was followed by three practical exercises:  • Study times and TV times: Students filled in a record of the time they had spent studying  and watching TV in the past week. This was simply to learn how to enter data, move around in a spreadsheet, and do simple formatting [insert figure 1 here] • Adding averages and totals: Students added rows to their spreadsheet to provide totals and  averages of the columns, thus learning about using formulae [insert figure 2 here] • Creating a graph: The final exercise led students through the steps needed to create a graph  of the results [insert figure 3 here] All of these exercises describe generic features of a spreadsheet. When combined with the  support conferences, they were sufficient for students to learn the basics of spreadsheets and  also, to develop their ability to learn new software on their own The major exception to this generic approach to learning software was that we required all  students to use our computer conferencing and email system based around FirstClass® within  the course. That was because there are no common Web­based computer conference systems in  general use that were suitable for our needs. The alternative would have been to rely on e­mail  and mailing lists, or to set up private newsgroups. The latter do not offer the richness and  control we needed. We needed very large numbers of conferences, some of which are restricted  to small groups and some to much larger groups Issue 3 – The on­line environment Providing a rich experience One of our goals in developing the course materials and the on­line environment was to provide  a rich experience for the students. We wanted to offer a variety of materials of different types,  Int. J. Cont. Engineering Education and Life­long Learning -7- Issues and innovations in very large scale on­line distance learning: a case study partly to satisfy students with different preferred study modes, and also to make best use of the  on­line media • Practical exercises: The largest component of the module was a set of 28 short practical  exercises, presented as part of the course Web site, such as the three spreadsheet exercises  described above. These covered all the computer skills taught in the course: the use of e­ mail, computer conferencing, word processing, graphics, spreadsheets, databases, integrated documents, Web searching, HTML authoring, good Web design.  Students could read and  work on­line with them, or download them and print them out. For the most part, students  worked on these individually, but with help as needed from the support conferences and  tutorial group conferences • Group activities: There were three on­line group activities during the 10 weeks of this part of the course: an opening ‘ice­breaker’, a group activity on the theory of groupwork, and a  group ‘Web channel’. The last two formed part of the module’s assessment. The group  activities were organised by the tutors on­line through conference messages in the tutorial  group conferences. They built on work done in the exercises • Audio­visual lectures: There were short (a few minutes) introductory talks for each of the  sections of the module. These were delivered as streaming QuickTime from the course Web  site and consisted of the author’s voice over a set of explanatory slides. Each talk explained  what students could expect in that section and what they should have accomplished by its  end. We used audio­visual presentation to provide a better sense of connection with the  author of the material than is possible with written material • Short explanatory papers: Preceding each of the sets of practical exercises were short papers  describing the area to be covered (for example, a basic description of a word processor, or an explanation of types of HTML editor). As these were part of the Web site they were kept  short and were written in the concise style suited to reading material from the Web on­line.  One of these gave background on aspects of computer communications and used a series of  animations to illuminate a subject notoriously difficult to explain in words. (see Figure 4) [insert figure 4 here] • Feedback: To help students evaluate their progress throughout the module we created an  on­line self­diagnostic test linked to a database. It consisted of 25 questions that asked  students to rate their abilities on a scale of 1 – 5 in all the computer and learning skills the  module covered. Students completed this test at the start of the module and then again at the end of each section. By the end of the module this gave them a record of how much they had progressed and accomplished.  • Assessment: There were two assignments for the module, both based around the group  activities. These were submitted on­line through the Open University’s eTMA (electronic  Tutor Marked Assignment) system. The course is proving a major test of the system, as at  peak times it will have to handle thousands of student submissions within a few days. These have to be held securely, have to provide access for the tutor for marking, have to provide  feedback to the students on how well they did and where they could improve, and have to  allow for central staff to monitor the tutor’s marking. There were significant teething  problems in the pilot presentation that were somewhat improved for the full presentation.  We are now holding discussions about ways of simplifying and streamlining the system.  Integrating the components Given all the different components described above, the challenge was to create a design which  Int. J. Cont. Engineering Education and Life­long Learning -8- Issues and innovations in very large scale on­line distance learning: a case study • allowed students and tutors to easily find their way around, and to return  easily to the place on which they were currently working  • provided a consistency in style and functionality across the different parts • was robust enough to handle the extremely heavy peak loads we anticipated Figure 5 shows the basic design we came up with for the main part of the Website. There is an  overall navigation bar to the left that links to the major activities students will encounter. A local  table of contents at the top of the page allows for navigation around the materials related to the  current section. Below this appeared the major types of content: activities, documents to read,  audio­visual materials, self­diagnostic tests [insert figure 5 here] We offered the students three ways of accessing the FirstClass conferences: • through their browser, using an interface linked to the FirstClass button shown in Figure 5 • through the FirstClass client directly to the OU servers. This allowed more functionality than the FirstClass browser interface • through the off­line reader for FirstClass. This was important in the UK where students have to pay for their time on­line by the minute We developed a browser interface for FirstClass for the course that was consistent with the look  and feel of the rest of the course Web site. It is shown in Figure 6. At this level, it is showing the  main T171 conferences:  • a Notice Board for announcements from the course team • a Café for informal discussion between all students in the region • the four support conferences, for office software, for Web/html, for FirstClass, and for  Windows Not shown in that view are the student’s mailbox, their tutorial group conference, or a place for  their personal home page [insert figure 6 here] A member of the OU’s design studio produced the design of the Website, as we wanted a site  that embodied professional design standards. At the same time, the authors wanted to be able to write using an HTML editor. They wanted to have the functionality of HTML as they wrote, so  that they could incorporate internal and external hyperlinks and feedback devices. They also  thought it would encourage them to write in a style suited to the Web (i.e. short punchy sections  with a lot of structure rather than long, verbose descriptive passages).  We thus needed to devise a way to transform the author’s more basic HTML into the designer’s styles, without too much  hand coding The solution was to use a rendering engine called Frontier to strip out the authors’ original  HTML tags and replace them with the designers’ tags. The course editor, one of the  development team, was responsible for this process, as well as for editing the materials for style  and consistency Int. J. Cont. Engineering Education and Life­long Learning -9- Issues and innovations in very large scale on­line distance learning: a case study Evaluation We were concerned to learn as much as possible about the successes and difficulties of the  course, and so set up a systematic evaluation of the pilot presentation. We gathered information  about it from several sources: • Several members of the course team also were course tutors and reported their experiences.  • Students’ comments in the on­line conferences were a useful indicator of difficulties.  • The Open University’s Institute of Educational Technology (IET) surveyed students at the  end of the pilot year. [14] As a result of the feedback received, some changes were made to module 1 after the pilot  presentation. We simplified the structure, reduced the workload, and increased the preparatory  time. Then students were surveyed at the end of Module 1 in the first year of full presentation Some of the overall results of the feedback were that: • There were many positive comments and satisfied students, with compliments about the  quality of the course and its Web site • Many students who were beginners to computing found the course overloaded, especially at the beginning, but those who persevered were pleased with the results. The drop­out rate  was much higher than we had hoped, but not unprecedented for the first year of a new  course • There was a mixed reaction to the groupwork. Where the groups worked well, students  were very enthusiastic. Some did not work well because students dropped out or didn’t  participate actively. In part this was a knock­on effect of the overload which some found • Software difficulties plagued a minority of students and tutors More specifically, Of those students who started the pilot and completed payment only 43% completed and  passed the course. This is quite low for a level 1 course. With the changes made after the  pilot year, it appears that this rate will be substantially higher in the first full year Nonetheless, 80% of the students responding to the IET survey thought that the course  achieved its stated aims and objectives very well or fairly well and 91% responded very well or  fairly well when asked if the course was value for money.  71% found the on­line tutor group conferences very or fairly helpful and 57% found the on­ line support conferences very or fairly helpful In the survey taken at the end of module 1 of the first full year of presentation 88% said very  or quite a bit when asked whether module 1 was enjoyable When asked about their attitudes towards the groupwork components, students said: They made me feel part of the group – 30% I found them difficult but rewarding – 40% I don’t like working in a group – 13% I didn’t see the point in them – 5% None of these – 12% 22% of the students surveyed said they would like to see more of the groupwork, but 29%  said they would like to see less Int. J. Cont. Engineering Education and Life­long Learning - 10 - Issues and innovations in very large scale on­line distance learning: a case study 94% of the students said they found the web site very or quite easy to navigate. As for the  technical aspects which worked the best, the web site with 61% and FirstClass with 62%  were the highest ranked (multiple answers allowed) Conclusions Our overall conclusion is that we have successfully produced a very innovative on­line course at a very large scale. It was generally appreciated by the students but with a certain degree of  technical difficulties and difficulties for beginners in the pilot year of presentation.  Issue 1 – We consider that the activity­based and collaborative approach that we used was vital  to the success of the course, although not fully appreciated by all the students. This was a  mainstream course for the Open University, rather than a research experiment, so even with the  evaluation we did we cannot draw fully scientific conclusions. We do not know of any  comparable courses at this scale, taught at a distance, much less any which do not use a  collaborative activity­based approach to compare with this course. However, it is clear from the  results of the students' assessment that most produced good work and a lot produced excellent  work, without any face­to­face support. From the evaluation we are convinced that this would  not have been possible without the culture of collaboration and mutual support we so carefully  nurtured.  This is reinforced by the experience of the minority of tutorial groups where the group support  did not work as well as it should have. Here there were substantial complaints from the affected  students.  We draw the conclusion that it is not sufficient to put learning materials on the web,  even if they are of very high quality, and hope that students will cope. Collaboration and  support make a very large difference The cost of this to the Open University was very high. There was much greater effort required in development work, in support for students and in training and secondary support for the on­ line staff than we had anticipated.  Issue 2 – Our approach to handling the variety of students by providing extensive on­line  support and by taking a generic approach to learning software was generally successful.  However, in the pilot year there was a significant group that included a lot of absolute beginners who did not cope well with the course. The changes in the first full presentation year helped  with this considerably, with its simplified structure and especially with its attention to  preparatory work. It appears that for absolute beginners to computing, most can learn  successfully from an on­line course with sufficient support. However, there is also a significant  minority who would probably be better off learning from a more conventional face­to­face  course Issue 3 – Our rich, complex on­line environment with its interactive elements and extensive on­ line conference system worked well and was appreciated by the students. However, it required a lot more effort to develop and maintain than we anticipated. With hindsight, a somewhat  simpler design would have been preferable Also, the problems of large scale sometimes worked against us, because a small minority of  several thousand can still be several hundred students having problems. For example, we  included four short audio­visual lectures presented through the Web site using streaming  media. A small minority faced problems with the installation of the required plug­ins and they  took up inordinate amounts of staff time before their difficulties were resolved   Alexander, G. (1997) “The Experience of the Open University: Pointers Towards a Global Network  for Education and Research”, proceedings of the Twenty­first International Conference on the Unity of the  Sciences Washington, D.C., November 24­30, 1997 (http://www­ emerg.open.ac.uk/gary/papers/ICUS/ICUS.html)   Alexander, G. (1993) “XT001 Renewable Energy Technology” presented at Hypermedia in Vaasa  ‘93, Vaasa, Finland, May, 1993   Alexander, G.(1995) “Enhancing Quality in Distance Learning through Collaborative and Resource­ based Learning”, One World Many Voices, 17th World Conference for Distance Education,  ICDE, June 1995  Tien, J.M. (1999) ‘A para/professional approach to restructuring engineering education’, Int. J. Continuing  Engineering Education and Life­long Learning, Vol. 9, No. 2, pp. 117­127 Davidson, N and Worsham T (Eds) (1992) Enhancing thinking through cooperative learning, New York,  Teachers College Press.  Kaye, A (Ed) (1992) Collaborative Learning through Computer Conferencing: the Najaden Papers, New York,  Springer­Verlag McNair, S. (1997) Higher Education, Communication Technologies and the University for Industry, DfEE,  London von Glasersfeld, E. (1995) Radical Constructivism, A Way of Knowing and Learning, Studies in Mathematics  Education Series, no. 6, London, The Falmer Press, p.184 Bloom, B.S., (1956)Taxonomy of educational objectives: the classification of educational goals, London, Longmans,  p. 207 10 von Glasersfeld (1995), op. cit., p. 188 11 ibid p. 190 12 see examples and discussions in Goleman, D (1996) Emotional Intelligence, Bloomsbury   Northedge, A., Thomas, J. Lane, A, and Peasgood, A. (1997), The Sciences Good Study Guide, Open  University 13 14 2000 Collins, K., Ashby, A Courses Survey Student Statistics Team, Institute of Educational Technology, 16 Feb Figure – The simplest use of a spreadsheet Figure 2 – Spreadsheet exercise adding the use of formulas Figure – Creating a graph from a spreadsheet Figure – A still from an animation used to teach e-mail transmission through linked servers Figure 5. The basic design for the main part of the Web site The design of the browser interface for the T171 FirstClass conferences 14 Figure 6 ­  ... Int. J. Cont. Engineering Education? ?and? ?Life­long? ?Learning -4- Issues? ?and? ?innovations? ?in? ?very? ?large? ?scale? ?on­line? ?distance? ?learning: ? ?a? ?case? ?study This approach to? ?learning? ?has led to the twin pillars? ?in? ?the instructional design of Module 1 of ... To provide collaborative working? ?in? ?a? ?course with thousands of students, we had to provide  activities at several different scales: Int. J. Cont. Engineering Education? ?and? ?Life­long? ?Learning -5- Issues? ?and? ?innovations? ?in? ?very? ?large? ?scale? ?on­line? ?distance? ?learning: ? ?a? ?case? ?study • Every student was assigned to? ?a? ?tutorial group of about 20 students, with? ?a? ?tutor responsible... Int. J. Cont. Engineering Education? ?and? ?Life­long? ?Learning -9- Issues? ?and? ?innovations? ?in? ?very? ?large? ?scale? ?on­line? ?distance? ?learning: ? ?a? ?case? ?study Evaluation We were concerned to learn as much as possible about the successes? ?and? ?difficulties of the