Neural networks and information theory colin fyfe

ệỉ é ặ ệ é ặ ỉểệ ì ề ÁỊ ĨƯĐ Ø ĨỊ Ì ĨƯÝ ĨÐ Ị Ý ¸ Ơ ỪĐ ỊØ Ĩ ĨĐỚØ Ị Ị ÁỊ ĨƯĐ Ø ểề ậíìỉ ẹìá è ề ệì ỉí ể ẩ ìé í ấểểẹ ắ ắ ẩ ểề ẳ ỉ ểề ẵắá ắẳẳẳ ểềỉ ềỉì ẵ ềỉệể ỉ ểề ẵẵ ầ ỉ ì ẵắ ÁÒØ ÐÐ Ò º º º º º º º ẵ ệỉ é ặ ệ é ặ ỉểệ ì º º º ½º ĨÐĨ Ð Ị Ë Ð ĨỊ ặ ệểềì ẵ ệề ề ề ệỉ é ặ ệ é ặ ỉểệ ẵ èíễ Ð ÈƯĨ Ð Đ Ư × º º º º ẵ ì ểệỉ ìỉểệí ể ặặì ẵ ệìỉ èỉểệ é º º º º º º º º º º º ½º º½ ÏĨƯ Ü ĐƠÐ º º º º ẵ ắ ĩ ệ ì ì º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ¾º½ ÈƯĨ Ð ØÝ º º º º º º º º º º º º º º º º ắắ ậỉ ỉ ìỉ ì º º º º º º º º º º º º º º º º º º º º ắắẵ è ìì ề ểệ ặểệẹ é ìỉệ ỉ ểề ắ ẫ ềỉ ỉ ểề ể ề ểệẹ Ø ĨỊ º º º º º º º º ắẵ ể ệ ỉ ẹì º º º º º º º º º º º º º ¾º¿º¾ ÁỊ ĨƯĐ Ø ĨỊ º º º º º º º º º º º º º º º º ¾º¿º¿ ỊØƯĨƠÝ º º º º º º º º º º º º º º º º º º ¾º¿º ÂĨ ỊØ Ị ĨỊ Ø ĨỊ Ð ỊØƯĨƠÝ º º º º º ¾º¿º ÅÙØÙ Ð ÁỊ ĨƯĐ Ø ĨỊ º º º º º º º º º º º ¾º¿º Ì ÃÙÐÐ Ä é ệ ìỉ ề ắ ềỉệểễí ệểẹ ểềỉ ềểì ìỉệ ỉ ểề ắ ềỉệểễí ề ỉ ìì ề ìỉệ ỉ ểề ắ ề ểệẹ ỉ ĨỊ Ì ĨƯÝ Ị Ø Ỉ ÙƯĨỊ º º º ắ ẵ ầề ặ ệểề ỉ ặể ì ểề ỉ ầỉễỉ ắ ắ ặể ì ĨỊ Ø ÁỊỚØ× º º º º º º º º º º º ¾º º¿ ÅĨƯ Ø Ị ĨỊ ĨÙØỚØ Ị ÙƯĨỊ º º º º º º ¾º ÈƯ Ị Ơ Ð ĨĐƠĨỊ ỊØ Ị ÐÝ× × º º º º º º º º º ¾º Ë ÐÐÝ Ü ĐƠÐ º º º º º º º º º º º º º º º º º ¾º Ü Ư × º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ¾ ÁỊ ĨƯĐ Ø ĨỊ Ì ¿ À º º º º × º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ĨƯÝ Ị ËØ Ø ×Ø × Ị Ä ƯỊ Ị ¿º½ Ë ĐƠÐ À Ị Ä ÖÒ Ò º º º º º º º º º º ¿º½º½ ËØ Ð ØÝ Ĩ Ø Ë ĐƠÐ À Ị ÊÙÐ ¿º¾ Ï Ø Ý ỊÀ Ị Ä ÖÒ Ò º º º º º ¿º¿ ÈÖ Ò Ơ Ð ĨĐƠĨỊ ỊØ× Ị Ï Ø Ý º ¿º ầ ì ầề ặ ệểề ể é º º º º º º º º ¿º º½ ệ ỉ ểề ể ầ ì ầề ặ ệểề ÅĨ ¿º Ê ỊØ È ÅĨ Ð× º º º º º º º º º º º º º ẵ ầ ì ậ ìễ é ểệ ỉ ẹ º º º º º º ½ º º º º º Ð º º º º º º º ẵẵ ẵắ ẵắ ẵắ ẵ ẵ ẵ ẵ ắẳ ắẳ ắẳ ắắ ắ ắ ắ ắ ắ ¾ ¾ ¾ ¿½ ¿¾ ¿¿ ¿ ¿ ¿ ¿ ẳ ẵ ắ ầặè ặèậ ắ ắ Ç ³× Ï Ø ËÙ ×Ơ Ð ĨƯ Ø ¿º ậ ề ệì ề ệ éị ề é Ì ÁỊ ĨÅ Ü ÈƯ Ị ƠÐ Ị Ä Ị× Ư³× ÅĨ Ê Ư ×× ĨỊ º º º º º º º º º º º º º º ẵ ềểệ ểẹễểề ềỉì ề ÐÝ× × º º º ĨÙƯ ÈƯ Ø Ð ÏĨƯ º º º º º º º º º º º ¿º º½ ỊỊ Ð Ị Ĩ Ä ƯỊ Ị Ê Ø º º º ¿º º¾ Ì Ø º º º º º º º º º º º º º Đ º º º ĨƯ Ø Đ º Ð º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ẵ è ặể éỉí éỉ ệ º º º º º º º º º º ắ ểé ì ệìỉ ể Ð º º º º º º º º º ắẵ ề ĩ ẹễé º º º º º º º º º º ắắ ểé ì ậ ÓÒ ÅÓ Ð º º º º º º º º º º º¿ ÊÙ Ị Ư Ị Ë ÙÐØ Ị³× ÅĨ Ð º º º º º º º º º º º º Ì Ỉ ØÚ ÅĨ Ð º º º º º º º º º º ẵ ểéể é ềỉ ệề ệểềì º º º º º º º º º º ắ ĩỉ ềì ểềì ỉể ỉ ềỉ ệề ệểề ặ ỉểệ è ềỉ ề ậíề ễì ì Ị Ư Ý Å Ị Đ × Ư º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ¿º ềỉ ầ ỉ ề ệề ề ề ỉ ểề ỉ ể ì ẵ è éề º º º º º º º º º º º º º º º º º º º º ắ è ễệểễ ỉ ểề ặ ỉểệ ắẵ è ƠƯĨƠ Ø ĨỊ Ð ĨƯ Ø Đ º º º ắắ è ầấ ễệể é ẹ º º º º º º º º º º º º¾º¿ ƠƯĨƠ Ø ĨỊ Ị È º º º º º º º º º¿ Í× Ị ÈƯ Ị Ơ Ð ĨĐƠĨỊ ỊØ× º º º º º º ẵ ẩệ ễệể ìì ề º º º º º º º º º º º º º º º º º¿º¾ ÈƯ Ị Ơ Ð ĨĐƠĨỊ ỊØ× ÈỨỊ Ị º º º º º ệểììạ ềỉệểễí ì ỉ ầ ỉ ề Ø ĨỊ º º º º º º Ì Á¹Å Ü ÅÓ Ð º º º º º º º º º º º º º º º º º º º º½ Ị Ü ĐƠÐ º º º º º º º º º º º º º º º º º ĨỊØ ÜØÙ Ð ÁỊ ĨƯĐ Ø ĨỊ º º º º º º º º º º º º º º º º½ ÁỊ ĨƯĐ Ø ĨỊ ÌƯ Ị× Ư Ị Ä ƯỊ Ị ÊÙÐ × º ắ ấ ìéỉì º º º º º º º º º º º º º Ì È ×Ð Ý ĨỊỊ Ø ĨỊ º º º º º º º º º º º º º º º º½ ÁỊØƯĨ Ù Ø ĨỊ º º º º º º º º º º º º º º º º º º¾ Ì ỊĨỊ Ð ĨƯƯ Ð Ø ĨỊ Ỉ ØÛĨƯ º º º º º¿ ÜƠ Ư Đ ỊØ Ð Ê ×ÙÐØ× º º º º º º º º º º º º º Ừ ¬ Ð Ø º º º º º º º º º º º º º º º º º Ê Ð Ø º º º º º º º º º º º º º º º º º º º º Ê Ị ĨĐ ĨØ ËØ Ư Ĩ Ư Đ× º º º º º º º º º º º ÅĨƯ Ø Ị ØÛĨ Ø × Ø× º º º º º º º ặểềạé ề ệ ểệệ é Ø ĨỊ× º º º º º º º º º º º ËƠ Ị ÙƠ ƯƯĨƯ × ỊØ º º º º º º º º º º º º º º½ Å Ø Đ Ø Ð ƯĨÙỊ º º º º º º º º º º º¾ ÉÙ ÈƯĨƠ º º º º º º º º º º º º º º º º º º º¿ Ä Ị Ë Ư º º º º º º º º º º º º º º º º º º º ĨỊ Ù Ø Ư ỊØ× º º º º º º º º º º º º º Ä ×Ø Å Ị ËÕÙ Ư ƯƯĨƯ Ê ểềìỉệ ỉ ểề ẵẳ ểề éì ÓÒ º º º º º º º º º º º º º º º º º º º ẳ ẵ ẵ ẵ ẳ ẵ ẵ ¾ ¼ ¾ ¾ ¾ ¿ ¼ ¾ ¿ ¿ ÇỈÌ ỈÌË Á ¿ ỊØ Ý Ị ÁỊ Ơ Ị ềỉ ậểệ ì ẵ è èệể é ỉ ẩệ Ị Ơ Ð ĨĐƠĨỊ ỊØ× º º º º º º º º º º½º½ ÁỊ Ơ Ị ỊØ Ĩ × º º º º º º º º º ẵắ èíễ Ð ÜƠ Ư Đ ỊØ º º º º º º º º º º º º º º º º¾ ĨĐƠ Ø Ø Ú Ä ƯỊ Ị º º º º º º º º º º º º ắẵ ậ ẹễé ĨĐƠ Ø Ø Ú Ä ƯỊ Ị º º º º º º º º º º º º¿ ÒØ ¹À Ị Ị ĨĐƠ Ø Ø Ú Ä ƯỊ Ị º º º º º º º º º º¿º½ ËƠ Ư× Ĩ Ị º º º º º º º º º º º º º º º º ắ ểé ì ậ ĩỉ ể é º º º º º º º º º º º º º º º º¿º¿ ÁĐƠÐ Đ ỊØ Ø ĨỊ Ø Ð× º º º º º º º º º º º º º º º¿º Ê ×ÙÐØ× º º º º º º º º º º º º º º º º º º º º º º º º ĨĐƠ Ø Ø Ú À Ị Ä ƯỊ Ị º º º º º º º º º º º º º º º ÅÙÐØ ÔÐ Ù× ÅĨ Ð× º º º º º º º º º º º º º º º º º ẵ ậ ề ì ể é º º º º º º º º º º º º º º º º º º º º¾ Ý Ị Ị Đ Ðº º º º º º º º º º º º º º º º º º º ÈƯ Ø Ð ØÝ Å Ị Đ × Ø ĨỊ º º º º º º º º º º º º º º º º º Å ÜØÙƯ × Ĩ ÜƠ Ừ× º º º º º º º º º º º º º º º º º º º º º º½ Ị Ü ÑÔÐ º º º º º º º º º º º º º º º º º º º º º Ì È ×Ð Ý ĨỊỊ Ø ĨỊ º º º º º º º º º º º ẵ ặểề Ị Ø Ú Ï Ø× Ị ØĨƯ Ị ÐÝ× × ắ ặểề ề ỉ ÇÙØỚØ× º º º º º º º º º º º º º º º º º¿ Ø Ú ỈĨ × º º º º º º º º º º º º º º º º º º º º º ÌĨƠĨ Ư Ơ Ð ÇƯ Ư Ị ề ể é ệ ặể ì º º Ê ×ÙÐØ× º º º º º º º º º º º º º º º º º º º º º º º º º Ø ặể ì º º º º º º º º º º º º º ÈƯĨ Ð ×Ø ÅĨ Ð× º º º º º º º º º º º º º º º º º º º º º º½ Å ÜØÙƯ × Ĩ Ù×× Ị× º º º º º º º º º º º º º º ắ ể ìỉ é ặ ỉểệ º º º º º º º º º º º º º¿ Ì À ÐĐ ĨÐØÞ Å Ị Ị Ø Å Ð ĨƯ Ø Đ º º º Ì Ï ¹ËÐ Ơ Ð ĨƯ Ø Đ º º º ẵẳ ĨỊ ÐÙ× ĨỊ º º º º º º º º º º º º º º º º º º º º º º º º º ÁỊ Ơ ề ềỉ ểẹễểề ềỉ ề éíì ì ẵ ấ ìỉ Ø Đ ỊØ Ĩ Ø ÈƯĨ Ð Đ º º º º º º º º º¾ ÂÙØØ Ị Ị À Ö ÙÐØ º º º º º º º ắẵ ề Ü ĐƠÐ Ë Ơ Ư Ø ĨỊ º º º º º º º º º¾º¾ Ä ƯỊ Ị Ø Û Ø× º º º º º º º º ặểềạé ề ệ ẩ º º º º º º º º º º ẵ ậ ẹé ỉ ểềì ề × Ù×× ĨỊ º º º º º º º ÁỊ ĨƯĐ Ø ĨỊ Å Ü Đ × Ø ĨỊ º º º º º º º º º º º º½ Ì Ä ƯỊ Ị Ð ĨƯ Ø Đ º º º º º º º º º Ì È ×Ð Ý Đ Ị× ĨỊ º º º º º º º º º º º º º º º½ Ü ĐƠÐ º º º º º º º º º º º º º º º º º º È Ị Ð × Å Ị ĐÙĐ Ê ĨỊ×ØỨ ỉ ểề ệệểệ ẵ è ìỉ ề ậế ệ ệệểệ ặ ỉểệ ắ ề ĨĐƠ Ø Ø ĨỊ º º º º º º º º º º º ĨỊ ÐÙ× ĨỊ º º º º º º º º º º º º º º º º º º º Ä ƯỊ Ị ẵ è ìạẻ ệ ề é ẹẹ ẵẵ ểẹễểì ỉ ểề ể ỉ ẵắ ề ệ é ậỉ ỉ ìỉ é ẵ ề ĩ ẹễé ắ è ẻ ẹ ềì ểề º º º º º ƯƯĨƯ º Ư Ú Ø ÓÒ º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ẵẳẳ ẵẳẳ ẵẳẳ ẵẳắ ẵẳắ ẵẳ ½¼¿ ½¼ ½¼ ½¼ ½¼ ½¼ ½¼ ½½¼ ½½¼ ½½½ ½½¾ ½½¿ ½½¿ ½½ ½½ ½½ ½¾½ ½¾½ ½¾¾ ½¾¿ ½¾ ½¾ ½¿½ ½¿¾ ½¿¿ ½¿¿ ½¿ ½¿ ½¿ ½¿ ẵ ẳ ẵ ẳ ẵ ẳ ẵ ắ ẵ ẵ ẵ ẵ ẵ ẵ ẵ ầặè ặèậ ẩ Ä ƯỊ Ị º º º º º º º º º º º º º º º º º¿º½ Ü ĐƠÐ × º º º º º º º º º º º º º º º Ê ÙÐ Ư × Ø ĨỊ º º º º º º º º º º º º º º º º ẵ ấ ệ ìì ểề º º º º º º º º º º º º¾ Ï Ø Ýº º º º º º º º º º º º º º¿ ỊÚ ØĨƯ Ị ÐÝ× × Ĩ Ï Ø º Ê Ð × × ÙỊ Ø ĨỊ× º º º º º º º º º º º º º½ Ê Ị ÅÄÈ × ƠƠƯĨÜ Đ ØĨƯ× º º º¾ ĨĐƠ Ư ×ĨỊ Û Ø ÅÄÈ× º º º º º º º Ä ƯỊ Ị Ị Ê Ð × × ÙỊ Ø ểềì ẵ ĩ ềỉ ệì × Ð Ø Ø Ê Ị ĨĐ º º¾ Ë é ạểệ ề ì ậ é ỉ ểề ể ềỉệ × º º¿ ËÙƠ ƯÚ × Ë Ð Ø ĨỊ ể ềỉệ ì ệểììạẻ é ỉ ểề º º º º º º º º º º º º º º º ËÙƠƠĨỪ Ỵ ØĨƯ Å Ị × º º º º º º º º º ẵ é ìì ỉ ểề º º º º º º º º º º ắ ì ậỉ í º º º º º º º º¿ Ë ÑÙÐ Ø ĨỊ× º º º º º º º º º º º º º º ĨỊ ÐÙ× ĨỊ º º º º º º º º º º º º º º º º º ÍỊ×ÙƠ ƯÚ × º º º º º º º º º º Ý º º º º º º º º º º º º º º º º º º º º º º º º º º Ð º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º Ä ƯỊ Ị Ù× Ị à ƯỊ Ð Å Ø Ĩ × º½ ÁỊØƯĨ Ù Ø ĨỊ º º º º º º º º º º º º º º º º º º º º¾ à ƯỊ Ð È º º º º º º º º º º º ắẵ è Ä Ị Ư à ƯỊ Ð º º º º ắắ ặểề é Ị Ư à ƯỊ Ð× º º º º º ắ è ệì ể à ƯỊ Ð Đ Ị× ĨỊ Ð ØÝ º º¿ à ƯỊ Ð ÈƯ Ị Ơ Ð ØĨƯ Ị ÐÝ× × º º º º º º º º¿º½ ÈƯ Ị Ơ Ð ØĨƯ Ị ÐÝ× × º º º ắ è ẻ ệ ẹ ĩ ÊĨØ Ø ĨỊ º º º º º º º º º º¿º¿ à ƯỊ Ð ÈƯ Ị Ơ Ð ØĨƯ Ị ÐÝ× × º º º º¿º Ë ĐÙÐ Ø ĨỊ× º º º º º º º º º º º º º º º º à ƯỊ Ð ÜƠÐĨƯ ØĨƯÝ ÈƯĨ Ø ĨỊ ÈÙƯ×Ù Ø º º ẵ ĩễéểệ ỉểệí ẩệể ỉ ểề ẩệì Ø º º º º º º¾ à ƯỊ Ð ÜƠÐĨƯ ØĨƯÝ ÈƯĨ Ø ĨỊ ÈÙƯ×Ù Ø º º¿ Ë ĐÙÐ Ø ĨỊ× º º º º º º º º º º º º º º º º ỊĨỊ Ð ĨƯƯ Ð Ø ĨỊ Ị ÐÝ× × º º º º º º º º º º½ à ƯỊ Ð ỊĨỊ Ð ĨƯƯ Ð Ø ĨỊ Ị ÐÝ× × ắ ậ ẹé ỉ ểềì º º º º º º º º º º º º ĨỊ ÐÙ× ĨỊ º º º º º º º º º º º º º º º º º º º ÄỊ Ư º º º º º º º º º º º º º º ệ ẵ ẻ ỉểệì º º º º º º º º º º º º º º º º º º½º½ Ë Đ Ư Ø ĨỊ Ú ØĨƯ× º º º º º ẵắ ỉ ểề ể ỉểệì º º º º º º½º¿ Ä Ị Ø Ĩ Ú ØĨƯ º º º º º º º º ẵ è ậ é ệ ẩệể ỉ ể ắ ẻ ỉểệì ẵ è ệ ỉ ểề ỉ ề ắ ỉểệì ẵ ề ệ ễ ề ề ẵ ặ ệ é ặ ỉểệ ì ắ ỉệ ì º º º º º º º º º º ắẵ èệ ềìễểì º º º º º º º º º º º º º¾º¾ Ø ĨỊ º º º º º º º º º º º º º º º¾º¿ ÅÙÐØ ƠÐ Ø ĨỊ Ý × Ð Ư º º º º º¾º ÅÙÐØ ƠÐ Ø ĨỊ Ĩ Å ØƯ × º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ẵ ẵ ẵ ẵ ẵ ắ ắ ẳ ẳ ¾ ¾ ¾ ¿ ¿ ¾ ½ ¿ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ½ ắ ắ ắ ắ ẵ ầặè ặèậ ắ ắ ềỉ ỉí º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ẵ ề ệì º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ½ ỊÚ ÐÙ × Ị ỊÚ ØĨƯ× º º º º º º º º º º º º º º º º º º º º º º º º º ẵ é éì ẵ ẵ ÁỊØƯĨ Ù Ø ĨỊ º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ½ º½º½ È Ừ Ð ƯÚ ØÚ × º º º º º º º º º º º º º º º º º º º º º º º º º º º º ẵ ẵắ ậ ểề ệ Ø Ú × º º º º º º º º º º º º º º º º º º º º º º º º º º º ắẳẳ ễệểễ ẵ è ỉ ểề ệ ỉ ểề ắẳẵ ầấ ễệể é ẹ º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º ắẳắ ầặè ặèậ ễỉ ệ ẵ ềỉệể ỉ ểề ẵẵ ầ ỉ ì ỉ ệỉ ì ễỉ ệá íể ì ểé ẵ ề ệìỉ ề ỉ ì é ề ắ ề ệìỉ ề Ø ØÛĨ ĐĨ ¿º ÙỊ Ư×Ø Ị Ø ĐƠĨỪ Ị º Ð ØĨ Ù× º º ỊĨÛ ×ĨĐ Ĩ Ø ềỉ éé ệỉ ì ể ểễ ệ ỉ ểề Ị Ĩ Ð ƯỊ Ị Ị ĐƠĨỪ Ị Ð Ị ệ é ề ỉểệ ì ặặìà ặặì ặặì ì ĐƠÐ ỨÐ ØĨ Ư Ø Ð ƯỊ Ị Ị ØĨ ề ệìỉ ề ỉ ẵắ éể ì ể ề ề ỈỈ Ĩ Ð Ị ƯÐÝ Ị× Ơ Ư ƠƯĨ Ð ẹì ểề ặặì é ễệể é ẹì ề Ù× º Ị Ì × ĨÙƯ× ĨĐƠƯ × × Ị Ú Ị ĨÙƯ× ØĨ Ø Ĩ× Ị Û Ị ĨƯĐ Ø ĨỊ ƠƯĨ ×× Ị × ĐÙÐ Ø ĨỊ× Û Ư ỊØ Ị ØĨ ĐÙÐ Ø Ø Ị ĨƯĐ Ø ểề ễệể ììểệì ơề ề ểéể í èệ ỉ ểề é ệỉ é ềỉ éé ề ì × ĨỊ ¹Ð Ú Ð ×ÝĐ ĨÐ ƠƯĨ ×× Ị éể ễệể ệ ẹạ ẹ ề ĩễ ệỉ ìíìỉ ẹìá ì ẹ ềỉ ề ỉì ỉ éé Ư ÐÝ ĨỊ Ø Ư Ị Ị Ü ×Ø Ị ×ĨĐ Ð Ú Ð Ư ƠƯ × Ị¹ Ø Ø ĨỊ Ĩ ỊĨÛÐ Û Ị Đ Ị ỚÐ Ø Ý Ù× Ị ×ĨĐ ØÝƠ Ĩ ĨƯĐ Ð ×ÝỊØ Ü Đ ề ễé ỉ ểề ì ẹ ỉ ệé ì Ĩ Ư ĐĐ Ưº ËÙ ƠƠƯĨ × Ú ƠƯĨÚ ØĨ Ú ƯÝ ×Ù ×× ÙÐ Ị ĐÙÐ Ø Ị ÙĐ ề ễệể ìì ề ềẹ ệ ể é ì º º ¯ Û ỊĨÛ ¯ Û Ú ×Ĩ ØÛ Ư Û ỊĐ Ø Ị ƠÐ Ý ƠƯĨ ×× ĨỊ Ð ÜƠ Ừ × ¯ Û Ú ×Ĩ ØÛ Ư Û ƠƯĨ Ð Đ׺ ×× Ø ỊĐ Ị Ư Ø Đ Ø Đ Ø Ư Ị Å ×Ø Ư Ð Ú Ð Ị ĨƯ Ø Ð Û Ù× Ị Ð ƠƯĨĨ × ĨƯ ×ĨÐÚ Ị ÜƠ Ừ ×Ý×Ø Đ× ĨĐƠÐ Ü Đ Ø Đ Ø Ð Ø Ø Ư Ư ×Ø ÐÐ Ư × Ĩ ÙĐ Ị ÜƠ Ừ × Û Û Ư ÙỊ Ð ØĨ Đ Đ Ù× Ị ×Ĩ ØÛ Ư º º ĨÙƯ Đ Ị × Ú Ỉ ÙÐØÝ Ư Ð ÐÝ Ư Ị ÙĐ Ị Ị ệ ỉ ề ệ ể ề ì ề ẹ ề ì ểệ ĩ ỉề ểẹẹểề ì ềì ặểỉ ể éểạé é ỉ é ìỉ é ìỉ ì Đ× ĨĐƠ Ư ØĨ Ø Ð ×Ø Ĩ Ú Đ ềỉì ỉ ì ềì ỉ ỉỉ ặ éỉ ỉ ề × Ú ƠƯĨÚ ×Ý ØĨ ƠƯĨ Ư Đ Û Ư × Ø ×Ý Ø Ị × Ú ƠƯĨÚ Ỉ ÙÐغ ẩè ấ ẵ ặèấầ èầặ synapse incoming Dendrites axon Axon cell body Flow of information through the neuron ệ ẵẵ ẵ ệỉ ì ẹễé ề ệểề é ặ ệ é ặ ỉểệ ì ặể ỉ ì × ×Ù × Ø Ĩ× × Ù×× ĨÚ × Đ Ị ÐÝ Ư ÕÙ Ư ỊĨ Ư Ø ÙĐ Ị ĩễ ệỉ ì íểề é ệ ề ệ ễỉ Ø Đ ỊÝ Ĩ Ø × Ø × ×º Ì × ÜƠÐ Ị× Ø ÙỊ ƯÐÝ Ị ƠƯ ×ÙĐỜ ĨỊ Ĩ Ư Ø Ị Ừ ¬ Ð Ị ÙƯ Ð ề ỉểệ ì ặặìà ỉ ỉ ỉ ĩễ ệỉ × Û Û × ĨÛ Ị Ø × Ư × Ù ØĨ Ø Ị ØÙƯ Ĩ Ø Ư Û Ư ĨỊ Û ĨÙƯ Ư Ị× ỨỊº Ì Ư ĨƯ Û ệ ỉể ẹé ỉ ểéể é ễệểơ ề ì ề Ø × Ư × Û ĐÙ×Ø × ĨÙƯ Đ Ị × ĨỊ Ư Û Ư ´ĨƯ × ĐÙÐ Ø ĨỊ× ể ì ệ ệ ì ẹì ỉể ì Ð ĨỊ ÕÙ Ú Ð ỊØ ØĨ Ø Ø ĨÙỊ Û Ø Ị ĨÙƯ ׺ Ư×Ø Û × ĨÙÐ Ð Ư ĨÙØ Û Ø Ø ØØƯ Ø Ú ƠƯĨƠ Ừ × Ĩ ÙĐ Ị Ị ÙƯ Ð Ị ĨƯĐ Ø ĨỊ ƠƯĨ ×× Ị Ư º Ì Ý Đ Ý × Ư × ¯ ¯ ĨÐĨ Ð Ị ĨƯĐ Ø ểề ễệể ìì ề ì ệể ìỉ ề éỉạỉểé ệ ềỉ ệéí ểề ề é ẵ ệ ỉ ×Ø ỊÙĐ Ư Ĩ Ị ÙƯĨỊ× Ý Ø Ø ĨÙ Û ÐÝ ÐĨ× Đ ỊÝ Ø ĨÙ× Ị × Ĩ Ị ÙƯĨỊ× Û ØĨ ÙỊ Ø ĨỊ ĨƯ Đ ỊÝ Ý Ư× Û Ø ĨÙØ Ị ××Ĩ Ø Ø Ư ĨƯ Ø ĨỊ Ị ĨÙƯ Ơ Ð Ø × Û ĨÐĨ Ð Ị ĨƯĐ Ø ĨỊ ƠƯĨ ××ĨƯ× Ư ­ Ü Ð Û Ĩ ỊĨØ Ư ÕÙ Ư ØĨ Ư ƠƯĨ Ư ĐĐ Ĩ ỊØĨ Ị Û ỊÚ ƯĨỊĐ ỊØ Û Ờ ØĨ Ø Ị Û ỊÚ ƯĨỊĐ Ịظ º º Û Ð ƯỊº Ú ĨÙƯ ĨỊØ ỊÙ Û Ị ẽ ề ề é ịịíá ễệể é ìỉ ỊĨ ×Ý Ị Ị ĨỊ× ×Ø ỊØ Ø Ị Û Ý Ø Ø × ƠĨ×× Ð Û Ø ĨĐỚØ Ư ƠƯĨ Ư Đ× ÙØ ĨỊÐÝ Û Ø Ư Ø Ð Ĩ ×ĨƠ ×Ø Ø ƠƯĨ Ư ĐĐ Ị Ị Ø Ị ĨỊÐÝ Û ỊØ ĨỊØ ÜØ Ĩ ×Ù Ø × Ị Ị ÐÝ× Ị Ø Ðº ĨỊØƯ ×Ø Ø × Û Ø ĨÙƯ ỊỊ Ø Ð ØÝ ØĨ Ị Ð ÙỊ Ừ ỊØݺ ¯ Ì Đ Ị Û × Ơ Ư ĨƯĐ Ị Ø × ×× Ơ Ø × Ð ØØÐ ƠĨÛ Ưº Ï × ÐÐ Ø Ư ĨƯ Ị ĨÙƯ ỊÚ ×Ø Ị Û × ÐÐ ĐÙÐ Ø Ị ẹ ẵ ểéể ề ỉ ểềì ì éí ễ ệ éé éá ìẹ ééá ểẹễ ỉ ề ỉ ểề Ĩ Ø × ƠƯĨƠ Ừ × Û Ø ÐĨĨ Ø ỉ ểéể é é ề ậ é ểề ặ ệểềì × ĐƠÐ ¬ Ị ÙƯĨỊ × × ĨÛỊ Ị ÙƯ ½º½º ÁỊ ĨƯĐ Ø ĨỊ × Ư Ú Ý Ø Ị ÙƯĨỊ Ø ×ÝỊ Ơ× × ĨỊ Ị Ư Ø ×º ×ÝỊ Ơ× Ư ƠƯ × ỊØ× Ø ÙỊ Ø ĨỊ Ĩ Ị Ị ĨĐ Ị ÜĨỊ ƯĨĐ ỊĨØ Ư Ị ÙƯĨỊ Û Ø Ị Ư Ø Ĩ Ø Ị ệểề ệ ễệ ì ềỉ ề ỉ ệ ề é ỉệểạ ẹ é ỉệ ềìẹ ìì ểề ể ệì Ø Ø ×ÝỊ Ơ× Û ÐÐĨÛ× Ị ĨƯĐ Ø ĨỊ ØĨ ØƯ Ị×Đ ØØ ƯĨĐ ĨỊ Ị ÙƯĨỊ ØĨ Ø Ị Üغ Ì Ị ĨƯĐ Ø ĨỊ × Ø Ị ØƯ Ị×Đ ØØ ÐĨỊ Ø Ị Ư Ø × Ø ÐÐ Ø Ư ×Ø ÐÐ Ĩ Ý Û Ư ×ÙĐĐ Ø ĨỊ Ĩ Ø Ð ØƯ Ð ĐỚÐ× × Ư Ị Ø Ĩ Ý Ø × ƠÐ Ị ×ĨĐ ÙỊ Ø ĨỊ Ĩ Ø × ×ÙĐ × Ơ Ư ĨƯĐ ỉì ẵ ỉ ééí ì ệ é ì ểệ ệỉ ẵ ấặặ ặ ấè ặ ấ ặ èẽầấậ w1 Incoming data w2 y Output w3 w4 ệ ẵắ è ệỉ ¬ ƠƯĨ ×× Ị ỊĨØ ×Ơ ¬ Ð Ị ÙƯĨỊº è ỉì ẹể é ỉ ìíề ễỉ ặ ề ỊØ Ư Đ Û ÐÐ Ø ƠÐ ÛØ ỊØ ÐÐ Ĩ ݺ ׺ ËĨĐ ĨƯĐ Ĩ Ø × ÙỊ Ø ĨỊ × Ư Ø Ư Ø Ị Ơ Ừ ÙÐ Ư Ø Ư × ĨÐ Ø Ị ÙƯĨỊ Û ÐÐ ¬Ư Ø × Đ Ị× Ø Ø Ø Û ÐÐ × Ị × Ị дỊ Ø ĨƯĐ Ĩ Û Ú ể ểề ì ỉ ểềà éểề ỉì ĩểề ề ểệ Ư ØĨ ĨĐĐÙỊ Ø Û Ø ĨØ Ư Ị ÙƯĨỊ׺ ề ỉ ì íá ề ểệẹ ỉ ểề ì Ơ ×× ƯĨĐ ĨỊ Ơ Ừ Ĩ Ø Ị ØÛĨƯ Ĩ Ị ÙƯĨỊ× ØĨ ỊĨØ Ưº ÁØ × Ứ Ð ØĨ Ư Ĩ Ị × Ø Ø ×ÝỊ Ơ× × ệ ỉ ể ỉ ỉể ô ệ ềỉ ặ ề ì ề ỉ ỉ ỉ ì ặ ề ì Ị ÙƯ Ị Ø Ị ÙƯĨỊ³× Ð Ø Đ º Ï Û ÐÐ Ư ØÙƯỊ ØĨ Ø × ØÙƯ Û Ị Û × Ù×× Ð ƯỊ Ị º Ï Ị Ư ÐÐÝ ĐĨ Ð Ø ĨÐĨ Ð Ị ÙƯĨỊ × ì ểề ề ệ ẵắ è ềễỉì ệ ệ ễệ × ỊØ ÝØ ỊỚØ Ú ØĨƯ Ü Ị Ø ×ÝỊ ễì ì ặ ề ì ệ ẹể éé í Ø Ú ØĨƯ Ûº Ì Ư ĨƯ Ø × Ị Ð ĨÙØỚØ Ú ÐÙ Ĩ Ø × Ị ÙƯĨỊ × Ú Ị Ý Ý ´ ´Û ܵ Ûܵ ´ÛÌ Üµ ẵẵà ể éé ẹ ỉ éé íì Ĩ Ư ƠƯ × ỊØ Ị Ø ĨƠ Ư Ø ĨỊ Ĩ ×ÙĐĐ Ị Ø Û Ø ỊỚØ׺ ËĨĐ Ø ẹ ì éé ỉ ềỉ ỉí ề ỉ ểề ĩà ĩ ặểỉ ỉ ỉ ỉ Ø ØÛ Ị ØÛĨ Ị ÙƯĨỊ× × ƠĨ× Ø Ú ỉ ềễỉ ề ệểềì ô ỉ ẹ í ì Ư × Ü Ø ØĨƯÝ Ø Û Ø ØÛ Ị ỉể ề ệểềì ì ề ỉ ỉ ềễỉ ề ệểềì ô ỉ ẹ í ì ệ ì ề ỉểệí ểềì ệ ề ệ ẵắ ỉ ẵ ẵ Û¾ ¾ Û¿  ¿ Ị Û ¿ Ị Ð ØØ ỉ ỉ ểề ề ỉ ểềá àá ỉ ì ỉ ệ ì ểé ề ỉ ểề ì ỉ ỉ ỉà ẩ ẵ ẳ ỉ ỉ ẳ ẳ ẵắà ỉ ềễỉ ỉểệ ĩ ĩẵ ĩắ ĩ ĩ ẵáắáẵáắà è ề ỉ ỉ ỉ ểề ể ỉ ề ệểề ì ĩ ĩ ẵảẵ ã ắảắ ã ẵảạà ã ắả ề ìể í ẵ ể ệ ỉ ềễỉ ỉểệ ì áẵáắáẳàá ỉ ề ỉ ỉ ỉ ểề ì ảẵ ã ẵảắ ã ắảạà ã ẳả ạẵ ề ìể í ạẵà ẳ Ì Ư ĨƯ Û Ị × Ø Ø Ø × Ị Ð Ị ÙƯĨỊ × Ị ÜØƯ Đ ÐÝ × ĐƠÐ ƠƯĨ ×× Ị ÙỊ غ Ì ƠĨÛ Ư Ĩ Ị ÙƯ Ð Ị ØÛĨƯ × × Ð Ú ØĨ ĨĐ ƯĨĐ Ø ÙĐÙÐ Ø ƠĨÛ Ư Ĩ Ị Đ ỊÝ Ĩ Ø × × ĐƠÐ ƠƯĨ ×× Ị ÙỊ ỉì ỉể ỉ ệ ỉ ệể ÐĨØ× Ĩ × ĐƠÐ Ị ƯĨ Ù×Ø ƠĨÛ Ư Ø ƠƯĨ Ð Đº ỊÛ Đ Ý Ø ĨÙ Ø ØĨ ẹé ỉ ề ề ỉệ ì ỉ ỉíễ é ÙĐ Ị × × Ú Ư Ð ÙỊ Ư ÐÐ ĨỊ Ị ÙƯĨỊ׺ Ï Û ÐÐ Ĩ Ø Ị Đ Ị Ø Ị ÙƯĨỊ× ØĨ Ø Ị Ị ĨỊ Ừ ề é í ệì ì ì ề ệ ẵ ề ỉ ì ệ ì ỉ ể ềễỉì ỉ ềễỉ ỉểệá ĩà ềỉ ệ ề ỉ ề ỉểệ ệểẹ ỉ é ỉạ ề ì ề ề ƠƯĨƠ Ø Ø ƯĨÙ Ø Ị ØÛĨƯ Ú Ø Û Ø× Ø ÐÐ Ø Ø Ú Ø ĨỊ Ư × Ø ĨÙØỚØ Ð Ý Ưº Ì Đ Ð Ð Ý Ư × ỊĨÛỊ × Ø Ị Ð Ý Ư × Ø × ỊÚ × Ð ƯĨĐ ĨÙØÛ Ø Ø Ị ỉ ẹ í ềểỉ ô ỉ ỉì ỉ ỉ ểề ệ ỉéí ặể ẵ ệề ề è ệ ệ ỉể ẹể ẵ ề ì ề ệỉ ỉ ỉ ểề ỉệ ềì ệ ẹể ệỉ é ặ ệ é ặ ỉểệ ì é ề ệ Ð Ị ØÛĨƯ × Û Ị Ø Ú Ø ĨỊ × ØƯ Ị×Đ ØØ Ø ƯĨÙ ĨÙØ Ø Ị ØÛĨƯ ặầặ ầấấ èầặ ặ ậậ ẵ Contours of equal correlation when projected onto the circle data’s eigenvectors Correlation=0.994 Correlation=0.989 Correlation=0.966 Correlation=0.926 2 2 1 1 0 0 −1 −1 −1 −1 −2 −2 Correlation=0.691 −2 Correlation=0.444 −2 Correlation=0.217 2 2 1 1 0 0 −1 −1 −1 −1 −2 −2 Correlation=0.055 −2 Correlation=0.023 −2 Correlation=0.011 2 1 1 0 0 −1 −1 −1 −1 ÙÖ º Ì Ĩ Ø × ĨỊ −2 −2 ĨỊØĨÙƯ× Ĩ ÕÙ Ð ĨƯƯ Ð Ø ĨỊ Û ề ễệể ỉ ì ỉ ỉ é ề ỉ Ø ĨỊØĨ Ø 2 Correlation=0.002 −2 Correlation=0.090 2 ơệìỉ ỉ é ệ ỉ ểềì ẩè ấ ặậẩ ấẻậ ẵ ẳ Correlation=0.761 100 ấặặ ậặ ấặ èầ Ë Correlation=0.761 100 Correlation=0.065 100 80 80 80 60 60 60 40 40 40 20 20 20 0 50 100 Correlation=0.065 100 0 50 100 Correlation=0.000 100 80 80 60 60 60 40 40 40 20 20 20 50 100 0 50 50 100 Correlation=0.000 100 80 0 100 0 50 100 ÙÖ º Ì ƯỊ Ð ỊĨỊ Ð ĨƯƯ Ð Ø ĨỊ Ư Ø ĨỊ× ĨÙỊ Ù× Ị Ư Ð ƯỊ Ð׺ Ì ĨỊØĨÙƯ Ð Ị × Ư Ð Ị × Ĩ ÕÙ Ð ĨƯƯ Ð Ø ĨỊº Ơ ƯĨ Ư Đ× × ĨÛ× Ø ÕÙ Ð ĨƯƯ Ð Ø ĨỊ ĨỊØĨÙƯ× ƯĨĐ Ø Ơ Ư×Ơ Ø Ú Ĩ ĨỊ Ĩ Ø Ø × Ø׺ Ø ĨØ Ư Ø Ư Û Ư ểễ ề ểể ĩ ẹì ầà è ĩ ẹì ệ ểề ỉ ì ỉì ể ề ì àá ẻ ỉểệì àá é ệ ầàá ề éíì ìầàá ề ậỉ ỉ ìỉ ìầà ẽ ỉ ì ìễé ỉ ỉ ¬Ú Ú Ư Ð × ´ Ü Đ Đ Ư ìà ềỉể ỉể ì ỉìạỉ éểì ểể ĩ ẹì ĩẵẵ ĩẵắ ề ỉ ểễ ề ểể ĩ ẹì ĩắẵ ĩắắ ĩắ ầề ễểìì é ế ềỉ ØÝ Ĩ ỊØ Ư ×Ø Ư × ĨÛ ÐÝ ×ØÙ ềỉì é ỉí ểề éểì ểể ĩ ẹì ì ĨƯƯ Ð Ø Û Ø × Ð ØÝ ĨỊ ĨƠ ềạ ểể ĩ ẹì éỉ ệề ỉ éíá ểề ẹ ỉ ỉệí ỉể ì ỉ ểễ ềạ ểể ĩ ẹ ệ ìéỉì ỉể ễệ ỉỉ éểì ểể ệ ×ÙÐØ× ´ĨƯ Ú Ú Ư× µº Ì Ư ×ÙÐØ× Ị ÙƯ º Ư Ð ƯÐÝ Ú ƯÝ ĨĨ ÙØ ĨĐ ỉ ỉể ỉì ẵ è ẹ ỉ ể Ư ÕÙ Ư × ĨØ ƠƯĨ Ù Ø ØÛ Ị Đ Đ Ư× Ĩ Ø Ø Ú ØĨƯ× ĐÙ×Ø Ĩ Ø × Đ Ð Ị Ø º Ì Ư ĨƯ Ị Ø × Ø Ĩ Ü Đ Đ Ư ׺ ỉ ì ỉ ĩẵ ề ĩắ ề ỉ ệ ểệ ĩ ẹ ỉ ẹìỉ ì ệ ểề ắ Ì Đ Ø Ĩ Ư ÕÙ Ư × Đ ØƯ Ü ỊÚ Ư× ĨỊ Ị Ø Ø × Ø× Đ Ý ×Ù Ø Ø ĨỊ Ø ƠĨ ỊØ Đ Ý ệ ễ ỉ ểệ éẹểìỉà é ề ỉể ì ề ÙÐ Ư ØÝ ĨƯ ÐÝ ĨỊ Ø ĨỊ Đ ØƯ ׺ ÇỊ ×ĨÐÙØ ĨỊ × ØĨ ỊĨ × ØĨ Ø ỉ ì ỉ ỉ ì ì ô ỉ ề ỉ ĩ ẹ ỉ ì ỉá ì ề ìểéỉ ểề Û Ư ØĨ ĨỊ× Ư ĨÐĨ Ð Ị ĨƯĐ Ø ĨỊ ƠƯĨ ××ĨƯ× ÙØ Ị ỊĨØ ÐÛ Ý× ÛĨƯ º ầặ ậầặ ẵ ẵ ề éỉ ệề ỉ × ØĨ Á¸ Û Ư Á × Ø ỊØ ØÝ ẹ ỉệ ĩ ỉể Ưẵẵ ề Ưắắ ì Ð×Ĩ Ù× Ị º Ì × Ú × ƯĨ Ù×Ø Ị Ư Ð Ð ×ĨÐÙØ ĨỊ׺ º ĨỊ ÐÙ× ĨỊ Ï Ú Ư Ú Û Ø Ø Ị ÕÙ Ĩ à ƯỊ Ð ÈƯ Ị Ơ Ð ĨĐƠĨỊ ỊØ Ị ÐÝ× × Ị ƯỊ Ð× ØĨ Ø Ư ĨØ Ư Đ Ø Ĩ × Ĩ ÙỊ×ÙƠ ƯÚ × ỊÚ ×Ø ỉ ểề ể ìỉệ ỉệ ề ẵ ẩệ ề ễ Ð ¾º ¿º Đ Ø Ĩ Û ØĨƯ ÜƠÐĨƯ ØĨƯÝ ÈƯĨ ỊĨỊ Ð ÜØ Ị Ø Ø Ù× Ĩ Ị ÐÝ× × Ø ĨỊ ÈÙƯ×Ù Ø ĨƯƯ Ð Ø ĨỊ Ị ÐÝ× × Ĩ Ø × Đ Ø Ĩ × Đ Ý ÜƠƯ ×× Ị Ø ƯĐ× Ĩ ĨØ ƠƯĨ ٠غ Ï Ú Ư ×ØƯ Ø ĨÙƯ Ü ĐƠÐ × ØĨ × ĐÙÐ Ø ĨỊ× Ù× Ị Ù×× Ị ƯỊ Ð× ÙØ Ø Ư Ư Đ ỊÝ ĨØ Ư ƠĨ×× Ð ƯỊ Ð× ´ ĨØ Ư Ð Ị ĨØ ệ ì ỉ ì ề ểễ ề ệ ì Ư ÕÙ ×Ø ĨỊ × ØĨ Û ƯỊ Ð × ểễỉ ẹ é ề ô ệ ềỉ ì ỉ ỉ ểềì ẵ ắ ẩè ấ ặậẩ ấẻậ ấặặ ậặ ấặ èầ ậ éể ệ ễ í ẵ ệé ì ề ắ ặ ệ ×Ø Ị ƯỊ й ¿ º Ý º × Ị Â Ë Ð ÐÐ Ị ĐÙÐØ ƠÐ ½ Ð Ý ệề ỉ ạè íéểệ ề ẹ ệ ì ìỉệ ỉệ ì ề ệ ỉ ỉ ểề ểềìỉệ ềỉì º ÁỊØƯĨ Ù Ø ĨỊ ØĨ ËÙƠƠĨỪ Ỵ Đ Ø Ĩ ׺ ƯỊ Ị Ị ʺ ĨÐĨ Ý º ÅĨ ểẹễỉ ỉ ểề ề ặ ệ é ậíìỉ ẹìá ặ ỉểệ ỉểệ ề ì ề ểỉ é í ặểềạé ề ệ ỉ ìỉệ ỉệ ắ ò ẵá ẵ ìá ĩỉệ ỉ ểề ì ề ì ẹễé ề ề ỉểệ ì ậ ậ ểé ểễ ậẹểé ạấ éé ệá ậ ểéịá ề ấ ỉì ệề é ễ ạềể × Ị Ị ØÙƯ ×Ơ ׺ ÁỊ Ú Ị × ề ặ ệ é ẩệể ìì ề ậíìỉ ẹìá ẵẵá ½ º ÈºÄºÄ Ị º Ỉ ÙƯ Ð Ỉ ØÛĨƯ ׸ Ý º Ị ÙƯ Ð Ị ØÛĨƯ ĐƠÐ Đ ềỉ ỉ ểề ể ẵắẵẳà ẵ ẵòẵ ẵ ˺ ÊĨĐ Ị ¸ ˺ ĨỊ ¸ Ị ƯỊ Ð ễ ề ẻ áẵ ẩì ệệể ệ ề ệì ỉí ẩệ ììá ắẳẳẳ ềểề ề é ểệệ é ỉ ểề ề éíì ì ẹéỉ ỊĨỊÐ Ị Ư ØÚ × Ơ ĐĨ Ð Ù× Ị º Ë ĨÐ ĨƠ ¸ ˺ Å ¸ º ÙƯ ìá ẩ ề ệì ạấ éé ệá ấ ỉì ề ậẹểé ềễỉ ìễ ì ỉệ ìễ ề ệề éạ ì ẹ ỉ ể ì èệ ềì ỉ ểềì ểề ặ ệ é ặ ỉểệ ìá ẵẳ ẵẳẳẳòẵẳẵ ẵ ậ ểé ĨƠ ¸ ˺ Å ¸ º ËĐĨÐ ¸ º Ê ỉì ề ạấ éé ệ ệề é ễ ễ ỉỉ ệề ệ ểềìỉệ ỉ ểề ễễệểĩ ẹ ỉ ễệ ẹ ì ề ặ é ××ĨỊ ź Ĩ Ị ʺ Đ ¸ ØĨƯ¸ ÈƯĨ Ị × Ĩ Ø ÁỊØ ƯỊ Ø ĨỊ Ð ĨỊ Ư ề ểề ệỉ é ặ ệ é ặ ỉểệ ìá ễ ì ẵ òẵ ắ ậễệ ề ệ ẻ ệé ẵ ậ ểé ểễ ậẹểé ề ạấ éé ệ ặểềé ề ệ ểẹễểề ỊØ Ị ÐÝ× × × Ú ÐÙ ƠƯĨ Ð Đº Ì Ị Ð Ê ƠĨỪ ¸ Å Ü ÈÐ Ị ềìỉ ỉỉ ệ ểéể ì í ẵ ẵẳ ẵẵ ẵắ ẵ ệề é ệề ỉ ềạ ệề é ềạ ậ ểé ểễ ậẹểé ề ạấ éé ệ ặểềé ề ệ ểẹễểề ềỉ ề éíì × × Ú ÐÙ ƠƯĨ Ð Đº Ỉ ÙƯ Ð ểẹễỉ ỉ ểềá ẵẳ ẵắ òẵẵ ẵ ậ ểé ểễ ậẹểé ề ạấ éé ệ ậễễểệỉ ẻ ểẹễểề ềỉ ề éíì ìá ễ ì ắ ò ẳ ẵ ỉểệ ậẹểé ầ ề ì ệ ềá ề ậ ểé ểễ ậễ ệì ấ ễểệỉ ạẳ ề ệì ỉí ể ẽ ì ểì ề ìểềá ½ º º º ËĐĨÐ ¸ ˺ Å Å Ị ệề ề áễ ề ìá ệề é ễỉ Ư à ƯỊ Ð ÈƯ Ị Ơ Ð ØÙƯ º ậ ểé ểễ ề ấ ẽ éé ẹìểề ấ é ệ ị ì ẵòắ ắẳẳẳ ì ẹ ỉỉ ẵ ậẹểé ặ ắạèấạẵ ẵ ấ º Ỵ Ị Ư º ÄĨÕĨ Ị ỊØ Ư ĨƯ ễể ềỉ ể ểệ ế ậầấạ ạẵ ẩệ ề ỉểề ề ệì ỉíá ậ ễỉ ẵ ề éíì ì è ẵ é ễệ ề ễ é Đ Ị ĨƯР׺ Ị º Ë ĨÐ ĨƠ º ØÙØĨƯ Ð ĨỊ ×ÙƠƠĨỪ Ú ØĨƯ Ư Ư ×× ĨỊº è ạẳẳá ặ ệể ầèắ è ề é ấ ễểệỉ ậ ệ ìá ầ ỉ ẵ ệ ỉ ề ƠƯĨ Ư ĐĐ Ị º Ì Ị Ð Ê ƠĨỪ ề é ấ ễểệỉ ầ ấ ẩ ẵ ẵ Ỵ Ỵ ƠỊ º Ì Ị ØÙƯ Ĩ ×Ø Ø ×Ø Ð Ð ƯỊ Ị Ø ĨƯݺ ËƠƯ Ị Ư ẻ ệé ặ ểệ ẵ ễễ ề ĩ ề ệ é ẵ ẽ ệ ẻ ỉểệì Ị × ĨÛ ÛƯ Ø Ø × × ×Ý×Ø Đ ề ẵ ĩỉ ề ắà ệ ỉ è ØĨ ¯ ¿ Ú ØĨƯ× ×Ĩ Ø Ø Ú ØĨƯ ểề ỉ ịạ ĩ ì ỉểệì ìể ỉ ỉ ẵ ẵ ềạ ẹ ềì ểề é ỉểệì ẵẵ ẵ ỉểạ ẹ ềì ểề é ỉểệ ậ ẹ ềỉ ắ è ìỉ ề ì ểệ ỉ ệ è ắ ắ ẵ ắ ỉ ể ẵ ẽ ỉểệì ỉ ỉể ỉ ặ éỉ ỉể ì é ì àè ặể ềể ểề ệ ễệể éểà è ì Ø ĨỊ Ĩ Ø º Ị Ú ×Ù Ð × ỉ ỉểệì ắ ẵ ắ ắ àè ỉểệ ẵ ệ ễ ệ éé é ề ỉ è ề ỉ ắ Ă Ă Ă ềà ì ểề ỉểệ ỉ ểề ể ỉểệì ẵ ắà ề è ẵ ắà è ỉ ề ẹ í ệ ỉ ẵ ắ ẵ ắ ẵã ã àè ề è ỉ ề ềà ắã ắ ½ · ½ Ị · Ị µÌ a2 x ÙƯ º½ ½ Ị The vector a a1 Ị Ư Ø ểề ỉểệì ã y ề ề ắ ỉ ỉểệ ẵ ắ àè ề ỉ ỉểệ ắ ỉểệ ì ỉ ỉ é ề ỉ ể ỉ ơệìỉ ề ề ệ éá ỉ è ẵ ệ ễ ệ éé é ắ ĂĂĂ ềà ẵắ ì ề ỉệ ềìễểì ể ỉ àè ặể ỉ ì ề ĩáíàạễé ề ỉể ẵ ẹ ềì ểề é ỉểệ ắ ã ắà è ề ề ệ éá ẩẩ ặ ẵ ẵ ề ỉ ể ÁỊ ØÛĨ Đ Ị× ĨỊ× Û Ì × × ÜØ Ị ÁỊ ¾ Õ ØØ Ð Ị Ø Ĩ Ø ế ế ỉểệá ắ ẵ ắ ẵ ã ắ ¾ · ¾ ¿ ¾ ½ · ¾ ¾ ·¡¡¡· Ị¿ × Ð Ư ƠƯĨ Ù Ø Ĩ ØÛĨ Ú ỉểệìá ề ề ĩỉ ề ề ệ éá ẵ ẵ è ì é ệ ễệể ỉ ể ẵ ề ¾ Ì Ø Ị Ư Ø ĨỊ Ư Ø ĨỊ ề ẵà ẹ ềì ểềì ắ ề ềề ẹ Ị× ĨỊ× Ơ Ø× Ư Ø ĨỊ ÙỊ º Ì ì ì ềỉ ề àá é ỉể í ỉì ì ề í ã ắ ắ ắ ắ ã ắà ễ ễ ề ắ ắ ỉ ề ỉể ỉểệìá ề ệ ã ã ãĂĂĂã ×Ø ´ º¿µ ¿ ¿ Ị ƠƯĨ ´ º µ Ị Ø ĨỊ Ĩ ĨỊØĨ º ØÛ Ị ¾ Ú ỉểệì ểì ẵ í ỉể ẹ ềì ểề é ỉểệì ì ẵ ẵ ề ề ểề ậ é ệ ẩệể ỉ ể ắ ẻ ỉểệì ẵ ẵ è ì ề ấ ắ ắ ã ỉểệ ´ º º ØĨ Ú Ø Ð Ị Ø ½ ỉ ề ặặ ểể ìá íể éé ể Ø Ị Đ Ø Ì Ø ỊĨÛ Ø Ð ØĨ èể ềểệẹ é ì é ề ỉ ỉể ẵ ỉểệ ặ ấ ắ ẵ ã ề ì ề í ễ ẵ ẵ ã ắ ắ ·¡¡¡· Ị Ị ¾ ·¡¡¡ · ¾ ¾ · ¾ ãĂĂĂã ắ ề ề ắ ẵ ắ ề ểềì ệ ỉểệ ẵ àè ẵ ẵàè ề àè ỉ ề ề ệ ỉ ắắ ã ¾º Ï × Ý Ø Ø × Ð Ị Ư ĨĐ Ị Ø ĨỊ Ĩ Ị ĨƯ Ø Ø Ø × Ø Ĩ Ú ØĨƯ× ¸ Ị Ư ỊØ ×Ơ ×Ơ ỊỊ Ý Ị º Ï ÐÐ Ị Ø × × Ĩ Ø ×Ơ Ù×Ø × Ø ¹ Ü× Ị ỉ ĩì ệ ỉ ì ì ể ỉ ì Ð Ừ × Ị ƠÐ Ị º ÁỊ Û Ị ềểỉ ỉ ỉ ỉ ề ỉ ỉểệì ẵ ẳàè ề ẳ ẵàè ề ỉ ì ệ ỉ ểềì ì Ø Ù×Ù Ð × × Ĩ Ø Ø ƠÐ Ị º Á Û Ú × Ø Ĩ Ú ØĨƯ× Û ỊỊĨØ × ĨÛỊ ØĨ Ú Ø ƠƯĨƠ ỪÝ Ø Ø ĨỊ Ĩ Ø Đ × Ð Ị Ư ĨĐ Ị ỉ ểề ể ỉ ểỉ ệìá ỉ ì ỉ ì × ØĨ Ü Ø Ð Ị Ư Ị Ơ Ị Ị º ËÙ × Ø Ị ÐÛ Ý× ĨƯĐ × × Ĩ Ø ×Ơ ỊÛ Ø Ú ØĨƯ× Ð º ẵ ặ ệ é ặ ỉểệ ì ẽ ể ỉ Ị ĨỊ× Ĩ Ø ỊỚØ× Ư Û Ø Ú ØĨƯ Û Ị Ø × Ø Ĩ ỊỚØ× Ü Ị Û Ü ÛÌ Ü ÛÜ Ư ỊØ Ư ×Ø ỊØ Û ỉ ìẹ ắ èấ ậ ắ ẵ ỉệ ì ắ ẹ ỉệ ĩ ì ề ệệ í ể ềẹ ệìà ì ắẵ è ề ì ắ ắ ẵắ ẳ ẳẵ èệ ềìễểì ắ ắ è ểéẹềì ệ ỉ ắ ẵắ é ệéí ỉ ệệ í ắắ ì ẹảề ỉ ề è ẹ ỉệ ìá ểệệ ìễểề ề ì ì ể ề ã ×Ø ¾ ¾ ÅÙÐØ ƠÐ Ø ĨỊ Ý ×Ø Ø Đ ØƯ Ü ÅÙÐØ ƠÐ Ï ĐÙÐØ ƠÐÝ Ø × ĨỊ º Ä Ø ×Ø Đ ØƯ Ü ¿ ¿ ẹ ỉệ ắ ẵẵ ẵ ẵ ắ ắ ắ ẵắ ẳ ắ ẳẵ ắ ỉ ểề ể ỉệ ệểì ể ỉ ẵ ỉ ì ẹ ểệ ệ ẵẳà ẵ é ẹ ềỉì ì ẹéỉ ễé ẵẳ ẵ ì ẹìỉ ì é ệ ể ểì é ẹ ềỉì ể ỉ ỉ ẹ ỉệ ĩ ỉỉ ẵ ẳ ẳ ẵ ẵ ắ ẵ ẳ ẳ ẵẵ ẵ è ề ẵ ềỉệ ì ỉ ểééểì ỉ ẹ ỉệ ĩ ềá ắ ề é ẹ ỉệ ĩ ỉ ểề ắ ỉ ề ểệ ì ềảẹ ã ệểì ể ỉ ẳ ẳẵ ỉ ề ẵ ỉệ ềìễểì ể ẹ ỉệ ĩá ¸ × Ø Ø Đ ØƯ Ü Û Ĩ× × Ù×Ù ÐÐÝ ÛƯ ØØ Ị Ì º Á × × ể ỉ ề èể è ì ẵắ ắẵ í ẳ ắ ẵẵà ì ơệìỉ ẹ ỉệ ĩ í ỉ ẵ ẳ ẵ ẳ ẵ ẵ ẵ ẳ ẵ ẵ é ẹ ềỉì ề ỉ ểéẹềì ể ỉ ẵắà ẵà ẩẩ ặ ẵ ắ ềỉ ỉí è ì ỉ ẹảề ã ẳẹÊề éỉ ễé ỉ è ì ẹéỉ ễé Ø ØØ Ì Ị ỊØ ØÝ Đ ØƯ Ü × ỉ ẳẹÊề ã ỉ ẹảề ẹ ỉệ ĩ ể ểì ệ ẹảề ẹ ỉệ ì ềỉệ ì ì ¼º ỊØ ØÝ ØÚ ỊØ ØÝ × Ù×Ù ÐÐÝ ỊĨØ ĐÙÐØ ƠÐ Ø ĨỊ × ƠĨ×× Ð º ÝØ £ ¾ Á¾ ¾ £ Á¿ ¿ º¾º Ê ÒØ ØÝ ØÚ Á Ì º ÄÁỈ Ê Ä Ð ØØ Ư ề ẵ ẳ ẳ ẵ ẵ ẳ ẳ ẳ ẵ ẳ ẳ ẳ ẵ ì ì ỉ ỉ Ê Á£ ¿ Ø º ÁỊÚ Ư× Ì ỊÚ Ư× Ĩ Đ ØƯ Ü × Ø Ø Đ ØƯ Ü Û ề ệì ỉ ệ ìéỉ ì ỉ ềỉ ỉí Đ ØƯ ܺ Û ỊØ ĨƠ Ư Ø ĨỊ × ƠƠÐ ØĨ Ø Đ ØƯ Ü Ị Ø× Ø Ú ÁỊÚ Ư× Ì Ư ĨƯ Û       ÅÙÐØ ƠÐ Ï Ư ÐĨĨ Ị Đ ØƯ Ü Đ Øܹ ×Ù Ø Ø Ú ÁỊÚ Ư× ĨƯ Ø Ø Đ ØƯ Ü ỊÚ ÐÙ × Ị × Ị ỊÚ ØĨƯ ĩ ỉ ẵ ì ỉ ãạ ẳ é ƯÐÝ Ø Ị  ½ Ø  ½ Á Û Ị Ø × Đ ØƯ Ü Ü ×Ø׺ ỊÚ ØĨƯ× ĨƯƯ ×ƠĨỊ Ị Ü Ø Ø     Ư ỊĨÛ ÐĨĨ Ị º¿ ĨƯ Ø ỊÚ ÐÙ Ü ÁỊ ĨØ Ư ÛĨƯ ׸ ĐÙÐØ ƠÐÝ Ị Ø Ú ØĨƯ Ü ĨƯ ỊÝ Ĩ Ø× ĐÙÐØ ƠÐ × Ý × ÕÙ Ú Ð ỊØ ØĨ ĐÙÐØ ƠÐÝ Ị Û ĨÐ Ú ØĨƯ Ý × Ð Ư º Ì Ù× Ø Ư Ø ĨỊ ể ĩ ì ề ề ểềéí ỉì ẹ ề ỉ ì ô ỉ ễễ ề ĩ é éì º½ ÁỊØƯĨ Ù Ø ĨỊ Ư Ú Ø Ú Ĩ í ỉ ệ ìễ ỉ ỉể ĩá ì Ø Ư Ø Ĩ ĨỊ× Ư ÙỊ Ø ĨỊ Ý ĩà è ề íĩ ỉ Ăí ì ỉ ỉ Ị ỊØ Ĩ Ø Ị Ĩ Ý Û Ø Ư ×Ơ Ø ØĨ ܺ Ì Ị × Û × Ị ệ ẵá ỉ ệ ỉ ể Ă ĩ ề é Û Ø ØƯ Ị Ð Đ × Û Ø Ø ĩạ ĩ ì ì é ể Ø Ú Ư ×ÐĨƠ Ĩ Ø ÙƯÚ Ý ¡Ý Û Ø Ø Ư ỊØ Ĩ Ø ÙƯÚ º Ø Ø ì ễể ềỉ ặể ỉ ỉ é ẹĂĩ ẳ ¡ Ü Ü ¡Ý ¡Ý Á ¡ ×Ð Ư Û Ú ×Ø Ơ ÙƯÚ Ú ỊØÐÝ ×ÐĨƠ Ị ÙƯÚ º Ü ¡Ü × ×Đ ÐÐ Û Ë Ị Û Ư Ĩ Ø Ị ỊØ Ư ×Ø Ị Ị ỊÛ Ø× Û Ø Ư ×Ơ Ø ØĨ Ø Đ Û Ĩ ỉ ề ì ỉ ề ì ẹé ỉ ểềá ềềểỉ ề ỉì ề ề ềơề ỉ ì Đ ÐÐÝ ×Đ ÐÐ Ị×Ø Ị Ĩ Ø Đ Ị ×Ĩ Û Ù× Ø ỊĨØ Ø ĨỊ ¡Û » ÛØ ĨƯ Ø Ị Ị Ûº ỈĨÛ Û Ư Ĩ Ø Ị Ù× Ị ×Ý×Ø Đ× Ĩ Ð ƯỊ Ị Û Ư Ị Ị Û Ø× ĨƯ Ị ØĨ Ø ƯƯĨƯ × ỊØ ƠƯĨ ÙƯ ¡Û »   Û º ÁỊ ểỉ ệ ểệ ìá ì ệ ắà ìé ệ ề Ị Ø Ú Û Û ÐÐ Đ Ị Ð Ư Ị Ư × × ØĨ Ø Ú ÐÙ Ĩ Û Û Ð Û ×Ð Ư Ị ƠĨ× Ø Ú Û Û ÐÐ Đ Ị Ð Ư Ư × × ØĨ Ûº Á Û × ×Đ ÐÐ Û Û ÐÐ ĨỊÐÝ ẹ ề ìẹ éé ề ỉể ặểỉ ỉ Ø Ø Ø Đ Ị ĐÙĐ ƠĨ ỊØ Û ¼º ẵẵ ẩ ệỉ é ệ ỉ ì ầỉ ề ệ é ềìỉ ềỉ ề ểìà ệệểệ ề ềễỉìá ĩ èể ì ể ỉ ìỉ ệ ỉ Ĩ Ị Ĩ Ø × × ĐĨÙỊØ Ị ×ÙƯ Û × ÙỊ Ø ĨỊ Ĩ ØÛĨ ĨƯ ĐĨƯ ĨØ Ư Ú Ư Р׺ ĨƯ Ü ĐƠÐ ĨÙƯ Ø ĨỊ Ị Ø ĨÙ Ø Ĩ × ÙỊ Ø ĨỊ ĨØ ể ỉ ỉìá ề ể ỉ ì ểé ỊØ ƯƠƯ Ø ƯÚ ØÚ Ĩ Û Ø Ư ×Ơ ỉ ỉể ì ỉ ệ ×Ơ Ø ØĨ Û Û Ị ܸ Ø ỊỚظ × Ð ĨỊ×Ø Ịغ Ï ỊØ Ị Ĩ Û Ø Ư Ð Ị × ĨỊ غ Ì Ị Û × Ø Ư Ø Ĩ Ị Ị ĨỊ Ư Ø ĨỊ y y=f(x) gradient y y x x ệ ìỉ ẵ Ì Ú Ư x ¡Ý Ư ØĨ ¡ × Ø Ø Ị ỊØ Ĩ Ø Ị Ð Û Ü ×ÐĨƠ ể ỉ ệ ỉ ỉ ì ễể ềỉ ẵ ỉ ỉệ ề é ẹ ìỉ ỉ ĩạ ĩ ì ẩẩ ặ ắẳẳ ậ Error Positive gradient Negative gradient Weight Minimum error ệ ắ ì ẹ Ø Ư Đ × ĨÛ Ị ØĨ Ị Ư × Ø Û Ø Ị Ø ƠĨ× Ø Ú Ư ƯƯĨƯ × Ịغ ÁỊ Ø Ị Ø Ú Ư ỊØ × ỉ ểềá ì ềỉ ì ỉ ểềá Û × ØĨ Ư × Ø Û Ø Û Ð ỉ ễỉ ểềìỉ ềỉ ểỉ ệ ểệỉ ể ểề éà ẵắ ậ ểề ệ ỉ ểề ì ệ ỉ ì ỈĨÛ Ð Ø ¸Ø Ư Ø Ĩ Ị Ĩ Û Ø Ư ×Ơ Ø ØĨ Ûº Ï Đ Ý ỊØ Ư ×Ø Ị ĨÛ ÕÙ ÐÝ Û Ị × ×Û ề èể ơề ỉ ì ểé é é Ø Û ỊĨÛ ỊĨØ Ø Ø Ø × Ú × Ù× Ø Ư Ø Ĩ Ị Ĩ Ø ƯÚ ØÚ Ĩ Û Ø Ư ×Ơ Ø ØĨ Û ´ĨƯ Ø Ư Ø Ĩ Ị Ĩ Ø Ư Ø Ĩ Ị Ĩ Û Ø Ư ×Ơ Ø ØĨ Ûº ĨƯ Ø ệệểệ ì ềỉ ẹ ỉ ể ìá ệ ể Ø Ị ỊØ Ư ×Ø Ị Ư ĨỊ× Ĩ Ø ƯƯĨƯ ×Ơ Û Ư Ø Ư Ø Ĩ × ỊØ Ĩ Ø ƯƯĨƯ Ư Đ Ị× ĨỊ×Ø ỊØ ĨÚ Ư Ư ĨỊº ÌĨ Ĩ ×Ĩ Û × ÐÐ ỊØ Ư ×Ø ỊØ × Ú ÐÙ ¸ Û º ÌĨ ĐƠ × × Ø Ø Ø × Đ Ý ĨÙỊ Ý « ƯỊØ Ø Ị Û Ø Ư ×Ơ Ø ØĨ ề ỉ ề ắ ệ ỉ ô ệ ỊØ Ø Ị Ø Ị¸ Û Û ÐÐ ÛƯ Ø ỉ ì ệ ỉ ì ắ è ì ì Ø× × ĨỊ ƠƠ Ị Ü ƠƯĨƠ Ø ĨỊ Ư ỉ ểề ẽ ẹìỉ ơệìỉ ềểỉ ỉ ỉ ểệ ỉ ỉ ểề ề ỉ ểềì éé ềểềạé Ị Ư Ị Ø × Ờ Ư Û Û Ư ØĨ Ù× Ị Ð Ị Ư Ø Ú Ø ĨỊ ề ỉ ểềìá ểệ ểỉễỉ ểé é ề ệ ểẹ Ị Ø ĨỊ Ĩ Ð Ị Ư ĨĐ Ị Ø ĨỊ× Ĩ Ø ỊỚØ× º º ÛĨÙÐ × ĐƠÐÝ Ð Ị Ư ĨĐ Ị Ø ĨỊ× Ĩ Ø ỊỚØ× Ị ×Ĩ Û ÛĨÙÐ Ị ỊĨØ Ị Ý Ù× Ị Ø Ö Ð Ý Ö Ò Ø Ö Ø Ö Ø ề ỉể é í ệ ề ỉ ì ểệ ểềì ệ ễ ệỉ é ệ ềễỉ ễ ỉỉ ệềá ÜÈ ¸ Û Ú Ị ĨÙØỚØ ĨÈ Ị Ø Ư Ø ØÈ º ỈĨÛ ĨÛ Ú Ư Û Û ÐÐ ì ềểềạé ề ệ ỉ ỉ ểề ề ỉ ểềá ể ỉà ể ệ Û Ú Ø Ị ỊÝ Ø Ư × ĨÐ ỊØĨ ỉ ỉì ì ểệ ặểỉ ỉ ỉ ỉ Ĩ Ư ƠƯ × ỊØ× Ø ĨÙØỚØ× Ĩ Ị ÙƯĨỊ× Ị Ø ƠƯ Ị Ð Ý Ưº Ì Ù× Ø ế ỉ ểề ì ệ ì ỉ ơệ ề ể ề ệểề ề ỉ ơệìỉà ề é í ệá ệ ệỉ ỉể ểệ ễệ ểì ơề ỉ ĨỊ Û Ư Ĩ ´ ص ´ Û Ü µÛ é ì ỉể é é ỉ ỉ ơệ Ị Ị Ị ĨÙØỚØ Ị ÙƯĨỊ Ø Ĩ Û ÐÐ ệ ễệ ì ềỉ ỉ ơệ ề ể ề é í ệ ề ệểềì ể ệ ềể ẹìỉ « Ư ỊØ Ð ÙỊ Ø ĨỊ ´ÙỊÐ Ø Ơ ệ ễỉệểềà ề ềểềạé ề ệ ề ỉ ểề ềé ỉ é ề ặể ìỉ éé ì ØĨ Đ Ị Đ × Ø ×ÙĐ Ĩ ×ÕÙ Ư ệệểệìá ẩ ẵ ắ ẩ ẩ ỉẩ ểẩ àắ ẵà ẩ ỉỉ ểỉễỉì èể ể ìểá ơề Ø Ư ỊØ Ĩ Ø ƯƯĨƯ Û Ø Ư ×Ơ Ø ØĨ Ø È Û Ø× Ị Ø ĨƠƠĨ× Ø Ư Ø ĨỊº ĨƯĐ ÐÐݸ ¡È Û  ­ Û º ặể ểệ éé ề ệểềìá ỉ Ị È Ø Û Ĩ º Ì Ư ĨƯ Û ỉẩ Ăẩ ặẩ ẩ ỉẩ ơề ặ ẩ ặểỉ ể é ỉ ì ệé ì ỉể ỉ ỉ éểễ íỉ ềễỉ ỉểệá ĩà ể ệá ìỉ éé ề é ề ệểềì Ï Ú ØÈ È È È Ø× Ị ĐĨÚ ´ ắà ỉ ề ễ ỉ ệé ể ặ ẩ ểẩ ề ỉ ễệ ĨÙ× Ờ Ư ´Û Ư Ø Ð ×Ø Ĩ × Ư ƠÐ Ú ØĨ ĨỊ× Ư Û Ø Ú ÐÙ × Ĩ Ỉ Ư ƠƠƯĨƠƯ Ø È ØÈ   È ểẩ ểẩ ỉẩ ểệ ẳ ỉẩ è ì ỉẩ ểẩ àá ề ểệ éé ề ệểềì ặểá ểệ éé ểỉễỉ ề ệểềìá ểẩ ØÈ ÜƠÐ Ị× Ø Ư ÕÙ Ư Đ ỊØ ØĨ Ú Ị Ø Ú Ø ĨỊ ÙỊ Ø ĨỊ Û × « Ư ỊØ Ð º Ì Ù× ĨƯ ĨÙØỚØ ề ệểềì ỉ ỉ é ặ ẩ ỉẩ ểẩ ẳ ỉẩ ể ệá ỉ ề ệểề ì ề ề ệểềá ẹìỉ Ð ÙÐ Ø Ø Ư ×ƠĨỊ× Ð ØÝ Ĩ Ø ỉ ề ệểềì ỉì ỉể ỉ ơề é ệệểệ ÌĨ Ĩ Ø × Û Ø Ø ƯƯĨƯ Ø Ø ểỉễỉ ề ệểềì ề ễệểễ ỉ ỉ ì ẩ ắẳẵ ể ẩ ẩẩ ặ ắẳắ w12 Inputs ẩấầẩ èầặ ấẻ èầặ v12 w11 v11 w10 v10 Output Bias ệ ẵ è ề ỉ éé ì ểệ ỉ ×ĨÐÙØ ĨỊ Ĩ Ø ÇÊ ƠƯĨ Ð Đ Ù× Ị ƠƯĨƠ Ø ĨỊ Û Ư Ø ƯĨÙ Ø ÙƯƯ ỊØ Û Ø× ´Ø Ú ƯÝ × Đ Û Ø× Û Û Ư Ù× ØĨ ƠƯĨƠ Ø Ø Ø Ú Ø ểề ểệ ệ ểềì ệ ề ỉểệ ỉ Ỉ ĨÙØỚØ Ị ÙƯĨỊ× Ị À Ị Ị ÙƯĨỊ׺ Ï ì ề ệé ỉể é é ỉ ỉ ô ỉ ĨỊ ÙỊ Ø Ị Ø ỊÐ Ý Ư Ỉ È ểẩ ặểỉ ỉ ềỉ ỉẩ ẵ ỉỉ ặ ỉẩ ẩ ểẩ ẩ ỉẩ ỉ ệẹì ẩ ẵ ỉẩ ệ ƠƯ × ỊØ Ø ĨÈ   È ØÈ   È ỉẩ ẵ ẵ ô ỉể ểỉễỉ ề ệểềì ầề ì ìỉ ỉỉ ểềá ặẩ ặ ểẩ ề ểề ỉ ặ ặẩ ẵ ƯƯĨƯ ƯĨĐ Ø Ị Ị Ø Ú Ø ĨỊ Ø ẩ ểẩ ặ ểẩ ỉẩ ặẩ ẳ ỉẩ ẵ è ìẹ í ỉ ể ỉ Ĩ × ×× Ị Ị Ø ƯƯĨƯ Ø ƯĐ Ị Ø Ị Ð Ý Ư ƠƯĨƠĨỪ ĨỊ Ð ØĨ Ø ề ệểềì ểềỉệ ỉ ểề ỉể ỉ ơề é ệệểệ × × Ị Ị Ø ĨÙØỚØ Ð Ý Ưº º½ ẽ è ề ì ỉ ề ầấ ễệể é ẹ ề ỉ ì ểề ề ệ ẵ ỉể ìểé ỉ ÇÊ ƠƯĨ Ð Đº Ì ƠƯĨ ÙƯ × ÁỊ Ø Ð × Ø ĨỊ º ¯ ÁỊ Ø Ð × ỉ ẽạ ề ỉ é ì ỉ é ệề ề ệ ỉ ểểì ỉ ỉể ỉì ỉể ×Đ ÐÐ Ư Ị ĨĐ ỊÙĐ Ư׺ ×Đ ÐÐ Ú é ẳẳẳẵ ỉ ỉ ểề ề ỉ ĨỊ º º Ø Ị ´µº Ë Ð Ø È ØØ ƯỊ ÁØ Û ÐÐ Ø ƯĐ Ị × ỊĨØ ểềéí ỉ ểệ ệ ỉể ỉ ặể ỉì ề ẻạ ĨỬ Ư ØĨ Ø ĨỊ Ĩ ĨỊÐÝ Ơ ØØ ƯỊ× ểệ ỉ ì ễệể é ẹ ặểỉ ỉ ềễỉì ỉ Ð×Ĩ Ø Ø Ư Ø Ơ ØØ ƯỊº Ị ÙỊ ỉì ơệìỉá é éé ẵ ề ắ ỉẵ ẵẳ ã ẵẵ ĩẵ ã ẵắ ĩắ ỉắ ắẳ ã ắẵ ĩẵ ã ắắ ĩắ ểẵ ỉ ề ỉẵ ểắ ỉ ề ỉắ ểỉễỉ ề ỉ éé é é ỉ ẵẳ ã ẵẵ ểẵ ã ẵắ ểắ ể ỉ ề ỉ ỉỉ ễ ỉỉ ệề ểì ề ẵ è ầấ ẩấầ ệệểệì é é ỉ ắẳ ệệểệ ỉ ểỉễỉ ề ệệểệ ỉể ề ề ệểềì ặẵ ặắ ề ể ẳể ỉ ể Ê ặ ẳ ẳ ỉ ể àẵ ểắ ặ ẵẵ ểẵ ặ ẵắ ểắ ặ ẵẵ ẵ ểắẵ Ăẵẵ Ăẵắ Ăẵẳ Ăẵẵ Ăẵắ Ăẵẳ Ăắẵ Ăắắ Ăắẳ ặ ểẵ ặ ểắ ặ ẵắ ẵ ểắắ ỉì ỉể ậ é ỉ ẩ ỉỉ ệề ặ ẵ ặẵ ĩẵ ặẵ ĩắ ặẵ ẵ ặắ ĩẵ ặắ ĩắ ặắ ½ ... × Ø ×Ý ỉ ề ì ễệể ặ éỉ ẩè ấ ẵ ặèấầ èầặ synapse incoming Dendrites axon Axon cell body Flow of information through the neuron ÙƯ ½º½ ½º¿ ệỉ ì ẹễé ề ệểề é ặ ệ é ặ ỉểệ ì ặể ỉ ì ì ì ì Ø Ĩ× × Ù××... é ề ệ é ề ỉểệ × Û Ị Ø Ú Ø ĨỊ × ØƯ Ị×Đ ØØ Ø ƯĨÙ ĨÙØ Ø Ị ØÛĨƯ À ÈÌ Ê ẵ ặèấầ èầặ ẵẳ An Artificial Neural Network weights Inputs Outputs Hidden Neurons Input Neurons ÙƯ ½º¿ Ð Ý ệì ể Output Neurons