Back view car model recognition

BACK-VIEW CAR MODEL RECOGNITION LE THANH SACH A THESIS SUBMITTED IN PARTIAL FULFILLMENT OF THE REQUIREMENT FOR THE DEGREE OF MASTER OF ENGINEERING IN COMPUTER ENGINEERING SCHOOL OF GRADUATE STUDIES KING MONGKUT’S INSTITUTE OF TECHNOLOGY LADKRABANG 2007 COPY RIGHT 2007 SCHOOL OF GRADUATES STUDIES KING MONGKUT’S INSTITUTE OF TECHNOLOGY LADKRABANG หัวขอวิทยานิพนธ นักศึกษา รหัสนักศึกษา ปริญญา สาขาวิชา พ.ศ อาจารยผูควบคุมวิทยานิพนธ อาจารยผูควบคุมวิทยานิพนธรวม การจําแนกรุนรถจากภาพดานหลังรถ Mr.Le Thanh Sach 48060733 วิศวกรรมศาสตรมหาบัณฑิต วิศวกรรมคอมพิวเตอร 2550 ดร.วัชระ ฉัตรวิริยะ Prof.Dr Shozo Kondo บทคัดยอ การจําแนกรุนและบริษัทผูผลิตรถยนตจากภาพโดยอัตโนมัติ เปนหัวขอที่ทาทายในการ วิจัยดานการประมวลผลภาพและการวิเคราะหการมองเห็น การวิจัยที่ผานมาที่เกี่ยวกับเรื่องนี้ ไดแก การตรวจจับและการจําแนกประเภทของยานพาหนะ การตรวจจับยานพาหนะสามารถแยก ยานพาหนะออกจากสิ่ง อื่น ๆ ส วนการจํา แนกประเภทของยานพาหนะสามารถระบุ ได ว า เปน รถบรรทุก รถบัส และรถจักรยานยนต และยังมีขอจํากัดอยูมาก และจากการสํารวจการศึกษาวิจัย ที่ผานมายังไมมีปญหาที่สําคัญภายใตการสํารวจของเราเลย ที่สามารถจําแนกยานพาหนะใน ระดับที่ซับซอนมากขึ้น เชน ยี่หอ และรุนของยานพาหนะ วิทยานิพนธฉบับนี้มีจุดประสงคเพื่อเสนอแนวทางใหมในการจําแนกรุนและบริษัทผูผลิต ของรถยนตจากภาพนิ่งดานหลังของรถยนต ในลําดับแรกสีแดงของไฟทายรถจะถูกตรวจหาและ ถูกทดสอบ ดวยโมเดลการกระจายของแมสี ซึ่งสรางขึ้นจากตัวอยางของสีไฟทาย บริเวณที่เปนสี แดงที่อาจเปนไฟทายจะถูกตรวจจับไดโดยการเทียบพิกเซลกับแบบจําลองความเขมของสีแดงที่มี หลั ง จากนั้ น จะมี ก ารตรวจสอบคุ ณ สมบั ติ ท างตํ า แหน ง (geometric) ของภาพท า ยรถเพื่ อ หา ตําแหนงที่ควรจะเปนไฟทาย ในการจําแนกประเภทและรุนของรถยนตมีการใชเทคนิค Eigen รวมกับการวิเคราะหแบบแยกแยะเปนเสนตรง Fisher ในการทดลองไดนําขอมูลของรถยนตจากบริษัทผูผลิตหลายบริษัทและหลายรุนที่เปนที่ นิยม จํานวน 17 รุน ไดถูกรวบรวม เพื่อการวิเคราะหและทดสอบระบบ ความถูกตองในการจําแนก ประเภทประมาณ 93 เปอรเซนต ผลการทดลองแสดงใหเห็นวางานวิจัยนี้สามารถที่จะพัฒนาตอไป เพื่อสามารถแยกแยะรุนและบริษัทผูผลิตจํานวนมากขึ้นได I Thesis Title Student Student ID Degree Program Year Thesis Advisor Thesis Co-Advisor Back-View Car Model Recognition Mr.Le Thanh Sach 48060733 Master Computer Engineering 2007 Dr Watchara Chatwiriya Prof Dr Shozo Kondo ABSTRACT Automated Vision-Based Vehicle Recognition is useful and challenging for researchers in image processing and visual perception disciplines Recent researches in this field can be categorized into vehicle detection or vehicle type recognition While vehicle detection can only discriminate vehicles against surrounded background; vehicle type recognition is able to detect and classify vehicles into their types such as truck, bus and motorcycle However, the recognition complexity level is quite limited so far None of serious work under our investigation is able to recognize vehicles in more sophisticated level such as vehicle’s makes and models This thesis proposes new approaches for detecting and recognizing car makes and models from still images In detection, colors in red areas of car tail lights are sampled, and their density in color space is modeled by a proposed method Input images segmented with the modeled color density can limit the number of regions in images to look for car back views Cars are detected after verifying the geometric property of car back views in candidate regions In recognition, Eigen technique and Fisher Linear Discriminant Analysis have been demonstrated that they are suitable for extracting features and recognizing car models A large image database of 17 popular car models has been collected until now for investigation The current recognition rate is over 93% The experimental results show that our approach is extensible to a higher number of car models II Acknowledgements I would like to thank Dr Watchara Chatwiriya, my advisor, for his enthusiastic guidance and expansive discussion during the past 24 months I am also thankful to my co-advisor, Prof Dr Shozo Kondo in Tokai University, for his encouragement and practical suggestion Specially, I am very grateful to all of members in my family - they are always motivation for me to better myself It is also noted that I received all of kind help from members in my laboratory; I could study well in KMITL thanks to a friendly working environment they created for me Finally, I would like to mention that this thesis can not be realized without the support of JICA project for AUN/SEED-Net Bangkok, Thailand May, 2007 Le Thanh Sach III Contents Page บทคัดยอ .I Abstract .II Acknowledgements III Contents IV List of Tables VII List of Figures VIII Chapter Introduction 1.1 Background 1.2 Objective of the Study 1.3 Statement of the Thesis 1.4 Assumption of this Study 1.5 Theory or Concept to be Used in this Research Chapter Literature Survey 2.1 Vehicle Recognition 2.1.1 Sensor Selection 2.1.2 Vehicle Detection 2.1.3 Feature Extraction 10 2.1.4 Recognition 12 2.2 Color Image Segmentation 13 2.3 Eigen-Technique 14 2.3.1 Principal Component Analysis (PCA) 15 2.3.2 Fisher Discriminant Analysis 18 Chapter System Architecture and Data Collection 25 3.1 System Architecture 25 3.2 Dataset Collection 26 IV Contents (cont.) Page 3.2.1 Conditions for Capturing Image 26 3.2.2 The Number of Car Makes and Models under Consideration 29 3.3 Sample Reference Color Collection 30 Chapter Car Back-View Image Segmentation 32 4.1 Introduction 32 4.2 Reference Color Learning 33 4.2.1 Color Density Modeling 33 4.2.2 Density Level Selection 46 4.3 Segmentation and Normalization 47 4.3.1 Segmentation 47 4.3.2 Normalization 59 Chapter Feature Selection 61 5.1 Introduction 61 5.2 Image Space and Eigencar 62 5.3 Car Space and Car Feature 64 5.4 Fisher Car Space and Fisher Car Feature 65 Chapter Recognition 69 6.1 Recognition with Quadratic Discriminant Functions 69 6.2 Recognition with Linear Discriminant Functions 72 6.3 Recognition with Nearest Neighborhood Rule 73 Chapter Result and Discussion 76 7.1 Segmentation 76 7.1.1 Learning Reference Color 76 7.1.2 Separating Car back-views 77 7.2 Recognition 79 V Contents (cont.) Page Chapter Conclusion 86 Bibliography 88 Appendix A Sample Car Images 93 Appendix B Publication List 102 VI List of Tables Table Page 3.1 Makes, Models, Years and Number of Sample Images 30 4.1 Color Prototype Learning Algorithm 37 4.2 Color Combination Algorithm 43 4.3 Likelihood Optimization Algorithm 46 4.4 Formulation for Geometric Measurements 50 7.1 Parameters used in HPL, SA and EM algorithms 76 7.2 Recognition Performance 80 7.3 Recognition Performance Using LDF 83 7.4 Recognition Performance Using QDF 84 7.5 Recognition Performance Using K-NN (K=5) 85 VII Appendix B Publication List [1] Le Thanh Sach, Watchara Chatwiriya, Shozo Kondo, “Color Segmentation and Bayesian Classifier in Car Model Classification,” Proceedings of the 2006 Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology (ECTI) International Conference, Vol 1, pp.48 – 51, 2006 [2] Le Thanh Sach, Watchara Chatwiriya, Shozo Kondo, “A New Approach For Modeling Color Density and its Application in Car Tail Light Image Segmentation”, Proceedings of the 2007 International Workshop on Advanced Image Technology, pp 851-856, 2007 103 104 105 106 107 108 109 110 111 112 113 114 Author Biography Personal Information Name: LE THANH SACH Sex: Male Birth Date: June 25, 1975 Birth Place: QuangNgai City, VietNam Nationality: Vietnamese Mobile: (+84)919760019 Email: LTSACH@{hcmut.edu.vn, gmail.com, yahoo.com} Working Place Office: Faculty of Computer Science and Engineering, HoChiMinh City University of Technology, Vietnam Address: A3 block, 268 LyThuongKiet Str., Dist 10, HoChiMinh City, Vietnam Educational Qualifications 2.1 Academic Qualification Engineer of Computer Science: • Field: Computer Engineering • Duration: 09/1993 – 01/1998 (4.5 years) • Institute: HoChiMinh City University of Technology, Vietnam Master of Engineering: • Field: Computer Engineering • Duration: 05/2005 – 05/2007 (2 years) • Institute: King Mongkut’s Institute of Technology Ladkrabang, Bangkok, Thailand • Sponsor: JICA project for AUN/SEED-Net 116 2.2 Research Experience 01/1998 – 05/2005: Lecturer at HoChiMinh City University of Technology, Faculty of Computer Science and Engineering Research Field: Image Processing, Pattern Recognition, Artificial Intelligence Skills: C/C++, C#, Visual Basic, Java, Matlab 2.3 List of Publications [1] Le Thanh Sach, Watchara Chatwiriya, Shozo Kondo, “Color Segmentation and Bayesian Classifier in Car Model Classification,” Proceedings of the 2006 Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology (ECTI) International Conference, vol 1, pp.48–51, 2006 [2] Le Thanh Sach, Watchara Chatwiriya, Shozo Kondo, “A New Approach For Modeling Color Density and its Application in Car Tail Light Image Segmentation”, Proceedings of the 2007 International Workshop on Advanced Image Technology, pp 851–856, 2007 [3] N T T Khue, P H Anh, L T Sach, “Vietnamese Speech Recognition,” Proceedings of 5th Scientific Conference for Young Lecturers in HCMUT, vol 1, pp.37–47, 2005 [4] Le Thanh Sach, Tru H Cao, et al “An Object-Oriented Approach to Specification and Composition of Web Services,” Special Issue of Springer-Verlag for Proceedings of International Conference on High Performance Scientific Computing, vol 1, pp.427–440, 2005 [5] Le.Thanh.Sach, “A Semantic Approach and a Proposed Framework for creating, publishing and integrating electronic lectures,” Proceedings of 4th Scientific Conference for Young Lecturers in HCMUT, vol.1, pp 13–17 , 2003 ... image in Figure 4.1(a) Hereafter, the word ? ?back- view image” or even ? ?back- view? ?? can be used in place of car back- view image for interchange Car back- view images and components inside them such... 48 4.8 Definition of Car Back- View Parameters 50 4.9 Variances and Loci of Gravity Centers for Several Car Back- View Images 52 4.10 Location and Size of Car Back- View Image Candidate... images for searching car backview; and thereby, it can speed up the segmentation task Car back- views are detected in thesis by verifying geometric properties for candidate car backviews Eigen-technique