Phân loại ảnh mây bầu trời sử dụng phương pháp rút gọn histogram dựa trên trích xuất đặc trưng ltp

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH —————————————— Dương Thị Hồng Hà PHÂN LOẠI ẢNH MÂY/BẦU TRỜI SỬ DỤNG PHƯƠNG PHÁP RÚT GỌN HISTOGRAM DỰA TRÊN TRÍCH XUẤT ĐẶC TRƯNG LTP LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH TP Hồ Chí Minh, Năm 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC MỞ THÀNH PHỐ HỒ CHÍ MINH —————————————— Dương Thị Hồng Hà PHÂN LOẠI ẢNH MÂY/BẦU TRỜI SỬ DỤNG PHƯƠNG PHÁP RÚT GỌN HISTOGRAM DỰA TRÊN TRÍCH XUẤT ĐẶC TRƯNG LTP Chuyên ngành : Khoa học máy tính Mã số chuyên ngành : 60 48 01 01 LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS Trương Hồng Vinh TP Hồ Chí Minh, năm 2020 LỜI CAM ĐOAN Tôi cam đoan luận văn “Phân loại ảnh mây/bầu trời sử dụng phương pháp rút gọn histogram dựa trích xuất đặc trưng LTP” nghiên cứu tơi Ngoại trừ tài liệu tham khảo trích dẫn luận văn này, tơi cam đoan tồn phần hay phần nhỏ luận văn chưa sử dụng để nhận thạc sĩ nơi khác Khơng có sản phẩm/nghiên cứu người khác sử dụng luận văn mà khơng trích dẫn theo qui định Luận văn chưa nộp để nhận cấp trường đại học sở đào tạo khác Thành phố Hồ Chí Minh, năm 2020 Dương Thị Hồng Hà i LỜI CẢM ƠN Trong thời gian học tập, nghiên cứu để hồn thiện luận văn, tơi nhận hướng dẫn, giúp đỡ tận tình quý thầy cô, bạn bè đồng nghiệp Tôi xin gửi lời cảm ơn sâu sắc đến thầy Tiến sĩ Trương Hồng Vinh, thầy nhiệt tình hướng dẫn hỗ trợ tơi tận tình suốt thời gian nghiên cứu thực luận văn Tôi may mắn thầy chấp nhận hướng dẫn, lần xin gửi lời cảm ơn sâu sắc đến thầy Tiến sĩ Trương Hồng Vinh Ngồi tơi xin cảm ơn quý thầy cô lãnh đạo, giảng viên, chuyên viên, thư viện trường Đại học Mở Thành phố Hồ Chí Minh cung cấp kiến thức, tài liệu quý báu hỗ trợ cho suốt thời gian học tập trường Tôi xin chân thành cảm ơn đến anh chị nhóm thầy hướng dẫn thảo luận trao đổi, hướng dẫn, hỗ trợ tơi, góp ý q báu để tơi hồn thành luận văn tốt Cuối xin gửi lời cảm ơn đến người thân u gia đình ln bên cạnh, hỗ trợ, động viên tạo điều kiện thuận lợi để tơi hồn thành luận văn chương trình học trường ii TĨM TẮT Thời tiết khu vực giới liên quan trực tiếp đến mây Tất loại mưa gây đám mây Mây đóng vai trò quan trọng dự báo cảnh báo thời tiết Thông qua việc quan sát đám mây phân loại chúng, dự đốn thay đổi tình hình thời tiết Quan sát đám mây cách xác quán, chuẩn hóa tồn cầu, ln nhu cầu quan trọng Do thiếu hụt sóng vơ tuyến quan sát vệ tinh không gian dẫn đến việc phải quan sát bầu trời hình ảnh, từ số lượng hình ảnh bầu trời/đám mây chụp từ mặt đất ngày phong phú, phổ biến Những quan sát đám mây từ mặt đất tạo liệu khổng lồ hình ảnh đám mây/bầu trời có giá trị nhiều thập kỷ Các máy ảnh toàn mặt đất mở hội để theo dõi bầu khí trái đất Những máy ảnh bổ sung quan trọng cho hình ảnh vệ tinh cách cung cấp cho nhà địa chất liệu rẻ, nhanh tập trung Vấn đề hình ảnh đám mây phát thành cơng đám mây có hình chụp bầu trời/đám mây Việc phát đám mây từ hình ảnh bầu trời thách thức đám mây khơng có cấu trúc, đường viền, hình dạng kích thước định Hình ảnh đám mây, loại cấu trúc vân tự nhiên, thường sở hữu biến thể nội hàm lớn biến đổi lớn độ chiếu sáng, khí hậu biến dạng Do đó, địi hỏi thuật tốn mạnh mẽ để trích xuất thơng tin phân biệt hình ảnh đám mây Trong năm gần đây, số nghiên cứu tiếp cận kỹ thuật khai thác liệu để nhận dạng, phân loại đám mây dựa khối lượng, hình dạng, độ dày, chiều cao độ che phủ chúng Màu sắc sử dụng làm đặc trưng bậc cho phân loại bầu trời/đám mây Nhiều kỹ thuật dựa mơ hình màu bước sóng quang phổ khác đề xuất để giải iii vấn đề Vì hình ảnh đám mây, loại cấu trúc vân tự nhiên, thường sở hữu biến thể nội hàm lớn biến đổi lớn độ chiếu sáng, khí hậu biến dạng đặc trưng Local Binary Patterns (LBP) biến thể đề xuất làm phương pháp trích xuất đặc trưng để phân loại hình ảnh cấu trúc vân tự nhiên Thuộc tính LBP tính quay bất biến, độ phức tạp tính toán thấp khả chống lại thay đổi độ sáng đơn điệu Tuy nhiên, nhược điểm LBP: tạo liệu nhị phân nhạy cảm với nhiễu, hoạt động khơng tốt vùng hình ảnh “phẳng” dựa khác biệt cường độ Để khắc phục nhược điểm đặc trưng LBP, luận văn đề xuất sử dụng đặc trưng Local Ternary Patterns (LTP) Bên cạnh đó, luận văn đề xuất kết hợp đặc trưng màu sắc với đặc trưng LBP đặc trưng LTP để phân loại hình ảnh đám mây/bầu trời Nhưng đặc trưng LTP làm gia tăng gấp đôi số lượng histogram, luận văn đề xuất sử dụng kỹ thuật Intra-Class Similarity (ICS) – kỹ thuật lựa chọn histogram – với mục đích giảm số lượng histogram cách lựa histogram có giá trị dùng để phân loại hình ảnh đám mây/bầu trời Với liệu thực nghiệm, luận văn sử dụng liệu SWIMCAT, luận văn thu thập, hiệu chỉnh liệu hình ảnh mây/bầu trời dựa ý tưởng liệu SWIMCAT với số hình ảnh nhiều hơn, loại nhiều Nhìn tổng qt, việc đề xuất việc tích hợp đặc trưng màu sắc với đặc trưng LBP đặc trưng LTP làm kết phân loại hình ảnh đám mây/bầu trời có độ xác tốt với nghiên cứu trước Tiến hành thử nghiệm kết hợp đặc trưng LBP với đặc trưng LTP sử dụng thêm kỹ thuật ICS để lựa chọn histogram tiềm làm cho kết phân lại tốt với số đặc trưng iv ABSTRACT The weather of any part of the world is directly related to clouds All types of rain are caused by clouds Clouds play a major role in weather forecasting and warning We can predict the weather by observing and distinguishing the clouds This is an important task to predict weather accurately by a global norm Due to the lack of radio waves and satellite observations in space, the number of sky/cloud images taken from the ground is increasingly For a long decade, this process has created a big data of cloud/sky images Cameras have been opened new opportunities for monitoring the earth’s atmosphere This is an added value for satellite imagery by providing geologists a cheaper, faster, and more focused data The most fundamental problem of cloud imaging is the successful detection of clouds patterns in sky/cloud images It is a challenging issue because clouds not have any certain structure, border, shape, or size Cloud imagery, as a kind of natural striated structure, often possesses very large intrinsic variations due to large variations in illumination, climate, and distortion Therefore, it requires a more efficient algorithm to extract the discriminative information from cloud images In recent years, several works have been introduced to identify and classify clouds based on their mass, shape, thickness, height, and coverage Among them, color has been used as a prominent feature for the sky/cloud classification Various techniques based on different color patterns and spectral wavelengths have been proposed to solve this problem Cloud imagery is a kind of natural textured structure and possesses a very large intrinsic variations due to large variations in illumination, climate, and distortion The Local Binary Patterns (LBP) and its variants have been proposed as the feature extraction method for classifying natural texture images LBP attributes are resistance to monotonic brightness changes and have a low complexity However, the LBP is very sensitive to noise, and does not work well on "flat" textured image areas because it is based on difference of intensity To overcome the limit of LBP features, this thesis proposes to apply Local Ternary Patterns (LTP) In addition, we combine color, LBP and LTP features v to classify cloud/sky images Since the LTP features lie in a higher dimensional space, this thesis proposes to apply Intra-Class Similarity (ICS) score which is a histogram selection technique to reduce the number of histograms This process allows choosing the most valuable histograms for characterizing cloud/sky images The proposed approach is evaluated on the benchmark cloud/sky images dataset, namely SWIMCAT Additionally, we collected and created a new dataset which can be considered as an extension of SWIMCAT database It is called Cloud-ImVN 1.0 have free access for public use The Cloud-ImVN 1.0 has more images and number of classes than SWIMCAT In general, the proposed approach enhanced the accuracy of cloud/sky image classification by comparing with the results from the state-of-the-art The selection process of the training stage allows selecting potential histograms with a smaller number of features vi Mục lục Lời cam đoan i Lời cảm ơn ii Tóm tắt iii Mục lục vii Danh mục hình đồ thị x Danh mục bảng xi Danh mục ký hiệu xii Danh mục viết tắt xiii Danh mục thuật ngữ xiv Chương 1: Tổng quan nhận dạng ảnh mây/bầu trời 1.1 Giới thiệu 1.2 1.3 1.4 1.5 1.6 1.7 1.8 Thách thức nhận dạng ảnh mây/bầu trời Tình hình nghiên cứu nhận dạng ảnh mây/bầu trời Mục tiêu nghiên cứu Đóng góp luận văn Cấu trúc luận văn Phương pháp nghiên cứu Kết luận 10 10 10 11 Chương 2: Cơ sở lý thuyết 2.1 Tổng quan ảnh màu 12 12 vii 1 12 13 18 18 20 21 23 23 2.3.2 Đặc trưng màu 2.3.3 Đặc trưng cấu trúc vân Tổng quan trích xuất đặc trưng 2.4.1 Trích xuất đặc trưng 2.4.2 Trích xuất đặc trưng LBP 2.4.3 Trích xuất đặc trưng LTP Tổng quan lựa chọn histogram 2.5.1 Giới thiệu 2.5.2 Phương pháp lựa chọn histogram 2.5.3 Kỹ thuật ICS Tổng quan phân loại Kết luận 24 24 26 26 27 28 29 29 29 31 32 34 Chương 3: Ứng dụng kỹ thuật trích xuất đặc trưng LTP, thuật toán lựa chọn histogram để phân loại ảnh màu mây/bầu trời 3.1 Phân tích khơng gian màu để nhận diện đám mây 3.2 Phân loại ảnh mây/bầu trời dựa cấu trúc vân 3.2.1 Phân loại mây 3.2.2 Đặc trưng đám mây 35 35 37 37 39 2.2 2.3 2.4 2.5 2.6 2.7 3.3 3.4 3.5 3.6 2.1.1 Giới thiệu 2.1.2 Không gian màu Tổng quan cross-validation 2.2.1 Hold-Out Cross-Validation 2.2.2 k-fold cross-validation 2.2.3 Leave-One-Out Cross-Validation Phân tích hình ảnh 2.3.1 Giới thiệu Bộ liệu thực nghiệm Quy trình thực phân loại ảnh mây/bầu trời Kết thực nghiệm 3.5.1 Kết liệu SWIMCAT 3.5.2 Kết liệu Cloud-ImVN 1.0 Kết luận viii 41 43 46 46 63 78 378 H D T Hong and V T Hoang Clear sky Patterned Thick dark Thick white Veil Fig Example images of SWIMCAT dataset We use fourteen color spaces (RGB, bwrgby, HLS, HSV, I1I2I3, IHLS, Lab, Luv, rgb, XYZ, YcbCr, YIQ, YUV) to represent images of SWIMCAT dataset Three type of features are used (LBP, LTP and LBP+LTP) are used to characterized cloud images in order to compare the performance The 5-fold cross validation technique is applied to create the initial dataset into two training and testing set As we mentioned in the Sect that color information is very useful to extract features Wang et al [8] consider grayscale image to extract apply LBP and LTP features Here, we extract features from color channel of each color space and finally concatenate to build a feature vector of each cloud image This makes the dimension space is three times longer than in [8] for a single descriptor LBP or LTP in use By changing the R and P value, we can compute LBP features for dealing with the texture at different scales For example, LBP16,2 refers to 16 neighbors in a circular neighborhood of radius The LBP feature produces 2P different output values and gives rise to a 2P -dimensional histogram In this work, we vary the value of R {1, 2, 3, …, 5} and P {4, 8, 12} for LBP, LTP and LBP+LTP features Here, we set the value of t = for LTP descriptor Table presents the classification results on the SWIMCAT dataset We only report the best accuracy given by specific color space for each type of features The value in bold indicates the best accuracy of each row The value in italic indicates the best accuracy of each column By observing this table, we can see the absence of RGB color space while the HLS, HSV and IHLS achieve a good performance So, the luminance-chrominance and perceptual color spaces are suitable for characterizing cloud texture The best accuracy is 99.2 ± 0.8 given by LBP(2,12) This result confirms again that an appropriate of LBP and LTP need to be adjusted for a considered application as in [14] A Comparative Study of Color Spaces for Cloud Images Recognition 379 Table The classification results of three types of features (LBP, LTP and LBP+LTP) on 5fold cross validation The accuracy is reported based on the best results performing by specific color space or the selected value of (R; P) The value in bold indicates the best accuracy of each row The value in italic indicates the best accuracy of each column The value in red color indicates the best value of each type of features (R,P) (1,4) LBP HLS Lab LTP rgb HLS HSV IHLS 98.1 ±0.9 HLS HSV 98.2 ±1.4 98.1 ±1.0 98.3 ±0.7 98.3 ±0.7 98.9 ±0.5 98.2 ±0.3 98.6 ±0.9 99.0 ±0.9 98.7 ±1.1 99.2 ±0.8 (2,12) 98.9 ±0.8 98.6 ±0.9 98.1 ±0.9 98.1 ±0.8 99.0 ±0.5 (3,12) 98.6 ±1.4 99.0 ±0.7 98.8 ±0.8 98.0 ±0.5 (1,12) 98.1 ±0.9 98.6 ±1.3 98.3 ±1.1 99.0 ±0.9 98.7 ±1.0 98.7 ±0.8 YIQ 98.1 ±0.5 98.7 ±1.0 98.5 ±1.2 (4,8) ISH 96.3 ±2.1 97.4 ±1.1 97.7 ±1.1 98.7 ±1.2 (3,8) IHLS 98.2 ±0.5 98.7 ±0.4 (5,8) LBP_LTP ISH 97.7 ±1.0 98.2 ±0.8 98.1 ±0.8 98.2 ±0.9 (2,8) (5,12) YUV 97.7 ±1.0 (1,8) (4,12) YIQ 97.7 ±1.6 98.3 ±0.9 97.7 ±1.3 (3,4) (5,4) IHLS 97.6 ±0.6 (2,4) (4,4) HSV 98.3 ±0.8 98.6 ±0.8 98.2 ±0.8 The detailed comparison of theses color spaces is then given in Fig We select the best accuracy obtained for each couple (R; P) for comparing the performance of different color spaces The primary color spaces including RGB and XYZ does not give a good performance comparing with other spaces The performance is stable at 98.0% when we concatenate LBP and LTP features We summarize our results and compare with previous works in the state-of-the-art in Table By incorporating color information and investigated different color space, we improve more than 2% comparing with other works It is worth to repeat that we apply the same decomposition strategy in [8] to split data The statistical meaning of our results has more confident since the standard deviation is fewer 380 H D T Hong and V T Hoang Table The comparison with previous works Features LBP(1,8) [23] DLBP [24] CLBP [25] SaLBP [24] SLBP [8] LBP [19] LTP [20] LBP+LTP (this paper) Color space Accuracy Gray 79.3 ± 3.9 Gray 81.8 ± 4.2 Gray 84.2 ± 1.0 Gray 89.1 ± 1.9 Gray 97.1 ± 1.7 YUV 99.2 ± 0.8 HLS 99.0 ± 0.9 IHLS 99.0 ± 0.9 Color spaces Color spaces (a) LBP (2,12) (b) LTP (4,8) Color spaces Color spaces (c) LTP (3,12) (d) LBP+LTP (3,4) Fig Comparison of the performance via different types of features and parameters: (a) LBP (2,12), (b) LTP(4,8), (c) LTP(3,12), (d) LBP+LTP(3,4) A Comparative Study of Color Spaces for Cloud Images Recognition 381 Conclusion We proposed to incorporate color information to extract feature from LBP and LTP descriptor Various color spaces are also investigated to compare the performance for cloud image classification The experiment is evaluated on the SWIMCAT dataset which have shown the efficiency of proposed approach We improve more than 2% comparing with previous works in literature However, the dimension space is increased by adding color information and concatenating features This issue should be solved in the future to remove irrelevant features References Feister, U., Moller, H., Sattler, T., Shields, J., Gorsdorf, U., Guldner, J.: Comparison of macroscopic cloud data from ground-based measurements using VIS/NIR and IR instruments at Lindenberg, Germany Atmos Res 96, 395–407 (2010) Dev, S., Savoy, F.M., Lee, Y.H., Winkler, S.: WAHRSIS: a low-cost high-resolution whole sky imager with near-infrared capabilities, Baltimore, Maryland, USA, p 90711L, May 2014 Dev, S., Savoy, F.M., Lee, Y.H., Winkler, S.: Design of low-cost, compact and weatherproof whole sky imagers for high-dynamic-range captures In: 2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS), Milan, Italy, pp 5359–5362 IEEE, July 2015 Dev, S., Wen, B., Lee, Y.H., Winkler, S.: Machine learning techniques and applications for ground-based image analysis, June 2016 arXiv:1606.02811 [cs] Fu, C.-L., Cheng, H.-Y.: Predicting solar irradiance with all-sky image features via regression Sol Energy 97, 537–550 (2013) Schumann, U., Hempel, R., Flentje, H., Garhammer, M., Graf, K., Kox, S., Losslein, H., Mayer, B.: Contrail study with ground-based cameras Atmos Meas Tech 6, 3597–3612 (2013) Yuan, F., Lee, Y.H., Meng, Y.S.: Comparison of radio-sounding profiles for cloud attenuation analysis in the tropical region In: 2014 IEEE Antennas and Propagation Society International Symposium (APSURSI), Memphis, TN, USA, pp 259–260 IEEE, July 2014 Wang, Y., Shi, C., Wang, C., Xiao, B.: Ground-based cloud classification by learning stable local binary patterns Atmos Res 207, 74–89 (2018) Cheng, H.-Y., Yu, C.-C.: Block-based cloud classification with statistical features and distribution of local texture features Atmos Meas Tech 8, 1173–1182 (2015) 10 Zhen, Z., Wang, F., Sun, Y., Mi, Z., Liu, C., Wang, B., Lu, J.: SVM based cloud classification model using total sky images for PV power forecasting In: 2015 IEEE Power & Energy Society Innovative Smart Grid Technologies Conference (ISGT), Washington, DC, USA, pp 1–5 IEEE, February 2015 11 Zhang, Z., Li, D., Liu, S., Xiao, B., Cao, X.: Multi-view ground-based cloud recognition by transferring deep visual information Appl Sci 8, 748 (2018) 12 Khan, F.S., Anwer, R.M., Weijer, J.D., Felsberg, M., Laaksonen, J.: Compact color-texture description for texture classification Pattern Recogn Lett 51, 16–22 (2015) 13 Nhat, H.T.M., Hoang, V.T.: Feature fusion by using LBP, HOG, GIST descriptors and Canonical Correlation Analysis for face recognition In: 2019 26th International Conference on Telecommunications (ICT), pp 371–375, April 2019 382 H D T Hong and V T Hoang 14 Hoang, V.T., Rebhi, A.: On comparing color spaces for fabric defect classification based on local binary patterns In: 2018 IEEE 3rd International Conference on Signal and Image Processing (ICSIP), pp 297–300, July 2018 15 Bianconi, F., Bello, R., Fernandez, A., Gonzalez, E.: On comparing colour spaces from a performance perspective: application to automated classification of polished natural stones In: Proceedings of International Workshops New Trends in Image Analysis and Processing, pp 71–78 Springer International Publishing (2015) 16 Van, T.N., Hoang, V.T.: Kinship verification based on local binary pattern features coding in different color space In: 2019 26th International Conference on Telecommunications (ICT), pp 376–380, April 2019 17 Duong, H., Hoang, V.T.: Dimensionality reduction based on feature selection for rice varieties recognition In: 2019 4th International Conference on Information Technology (InCIT), pp 199–202, October 2019 18 Sandid, F., Douik, A.: Robust color texture descriptor for material recognition Pattern Recogn Lett 80, 15–23 (2016) 19 Ojala, T., Pietikäinen, M., Mäenpää, T.: Multiresolution gray-scale and rotation invariant texture classification with local binary patterns IEEE Trans Pattern Anal Mach Intell 24, 971–987 (2002) 20 Tan, X., Triggs, B.: Enhanced local texture feature sets for face recognition under difficult lighting conditions, p 15 (2007) 21 Hoang, V.T.: Multi color space LBP-based feature selection for texture classification Ph.D thesis (2018) 22 Dev, S., Lee, Y.H., Winkler, S.: Categorization of cloud image patches using an improved text on based approach In: 2015 IEEE International Conference on Image Processing (ICIP), Quebec City, QC, Canada, pp 422–426 IEEE, September 2015 23 Ojala, T., Pietikainen, M.: A comparative study of texture measures with class based on feature distribution, p (1996) 24 Liao, S., Law, M.W.K., Chung, A.C.S.: Dominant local binary patterns for texture classification IEEE Trans Image Process 18, 1107–1118 (2009) 25 Guo, Z., Zhang, D., Zhang, D.: A completed modeling of local binary pattern operator for texture classification IEEE Trans Image Process 19, 1657–1663 (2010) PHỤ LỤC 99 Bảng 3.1.B Sử dụng kỹ thuật Hold-out cross-validation liệu SWIMCAT 100 Bảng 3.2.B Sử dụng kỹ thuật Hold-out cross-validation liệu SWIMCAT 101 Bảng 3.5.B Sử dụng kỹ thuật Hold-out cross-validation SWIMCAT 102 Bảng 3.6.B Sử dụng kỹ thuật Hold-out cross-validation SWIMCAT 103 Bảng 3.9.B Sử dụng kỹ thuật Hold-out cross-validation liệu Cloud-ImVN 1.0 104 Bảng 3.10.B Sử dụng kỹ thuật Hold-out cross-validation liệu Cloud-ImVN 1.0 105 Bảng 3.13.B Sử dụng kỹ thuật Hold-out cross-validation liệu Cloud-ImVN 1.0 106 Bảng 3.14.B Sử dụng kỹ thuật Hold-out cross-validation liệu Cloud-ImVN 1.0 107 108 ... văn đề xuất kết hợp đặc trưng màu sắc với đặc trưng LBP đặc trưng LTP để phân loại hình ảnh đám mây/ bầu trời Nhưng đặc trưng LTP làm gia tăng gấp đôi số lượng histogram, luận văn đề xuất sử dụng. .. 2.3.2 Đặc trưng màu 2.3.3 Đặc trưng cấu trúc vân Tổng quan trích xuất đặc trưng 2.4.1 Trích xuất đặc trưng 2.4.2 Trích xuất đặc trưng LBP 2.4.3 Trích xuất đặc trưng LTP. .. Ứng dụng kỹ thuật trích xuất đặc trưng LTP, thuật toán lựa chọn histogram để phân loại ảnh màu mây/ bầu trời 3.1 Phân tích khơng gian màu để nhận diện đám mây 3.2 Phân loại ảnh mây/ bầu trời