Nghiên cứu phát triển thuật toán cảnh báo khi ô tô đi sai làn

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - MAI THẾ CHUYỀN NGHIÊN CỨU PHÁT TRIỂN THUẬT TỐN CẢNH BÁO KHI Ơ TƠ ĐI SAI LÀN LUẬN VĂN THẠC SĨ KỸ THUẬT Chuyên ngành: Kỹ thuật Điện tử Hà Nội – Năm 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - MAI THẾ CHUYỀN NGHIÊN CỨU PHÁT TRIỂN THUẬT TOÁN CẢNH BÁO KHI Ô TÔ ĐI SAI LÀN Chuyên ngành: Kỹ thuật Điện tử LUẬN VĂN THẠC SĨ KỸ THUẬT Chuyên ngành: Kỹ thuật Điện tử NGƯỜI HƯỚNG DẪN KỸ THUẬT: PGS.TS NGUYỄN TIẾN DŨNG Hà Nội – Năm 2018 LỜI CAM ĐOAN Tôi đọc hiểu hành vi vi phạm trung thực học thuật Tôi cam kết danh dự cá nhân nghiên cứu tự thực không vi phạm yêu cầu trung thực học thuật Tôi xin cam đoan luận văn: “Nghiên cứu phát triển thuật tốn cảnh báo tơ sai làn” nghiên cứu tôi, số liệu kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tác giả luận văn Mai Thế Chuyền LỜI CÁM ƠN Để hồn thành tiểu luận này, tơi xin chân thành cảm ơn thầy giáo hướng dẫn PGS TS Nguyễn Tiến Dũng tận tình, chu đáo hướng dẫn tơi thực luận văn Mặc dù có nhiều cố gắng để thực đề tài cách hoàn chỉnh nhất, song hạn chế tiếp cận với thực tế hạn chế kiến thức kinh nghiệm nên khơng thể tránh khỏi thiếu sót định mà thân chưa thấy Tôi mong góp ý q thầy, giáo bạn đồng nghiệp để luận văn hoàn chỉnh Tôi xin chân thành cảm ơn [1] Mục lục DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÝ HIỆU DANH MỤC CÁC HÌNH .5 DANH MỤC CÁC BẢNG MỞ ĐẦU Chương 1: Giới thiệu hệ thống giám sát giao thông 16 1.1 Tổng quan hệ thống giám sát giao thông camera: 16 1.2 Các vấn đề hệ thống giám sát giao thơng thơng minh 19 1.3 Khó khăn phát phương tiện ô-tô camera 21 1.4 Giới thiệu số hệ thống giám sát giao thông 22 Chương 2: Phát đối tượng từ camera .27 2.1 Bài toán phát phân loại đối tượng 27 2.2 Một số phương pháp phân loại phổ biến 29 2.3 Một số đặc trưng dùng để phân loại phương tiện: .33 2.3.1 Đặc trưng Haar 33 2.3.2 Biểu đồ màu .35 2.3.3 Đặc trưng SIFT 36 2.3.4 Đặc trưng HOG 37 2.4 Các vấn đề gặp phải trình nhận dạng 37 2.4.1 Khó khăn đối tượng tham gia giao thông .38 2.4.2 Khó khăn tác động điều kiện mơi trường 39 2.5 Lựa chọn giải pháp .39 Chương 3: Bài toán giải thuật 42 3.1 Bài toán phát xe sai 42 3.1.1 Đặt vấn đề 42 3.1.2 Vấn đề xác định đường 44 3.1.3 Yêu cầu đầu vào đầu ra: 44 3.2 Hướng giải toán 45 3.2.1 Sơ đồ khái quát hướng tiếp cận toán 45 3.2.2 Mơ hình tốn nhận dạng phương tiện ơ-tơ: 46 3.3 Quy trình rút trích đặc trưng HOG .48 3.3.1 Đặc trưng HOG 48 3.3.2 Quy trình rút trích đặc trưng HOG .51 3.4 Quá trình phân lớp liệu sử dụng SVM 53 3.4.1 Các bước thực phân lớp liệu dựa SVM 53 3.4.2 Lựa chọn thông số 55 3.5 Giải thuật 56 Chương 4: Xây dựng thử nghiệm mơ hình nhận dạng ô-tô 57 4.1 Lựa chọn công cụ 57 4.2 Thực 59 4.2.1 Chuẩn bị tập liệu 59 4.2.3 Dữ liệu thử nghiệm .65 4.2.4 Cách tính độ xác thuật toán 65 4.3 Kết đánh giá 66 [2] 4.3.1 Kết kiểm thử dựa tập liệu kiểm thử ngẫu nhiên 66 4.3.2 Kết kiểm thử dựa video 67 4.4 Hướng phát triển 71 4.4.1 Tăng tốc thuật tốn sử dụng tích phân ảnh (Integral Image) 71 4.4.2 Sử dụng tính tốn song song 71 4.4.3 Xác định yếu tố ngược chiều tuyến đường .71 Kết luận 73 Tài liệu tham khảo 75 [3] DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÝ HIỆU Chữ viết tắt SVM HOG GPU Giải thích Support Vector Machines Histogram of Oriented Gradient Graphics Processing Unit [4] DANH MỤC CÁC HÌNH Số hình Tên hình Trang Hình Hệ thống camera giám sát giao thơng Hà Nội 12 Hình 1.1 Tổng quan hệ thống giám sát giao thông sử dụng camera 16 Hình 1.2 Mơ hình hệ thống xử lý ảnh 17 Hình 1.3 Mơ hình tầng chức ITS 18 Hình 1.4 Hệ thống giám sát xử lý vi phạm TTATGT hình ảnh FPT 24 Hình 1.5 Kiến trúc tổng thể hệ thống CadProTMS 25 Hình 1.6 Khả cảnh báo sai hệ thống CadProTMS 26 Hình 2.1 Các phương pháp khai thác thuộc tính xe 30 Hình 2.2 Đặc trưng Haar-like cho ơ-tơ (2*) 34 Hình 2.3 Sự đa dạng cách thể hình dáng ơ-tơ 38 Hình 3.1 Vị trí camera đặt so với mặt đường 42 Hình 3.2 Vị trí đặt camera so với đường 43 Hình 3.3 Một hình ảnh thu camera thu thập liệu nút giao hầm chui Nguyễn Trãi - Khuất Duy Tiến, quận Thanh Xuân, Hà Nội 44 Hình 3.4 Cấu trúc khái quát hệ thống nhận dạng đối tượng 45 Hình 3.5 Sơ đồ tổng qt tốn nhận dạng phương tiện ơ-tơ 47 Hình 3.6 Minh họa kích thước 8x8 cửa sổ tìm kiếm 49 Hình 3.7 Sự phân bố độ lớn vector vào bins HOG 49 Hình 3.8 Gộp ô (cell) để tạo nên khối (block) có chồng lấp 51 Hình 3.9 Các bước thực rút trích đặc trưng HOG 52 Hình 3.10 Đặc trưng HOG rút trích 53 [5] Hình 3.11 Quy trình xử lý tìm kiếm đối tượng 56 Hình 4.1 Điểm thu thập liệu nút giao Võ Văn Kiệt - Hải Thượng Lãn Ơng 60 Hình 4.2 Điểm thu thập liệu nút giao Nguyễn Trãi - Khuất Duy Tiến 61 Hình 4.3 Các mẫu liệu lựa chọn tập UA-DETEC 62 Hình 4.4 Các mẫu liệu lựa chọn internet 63 Hình 4.5 Tập liệu ơ-tơ (vehicle) 64 Hình 4.6 Tập liệu khơng phải ơ-tơ (non-vehicle) 64 Hình 4.7 Vùng xác định phương tiện sai 68 Hình 4.8 Đối tượng phát video thử nghiệm 69 Hình 4.9 Nhiều đối tượng vào vùng quan sát 69 Hình 4.10 Khơng thực cảnh báo với xe máy vào vùng quan sát 70 [6] DANH MỤC CÁC BẢNG Số bảng Bảng Tên bảng Trang Số lượng camera giám sát giao thông lắp đặt 11 số tỉnh thành Việt Nam Bảng 2.1 Phân loại phương pháp phát đối tượng 28 Bảng 2.2 Các loại đặc trưng phổ biến để phát đối tượng 31 Bảng 4.1 Giá trị kiểm thử dựa mơ hình dự đốn 66 Bảng 4.2 Độ xác thuật tốn 67 [7] Hình 4.4: Các mẫu liệu lựa chọn internet Ảnh chụp không yêu cầu điều kiện môi trường cố định: mơi trường ánh sáng lớn (nắng có bóng nắng) bị khói bụi, có mưa tuyết, Các ảnh ô-tô cắt thủ công công cụ shotwell chạy Ubuntu 16.04 Kích thước ảnh cắt theo tỷ lệ 1x1, xuất ảnh thành tệp có kích thước khác Ảnh xuất thống định dạng jpg, 24 bit màu Tập ảnh dùng để training chia làm tập: liệu ô-tô (positive) ô-tô (negative) lưu thư mục vehicle non-vehicle Trong liệu vehicle 226 ảnh, liệu non-vehicle 162 ảnh Dữ liệu nonvehicle trích xuất từ ảnh gốc thu thập được, vùng khơng có ơ-tơ [63] Hình 4.5: Tập liệu ơ-tơ (vehicle) Hình 4.6: Tập liệu ô-tô (non-vehicle) [64] 4.2.3 Dữ liệu thử nghiệm Dữ liệu để thử nghiệm video thu thập địa điểm Việt Nam video lấy từ trang internet, thu thập dạng chuẩn định dạng mp4 Các video KDT-NT-01.mp4, VVK-HTLO-1.mp4, VVK-HTLO-2.mp4 sử dụng tách ảnh làm tập liệu (training test) nên khơng tham gia vào q trình thử nghiệm Các video KDT-NT-02.mp4, VVK-HTLO-3.mp4 , VVK-HTLO-4.mp4 tham gia vào q trình thử nghiệm nhận dạng ơ-tơ Video “Highway traffic monitoring video [pre-processed]” lấy internet có đường dẫn: https://www.youtube.com/watch?v=7y2oOsucOdc 4.2.4 Cách tính độ xác thuật toán - Sử dụng hàm train_test_split để chia ngẫu nghiên vector đặc trưng thành tập training kiểm thử (test), với tỷ lệ test_size=15% tổng số mẫu (positive + negative) Điều giúp cho việc kiểm thử liệu hoàn toàn độc lập với liệu học - Dựa model tạo bước training, sử dụng hàm svc.score() với tham số truyền vào tập liệu test Hàm giúp cho người dùng tính nhanh độ xác mơ hình dựa tập liệu kiểm thử có sẵn - Ngồi ra, học máy, để đánh giá độ xác thuật tốn, người ta dùng ma trận lỗi phân lớp (hay gọi ma trận nhầm lẫn - confusion matrix) Các thành phần ma trận thể số lượng ví dụ kiểm thử phân lớp bị phân lớp sai Với mơ hình phân lớp lớp đề tài này, ta mơ tả cách thức tính độ xác bảng: [65] Kết kiểm thử dựa mơ hình SVC Lớp thực tế Lớp dự đoán Vehicle Non-vehicle (positive) (negative) TP (true positive) FN (false negative) FP (false positive) TN (true negative) Bảng 4.1: Giá trn kiểm thử dựa mơ hình dự đốn TP (true positive) – mẫu mang nhãn positive phân lớp vào lớp positive FN (false negative) – mẫu mang nhãn positive bị phân lớp sai vào lớp negative FP (false positive) – mẫu mang nhãn negative bị phân lớp sai vào lớp positive TN (true negative) – mẫu mang nhãn negative phân lớp vào lớp negative Độ xác mơ hình SVC thu q trình học tính: Acc ( SVC )= TP + TN TP+ FN + FP + TN Độ lỗi mơ hình SVC: Errorrate ( SVC )=1− Acc (SVC ) Vì sử dụng theo nghi thứ k-fold (15%) để chia tập liệu làm phần nên thực lấy giá trị trung bình lần tính độ xác thuật tốn 4.3 Kết đánh giá 4.3.1 Kết kiểm thử dựa tập liệu kiểm thử ngẫu nhiên Như mơ tả mục 4.2, cách tính độ xác cung cấp thư viện sklearn Cách tính độ xác khả phân loại giải thuật dựa độc lập liệu học kiểm thử [66] Để tạo tính ngẫu nhiên, tập liệu xây dựng phân tách ngẫu nhiên thành tập liệu, tạo khách quan liệu học kiểm thử cần, phân tách không gây tình trạng trùng lặp làm xác suất nhận dạng tăng cao không phù hợp Cách chia tỷ lệ liệu kiểm thử = 15% tổng số liệu để liệu học khơng q liệu kiểm thử khơng q nhiều, ảnh hưởng đến độ xác thuật toán (nằm vùng đề xuất thư viện sklearn) Với tỷ lệ 15% cần thực lần kiểm thử để tính giá trị trung bình độ xác thuật tốn Kết lần kiểm thử độ xác thuật toán, với việc lấy ngẫu nhiên tập liệu học tập liệu kiểm thử mô tả trên, mô tả bảng Lần Kết Thời gian Thời gian tính đặc học trưng 0.9833 0.22 4.65107 0.95 0.27 3.34489 0.9167 0.29 3.60985 0.9833 0.17 3.37309 0.95 0.3 3.45326 0.9833 0.29 3.35501 Trung bình 0.9611 0.26 3.63119 Bảng 4.2: Độ xác thuật tốn 4.3.2 Kết kiểm thử dựa video Áp dụng với mơ hình học thực bước trước, thực thử nghiệm giải thuật vào nhận dạng ô-tô video thu thập được mô tả mục 4.2.3 Trong video “Highway traffic monitoring video [pre-processed]” có [67] đường giả lập có đường dành riêng, khơng cho phép ơ-tơ vào, ô-tô vào bị xác định sai đường Do chương trình ghi lại (trích xuất) hình ơ-tơ vào Hình 4.7 Vùnng xác đnnh phương tiện sai Hình ảnh thu thực thử nghiệm liệu video: khung bên trái đối tượng vào vùng quan sát, qua tiền xử lý trích đặc trưng khung bên phải (tô màu sáng), đặc trưng đưa vào phân loại xem có phải đối tượng ơ-tơ hay khơng, xác định đối tượng ơ-tơ khoanh ô vào đối tượng để quan sát [68] Hình 4.8 Đối tượng phát video thử nghiệm Chương trình thực phát nhiều đối tượng lúc vào vùng quan sát Hình 4.9: Nhiều đối tượng cùnng vào vùnng quan sát Khi có phương tiện ô-tô (ở xe máy) vào vùng quan sát chương trình khơng thực cảnh báo (khoanh vng đối tượng) [69] Hình 4.10: Không thực cảnh báo với xe máy vào vùnng quan sát Kết đánh giá tóm tắt: - Việc phát phương tiện ô-tô: Kết thực nghiệm cho thấy, giải thuật kết hợp HOG+SVM cho mức độ xác suất thành công cao, hoạt động ổn định Độ xác thuật tốn mức 96% Tuy nhiên kết thay đổi điều kiện tự nhiên không lý tưởng chất lượng thu hình camera Tuy nhiên hệ thống giữ nâng cao độ xác nhờ gia tăng số lượng thành phần tham gia học (tập mẫu) - Về cảnh báo: phương tiện xác định vào vùng quan sát, 100% xuất khung hình lưu trữ phương tiện - Trong video thử nghiệm có tham gia phương tiện ơ-tơ thuật tốn khơng bị nhận diện sai - Trong thử nghiệm chưa thử với môi trường giao thơng đơng đúc, dễ gây tình trạng nhập nhằng (occlusion) [70] 4.4 Hướng phát triển 4.4.1 Tăng tốc thuật tốn sử dụng tích phân ảnh (Integral Image) Trong HOG, việc tính vector đặc trưng cell thực nhiều lần, sử dụng kỹ thuật tích phân ảnh (Integral image) để tăng tốc độ tính tốn Việc áp dụng Integral image giúp tăng tốc đáng kể q trình tính giá trị thành phần vector đặc trưng (giá trị bin) cell Trong nghiên cứu [22], [23] đề xuất sử dụng tích phân ảnh trước thực trích chọn đặc trưng, được kết tốt, cải thiện khả tính tốn đặc trưng HOG 4.4.2 Sử dụng tính tốn song song Trong nghiên cứu thử nghiệm [25], [26], [27], đề xuất số phương pháp cải thiện tốc độ tính tốn đặc trưng HOG dựa sở: - Tận dụng khả xử lý song song số lượng lớn tác vụ đơn giản vi xử lý đồ họa - Việc tính tốn cường độ hướng biến thiên pixel ảnh thực đồng thời độc lập - Có thể dùng nhiều thread để tăng tốc độ tính vector đặc trưng block cửa sổ Theo tác giả cách thức đưa phép toán lên xử lý GPU đẩy nhanh tốc độ tính giá trị HOG tới 67 lần [26] Khi áp dụng vào mơ hình thực tế nhận dạng ơ-tơ, giải pháp giảm thời gian nhận dạng xuống lần [27] 4.4.3 Xác định yếu tố ngược chiều tuyến đường Tình trạng xuất số ơ-tơ vào cao tốc, nút giao lùi lại quay ngược đầu, gây tình trạng an tồn nghiệm trọng an tồn giao thơng Vì phát triển chương trình [71] kết hợp với việc theo dõi tính toán tốc độ đối tượng, tốc độ bị tính âm phương tiện ngược chiều cần cảnh báo khẩn cấp [72] Kết luận Nghiên cứu hệ thống camera giám sát giao thông ln nhận nhiều quan tâm tính ứng dụng chúng thực tiễn Trong vấn đề nhận dạng đối tượng để phát đối tượng sai toán quan trọng hệ thống giám sát, thơng qua việc xác định xác đối tượng giúp cho việc xử lý bước tiếp có nhiều thơng tin Luận án trình bày vấn đề tổng quan hệ thống camera giám sát giao thơng, khó khăn gặp phải trình phát đối tượng để cảnh báo sai Trên sở thực nghiệm, luận án đề xuất giải pháp đạt kết sau: - Xây dựng tập liệu (data set) để nhận dạng phát đối tượng phù hợp với môi trường Việt Nam (điều kiện thời tiết, ánh sáng, đa dạng phương tiện) Tập liệu xây dựng dựa sở tiêu chuẩn đo lường lắp đặt thiết bị đưa quan Việt Nam - Đề xuất giải pháp nhận dạng phát đối tượng có độ xác cao Giải pháp giúp xác định xác ơ-tơ vào làn, vùng đường theo dõi Khi giám sát đối tượng camera, yếu tố chuyển động đối tượng vận tốc, khoảng cách đối tượng gây ảnh hưởng định tới việc nhận dạng, điều mở hướng nghiên cứu là: - Tăng tốc xử lý thuật tốn để phù hợp với loại hình đường (đường nội thị cao tốc) - Xác định yếu tố chồng lấn khoảng cách phương tiện gần [73] - Xác định yếu tố không chiều sai mà xác định yếu tố sai tốc độ cho phép yêu cầu đường, hay ngược đường [74] Tài liệu tham khảo [1] ThS Đặng Quang Thạch, PGS.TS Lê Hùng Lân Hệ thống giám sát giao thông ứng dụng công nghệ xử lý ảnh [2] Qiong Cao, Rujie Liu, Fei Li, Yuehong Wang An automatic vehicle detection method based on traffic videos IEEE 17th International Conference on Image Processing 2010, Hong Kong [3] KS Nguyễn Toàn Thắng, Nghiên cứu xây dựng hệ thống giám sát xử lý vi phạm TTATGT hình ảnh hệ thống giao thơng đường [4] TS Phạm Hồng Quang, Xây dựng hệ thống giám sát giao thông thông minh Việt Nam [5] Alper Yilmaz, Omar Javed, and Mubarak Shah, "Object Tracking: A Survey" pp 7-15 [6] Bin Tian et al Hierarchical and Networked Vehicle Surveillance in ITS: A Survey IEEE Transactions On Intelligent Transportation Systems, 2014 [7] Trần Duy Quang, Histogram of Oriented Gradients (HOG) [8] D Hoiem, C Rother, and J Winn, “3D layoutcrf for multi-view object class recognition and segmentation,” in Proc IEEE Conf Comput Vis Pattern Recog., 2007, pp 1–8 [9] R S Feris et al., “Large-scale vehicle detection, indexing, and search in urban surveillance videos,” IEEE Trans Multimedia, vol 14, no 1, pp 28–42, Feb 2012 [10] Navneet Dalal and Bill Triggs, Histograms of Oriented Gradients for Human Detection [11] Kamarul Hawari Ghazali (2007) Feature Extraction technique using SIFT [75] keypoints descriptors The International Conference on Electrical and Engineering and Informatics Institut technology Bandung, Indonesia, june 17-19, 2007 [12] Lowe David (2004) Distinctive image features from scale-invariant keypoints International Journal of Computer Vision 2004;60(2):91–110 [13] H T Niknejad, T Kawano, Y Oishi, and S Mita, “Occlusion handling using discriminative model of trained part templates and conditional random field,” in Proc IEEE Intell Veh Symp., 2013, pp 750–755 [14] L Yang, B Yao, W Yongtian, and S.-C Zhu, “Reconfigurable templates for robust vehicle detection and classification,” in Proc IEEE Workshop Appl Comput Vis., 2012, pp 321–328 [15] G Gritsch, N Donath, B Kohn, and M Litzenberger, “Night-time vehicle classification with an embedded, vision system,” in Proc Int IEEE Conf Intell Transp Syst., 2009, pp 1–6 [16] K Robert, “Video-based traffic monitoring at day and night vehicle features detection tracking,” in Proc Int IEEE Conf Intell Transp Syst., 2009, pp 1–6 [17] K Robert, “Night-time traffic surveillance: A robust framework for multivehicle detection, classification and tracking,” in Proc IEEE Int Conf Adv Video Signal Based Surveillance, 2009, pp 1–6 [18] A Prati, I Mikic, M M Trivedi, and R Cucchiara, “Detecting moving shadows: Algorithms and evaluation,” IEEE Trans Pattern Anal Mach Intell., vol 25, no 7, pp 918–923, Jul 2003 [19] B T Morris and M M Trivedi, “Learning, modeling, and classification of vehicle track patterns from live video,” IEEE Trans Intell Transp Syst., vol 9, no 3, pp 425–437, Sep 2008 [20] N Wang and D.-Y Yeung, “Learning a deep compact image representation [76] for visual tracking,” in Proc Adv Neural Inf Process Syst., 2013, pp 809–817 [21] W Zhang, Q J Wu, X Yang, and X Fang, “Multilevel framework to detect and handle vehicle occlusion,” IEEE Trans Intell Transp Syst., vol 9, no 1, pp 161–174, Mar 2008 [22] Chunde Huang, Jiaxiang Huang A Fast HOG Descriptor Using Lookup Table and Integral Image, 2015 [23] Fatih Porikli Integral Histogram: A Fast Way to Extract Histograms in Cartesian Spaces IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), June 2005 [25] P Sudowe GroundHOG - GPU-based Object Detection with Geometric Constraints http://www.mmp.rwth-aachen.de/projects/groundhog, 2011 [26] Victor Adrian Prisacariu, Ian Reid FastHOG - a real-time GPU implementation of HOG January, 2012 [27] Manato Hirabayashi, et al GPU Implementations of Object Detection using HOG Features and Deformable Models [77] ... THẾ CHUYỀN NGHIÊN CỨU PHÁT TRIỂN THUẬT TỐN CẢNH BÁO KHI Ơ TƠ ĐI SAI LÀN Chuyên ngành: Kỹ thuật Đi? ??n tử LUẬN VĂN THẠC SĨ KỸ THUẬT Chuyên ngành: Kỹ thuật Đi? ??n tử NGƯỜI HƯỚNG DẪN KỸ THUẬT: PGS.TS... Tôi đọc hiểu hành vi vi phạm trung thực học thuật Tôi cam kết danh dự cá nhân nghiên cứu tự thực không vi phạm yêu cầu trung thực học thuật Tôi xin cam đoan luận văn: ? ?Nghiên cứu phát triển thuật. .. thập thông tin luồng giao thông chủ yếu bao gồm thông số giao thông phát cố giao thông Phát cố giao thơng khó khăn có nhiều tiềm nghiên cứu Một vấn đề phát cố giao thông phát phương tiện sai làn,