(Luận văn thạc sĩ) phân loại khách hàng mua bảo hiểm ô tô theo hành vi sử dụng xe bằng mô hình học sâu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ MAI QUỐC THÁI PHÂN LOẠI KHÁCH HÀNG MUA BẢO HIỂM Ô TÔ THEO HÀNH VI SỬ DỤNG XE BẰNG MƠ HÌNH HỌC SÂU NGÀNH: KHOA HỌC MÁY TÍNH – 1331081 SKC007068 Tp Hồ Chí Minh, tháng 11/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH LUẬN VĂN THẠC SĨ MAI QUỐC THÁI PHÂN LOẠI KHÁCH HÀNG MUA BẢO HIỂM Ô TÔ THEO HÀNH VI SỬ DỤNG XE BẰNG MƠ HÌNH HỌC SÂU NGÀNH: KHOA HỌC MÁY TÍNH – 1331081 Hướng dẫn khoa học: TS NGUYỄN THÀNH SƠN Tp Hồ Chí Minh, tháng 11 năm 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT TRƯỜNG ĐẠI NAM HỌC SƯ PHẠM KỸ Độc lập - Tự T - Hạnh H phúc U Ậ T THÀNH PHỐ HỒ CHÍ MINH NHIỆM VỤ NGHIÊN CỨU Họ tên học viên: Mai Quốc Thái MSHV: 1331808 Ngày, tháng, năm sinh: 01/10/1995 Nơi sinh: VĨnh Long Chuyên ngành: Khoa học máy tính Mã chuyên ngành: KHMT18B Phân loại khách hàng mua bảo hiểm ô tô theo hành vi sử dụng xe mơ hình học sâu - Tìm hiểu sở liệu UBI giải thuật tiền xử lý liệu - Trình bày mơ hình học sâu liên quan, xây dựng mơ hình học sâu đáp ứng yêu cầu toán Bước 7: Có thể phân tích liệu UBI thơng qua biểu đồ nhằm củng cố định người dùng Một số tính mở rộng: Thay đổi ngôn ngữ: 77 Làm rõ nghĩa kết phân lớp cách thêm ToolTip, StatusTip hình bên Một số chức phần Setting để thay đổi giao diện biểu đồ UBI nhằm giúp dễ phân tích 78 79 PHÂN LOẠI KHÁCH HÀNG MUA BẢO HIỂM Ô TÔ THEO HÀNH VI SỬ DỤNG XE BẰNG MƠ HÌNH HỌC SÂU Classifying Customers Who Buy Car Insurance Based On Their Car Use Behavior payment offers By Applying Deep Learning Model Mai Quoc Thai 1 Trường đại học Sư phạm Kỹ thuật TP.HCM TÓM TẮT Ngành cơng nghiệp tơ giới nói chung nước ta nói riêng liên tục có bước chuyển phát triển khơng ngừng, với cách mạng cơng nghiệp lần thứ tư góp phần đưa ngành tơ đến vị trí cao với cơng nghệ tiên tiến xe tự hành, hệ thống viễn thông - thông tin ô tô (telematic), trợ lý ảo,… Với mức tăng trưởng ngành tơ bảo hiểm ô tô loại bảo hiểm quan trọng cung cấp bảo vệ tài cách giảm thiểu thiệt hại trách nhiệm pháp lý từ tai nạn xe Nhưng để đạt điều công ty bảo hiểm phải tiến hành phân loại khách hàng dựa vào hành vi lái xe để đưa gói bảo hiểm xe phù hợp với loại khác hàng, từ giúp cơng ty bảo hiểm đạt lợi nhuận tối đa thu hút nhiều khách hàng Tuy nhiên, việc phân loại khách hàng cơng ty bảo hiểm địi hỏi phải có phân tích kỹ thuật phức tạp Để giải vấn đề cần có ứng dụng phân loại khách hàng với độ xác cao phải xử lý liệu lớn nhiều chiều Đề tài sâu vào phân tích xây dựng ứng dụng phân loại khách hàng chuẩn bị mua bảo hiểm dựa vào hành vi sử dụng xe họ thơng qua việc kết hợp hai mơ hình học sâu CNN LSTM nhằm hỗ trợ người bán bảo hiểm đưa định xác gói bảo hiểm chương trình khuyến phù hợp với khách hàng dựa liệu UBI Từ khóa: liệu UBI; CNN; LSTM; phân loại bảo hiểm ô tô ABSTRACT Profiling driver behaviors and designing appropriate pricing models are essential for auto insurance companies to gain profits and attract customers (drivers) Because of human driving behaviors are personalized and unique, and the automobile UBI(Usage Based Insurance) data of drivers could be helpful to automatically identify different driving behaviors therefore the insurance companies can provide the better insurance payment offers But how to classification those customers base on the UBI data This paper provides a method to apply deep learning algorithm (DeepConvLSTM) by fusing convolutional neural networks (CNN) and recurrent neural 80 networks (LSTM) which is more suitable for time series UBI data The application will base on the customer's data (UBI) to classify thier behaviors to support the insurance companies determind their customer payment offers With the strength of CNN model, the processing time will be improved and the accuracy is higher by using the LSTM model to process the time serie data Keywords: UBI data; Deeplearning; CNN; LSTM; Usage Based Insurance GIỚI THIỆU việc giải u cầu tốn địi hỏi Với phát triển mạnh công nghệ việc xử lý liệu lớn nhiều chiều nên tác giả truyền nhận liệu tạo tiền đề cho nhiều hướng đến sử dụng mơ hình học sâu ngành cơng nghiệp phát triển, lĩnh CNN(Convolutional vực cơng nghệ thu thập liệu ô tô (Long Short Term Memory) kết hợp hai không ngoại lệ Nhiều ứng dụng liên quan thu mơ hình (DeepConvLSTM) để tậng dụng thập liệu người dùng đẩy mạnh phục ưu điểm mà hai mơ hình mang lại nhằm vụ nhiều cho nhu cầu phân tích kỹ thuật, quản tăng độ xác thời gian xử lý lý, đánh giá, bảo dưỡng v.v… Trong phải kể Neural Network), LSTM đến liệu UBI (Usage Based Insurance) CÁC CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN loại liệu thu thập Cơng trình nghiên cứu Bing He thông qua hệ thống cảm biến xe nhằm ghi lại trình sử dụng xe người dùng liệu kèm với phương thức tính tốn, chuẩn hóa liệu nhằm phục vụ cho ngành bảo hiểm cứu trợ Nhận thấy tiềm loại liệu nhu cầu phân tích liệu UBI cho việc phân loại đánh giá khách hàng thông qua lịch sử hành vi lái xe báo trình bày việc xây dựng ứng dụng phân loại khách hàng dựa hành vi họ phản ánh thu thập thông qua liệu UBI công đề cập báo “Profiling Driver Behavior for Personalized Insurance Pricing and Maximal Profit” [1] Bài báo nêu khái niệm chung để xây dựng phân loại khách hàng theo tiêu chí “trả phí theo cách bạn lái xe” áp dụng PROFILEPRICE-PROFIT (PPP) tảng dựa vào để xây dựng nên cơng thức tính tốn dự báo giá, nhiên điểm hạn chế áp dụng AI mức độ học máy để tính tốn liệu phức tạp chưa áp dụng học sâu, liệu báo chủ yếu xây dựng qua bốn trường gồm: thời gian lái xe, vận tốc, độ tăng/giảm tốc, Để xử lý liệu lớn nhiều chiều tác loại đường Các liệu nên giả tham khảo nghiên cứu có liên quan giải tốn phạm vi hẹp nên thiếu trước đó[1][2], kết đưa mơ tính khách quan, mơ hình sau xây dựng hình học sâu có nhiều ưu điểm khó 81 khăn việc cập nhật lại toán liệu phải chuẩn hóa lấy có thay đổi, giải thuật chưa sử mẫu theo mơ hình cửa sổ trượt (sliding dụng loại liệu quan trọng khác window) Khi liệu có dạng ∊ ℝ (dữ liệu phanh xe, hành trình chuyến xe, × =( , , ,…, …) để xử lý dẫn đến có sai số ) Moustafa, “Classifying Aggressive Drivers số chiều , số for Better Traffic Signal Control” [2] Tác giả lượng mẫu (những cửa sổ trượt) đưa mơ hình dự báo tình hình giao thơng tập liệu áp dụng mơ hình học sâu, ứng dụng sử dụng 3.2 Mơ hình học sâu CNN Shaimaa M Hegazy, Mohamed N Trong , liệu lớn vị trí phương tiện để dự báo Mơ hình CNN bao gồm kết hợp tình trạng kẹt xe Nhìn chung với nghiên cứu nhiều lớp tích chập lại với mà lớp cung cấp thêm kiến thức để có tính tốn hàm kích hoạt phi tuyến nắm rõ cách thức tổ chức áp dụng học (nonlinear activation function) ReLU hay sâu để giải quết tốn phân lớp để tạo thơng tin trừu tượng cho lớp CÁC KHÁI NIỆM CƠ BẢN Hay nói khác mơ hình CNN 3.1 Dữ liệu UBI liên kết lớp với mà kết đầu Tập liệu UBI (data set) sử dụng lớp trước trừu tượng hóa thơng để đánh giá mơ hình Ocslab [3] Những qua hàm kích hoạt đầu vào liệu thu thập thơng qua hệ thống thu lớp tích chập Đến giai đoạn cuối thập liệu Hàn Quốc nhằm phục vụ kết hợp lại tất đặc trưng lại với thi “Bảo mật thông tin R&D 2018” [4] đầu hồn chỉnh để Dữ liệu bao gồm 94,401 mẫu, chia thành 10 lớp đại diện, ký hiệu từ A đến I tiến hành phân tích hay áp dụng vào tốn cụ thể tương ứng cho lớp hành vi lái xe khác với A tốt Các mẫu lấy mẫu khoảng thời gian (8 sáng – 11 tối), với tần số lấy mẫu 1Hz Hình 1.Mơ hình mạng nơ ron CNN Tất đặc tính (features) đưa trực tiếp vào mơ hình mà khơng thơng qua giải thuật lựa chọn (features selection) Nhưng trước đưa vào mơ hình loại 3.3 Mơ hình học sâu LSTM Mơ hình LSTM hệ thống mạng nơron phát triển với ý tưởng kết nối thông tin từ lớp trước lại với nhằm hỗ trợ cho việc xử lý lớp Tùy vào ứng 82 dụng mà việc thu thập liệu xa Vì biên độ liệu lớn nên hay gần lớp xử lý Lấy ví dụ trước đưa vào mơ hình học sâu chúng cần cần xử lý câu nhận dạng “hôm phải chuẩn hóa theo cơng thức sau: [thời_tiết_tốt] [sinh_viên] đến ̅ = ( [trường] [bình_thường]” có thơng tin = ( , ̅ ̅, ̅, … , ̅ sinh_viên dự đốn từ trường mà Với( không cần nhiều thông tin xa sinh_viên, để xử lý dự đốn từ [bình_thường] cần mạng phải hỗ trợ trung bình độ lệch chuẩn chiều thứ nth loại liệu (feature) nhớ lâu (LSTM-Long short term memory) Do đầu vào mơ hình học sâu ma trận số nên ta cần xử lý liệu dạng sổ trượt cho tính năng, nhằm chia liệu thành đoạn rời để đưa vào mơ hình tính tốn Cụ thể đoạn liệu se có độ rộng Tx , với chu kì Hình 2.Minh họa mối liên kết tế bào thuộc mơ hình LSTM XÂY DỰNG ỨNG DỤNG 4.1 Tiền xử lý liệu trượt cửa sổ nhỏ độ rộng Tx/2 đảm bảo liệu sau phân đoạn không bị đặc trưng Với liệu có chiều số lượng mẫu xi Dx Tất đặc tính (features) đưa trực tiếp vào mơ hình mà khơng thơng qua bất = Tx × hay cịn biểu diễn dạng: = ( ̅ kỳ giải thuật lựa chọn (features selection) , ̅ , ̅, … , ̅ ) ∊ ℝ ,( Nhưng trước đưa vào mơ hình loại = , +∆ , + 2∆ ,…) liệu phải chuẩn hóa lấy mẫu theo mơ hình cửa sổ trượt (sliding window) Khi liệu có dạng ∊ ℝ × =( , Trong lượng mẫu (những cửa sổ trượt) tập liệu Hình 3.Minh họa trình xử lý liệu 4.2 Kết hợp hai mơ hình học sâu 83 M ô C ụ T a = 4.4 Tổ chức ứng dụng Thực thi mơ hình: lớp chịu Ứng dụng viết ngôn ngữ trách nhiệm thực thi mơ hình học python phiên 3.7 sử dụng thư sâu cách gọi thư viện viện Tensorflow 2.3.1 hỗ trợ thiết kế Tensorflow gọi lớp mơ hình học sâu Cụ thể cấu trúc ứng dụng gồm phần: Giao diện thông số, cấu hình: lớp giao tiếp trực tiếp với người dùng cách cho phép người dùng nhập thông tin đầu vào để tùy chỉnh KẾT QUẢ THỰC NGHIỆM Môi trường thực nghiệm Ứng dụng cài đặt chạy thử phần cứng máy tính: - Hệ điều hành: Windows 10 64bit - Chip xử lý: Intel Core Duo T6570, 2.10GHz (2CPUs) mơ hình học sâu trước khởi chạy Huấn luyện phân lớp: lớp chịu trách nhiệm chuyển thông số từ lớp - Bộ nhớ RAM: 4G - Chip xử lý đồ họa: Khơng có giao diện vào mơ hình tiến hành Bên thơng tin cấu hình cho lớp khởi chạy mơ hình huấn luyện mơ hình bao gồm DeepConvLSTM (mơ phân lớp Nói cách khác lớp lớp hình kết hợp CNN+LSTM), mơ hình CNN thiết kế tồn ứng dụng mơ hình LSTM Tác giả tiến hành so sánh lớp chịu trách nhiệm trung chuyển trực tiếp ba mơ hình để dễ dàng liệu đầu vào chịu trách nhiệm thấy tối ưu kết hợp mơ hình CNN gọi thư viện Tensorflow để thực thi LSTM với hai mơ hình cịn lại chúng hoạt động riêng lẻ Bảng 1.Thơng số lớp mơ hình 85 Bảng 2.So sánh thời gian huấn luyện độ xác mơ hình 5.2 So sánh độ xác mơ hình Sau q trình huấn luyện cần Như Bảng ta thấy mơ hình LSTM-15 có đánh giá mơ hình thơng qua tập kiểm số độ xác cao hai mơ hình tra chuẩn bị sẵn hồn tồn tách biệt cịn lại hỗ trợ 15 đặc trưng, 15 với tập liệu UBI dùng trình đặc trưng phải chọn thông qua huấn luyện, thu kết sau: giải thuật tiền xử lý liệu, dẫn đến khó khăn việc mở rộng hệ thống Mơ hình CNN có tốc độ huấn luyện ấn tượng (3 giây/epoch Bảng 2) nhiên độ xác thấp so với hai mơ hình cịn lại, CNN xử lý rời rạc hóa liệu phân lớp nhiên liệu dạng liên tục nên lớp RMM-LSTM phát huy mạnh việc xử lý loại liệu mày Mơ hình học sâu DeepConvLSTM có độ cao mơ hình CNN thời gian huấn luyện chưa nhanh CNN mà tất 51 Bảng Kết thực nghiệm mô chiều liệu phép xử lý khơng thơng hình DeepConvLSTM qua chọn lọc mơ hình LSTM Kết luận mơ hình DeepConcLSTM lai ghép hai mơ hình CNN LSTM từ có mạnh so với mơ hình truyền thống tốc độ huấn luyện, độ xác, số chiều liệu lớn… 5.3 Đánh giá tập liệu thực tế 86 Bảng Kết thực nghiệm mơ hình LSTM Qua so sánh nhận thấy mơ hình kết hợp DeepConvLSTM đạt độ xác tương đối cao 86.70% cao mơ hình CNN với độ xác 80% Và với ưu mơ hình LSTM đạt độ xác cao 93.33% Tuy nhiên đánh giá cách khách quan mơ mơ hình kết hợp DeepConvLSTM tối ưu mơ hình CNN độ xác thời gian thực thi độ mở rộng mơ hình LSTM KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Bảng Kết thực nghiệm mô hình CNN Bài báo trình bày cấu trúc giải thuật tiền xử lý liệu UBI, với lý thuyết mô hình học sâu để từ làm sở để xây dựng ứng dụng phân loại khách hàng mua bảo hiểm thông qua hành vi lái xe Là tiền đề phát triển, cải tiến cho nghiên cứu thuộc lĩnh vực phân loại bảo hiểm với tập liệu lớn nhiều chiều, dựa tập liệu UBI Ứng dụng cài đặt thành cơng mơ hình DeepConvLSTM (Deep learning Convolution and Long Short Term Memory), CNN (Convolution Neural Network) LSTM (Long Short Term Memory) để áp dụng vào toán phân loại Ứng dụng đáp ứng yêu cầu đề tài dùng liệu lớn theo chuẩn UBI để 87 phân loại hành vi lái xe khách hàng, nhằm từ hổ trợ cho tốn chi trả gói bảo hiểm theo lớp phân loại tương ứng Hướng phát triển: - Xử lý liệu trực tuyến thơng qua mơ hình điện tốn đám mây liệu lớn - Cải tiến phần huấn luyện liệu để giảm thời gian huấn luyện tăng hiệu đầu mơ hình - Liên kết trung tâm liệu để mở rộng nguồn liệu dùng cho mơ hình huấn luyện 88 TÀI LIỆU THAM KHẢO [23] Bing He, Dian Zhang, Siyuan Liu, Hao Liu and Dawei Han, “Profiling Driver Behavior for Personalized Insurance Pricing and Maximal Profit”, 2018 IEEE International Conference on Big Data, pp 1387–1396, 2018 [24] S M Hegazy and M N Moustafa, "Classifying aggressive drivers for better traffic signal control," 2017 IEEE 20th International Conference on Intelligent Transportation Systems (ITSC), Yokohama, 2017, pp 702-707 [25] Driving Dataset [(accessed on 11 March 2020)]; Available online: http://ocslab.hksecurity.net/Datasets/driving-dataset [26] AI/ML Based Driver Classification Challenge Track [(accessed on 11 March 2020)]; Available online: http://datachallenge.kr/challenge18/vehicle/introduction/ [27] Jun Zhang, ZhongCheng Wu, Fang Li, Chengjun Xie, Tingting Ren, Jie Chen, Liu Liu, “A Deep learning framework for Driving Behavior Identification on In-Vehicle CAN-BUS Sensor Data,” Sensors 2019, doi:10.3390/s19061356 [28] Nguyen V., Nguyen M., Choi J., Kim Y “NLOS Identification in WLANs Using Deep LSTM with CNN Features,” Sensors, pp 18:4057, 2018 [29] AI/ML Based Driver Classification Challenge Track [(accessed on 11 March 2020)]; Available online: http://datachallenge.kr/challenge18/vehicle/introduction/ [30] Li X cnnPlusLSTM [(accessed in March 2020)]; Available online: https://github.com/lixiaoyu0575/cnnPlusLSTM/ [31] Saeed A Implementing a CNN for Human Activity Recognition in Tensorflow [(accessed in March 2020)]; Available online: http://aqibsaeed.github.io/2016-11-04-human-activity-recognition-cnn/ 89 Tác giả chịu trách nhiệm viết: Họ tên: Mai Quốc Thái Đơn vị: Trường ĐH Sư Phạm Kỹ Thuật Tp Hồ Chí Minh Điện thoại: 0903165751 Email: quocthai11095@gmail.com Tp HCM, ngày 28 tháng 12 năm 2020 Xác nhận giáo viên hướng dẫn (Ký & ghi rõ họ tên) TS Nguyễn Thành Sơn ... cấu hình chọn lựa thơng số mơ hình cách khoa học để vận dụng vào toán Nắm bước xây dựng ứng dụng phân loại khách hàng mua bảo hiểm ô tô theo hành vi sử dụng xe mô hình học sâu Cài đặt ứng dụng. .. vào hành vi sử dụng xe ô tô, sử dụng mô hình học sâu dựa liệu chuẩn UBI Nội dung nghiên cứu đề xuất giải pháp để kế thừa hệ sở liệu UBI sử dụng sử dụng mơ hình học sâu để tiến hành phân loại khách. .. hàng mua bảo hiểm ô tô theo hành vi sử dụng xe mơ hình học sâu DeepConvLSTM Xây dựng ứng dụng phân loại khách hàng mua bảo hiểm dựa hành vi lái xe thông qua giải thuật học sâu nghiên cứu Tổng