THỬ NGHIỆM ỨNG DỤNG

7. Bố cục luận văn

3.2. THỬ NGHIỆM ỨNG DỤNG

 Giao diện đăng nhập hệ thống: Ngƣời dùng đăng nhập với tên đăng nhập và mật khẩu riêng để đăng nhập vào hệ thống.

Hình 3.10. Màn hình Đăng nhập hệ thống

 Giao diện chính: Có 2 chức năng đó là Huấn Luyện Dữ Liệu và Tƣ Vấn:

 Huấn Luyện Dữ Liệu: Đầu tiên ta chon mút Chọn dữ liệu để nạp dữ liệu huấn luyện (dữ liệu huấn luyện là file excel có phần mở rộng là *.xls hoặc file CSV, arff)

Phần mô hình hệ thống gồm có 2 mô hình phân lớp Decision tree (C4.5) và Random Forest. Sau khi chay hệ thống sẽ sinh ra các tập luật và kết xuất ra kết quả dự đoán khách hàng và lƣu trong database.

Mô hình phân lớp là Decision tree (C4.5)

Hình 3.13. Giao diện mô hình phân lớp Decision tree (C4.5)

Trong đó:

+ ConfidenceFactor: Hệ số cắt tỉa, những cây có giá trị nhỏ hơn sẽ bị cắt tỉa.

+ MinNumObj: Số lƣợng tối thiểu của các trƣờng hợp trên mỗi nhánh khi tách.

 Mô hình phân lớp với Random Forest

Hình 3.14. Giao diện mô hình phân lớp Random Forest

Trong đó:

+ maxDepth: Cho thấy độ sâu tối đa của cây. Thƣờng thì chọn 0 để truy xuất đầy đủ dữ liệu, tuy nhiên nếu dữ liệu quá lớn. Thời quan xử lý quá lâu, cần giới hạn lại độ sâu của cây.

+ numFeatures: Số lƣợng các thuộc tính sử dụng khi lựa chọn ng u nhiên để chia nút.

+ numTree: Số lƣợng cây đƣợc tạo ra.

 Giao diện Tƣ Vấn: Khi chọn chức năng này, hệ thống cho phép ngƣời dùng cập nhật trực tiếp các thông tin của khách hàng mà cán bộ thậm định cần

hệ thống tƣ vấn tƣ vấn, sau đó click Xem Kết Quả, hệ thống sẽ dựa vào tập luật đã có trong database và xuất kết quả dự đoán phân lớp khách hàng trong vùng hiện thị Kết Quả. Bảng 3.1. Ví dụ về khách hàng cần tư vấn Mục Đích sử dụng thời gian sử dụng Kinh nghiệm lái xe Giới tính Bảo dƣỡng định kỳ Số tiền bồi thƣờng Khu vực để xe Phạm vi

hoạt đông Rủi ro Chƣa

xác định

Chƣa xác định

3 Nam Có 12 Không Chƣa xác

định ?

Hình 3.15. Giao diện ứng dụng tư vấn

 Với dữ liệu cần tƣ vấn trong bảng 3.1 thì chƣơng trình sinh ra 30 tập luật. Trong đó có 26 tập luật nguy cơ rủi ro là trung bình, 4 tập luật nguy cơ rủi ro là cao. Từ đây cán bộ thẩm định có thể đƣa ra quyết định 1 cách đúng nhất.

3.3. ĐÁNH GIÁ Đ CHÍNH XÁC

3.3.1. Mô hình c y quyết định bằng thuật toán C4.5

Xây dựng mô hình phân lớp và đánh giá kết quả với cây quyết định b ng C4.5 với cùng dữ liệu là 1724 khách hàng và lựa chọn phƣơng pháp cắt tỉa.

| | sotienboithuong > 20: TrungBinh (55.0) sotienboithuong > 30: Cao (158.0)

Hình 3.16. Mô hình cây quyết định bằng C4.5

b. ánh giá độ chính xác của mô hình

Fold 1: 143.0/173.0 độ chính xác: 82.65% ---Fold 1--- **Ket Qua** STT PhanLop DuDoan 1 TrungBinh Thap 2 Cao Cao 3 TrungBinh TrungBinh 4 Cao Cao 5 Thap Thap . 169 Thap TrungBinh 170 Thap Thap 171 Cao Cao 172 TrungBinh TrungBinh 173 Thap Thap Số dự đoán chinh xác là: 143.0/173.0 Độ Chính Xác: 82.65895953757226%

Tƣơng tự với các lần chạy còn lại: -Fold 2 : Đúng 146/173 => 84,39% -Fold 3 : Đúng 142/173 => 82,08% -Fold 4 : Đúng 148/173 => 85.54% -Fold 5 : Đúng 141/173 => 81.97% -Fold 6 : Đúng 145/173 => 84.30% -Fold 7 : Đúng 152/173 => 88.37% -Fold 8 : Đúng 141/172 => 81.97% -Fold 9 : Đúng 146/172 => 84.88% -Fold 10: Đúng 148/172 => 86.04% Kết quả độ chính xác: 1452/1724 => 84.22%

Hình 3.18. Kết quả độ chính xác của mô hình cây quyết định C4.5

3.3.2. Mô hình Random Forest

a. ết qu mô hình phân lớp với andom rorest

******* MÔ HÌNH *******

Random forest của 25 Cây, ở mỗi lần tạo cây xem xét 5 thuộc tính. Tỉ lệ lỗi Out of bag: 0.2065

| | | | | mucdichsudung = ChuyenDung : Thap (2/0) .

sotienboithuong >= 35 : Cao (156/0)

************** TỔNG KẾT ******************

Số trường hợp chính xác của Cây Quyết Định(C4.5) với 1724 trường hợp = 1452.0 Tỉ lệ chính xác của của Cây Quyết Định(C4.5) = 84.22273781902551%

Hình 3.19. Mô hình Cây quyết định bằng Random Forest

Với kết quả trên là mô hình của tập hợp 25 cây với 5 thuộc tính ng u nhiên đƣợc chọn khi xem xét chia cây.

Cách biểu diễn nhƣ trên giúp ta có thể biểu diễn đƣợc những cây có kích thƣớc lớn để dễ cho việc sử dụng.

b. ánh giá độ chính xác của mô hình

Đánh giá độ chính xác của mô hình b ng cách sử dụng k-fold croos validation với k=10 Kết quả với mỗi lần chạy là:

Hình 3.20. Độ chính xác của mô hình Random Forest- fold1

Vậy Fold 1: Đúng 144/173 => 83,23% Tƣơng tự với các lần chạy còn lại:

-Fold 2 : Đúng 141/173 => 81,50% -Fold 3 : Đúng 140/173 => 80,92% -Fold 4 : Đúng 152/173 => 87,86% -Fold 5 : Đúng 141/172 => 81,97% -Fold 6 : Đúng 146/172 => 84,88% -Fold 7 : Đúng 152/172 => 88,37% -Fold 8 : Đúng 143/172 => 83,13% -Fold 9 : Đúng 146/172 => 84,88% -Fold 10 : Đúng 156/172 => 84,74% Kết quả độ chính xác: 1461/1724 => 84,74% ************** TỔNG KẾT ******************

Số trường hợp chính xác của Random Forests với 1724 trường hợp = 1461.0 Tỉ lệ chính xác của Random Forests = 84.74477958236659%

***************************************

Hình 3.21. Kết quả Độ chính xác của mô hình Random Forest

3.3.3. So sánh độ chính xác giữa mô hình C4.5 và Random Forest

Bảng 3.2. So sánh độ chính xác giữa C4.5 và Random Forest

Random Forest 84.74 % 15.26 % 8~9 giây

C4.5 83.23 % 16.77 % 2 giây

Kết quả bảng 3.2 cho thấy thuật toán C4.5 có tốc độ xử lý nhanh, mất khoản 2 giây, trong khi đó đối với Random Forest mất khoảng 8~9 giây. Do đó sẽ rất tiết kiệm thời gian khi áp dụng xử lý cho những khối dữ liệu lớn.

Tuy nhiên, độ chính xác của thuật toán Random Forest (84.74 %) tƣơng đối tốt hơn thuật toán C4.5 (83.23 %).

KẾT LUẬN CHƢƠNG 3

Trong chƣơng này, luận văn đã trình bày các chức năng của hệ thống, xây dựng và kiểm thử ứng dụng dựa trên những số liệu cụ thể từ Công ty Cổ phần Bảo hiểm AAA tại Quảng Ngãi. Hệ thống trợ giúp cho cán bộ thẩm định dễ dàng phát hiện ra các trƣờng hợp khách hàng có mức độ rủi ro cao. Qua đó đƣa ra những quyết định hợp lý nh m tăng hiệu quả kinh doanh trong đơn vị.

KẾT LUẬN

Về lý thuyết, luận văn đã trình bày đƣợc cơ sở lý thuyết liên quan đến khai phá dữ liệu, phân lớp dữ liệu, thuật toán cây quyết định C4.5 và Random Forest.

Hệ thống đáp ứng đầy đủ các yêu cầu chuyên môn trong việc đánh giá rủi ro trong bảo hiểm xe cơ giới. Nó giúp cho ngƣời dùng ra quyết định một cách khoa học, tránh đƣợc các tình huống thẩm định theo cảm tính, hạn chế các trƣờng hợp rủi ro và tạo thế mạnh cạnh tranh đối với các doanh nghiệp trong lĩnh vực bảo hiểm.

2. Hạn chế

Chƣơng trình phải chuyển đổi dữ liệu từ SQL Server sang Excel. Nên chỉ xử lý dữ liệu đƣợc lƣu trữ b ng các tập tin Excel.

Chƣa kết nối và truy xuất dữ liệu trực tiếp đến hệ quản trị cơ sở dữ liệu SQL Server của công ty.

Dữ liệu có độ nhiễu hoặc một số thuộc tính thiếu giá trị. Sẽ phát sinh những trƣờng hợp phân lớp hay phân loại bị sai.

3. Hƣớng phát triển

Tiếp tục nghiên cứu các thuật toán khai phá dữ liệu b ng cây quyết định nhƣ thuật toán CHAID, thuật toán MARS, thuật toán ADTNDA (dựa vào độ phụ thuộc mới của thuộc tính) để nâng cao hiệu quả mô hình cây quyết định.

Cần thử nghiệm hệ thống với khối lƣợng dữ liệu lớn để đánh giá lại độ tin cậy của cây quyết định đánh giá rủi ro.

Xây dựng giao diện đồ họa trực quan hơn để dễ dàng tƣơng tác với ngƣời dùng.

DANH MỤC TÀI LIỆU THAM KHẢO

[1] Hoàng Kiếm, Đỗ Phúc (2005), Giáo trình khai phá dữ liệu, Trung tâm nghiên cứu phát triển công nghệ thông tin, Đại học Quốc gia thành phố Hồ Chí Minh.

[2] Lê Văn Tƣờng Lân, Đoàn Văn Ban, Lê Mạnh Thạnh (2006), Một phương pháp

để xây dựng cây quyết định có hiệu quả trong khai phá dữ liệu, Kỷ yếu hội

thảo quốc gia về Công nghệ phần mềm và Công nghệ tri thức.

[3] Nguyễn Quang Thu (2008), Quản lý rủi ro và bảo hiểm trong doanh nghiệp,

NXB Thống kê.

[4] Khối Xe cơ giới (2010), Tài liệu hướng dẫn khai thác bảo hiểm xe cơ giới,

Công ty Cổ phẩn Bảo Hiểm AAA, Lƣu hành nội bộ.

[5] Khối Xe cơ giới (2012), Quy trình khai thác và quản lý hợp đồng bảo hiểm xe

cơ giới, Công ty Cổ phẩn Bảo Hiểm AAA, Lƣu hành nội bộ.

Tiếng Anh

[6] IJCSI International Journal of Computer Science Issues, Vol. 9, Issue 5, No 3,

September 2012, Random Forests and Decision Trees.

[7] Mitchell. T (1999) “Machine Learning and Data Mining”, Communications of

the ACM, Vol. 42, No. 11, pp. 30-36.

[8] J. Ross Quinlan (1993), C4.5: Programs for Machine Learning, Morgan

Kaufmann, San Mateo, California.

[9] Vanden Berghen Frank (2003), C4.5 – Classification Tree, Universit Libre de

bruxelles.

Trang Web

[10]http://en.wikipedia.org/wiki/C4.5_algorithm

[11]http://www.decisiontrees.net/

GIỚI THIỆU CÂY QUYẾT ĐỊNH

Cơ sở và định nghĩa