CHƢƠNG 2 THUẬT TOÁN SOM VỚI BÀI TOÁN PHÂN CỤM
2.3 Một vài ứng dụng của SOM
Thuật toỏn SOM đó đƣợc sử dụng trong nhiều lĩnh vực khỏc nhau với trờn 5000 ứng dụng [13], SOM đó khẳng định đƣợc cỏc ƣu điểm sau:
- SOM rất cú hiệu quả trong quỏ trỡnh phõn tớch đũi hỏi trớ thụng minh để đƣa ra quyết định nhanh chúng trờn thị trƣờng. Nú giỳp cho ngƣời phõn tớch hiểu vấn đề hơn trờn một tập dữ liệu tƣơng đối lớn.
- Cú khả năng biểu diễn dữ liệu đa chiều dựng trong trỡnh bày và làm bỏo cỏọ Và đõy cũng là một vấn đề chớnh đó đƣợc đề cập đến nhiều trong luận văn nàỵ
- Xỏc định cỏc cụm dữ liệu (vớ dụ cỏc nhúm khỏch hàng) giỳp cho việc tối ƣu phõn bố nguồn lực (quảng cỏo, tỡm kiếm sản phẩm, ...).
- Cú thể dựng để phỏt hiện sự gian lận trong thẻ tớn dụng, và cỏc lỗi dữ liệụ Luận văn đề cập đến cỏc vấn đề về tài chớnh và ngõn hàng do đú chỳng ta sẽ chƣa đề cập đến cỏc ứng dụng của SOM trong cỏc ngành khỏc.Trong phần này giới thiệu hai ứng dụng của SOM trong lĩnh vực tài chớnh, đến chƣơng sau sẽ trỡnh bày cỏc cỏch thức xõy dựng một ứng dụng cụ thể của SOM trong phõn cụm với một bài toỏn cụ thể trờn dữ liệu của một Ngõn hàng ở Việt Nam.
2.3.1 Lựa chọn quỹ đầu tư
Khi chọn lựa cỏc quỹ cho mục đớch đầu tƣ, nhà đầu tƣ thƣờng phải xem xột đến nhiều chỉ tiờu: kết quả bỏo cỏo tài chớnh trong những năm gần đõy; cỏc rủi ro; năng lực tài chớnh của quỹ; tỷ lệ doanh thu; chi phớ; thời gian bổ nhiệm của ngƣời quản lý. Phần lớn trong thực tế cỏc chƣơng trỡnh đó cú thƣờng làm việc trờn hai hoặc ba chỉ tiờu; hay cỏc chƣơng trỡnh cú minh hoạ hỡnh vẽ cũng bị giới hạn cỏch thể hiện trong khụng gian.
Với SOM nú cú thể kết hợp tốt với bất kỳ kớch thƣớc nào của tập dữ liệu và đƣa ra cỏch thể hiện thu gọn của dữ liệu trong ma trận hai chiều cựng với việc lấy ra cỏc tớnh chất tuỳ ý hoặc đỏnh trọng số cho cỏc cột, xõy dựng chỉ số hợp nhất hoặc cho mục đớch tổng thể.
Để minh hoạ cho vấn đề này, chỳng ta sử dụng cơ sở dữ liệu của MorningstartTM [7] tỡm kiếm và phõn tớch thụng tin trong một tập hợp cỏc quỹ. Trong vớ dụ này chỳng ta tập hợp cỏc quỹ cú đầu tƣ vào thị trƣờng chứng khoỏn thế giớị Cỏc tiờu chuẩn dựng để lựa chọn là (1) nhiệm kỳ quản lý của nhà lónh đạo là >= 3 năm;(2) Số cổ đụng >= B+ (B là một số >=3); (3) Tỷ lệ Morningstart >=4; (4) Tỷ lệ chi phớ >=1%. Dựa vào đõy chỳng ta đƣa ra khoảng 50 quỹ cú đầu tƣ chứng khoỏn. Căn cứ vào cơ sở dữ liệu của cỏc quỹ chọn ra cỏc biến chớnh. Tập dữ liệu đầu vào đƣợc chọn lọc sao cho giỏ trị của mỗi cột là bỡnh đẳng.
Một ma trận gồm 50 quỹ đƣợc thể hiện trong hỡnh vẽ. SOM thể hiện sự khỏc nhau giữa cỏc quỹ với tỷ lệ 4 hoặc 5. SOM thu đƣợc dựa vào sự mụ tả dữ liệu cho biết sự khỏc nhau giữa cỏc quỹ đƣợc phõn cụm theo cựng một tờn loạị Thụng tin tốt hơn, trong sự khỏc biệt chớnh cỏc quỹ với nhau đó giỳp cho việc lựa chọn tốt thành phần cỏc danh mục vốn đầu tƣ cú ảnh hƣởng tốt hơn mong muốn của nhà đầu tƣ.
Túm lại, từ 50 quỹ của thị trƣờng chứng khoỏn thế giới, từ kết quả của SOM chỳng ta cú 3 nhúm chớnh. Từ kết quả này sẽ hỗ trợ cho việc ra quyết định nờn chọn nhà quản lý nào
• Nhúm 1: là tập hợp cỏc quỹ cú ngƣời quản lý cú ớt hơn 3 năm nhiệm kỳ, danh mục vốn đầu tƣ của họ cú doanh thu cao hơn và tỷ lệ phớ tổn cũng caọ
• Nhúm 2: chiếm phần đụng, gồm cỏc quỹ cú ngƣời quản lý cú nhiều hơn số năm nhiệm kỳ, doanh thu của vốn đầu tƣ ớt hơn và tỷ lệ phớ tổn thấp hơn.
Nhúm Số lg nhúm Nhà quản
lý Giỏ trị tài sản Tỷ lệ D/Thu Front Load Defer Load Tỷ lệ phớ tổn
1 5 2.8 658.2 80.8 0 4.6 2.3
2 36 3.3 272.4 70.7 2.2 0.1 1.7
3 6 7.2 6638.3 52.7 4.8 0 1
• Nhúm 3: là cỏc nhúm cú ngƣời quản lý cú số năm nhiệm kỳ cao hơn (gấp 2 lần nhúm 1), doanh thu vốn đầu tƣ ớt hơn nhúm 2 và tỷ lệ phớ tổn cũng ớt nhất
2.3.2 Đỏnh giỏ rủi ro tớn dụng giữa cỏc nước
Một vớ dụ khỏc liờn quan đến việc phõn tớch cỏc cơ hội đầu tƣ cho thị trƣờng mới phỏt triển. Trong vớ dụ này tập trung vào cỏc rủi ro liờn quan trong đầu tƣ vào trong
cỏc thị trƣờng chứng khoỏn. SOM đƣợc dựng để phõn tớch cỏc rủi ro và nhúm cỏc nƣớc cú độ rủi ro gần giống nhaụ
Việc phõn tớch dựa vào một bài bỏo của Greg Ip phỏt hành trong bài bỏo của Phố Wall (WSJ) năm 1997 [7]. Trong bài “mục đớch đầu tƣ: trũ chơi rủi ro” Greg Ip đó sắp xếp 52 quốc gia trờn thế giới dựa vào hiệu quả kinh tế ; chớnh trị, kinh tế và rủi ro của thị trƣờng; khả năng thanh toỏn của cỏc thị trƣờng chứng khoỏn; sự điều chỉnh và hiệu quả trờn thị trƣờng của cỏc quốc giạ Cỏc quốc gia đƣợc phõn chia thành năm nhúm: (1) cỏc nƣớc giống Mỹ nhất; (2) cỏc nƣớc phỏt triển khỏc; (3) cỏc thị trƣờng mới và phỏt triển; (4) cỏc thị trƣờng mới hoàn toàn; (5) cỏc thị trƣờng ranh giớị
Trong đú US đƣợc coi là một điểm chuẩn để phõn lớp cỏc quốc gia; cỏc quốc gia đƣợc chia thành năm nhúm; chỉ tiờu đƣợc dựng để phõn chia khụng đƣợc cung cấp rừ ràng; cỏc quốc gia thuộc nhúm số năm cú rất nhiều dữ liệu bị thiếụ
Cựng một dữ liệu và cựng một cụng việc phõn tớch trong một cỏch tƣơng tỏc và cỏch trực quan để tạo ra một SOM chỳng ta nhận đƣợc kết quả hoàn toàn khỏc.
Trong hỡnh 20 cỏc cửa sổ thành phần của tỷ lệ giỏ hiện tại và tỷ lệ giỏ forward, lợi tức, chiếm dụng vốn thị trƣờng, số cỏc cụng ty và tớnh chất khụng ổn định đƣợc thể hiện. Đối với mỗi cửa sổ thành phần, màu ở mỗi nỳt thể hiện khoảng giỏ trị của mỗi thành phần, giỏ trị thấp hơn đƣợc đỏnh màu xanh và giỏ trị cao đƣợc đỏnh màu đỏ; cỏc giỏ trị giữa màu xanh sỏng đến màu xanh lỏ cõy, đến màu vàng, màu cam. So sỏnh cỏc giỏ trị thành phần trong số cỏc vựng cú thể thể hiện đƣợc sự phụ thuộc khụng tuyến tớnh và vỡ vậy nhận diện trực quan ý nghĩa của cỏc cụm.
Một ma trận với cỏc rằng buộc cho biết số lƣợng cỏc cụm nhƣ sau US, Ấn độ và Nhật ở cỏc cụm khỏc nhau, US và Nhật cú thị trƣờng với ảnh hƣởng lớn, Ấn độ cú số lƣợng lớn cỏc cụng ty liệt kờ trong thanh toỏn hối phiếu; Thổ Nhĩ Kỳ và Phần Lan xỏc định một nhúm và cỏc quốc gia cũn lại chƣa đƣợc phõn hoỏ. Rừ ràng giả sử
giới hạn của SOM về năm cụm trong trƣờng hợp này là khụng cung cấp đƣợc một lƣợng lớn cỏc thụng tin mớị
Hỡnh 19. Mụ phỏng cỏc quốc gia cú rủi ro tớn dụng theo dữ liệu của WSJ
Nếu cỏc ràng buộc giả sử đƣợc thay đổi chỳng ta thu đƣợc cỏc nhúm quốc gia hoàn toàn khỏc dựa trờn cỏc rủi ro của quốc gia:
Cụm1: Úc, New Zealand, Canada và phần lớn cỏc nƣớc Chõu Âụ Cụm2.: Phần lớn cỏc nƣớc Mỹ La tinh, và Đụng Âụ
Cụm3: Mexico, Philippines, Bắc Phi và Cộng hoà Sộc. Cụm4: Nam Triều Tiờn, Malaysia, Thỏi Lan và Indonesiạ Cụm5: Singapore và Hồng Kụng. Cụm6: Hungary và Venezuelạ Cụm7: Brazil. Cụm8: Phần lan. Cụm9: Ấn độ và Pakistan. 2.4 Kết luận chƣơng 2
Phƣơng phỏp học mạng nơron khụng giỏm sỏt đặc trƣng là thuật toỏn học ganh đua là phƣơng phỏp thớch hợp trong khai phỏ dữ liệụ Trong chƣơng này tập trung chớnh vào thuật toỏn SOM với bài toỏn phõn cụm. SOM là một kỹ thuật mạng nơron truyền thẳng sử dụng thuật toỏn học khụng giỏm sỏt (học ganh đua) và qua một quỏ trỡnh “tự tổ chức”, sắp xếp đầu ra cho trong thể hiện hỡnh học của dữ liệu đầu vàọ Sử dụng SOM trong khai phỏ dữ liệu nhƣ một bƣớc trung gian để giải quyết bài toỏn phõn cụm dữ liệụ Mà trƣớc tiờn là dựng SOM để phõn cụm tập dữ liệu đầu vào, sau đú SOM thu đƣợc lại đƣợc phõn cụm bằng phƣơng phỏp phõn cụm theo phõn cấp hoặc phõn cụm bộ phận.
So sỏnh SOM với một số phƣơng phỏp phõn cụm đó đƣợc dựng nhƣ phõn cụm theo cõy phõn cấp, K thành phần chớnh, cực đại kỳ vọng, ... thấy rằng phƣơng phỏp SOM cú nhiều ƣu điểm nhƣ:
- Mụ phỏng trực quan dữ liệu chớnh xỏc từ đú hiểu đƣợc cấu trỳc của dữ liệụ
- Tiết kiệm đƣợc thời gian vỡ khi làm việc trờn cỏc mẫu thỡ nhanh hơn so với dữ liệu trực tiếp.
Trong chƣơng này cũng đó đề cập đến hai ứng dụng điển hỡnh của SOM trong khai phỏ dữ liệu tài chớnh là bài toỏn lựa chọn quỹ cho đầu tƣ tài chớnh và đỏnh giỏ rủi ro tớn dụng của cỏc quốc gia trờn thị trƣờng chứng khoỏn thế giớị
CHƢƠNG 3. ỨNG DỤNG Mễ HèNH SOM TRONG BÀI TOÁN QUẢN Lí KHÁCH HÀNG VAY VỐN NGÂN HÀNG
3.1 Phỏt biểu bài toỏn
Cú rất nhiều phƣơng phỏp cho việc khỏm phỏ tri thức và khai phỏ dữ liệu trong tài chớnh và kinh tế cú sử dụng mạng nơron khụng giỏm sỏt. Đặc biệt, phƣơng phỏp sử dụng SOM cú thể trực quan hoỏ tốt hơn đối với dữ liệu cú kớch thƣớc lớn; tạo ra biểu diễn cỏc mối quan hệ phức tạp; cải thiện cụm và rỳt gọn dữ liệu; tạo điều kiện thuận lợi cho việc khỏm phỏ tri thức qua việc xỏc định cỏc cấu trỳc và mẫu mới trong dữ liệụ Nhiều ứng dụng của SOM đó đƣợc sử dụng làm cụng nghệ và cỏc lĩnh vực khoa học khỏc. Cỏc ứng dụng của SOM trong tài chớnh, kinh tế và thị trƣờng hầu hết cũn mới lạ. Trong phần ứng dụng của SOM ở trờn đó nờu ra hai vớ dụ điển hỡnh trong tài chớnh đó đƣợc ỏp dụng để phõn lựa chọn cỏc quỹ đầu tƣ cho cỏc dự ỏn và đỏnh giỏ rủi ro tớn dụng của cỏc nƣớc trờn thị chứng khoỏn.
Căn cứ vào quy trỡnh thực tế của phũng tớn dụng tại cỏc Ngõn hàng, tụi muốn đề xuất ỏp dụng SOM trong việc đỏnh giỏ khỏch hàng là cỏc doanh nghiệp cú nhu cầu vay vốn. Bằng thể hiện trực quan của SOM điều này cú thể giỳp cho cỏn bộ tớn dụng cũng nhƣ ban lónh đạo cú những quyết định khi duyệt đơn vay của khỏch hàng.
Quy trỡnh cho vay tớn dụng tại Ngõn hàng đƣợc thực hiện theo cỏc bƣớc sau:
- Khỏch hàng đến vay vốn tại ngõn hàng phải cung cấp đầy đủ thụng tin gồm: chỉ tiờu thanh khoản (khả năng thanh toỏn), chỉ tiờu hoạt động (vũng quay hàng tồn kho, kỳ thu tiền bỡnh quõn, doanh thu trờn tổng tài sản), chỉ tiờu cõn đũn nợ (nợ phải trả), chỉ tiờu thu nhập, kinh nghiệm trong ngành của ban giỏm đốc,...Ngoài ra, khỏch hàng sẽ phải trỡnh bày phƣơng ỏn kinh doanh (sử dụng tiền vay) và trờn cơ sở đú cỏn bộ tớn dụng dự kiến tỷ lệ khả thi của phƣơng ỏn.
- Cỏn bộ tớn dụng nhập dữ liệu vào chƣơng trỡnh quản lý khỏch hàng của ngõn hàng và thực hiện phõn loại khỏch hàng.
- Nhõn viờn tớn dụng thay mặt khỏch hàng bảo vệ kế hoạch vay vốn của khỏch hàng trƣớc hội đồng tớn dụng.
- Cỏc thành viờn hội đồng tớn dụng cú/khụng chấp thuận cho khỏch hàng vay vốn căn cứ vào hồ sơ của khỏch hàng đó đƣợc nhập vào chƣơng trỡnh quản lý khỏch hàng.
Áp dụng SOM trong việc phõn tớch thụng tin khỏch hàng vay vốn trờn một khối lƣợng lớn cỏc dữ liệu về khỏch hàng cú nhu cầu (cú thể chƣa phải là khỏch hàng chớnh thức hoặc cũng cú thể là khỏch hàng đó từng vay vốn) vừa cú ớch cho nhận định của nhõn viờn tớn dụng làm cơ sở để bảo vệ khỏch hàng trƣớc hội đồng tớn dụng. Ngoài ra, nú cũn trợ giỳp cho cỏc thành viờn trong hội đồng đƣa ra quyết định đồng ý hay khụng đồng ý cho khỏch hàng vay vốn.
Sử dụng cụng cụ SOM ToolBox để thể hiện trực quan cỏc thụng tin khỏch hàng. Dữ liệu đƣợc lấy từ chƣơng trỡnh quản lý chung của Ngõn hàng.
3.2 Giới thiệu cụng cụ SOM Toolbox
Cụng cụ SOM Toolbox, một sản phẩm của nhúm SOM Toolbox thuộc trƣờng Đại học Kỹ thuật Helsinki, là một thƣ viện gồm cỏc hàm viết bằng Matlab. Đõy là một bộ cụng cụ dễ sử dụng để xõy dựng SOM cho cỏc mục đớch nghiờn cứụ Đặc biệt, trong lĩnh vực khai phỏ dữ liệu, cỏc nhà nghiờn cứu đó coi đõy là một cụng cụ cú đặc thự riờng, và chớnh vỡ vậy SOM Toolbox định huớng trực tiếp đến cỏc hàm trực quan.
Cụng cụ cú thể đƣợc dựng để xử lý dữ liệu, khởi tạo và huấn luyện SOM trờn một loạt cỏc loại trạng thỏi hỡnh học, SOM thể hiện trực quan bằng nhiều cỏch khỏc nhau, và phõn tớch cỏc thuộc tớnh của SOM và dữ liệu ban đầu, vớ dụ nhƣ là đặc tớnh của SOM, cỏc cụm trờn ma trận và sự liờn quan giữa cỏc thuộc tớnh. Trong khai phỏ
dữ liệu, cụng cụ Toolbox và SOM núi chung là một cặp phự hợp nhất cho việc hiểu dữ liệu một cỏch tổng quỏt, mặc dự nú cũng cú thể đƣợc dựng cho xõy dựng hỡnh mẫụ
3.3 Cấu trỳc chƣơng trỡnh
Cụng cụ SOM Toolbox gồm cỏc hàm đƣợc viết bằng Matlab. Sử dụng cụng cụ này đề xõy dựng hệ thống phõn tớch thụng tin khỏch hàng, theo cỏc bƣớc sau:
- Đọc dữ liệu;
- Xõy dựng cấu trỳc dữ liệu;
- Xử lý dữ liệu trƣớc khi đƣa vào huấn luyện;
- Khởi tạo mẫu và huấn luyện theo thuật toỏn SOM; - Mụ phỏng kết quả;
- Phõn tớch kết quả.
3.3.1 Xõy dựng tập dữ liệu
Đầu tiờn, dữ liệu phải đƣợc đƣa vào trong Matlab. Dữ liệu đƣợc lấy từ chƣơng trỡnh quản lý của Ngõn hàng lƣu trong hệ quản trị cơ sở dữ liệu SQL. Dữ liệu chớnh là một bảng thụng tin khỏch hàng đó đƣợc lọc, chỉ lấy cỏc thuộc tớnh đƣợc xột nhƣ sau: Bảng 1: Thụng tin khỏch hàng ( dữ liệu của 30 khỏch hàng)
Khả năng thanh toỏn Vũng quay hàng tồn kho Kỳ thu tiền bỡnh quõn Doanh thu trờn tổng tài sản Nợ phải trả/tổng tài sản Thu nhập trƣớc thuế/doanh thu Kinh nghiệm của ban GĐ Tỷ lệ khả thi của PA kinh doanh 4.86 10 40 0.46 19.3 21.3 2.2 0.56 2.9 7 32 4 25 8 10.5 0.85 2.3 6.5 37 3.5 35 7.5 5.8 0.78 1.7 6 43 3 45 7 2.7 0.35
1.4 5.5 50 2.5 55 6.5 1.8 0.33 1.3 5.2 60 1.5 61 4.8 0.9 0.60 1.17 7 30.7 4.03 85.3 2.3 5 0.75 1.14 4.21 28.9 2.1 61 2.8 11 0.81 4.7 18 11 4 19 8.3 12 0.55 1.25 1.83 43 0.76 72 0.03 6 0.44 1.7 6 43 3 45 7 2.8 0.38 2.3 6.5 37 3.5 35 7.5 6 0.45 2.9 7 32 4 25 8 13 0.97 1.4 5.5 50 2.5 55 6.5 1 0.23 1 4 60 2 65 5 1 0.13 0 2.3 58 1.02 0 15 2.6 0.8 6.4 0 102 0.75 15 22 2.5 0.72 0.85 3 60 1.2 75 3.5 0.5 0.25 2.5 4.3 30 4.2 40 6.5 11 0.98 1 3.4 55 1.5 55 4 0.9 0.36 1.8 4 40 3.5 45 6 8 0.57 1.3 3.7 50 2.5 50 5 4.5 0.64 1 2 55 3.5 55 8 3.6 0.46 1.2 3 50 4.2 50 9 7.5 0.67 2.3 3.5 40 5 45 10 10.2 0.69 0.9 1 60 2.5 60 7 1 0.31 0.75 0.8 71 2.3 66 6.8 0.9 0.3 1.4 14.2 8 1.8 28 0.7 12 0.8 2.5 4.2 10 1.5 40 1.1 10.5 0.74 7.6 1.3 61 0.2 7 17 1.5 0.65
Mỗi dũng dữ liệu là một vớ dụ hay một vectơ, cỏc giỏ trị trong dũng đú là cỏc thành phần của vectơ hay cỏc biến thể của tập dữ liệụ Cỏc biến thể cú thể là cỏc thuộc
tớnh của dữ liệu hoặc là một tập hợp cỏc giỏ trị tại cựng một thời điểm phõn tớch. Một vài giỏ trị cú thể bị thiếụ