Chuyên dé thực tập chuyên ngành Toán Tài chínhLOI CAM ON Em xin chân thành cảm on Ban giám đốc Ngân hàng cùng các anh chi Phòng Mô hình và phân tích rủi ro tín dụng tại Techcombank đã tạ
Trang 1TRƯỜNG ĐẠI HỌC KINH TE QUOC DÂN
KHOA TOÁN KINH TẾ
Trang 2x `
DE TAI:
XÂY DUNG MO HINH XÉP HANG TIN DUNG ĐÁNH GIÁ
RUI RO TIN DUNG KHACH HANG CA NHAN TAI NGAN
HANG TMCP KY THUONG VIET NAM
Giang vién huéng dan: Hoang Ditc Manh
Sinh viên thực hiện : Nguyễn Khánh Ly
Ngành : Toán Kinh tế
Lớp : Toán Kinh tế 61
Hà Nội, 08/2022
Trang 3Chuyên đề thực tập chuyên ngành Toán Tài chính
LỜI CAM ĐOAN
Tôi xin cam đoan đây là nghiên cứu được thực hiện bởi riêng tôi Bộ dữ liệu
được sử dụng trong xây dựng mô hình, kết quả được đưa ra trong trong bài chuyên
đề dưới đây là trung thực và chưa từng được tác giả nào công bồ trong bắt kì nghiên
cứu khác.
Hà Nội, ngày 25 thang 11 năm 2022
Sinh viên thực hiện
Nguyễn Khánh Ly
Trang 4Chuyên dé thực tập chuyên ngành Toán Tài chính
LOI CAM ON
Em xin chân thành cảm on Ban giám đốc Ngân hàng cùng các anh chi Phòng
Mô hình và phân tích rủi ro tín dụng tại Techcombank đã tạo điều kiện và hướng dẫn
em trong quá trình thực tập, dé em có thé tìm hiểu về một số kiến thức liên quan đến
Hà Nội, ngày 25 tháng 11 năm 2022
Sinh viên thực hiện
Nguyễn Khánh Ly
11193221 — Nguyễn Khánh Ly
Trang 5Chuyên dé thực tập chuyên ngành Toán Tài chính
MỤC LỤC
DANH MỤC TU VIET TAT
DANH MUC BANG BIEU
DANH MỤC HÌNH VE
"071721 TT HH 1
a — Ly do chon dé tai 0 ccccccccccccccceecccecceeseueeeeeeeuuseeeeseteeuaneeeeeeens |
b Đối tượng và phạm vi nghiên cứu c c2 22222222 1
c Mục đích nghiên CỨU -.c SH nh nh 2
d Phương pháp nghiên cứu c2 se 2
CHƯƠNG 1: LÝ THUYET VE XEP HẠNG TÍN DỤNG TẠI NGÂN HANG VA
Tổng quan về xếp hang tin dụng : - c c2 2112222111122 sess 3
Khái niệm - cent cena ee 22222112 tessk 3
linh s091)19i10)à 42:80 1007 e §
Phương pháp thống kê - ¿+ ©52+S£EE+EE£EE£EEE2EEEEE2E1E71211211221221221 1 Xe 9
Tổng quan về các nghiên cứu sử dụng hồi quy Logistic để đánh giá rủi ro tín
dụng của khách hàng cá nhân -. ee ences en eneneees 10
CHƯƠNG 2: CÁC PHƯƠNG PHÁP NGHIÊN CỨU TRONG MÔ HÌNH XÉP
HẠNG TÍN DỤNG TẠI NGÂN HÀNG - c2 222222222222 rrree 15
11193221 — Nguyễn Khanh Ly
Trang 6Chuyên dé thực tập chuyên ngành Tốn Tài chính
2.1 M6 hình LOBISKIC eee eee nee nhện 15
2.2 Phương pháp xử lý biến và ước lượng tham số trong mơ hinh 17
2.3.1 Xử ly “missing vaÏue§” - -c SH nh nh nh nh kt 17
2.3.2 Cách biến đổi dữ liệu n2 S SE S HT keH 18
2.3.3 Phuong pháp ước lượng hợp lý cực đại c.Ằ 20
2.3 Các chỉ tiêu để lựa chọn biến trong mơ hình -. -. -27Í
2.4.1 Lý thuyết kinh tẾ c2 1121212111112 11k nnkk n nh se ng 212.4.2 Chỉ số Information Value - + 222222111 1122555 111111125555 k2 21
2.4.3 Ma trận tương Quan c c2 e eee ee eeeee SH nh nh nh sa 22
2.4.4 Hỏi quy Logistic theo StepWise -.ĩ c2 1221 nnn SH này 222.4.5 Hỏi quy Logistic thơng thường và dựa vào trị số P-value 23
2.4 Các tiêu chí đánh giá mơ hình -. -<<<s- 24
2.5.1 Hệ số Gini LH S S12 HS TS S TS KT kg kg 24
ph son 0n “33 25
CHƯƠNG3: XÂY DỰNG MƠ HÌNH XÉP HẠNG TÍN DỤNG KHÁCH HÀNG
CÁ NHÂN TẠI NGÂN HÀNG TMCP KỸ THƯƠNG VIỆT NAM 27
3.1 Thue trạng về cho vay khách hàng cá nhân tại Ngân hàng TMCP Kỹ thương
Việt Nam (từ 2014 đến 2019) cc c1 1222111211 n HH SE HH nhớ 273.2 Xây dựng mơ hình xếp hang tín dụng khách hàng cá nhân - 28
3.2.1 Dữ liệu sử dụng c2 HS SE Een en EEE nh re 28
3.2.2 Tổng quan các bước xây dựng mơ hình xếp hạng tin dụng tại ngân hang 293.2.3 Ap dụng vào dit liệu thực tế và phân tích kết quả - 30
CHƯƠNG 4: KET LUẬN VÀ KHUYEN NGHỊ -ccc<<55- 45
PHU LỤC ch nh nh nh nh nà TH 48
TÀI LIEU THAM KHAO cccccŸẶ2SSẰ 56
11193221 — Nguyễn Khánh Ly
Trang 7Chuyên đề thực tập chuyên ngành Toán Tài chính
DANH MỤC TU VIET TAT
STT Ki hiéu Tén
1 NHTW Ngân hang Trung ương
2 NHTM Ngân hàng thương mai
Trang 8Chuyên đề thực tập chuyên ngành Toán Tài chính
DANH MỤC BANG BIEU
STT Số bảng Tên bảng
1 Bang 1 Các khoảng IV dé xét sức mạnh anh hưởng của các bién
2 Bảng 2 Các ngưỡng dé xét sự 6n định của mô hình
3 Bảng 3 Thông kê mô tả một sô biễn
4 Bảng 4 Các biến còn lại sau khi hồi quy theo Stepwise
7 Bảng 7 Các nhóm giá tri của biến “nonlending bai 30”
8 Bảng 8 Các nhóm giá tri của biến “trans_channel_withdraw_ 9”
9 Bảng 9 Các nhóm giá trị của biến “pcb_ product_ I1”
10 Bảng 10 Các nhóm giá tri của biến “trans_channel_33”
11 Bang 11 Cac nhom gia tri cua bién “pcb_product_12”
12 Bang 12 Kết quả hôi quy Logistic
13 Bảng 13 Bảng xếp hạng tín dụng KHCN dựa trên xác suất được
dự báo từ mô hình
14 Bảng 14 Gini của mô hình trên 3 tập Train — Validation — Test
15 Bảng 15 PSI giữa Train — Validation va Train - Test
11193221 — Nguyễn Khanh Ly
Trang 9Chuyên đề thực tập chuyên ngành Toán Tài chính
DANH MỤC HÌNH VE
STT | Số hình Tên hình
1 Hình 1 Biểu diễn Gini của mô hình
5 Hinh 5 Xu thé của bién “trans_channel_ withdraw_9”
6 Hinh 6 Xu thé của bién “pcb_product_ 1 1”
7 Hình 7 Xu thé của biến “trans_channel_33”
8 Hinh 8 Xu thé của bién “pcb_product_12”
9 Hinh 9 Hinh biéu dién Gini trén tap Train
10 Hình10 Hình biêu diễn Gini trên tập Validation
11 Hinh 11 Hinh biéu dién Gini trén tap Test
11193221 — Nguyễn Khanh Ly
Trang 10Chuyên đề thực tập chuyên ngành Toán Tài chính
MO DAU
a Lí do chọn đề tài
Hiện nay, hệ thống ngân hàng từ NHTW đến các NHTM là một mắt xích vôcùng quan trọng trong sự phát triển nền kinh tế của mỗi quốc gia, việc thiếu sót gâysai lệch trong quản trị rủi ro sẽ gây ra hậu quả nghiêm trọng và tác động tiêu cực đếnhoạt động của các ngân hàng Đây có thể là một phần nguyên ngân gây ra sự suy giảm
nên kinh tê của quôc gia.
Trong các NHTM hiện nay, tín dụng là loại tài sản chiếm tỷ trọng lớn nhất(chiếm khoảng 50%-70% tổng tài sản), phản ánh hoạt động đặc trưng của ngân hàng
Tín dụng luôn được đánh giá là một trong những hoạt động phức tạp của ngân hàng.
Chính vì vậy, rủi ro từ hoạt động tín dụng là rất lớn và đến từ nhiều nguyên nhân khácnhau; chủ yếu là do KH không có kha năng trả nợ hoặc trả nợ quá hạn (quá thời gianquy định tại mỗi ngân hang/t6 chức tin dung) Và nếu tốn thất xảy ra sẽ làm giảmmức lợi nhuận dự tính và có thé dẫn đến một khoản lỗ lớn hoặc nghiêm trọng hơn là
trả quá hạn của KH.
b Đối tượng và phạm vi nghiên cứu
e Đối tượng nghiên cứu: hệ thống XHTD của KHCN vay vốn tại
Techcombank
Trang 11Chuyên dé thực tập chuyên ngành Toán Tài chính
e Pham vi nghiên cứu: một mẫu nhỏ trong danh mục KHCN tại Techcombank
từ 2014 đến 2019
c Mục đích nghiên cứu
e Tìm hiểu về thực trạng cho vay với KHCN tại Techcombank trong giai
đoạn 2014 đến 2019
e Tìm hiểu xem những yếu tố nào ảnh hưởng đến mô hình dự báo khả năng
không trả được nợ của KHCN tại ngân hàng và yếu tố nào ảnh hưởng trựctiếp tới vấn đề này
e Nghiên cứu và xây dựng mô hình dự báo kha năng không trả được nợ cua
KHCN ở Techcombank từ các yếu tố đã chọn
e Tìm hiểu về XHTD tại NHTM và xây dựng một bảng XHTD với KHCN
tại Techcombank.
d Phương pháp nghiên cứu: Bài chuyên đề áp dụng phương pháp phân tích định
lượng, các thống kê mô ta và mô hình Logistic dé phân tích dir liệu
11193221 — Nguyễn Khánh Ly
Trang 12Chuyên dé thực tập chuyên ngành Toán Tài chính
CHƯƠNG 1
LÝ THUYET VE XÉP HANG TÍN DỤNG TẠI NGÂN HANG
VÀ TONG QUAN NGHIÊN CỨU
Chương 1 dé cập đến các van đề liên quan đến XHTD trong ngân hàng Chúng
ta sẽ tìm hiểu XHTD là gì, đối tượng trong XHTD, các phương pháp xây dựng mô
hình XHTD và mục đích cũng như tầm quan trọng của XHTD đối với cả NHTM vàKHCN Bên cạnh đó, chương này cũng nêu ra một số nghiên cứu trước đây về sửdụng hồi quy Logistic dé xây dựng mô hình dự báo xác suất không trả được nợ của
giá quyền chọn, và các công cụ tài chính khác XHTD cũng là một trong các hoạt
động về quản lý rủi ro tài chính, đặc biệt là được ứng dụng nhiều trong các NHTM
XHTD là sự đánh giá rủi ro tín dụng của ngân hàng với KH vay vốn (có thé là
cá nhân, doanh nghiệp, ) từ các báo cáo về thông tin của họ; dự đoán khả năng trả
nợ của khách hàng và dự báo ngầm về khả năng không trả được nợ của họ Từ kếtquả của bảng XHTD, các tổ chức tin dụng có thé ra quyết định trong việc chấp nhậnhay từ chối cho KH vay
Đề tài này tập trung phân tích và nghiên cứu hệ thống XHTD dành cho nhóm
KHCN.
11193221 — Nguyễn Khánh Ly
Trang 13Chuyên dé thực tập chuyên ngành Toán Tài chính
1.1.2 Mục dich
XHTD giúp ngân hàng hay các tô chức tin dụng có thé tránh được rủi ro vỡ
no/pha sản khi quyết định cho một đối tượng nảo đó vay tín dụng Khi nhận được hồ
sơ vay vốn của KH, ngân hàng/các tô chức tín dụng cần dựa trên những thông tin của
những KH đó để tiến hành phân tích và xây dựng mô hình dự báo khả năng trả nợcủa họ Từ đó xây dựng một bảng XHTD của những KH đó dé ngân hàng có thé đưa
ra được quyết định cho vay đối với họ
1.1.3 Đối tượng
XHTD * Hình thức xếp hạng được áp dụng đối với các KHCN tham
cá nhân g1a vào hoạt động tín dụng của các ngân hàng thương mại.
¥ XHTD cá nhân dựa trên việc phân tích các thông tin, đặc
điêm của mỗi cá nhân (tuôi tác, trình độ học vân, lịch sử tín
dụng, )
XHTD * Hình thức xếp hang được ap dung đối với các KHDN
doanh w Việc XHTD doanh nghiệp dựa trên các báo cáo các cáo tài
nghiệp chính, báo các kinh doanh, của doanh nghiệp.
XHTD Y Hình thức xếp hang dùng dé đánh gia mức độ tín nhiệm của
quốc gia mỗi quốc gia Quốc gia được đánh giá càng cao thì dòng vốn
đầu tư nước ngoài sẽ càng lớn
*_ Việc XHTD dựa trên các chỉ số phát triển chung như: chi số
phát triên của các ngành, toc độ tăng trưởng của quôc ø1a,
XHTD | VY Hình thức xếp hạng được áp dụng chủ yếu đối với các loại trái
các công cụ phiếu: trái phiếu công ty, trái phiếu chính phủ,
tà chính | Việc XHTD dựa trên một số tiêu chí: lãi suất, mệnh giá, kì
hạn,
11193221 — Nguyễn Khánh Ly
Trang 14Chuyên dé thực tập chuyên ngành Toán Tài chính
1.1.4 Tam quan trọng của xếp hang tin dụng cá nhân
1.1.4.1 Đối với các ngân hàng thương mai
XHTD cá nhân của NHTM nhằm cung cấp một bảng XHTD của KHCN tạingân hang dựa trên mô hình dự đoán khả năng không tra được nợ của KHCN dé quyếtđịnh cho vay mà phù hợp với khâu vị rủ ro của ngân hàng Do đó, dé hiểu được tamquan trọng của XHTD thì chúng ta cần sơ lược về RRTD và thiệt hại mà nó gây racho mỗi NHTM.
NHTM ra đời dé giải quyết các van đề liên quan đến nhu cầu luân chuyền vốn,phát triển sản xuất kinh doanh hay tiêu dùng của các doanh nghiệp, cá nhân, NHTM
là một trung gian tài chính, là doanh nghiệp kinh doanh hàng hóa đặc biệt: đó là tiềntệ; NHTM sẽ huy động tiền từ thị trường sau đó cho các tô chức, cá nhân vay với lãisuất cao hon lãi suất huy động dé sinh lợi nhuận Nếu trong trường hợp NHTM không
huy động đủ vốn dé đáp ứng nhu cầu của nền kinh tế hay huy động được đủ vốn
nhưng số lượng KH muốn vay bị hạn ché, thì ngân hàng sẽ hoạt động không hiệu quả
và dẫn đến rủi ro mang tính chủ quan của NHTM
Bên cạnh đó, RRTD có thể đến từ KH có nhu cầu vay vốn từ NHTM Rủi ro
xảy ra khi KH vay vốn nhưng họ dùng sai mục đích gây thua lỗ hoặc năng lực tài
chính của KH đi vay ở mức thấp dẫn đến họ không có khả năng trả nợ hay trả nợ quá
hạn so với mức quy định của mỗi NHTM.
RRTD xảy ra gây ảnh hưởng lớn tới hoạt động kinh doanh của NHTM Khi
NHTM huy động vốn từ các nguồn trong nền kinh tế và họ phải trả một khoản tiềnđịnh kì, tuy nhiên, nếu NHTM không có thị trường dé cho vay thì họ sẽ không có lợinhuận từ việc đó để có khoản tiền trả cho nguồn mà NHTM huy động vốn Điều đódẫn đến sự mat uy tin của ngân hàng đối với đối tượng gửi tiền, khiến ho 6 ạt muốnrút tiền và gây khó khăn cho NHTM Vì vậy, NHTM phải thường xuyên thu số tiền
đã giải ngân dé đảm bảo khả năng hoàn trả vốn cho người gửi tiền và thu được lợi
5
11193221 — Nguyễn Khánh Ly
Trang 15Chuyên dé thực tập chuyên ngành Toán Tài chính
nhuận Từ đó, chúng ta thấy răng XHTD là vô cùng quan trọng đối với hoạt động
kinh doanh của NHTM:
* Hạn chế RRTD và một số rủi ro khác
Y Hỗ trợ ra quyết định trong việc cấp tin dụng cho KH: xác định mức lãi suất,
hạn mức tín dụng đối với KH đi vay
¥ Giám sát và đánh giá KH khi khoản tin dụng còn dang dư nợ Thứ hang của
KH sẽ giúp NHTM dự báo được chất lượng tín dụng và có biện pháp đối phó
kịp thời.
v Ngân hàng có thé dựa vào vốn đã cho vay nhưng không thu hồi được từ những
dữ liệu trong quá khứ dé ước lượng mức vốn không thu hồi được trong thời
gian tới dé trích lập dự phòng tốn that tin dụng
1.1.4.2 Đối với khách hang cá nhân
XHTD là cơ sở dé chia nhóm KH theo mức độ rủi ro dé có những chính sách
phù hợp với từng nhóm:
* Nhóm có rủi ro thấp nhất: cho vay với chế độ ưu đãi
* Nhóm có rủi ro cao hơn: cho vay với điều kiện bình thường
* Nhóm có rủi ro cao nhất: có thé không cho vay hoặc cho vay với lãi suất cao
Vì vậy, hầu hết KHCN đều có thể sử dụng sản phẩm tín dụng của NHTM tùy
vào mức độ rủi ro của mình mà NHTM sẽ đặt những chính sách với từng nhóm KH
tùy thuộc vào chiến lược đặt ra
1.2 Cac yếu tố ảnh hưởng đến xếp hạng tín dụng của khách hang cá nhân
1.2.1 Thông tin cá nhân
Mỗi cá nhân đều có những thông tin, hoàn cảnh sông riêng của bản thân dé phân
biệt với những người xung quanh Những đặc điểm đó đều có những ảnh hưởng nhất
11193221 — Nguyễn Khánh Ly
Trang 16Chuyên dé thực tập chuyên ngành Toán Tài chính
định tới cuộc sống của họ Chính vi vậy, khi tiến hành XHTD với KHCN, NHTM
thường xem xét một sô đặc điêm sau:
*w Thông tin cơ ban về bản thân: độ tuổi, giới tính, tình trạng hôn nhân, trình độ
học van,
* Thông tin về điều kiện sống: quy mô hộ gia đình, số thành viên đi làm trong
gia đình, nghề nghiệp, tài sản sở hữu,
1.2.2 Tài chính cá nhân
Phân tích thông tin tài chính va các mối quan hệ liên quan đến tài chính của mỗiKHCN là yếu tổ quan trọng nhất khi tiến hành XHTD Nó là cơ sở chính để NHTM
dự đoán được khả năng trả nợ của KHCN và đưa ra các mức xếp hạng phi hợp với
từng cá nhân đi vay Một số yếu tô đưa vào phân tích:
¥ Giá trị tài sản đảm bảo
11193221 — Nguyễn Khánh Ly
Trang 17Chuyên dé thực tập chuyên ngành Toán Tài chính
* Thói quen chi tiêu hàng ngày
Vv Uy tín trong giao dich
vx Lịch sử vay và trả nợ
VY Tổng dư nợ
Số lượng thẻ tín dụng hiện có/ số lần dùng thẻ/ mục đích dùng thẻ
1.2.4 Các thông tin liên quan đến viễn thông
Đối với nhóm dé liệu liên quan đến thông tin viễn thông của khách hàng, các
NHTM cần có sự hợp tác với các công ty viễn thông để mua được những thông tinliên quan của khách hàng Một số thông tin có thê đưa vào phân tích:
* Lịch sử nạp tiền qua điện thoại
* Lịch sử trả tiền trong việc sử dụng mạng viễn thông: Wifi, 3G/4G,,
v Lịch sử trả tiên điện, nước, qua internet.
Bên cạnh đó, hiện nay các NHTM đã áp dụng các ứng dụng chuyên tiền thay vìphải trực tiếp đến ngân hàng thì KH có thé giao dịch qua internet banking, hay ngânhàng hợp tác với một số ứng dụng khác để tạo ra các ví điện tử được KH khá ưa
chuộng: Zalopay, Shopeepay, Bởi chúng dé dàng sử dung và nhanh chóng giúp tiết
kiệm thời gian Những thông tin giao dịch của KH qua các ứng dụng trên đều sẽ phầnnào ảnh hưởng tới khả năng trả nợ của KH vì nó thể hiện được khả năng tài chính của
KH đó.
1.3 Cac phương pháp xếp hạng tin dụng
1.3.1 Phương pháp chuyên gia
Phương pháp chuyên gia là phương pháp thu thập và xử lý các đánh giá dự báo
bằng cách hỏi ý kiến của các chuyên gia giỏi hoạt động trong một lĩnh vực khoa họcnao đó liên quan Những chuyên gia giỏi là những người hiểu rõ những van dé tồn tạitrong một lĩnh vực hoạt động của họ Họ luôn hướng tới tương lai dé giải quyết các
8
11193221 — Nguyễn Khánh Ly
Trang 18Chuyên dé thực tập chuyên ngành Toán Tài chính
vấn đề dựa trên sự hiểu biết, kinh nghiệm và linh cảm nghề nghiệp của bản thân họtích lũy trong nhiều năm
Tiến hành XHTD bằng phương pháp này chủ yếu dựa vào những kinh nghiệm
đã được đúc kết từ nhiều năm của các chuyên gia, qua đó chúng ta có thé tìm ra bản
chất của mối quan hệ giữa khả năng trả nợ của khách hàng và các yếu tố tác động tới
nó Chất lượng của việc sử dung phương pháp chuyên gia dé XHTD phụ thuộc vàokinh nghiệm chủ quan của các chuyên gia tín dụng chính xác đến mức độ nào
1.3.2 Phương pháp thống kê
Đây là một trong những phương pháp nghiên cứu chính xác, là một quá trình
bao gồm điều tra thống kê, khái quát hóa thông tin, phân tích và dự báo Phương phápnày cũng được gọi là quá trình mô hình hóa toán học các vấn đề cần phân tích tùythuộc vào mục tiêu nghiên cứu Phương pháp này giúp ta có khả năng được tiếp cận
nhiều hơn với các phương pháp phân tích thống kê, các mô hình dự báo, cũng như
việc sử dụng phần mềm phân tích trong quá trình nghiên cứu Một số mô hình được
sử dụng trong XHTD: Mô hình tuyến tính, mô hình Logistic, mô hình cây quyết định,
đưa vào phải đủ lớn.
Bên cạnh đó, ta cũng có thé áp dụng việc kết hợp hai hay nhiều mô hình trongphương pháp thống kê dé đưa ra một mô hình tốt nhất Chúng ta có thé ké đến một
9
11193221 — Nguyễn Khánh Ly
Trang 19Chuyên dé thực tập chuyên ngành Toán Tài chính
SỐ nghiên cứu trước đây của Peter và cộng sự (2015), Radall (2017) đã tiễn hành kếthợp mô hình cây quyết định và mô hình mạng noron nhân tạo ANN Sự kết hợp này
được đánh giá là hiệu quả khi hai mô hình có chung khả năng là xử lý bộ đữ liệu lớn.
Mô hình cây quyết định với ưu điểm là khả năng giải thích biến rõ ràng giúp cải thiệnkhả năng giải thích của mô hình XHTD khi kết hợp với ANN
1.4 Tổng quan về các nghiên cứu sử dụng hồi quy Logistic dé đánh giá rủi ro
tín dụng của khách hàng
Trước đây, dé tiến hành XHTD đánh giá mức độ tín nhiệm của KHCN, các
NHTM thường sử dụng phương pháp chuyên gia: dựa trên các thông tin, dữ liệu thu
thập được trên thị trường, các chuyên gia tiễn hành đánh giá rủi ro tín dụng của KH
Và từ kết quả đánh giá đó, NHTM sẽ quyết định cấp hay không cấp các khoản tín
dụng.
Tuy nhiên, phương pháp này có hạn chế là phụ thuộc vào tính chủ quan củachuyên gia đánh giá Chính vi vậy, hiện nay, các NHTM dan chuyên sang tiếp cậnphương pháp thống kê- sử dụng định lượng thay vì định tính như trước đây; đặc biệt
là sử dụng hồi quy Logit để phân tích và dự báo khả năng không trả được nợ của KH
Ngày nay, có nhiêu nhà nghiên cứu đã tìm hiệu chuyên sâu về việc sử dụng hôi quy
Logistic trong XHTD:
Nam Tac gia Kết quả nghiên cứu
2010 | Nguyễn Vận dụng mô hình hồi quy Logistic nhị phân dé phan
Thụy Mai tích các nhân tô ảnh hưởng đến quyết định cho vay của
Hương Ngân hàng TMCP Ngoại thương Việt Nam- chi nhánh
Đồng Nai Kết quả phân tích cho thấy quyết định chovay phụ thuộc vào: tỷ số nợ trên VCSH, tỷ suất sinh lờitrên VCSH, cung cấp thông tin đầy đủ và đúng hạn theo
10
11193221 — Nguyễn Khánh Ly
Trang 20Chuyên đề thực tập chuyên ngành Toán Tài chính
yêu câu của VCB Đông Nai Trong đó tất cả đều có quan
hệ cùng chiều với quyết định cho vay của ngân hàng
2006 Vuong Quân
Hoàng
Áp dụng phương pháp thong kê dé xây dựng mô hìnhđịnh mức tín nhiệm Ông đưa ra 16 bién vào mô hình détiến hành hồi quy Logistic nhưng sau đó ông đã loại 2biến do chúng không có khả năng giải thích trong môhình Các biến: mức thu nhập hàng tháng, chênh lệch thu
nhập và chi tiêu, giá trị tài sản khách hàng có tác động
cùng chiều với biến phụ thuộc; các biến còn lại: tuổi tác,trình độ học vấn, loại hình công việc, tình trạng hônnhân, nơi cư trú, thời gian cư trú, số người phụ thuộc,
phương tiện đi lại, phương tiện thông tin, giá trị các khoản nợ, quan hệ với Techcombank thì có ảnh hưởng
ngược chiều tới biến phụ thuộc
Nghiên cứu của Marla Aparecida
Gouvéa và Eric Bacconi
Gonealves
Nghiên cứu nay nói về việc áp dụng mô hình hồi quy
Binary Logistic, Neutral network và mô hình Genetic
Algorithm dé phân tích rủi ro
Bài nghiên cứu nay tác giả đã sử dụng dir liệu từ một
ngân hang tại Brazil và mô hình dùng hồi quy Logistic
cho ra kết quả tốt nhất nên Maria Aparecida Gouvéa
đã dùng mô hình đó là mô hình xếp hạng tín dụng phục
vụ cho nghiên cứu của bà Maria Aparecida Gouvéa và
Eric Bacconi Goncalves đã đưa 18 nhóm biến độc lập
vào mô hình và phân tích tác động: giới tính, tình trạng
hôn nhân, lương, thời gian làm việc hiện tại, Và cuối
cùng, các biến có ảnh hưởng tích cực tới xác suất là
các biến thuộc nhóm biến liên quan đến số lượng cáckhoản nợ và tổng dư nợ
11193221 — Nguyễn Khánh Ly
11
Trang 21Chuyên đề thực tập chuyên ngành Toán Tài chính
Nghiên cứu
của Eliana Costa e
Silva và
cộng sự
Nghiên cứu này nói về việc áp dụng hồi quy Logistic
dé đánh giá rủi ro không trả được no của KH
Trong bài nghiên cứu, tác giả đã sử dụng dữ liệu từ
một ngân hang tại Bồ Dao Nha từ thang 1 năm 2008đến tháng 12 năm 2009 gồm 13 biến độc lập: Số tiềnvay trong hợp đồng, lãi suất cho vay, kì hạn, tuổi của
KH, số tiền KH phải trả mỗi tháng, số năm mà KH đãvay tại ngân hàng, số thẻ tín dụng của KH, giới tính,tình trạng hôn nhân, lương, thuế IRS, sản phâm tíndụng khác, lương va mô hình cuối cùng gồm có 6
biến tốt nhất Trong đó, biến lãi suất, kì hạn, tuổi cótác động cùng chiều với biến phụ thuộc; còn số thẻ tíndụng của KH, lương, thuế IRS của KH có ảnh hưởng
ngược chiều tới biến phụ thuộc
11193221 — Nguyễn Khánh Ly
12
Trang 22Chuyên dé thực tập chuyên ngành Toán Tài chính
KET LUẬN CHUONG 1
Chương 1 đã đưa cho chúng ta một cái nhìn tổng quan về XHTD tại các
NHTM Chúng ta hiểu được thé nào là XHTD, tại sao phải XHTD hay XHTD hướng
tới những đối tượng nào Chương I cũng đưa ra được tầm quan trong của XHTD
với cả NHTM và KHCN: với NHTM thì nó giúp NHTM đưa ra quyết định cho vayđối với một nhóm KHCN nào thì phù hợp với chiến lược của ngân hàng; nó giúp
KHCN được hưởng những chế độ ưu đãi phù hợp Các phương pháp XHTD cũngđược nêu ra cụ thé: phương pháp chuyên gia dựa vào ý kiến chủ quan của các chuyên
gia giỏi trong lĩnh vực đó, phương pháp thống kê áp dụng các phân tích thống kê đữliệu để xây dựng mô hình dự báo, phương pháp kết hợp sử dụng cả hai phương pháptrên Bên cạnh đó, chương này cũng đưa ra được một số nghiên cứu liên quan đếnchủ dé dùng hồi quy Logistic để đánh giá RRTD
13
11193221 — Nguyễn Khánh Ly
Trang 23Chuyên đề thực tập chuyên ngành Toán Tài chính
11193221 — Nguyễn Khánh Ly
14
Trang 24Chuyên dé thực tập chuyên ngành Toán Tài chính
CHƯƠNG 2
CÁC PHƯƠNG PHÁP NGHIÊN CỨU TRONG MÔ HÌNH
XÉP HẠNG TÍN DỤNG TẠI NGÂN HÀNG
Chương 2 tập trung vào giới thiệu các phương pháp được sử dụng trong xây
dựng mô hình XHTD tại ngân hàng Chúng ta sẽ tìm hiểu về mô hình Logistic và lí
do chọn Logistic trong bài toán XHTD này Ngoài ra, chương này cũng đưa ra một
số phương pháp xử lý biến, chọn lọc biến cùng với một số tiêu chí để đánh giá mô
thể được đặt ra tại ngân hàng: dự báo xác suất không trả được nợ của KH nên các
NHTM cần đưa ra những lời giải thích hợp lý khi từ chối/ chấp nhận một khoản vay
nào đó từ khách hàng Những giải thích khi dựa trên những phân tích từ mô hình sẽ
thuyết phục hơn khi sử dụng phương pháp thu thập ý kiến chủ quan từ chuyên gia;còn việc sử dụng cách kết hợp các mô hình trong phương pháp thống kê thì khá phứctạp và không cần thiết trong bài toán này
Mô hình Logistic là một mô hình thống kê mà mô hình hóa xác suất của một sự
kiện đang diễn ra bằng cách đặt In) là sự kết hợp tuyến tính của một hoặc nhiều
biến độc lập Ham Logistic là một ham được dùng phé biến vì nó dé hiểu về mặt toán
Trang 25Chuyên dé thực tập chuyên ngành Toán Tài chính
Tuy nhiên, hàm Logistic lại phi tuyên với cả các tham sô và các biên độc lập
nên ta sẽ khó giải thích khi hồi quy, vì vay, ta sẽ biến đổi nó về dạng tuyến tinh:
m () = In(oođs) = By + B,X1 + BX, ++ voip € (0;1)
Nhu vậy, ta biến đổi từ ham Logistic về hàm có dạng tuyến tính sé dé hồi quy
và đưa ra lời giải thích về ảnh hưởng của biến độc lập tới biến phụ thuộc
2.1.2 Uu điểm, nhược điểm
Một số ưu điểm của hồi quy Logistic trong xây dựng mô hình XHTD tại NHTM:
Thứ nhất, hồi quy Logistic dé đưa ra lời giải thích về sự tác động của biến giảithích lên biến phụ thuộc Chúng ta có thê tuyến tính hóa hàm Logistic hồi quy, nó sẽ
dé dàng dé giải thích tại sao biến độc lập này thay đổi thì biến phụ thuộc cũng sẽ gián
tiếp thay đối theo Một số mô hình Machine Learning khác có khả năng dự báo tốthơn nhưng nó có chứa những tham số mà chúng ta khó có thể đưa ra được những sự
lý giải thích hợp với thực tế.
Thứ hai, cách thực hiện hồi quy Logistic cũng dễ thực hiện vi đây là một quy
trình với các phép biến đổi và giải thích rõ ràng Các bước thực hiện có thé được lý
giải dựa trên những cơ sở lý thuyết đã có, khác với một số mô hình Machine Learningkhác cần chỉnh sửa những tham số dé chọn ra mô hình tốt nhất mà không có cơ sởhay phương pháp cụ thê nảo
Bên cạnh những ưu điểm trên, hồi quy Logit cũng có những nhược điểm cầnphải khắc phục:
16
11193221 — Nguyễn Khánh Ly
Trang 26Chuyên dé thực tập chuyên ngành Toán Tài chính
Thứ nhất, hồi quy Logistic không dự báo được kết quả liên tục Nó chi có thé
được dùng đề đưa ra những dự báo với những mô hình có biến phụ thuộc là biến phân
loại.
Thứ hai, hồi quy Logistic có thể không đưa ra được kết quả dự báo chính xác
với mẫu có kích thước nhỏ Nếu kích thước mẫu nhỏ thi mô hình được tao ra từ hồiquy Logistic dựa trên số quan sát nhỏ hơn Điều đó sẽ có thể dẫn đến “overfitting”-một lỗi mô hình hóa xảy ra khi mô hình quá khớp với một bộ dữ liệu hạn chế
2.2 Các phương pháp xử lý biến và ước lượng hệ số trong mô hình
2.2.1 Xứ lý “missing values”
Hau hết dữ liệu liên quan đến lĩnh vực tài chính đều có “missing values”; đặcbiệt trong dữ liệu về thông tin, lich sử tin dung, cla khách hàng tai NHTM đều cóchưa các giá trị trên Nó xảy ra với nhiều nguyên nhân khách nhau: do khách hàng
không điền/ không biết điền như thế nào, do khách hàng làm thẻ tín dụng nhưng
không sử dụng, Và chúng ta có bốn cách đề xử lý các “missing value” trong bộ đữ
liệu:
Thứ nhất, loại bỏ tất cả các quan sát có chứa “missing values” Tuy nhiên, việc
bỏ này có thể sẽ gây ra van đề mất rất nhiều quan sát trong bộ dữ liệu; ví dụ: mỗi mộtbiến có “missing values” ở những quan sát khác nhau, nếu chúng ta loại bỏ hết thì bộ
dữ liệu sẽ mất nhiều quan sát Chúng ta chỉ nên loại bỏ “missing values” nếu chúngchiếm nhỏ hơn 5% tổng số quan sát trong bộ dữ liệu
Thứ hai, loại bỏ hét các biên có “missing values” ra khỏi mô hình Trong trường hợp này, ta nên loại biên nêu biên đó có chứa trên 50% quan sát là “missing value”
hoặc các biến đó vẫn sẽ có khả năng thiếu đữ liệu trong tương lai.
17
11193221 — Nguyễn Khánh Ly
Trang 27Chuyên dé thực tập chuyên ngành Toán Tài chính
Thứ ba, ta có thê đưa hết “missing values” vào mô hình băng cách gộp chúnglại thành 1 nhóm đối với từng biến, sau đó sẽ dùng WOE của chúng là đầu vào thay
vì đưa dữ liệu thô vào.
Thứ tr, chúng ta có thé thay thế “missing values” bang giá trị trung bình,
mean, của biến đó Tuy nhiên, điều này có thé ảnh hưởng đến xu thế của các biến
độc lập với biên mục tiêu.
Các NHTM thường áp dụng phương pháp biến đổi thứ ba để xử lý “missingvalues” vì các phương pháp 1,2,4 đều giả định các “missing value” không có giá trịgi- không thé thu thập được những thông tin hữu ich cho việc kinh doanh từ các giátrị đó Tuy nhiên, điều đó chưa chắc đã hoàn toàn đúng, những giá trị đó có thé là mộtphần của xu hướng, được liên kết với các giá trị khác trong biến đó để tạo nên một
xu hướng đúng với thực tế
2.2.2 Cách biến doi dữ liệu
Dé hiéu rõ hơn về cách biên đôi WOE, chúng ta có thê tìm hiệu về ý nghĩa, cách
tính toán và những ưu - nhược điêm của nó:
WOE là một trong những ki thuật tạo biến và lựa chọn biến thường được xửdụng trong xây dựng mô hình XHTD Phương pháp biến đổi này sẽ đánh giá sứcmạnh dự báo dựa trên điểm số đánh giá về sức mạnh dự báo nợ xấu Tiêu chuẩn đánhgiá sẽ dựa trên chỉ số IV- được tính toán thông qua WOE Cách biến đổi WOE có các
kĩ thuật xử ly khác nhau đối với biến liên tục và biến phân loại:
Doi với biên liên tục: WOE sẽ chia các quan sat trong biên thành các nhóm giá
trị Số lượng nhóm và số quan sát mỗi nhóm phụ thuộc vào xu thế và phải được lýgiải đúng với thực tế Sau đó, áp dụng công thức và tính WOE rồi đưa vào mô hìnhthay giá trị thô của biến đó
18
11193221 — Nguyễn Khánh Ly
Trang 28Chuyên dé thực tập chuyên ngành Toán Tài chính
Doi với biên roi rac: WOE có thê can nhắc mỗi một giá tri rời rac là một nhóm
hoặc có thê gộp nhiêu giá tri rời rac có sô lượng quan sát ít vào một nhóm Bên cạnh
đó, trường hợp “missing values” cũng có thê được coi là một nhóm riêng biệt nêu sô
lượng của nó là đáng kê hoặc nhóm vào các nhóm khác nêu nó là thiêu sô Sau đó thì
tính toán WOE và thay vào mô hình như làm với biến liên tục
(1)
Distr 7
Distr Bad
Công thức: WOE = Ln(
e Good: những quan sát ma KH có khả năng trả được nợ P(Y=0)-hồ sơ Good
e Distr Good: tỷ lệ giữa tổng Good trong một nhóm và tổng Good của cả biến
WOE dùng dé đo lường sự khác biệt giữa phân phối của Good và phân phối của
Bad trên từng nhóm gia tri Giá tri WOE tại một nhóm nào đó cảng lớn thi chứng tỏ
nhóm đó có số lượng Good càng cao Như đã trình bày ở trên, cách biến đổi WOE có
rat nhiêu ưu diém trong vân dé xử lý biên trước khi đưa vào mô hình cuôi cùng:
Thứ nhất, cách biến d6i WOE giúp loại bỏ ảnh hưởng của các giá trị ngoại lai
vì chúng sẽ được gộp vào nhóm giá trị gần đó Khi đó, các giá trị ngoại lai sẽ khôngcòn khác biệt so với các những quan sát khác thuộc cùng nhóm vì tất cả các quan sáttrong nhóm đó cùng được gan giá trị bang trọng số WOE Bên cạnh đó, cách biến đổi
này cũng giúp chúng ta giải quyết van đề với “missing values” bằng cách thay thé giá
trị của WOE tương ứng vào chỗ của “missing values”.
Thứ hai, khi sử dụng biến chưa xử lý thì trong một số trường hợp xu thế củabiến độc lập có thể không quan hệ đơn điệu với biến mục tiêu: chữ U, A, Do đó,
phương pháp biến đổi WOE sẽ đảm bảo mối quan hệ đơn điệu (đồng biến/ nghịch
biến) với biến mục tiêu Cách biến đổi này giúp ta chia nhỏ các biến liên tục thànhcác nhóm mà giá tri của nó đơn điệu với biến mục tiêu Do đó, các hệ số trong hồiquy Logistic sẽ giải thích được đúng mối quan hệ giữa các biến độc lập và biến phụ
thuộc.
19
11193221 — Nguyễn Khánh Ly
Trang 29Chuyên dé thực tập chuyên ngành Toán Tài chính
Thứ ba, WOE giúp chúng ta giải quyết được các vấn đề về mâu thuẫn đơn vịgiữa các biến độc lập trong mô hình Giả sử như biến tuổi và biến số tiền dư trong tàikhoản tiết kiệm của khách hàng có sự chênh lệch đơn vị khá lớn, thường chúng ta sẽ
dùng hàm log đối với các biến có đơn vị lớn đề cân bằng với các biến khác và WOEcũng giúp chúng ta giải quyết van dé này với hiệu quả tương tự
Thứ tư, WOE có thé thay cho việc chúng ta dùng biến gia với các biến định tính
Việc sử dụng biến giả có nhược điểm là nó giả định sự khác biệt giữa một nhóm biến
phân loại này với nhóm biến phân loại tiếp theo là như nhau Điều này sẽ ảnh hưởngđến kết quả phân tích từ mô hình
Tuy nhiên, cách biến đổi WOE cũng có một vài nhược điểm như sau:
Thứ nhất, khi dùng WOE thì chúng ta rất khó dé biết nên chia bao nhiêu nhómtrong một biến là phù hợp Hiện nay có một số công cụ có cách chia tự động nhưng
dé phù hợp với xu thé theo lý thuyết kinh tế thì chúng ta vẫn phải kết hợp với việc
chia nhóm thủ công.
Thứ hai, do WOE luôn đơn điệu với biên mục tiêu nên giữa các biên độc lập sẽ
xuất hiện tương quan và gây hiện tượng đa cộng tuyến trong mô hình hồi quy
2.2.3 Phương pháp ước lượng hop ly cực đại
Ta có mô hình Logistic sau khi đưa về dạng tuyến tính như sau:
In (2) = In(odds) = XiB = Bo + Xi + X;Ö; + + Xị8, C9
Dé ước lượng các hệ số trong mô hình này, ta không thé dùng phương pháp
OLS vì khi thay giá trị phân loại thực tế (0,1) vào mô hình (*) thì về trái có thé khôngxác định Ví dụ, xác suất KH không trả được nợ p=1 và xác suất KH trả được nợ p=0,khi đó về trái của mô hình sẽ là In(1/0) không xác định
20
11193221 — Nguyễn Khánh Ly
Trang 30Chuyên đề thực tập chuyên ngành Toán Tài chính
Bên cạnh đó, phương pháp OLS giả định phần dư tuân theo phân phối chuân
mà phan dư u; = p; — p, và p; theo phân phối Logistic Do đó, chúng ta cần dùngmột phương pháp khác dé ước lượng- phương pháp ước lượng hợp lý cực dai
Hop lý cực đại là phương pháp thống kê dùng dé ước lượng giá trị tham số củamột mô hình xác suất dựa trên những dữ liệu quan sát được Phương pháp này ước
lượng các tham số nói trên bởi những giá trị làm cực đại hóa hàm hợp lý
2.3 Các chỉ tiêu lựa chọn biến cho mô hình
2.4.1 Lý thuyết kinh tế
Do mô hình được xây dựng từ bộ dir liệu thực tế tại Techcombank nên ly thuyét
kinh tế là một trong những tiêu chí cần thiết trong lựa chọn biến cho mô hình Cácbiến được chọn cần phải phù hợp với lý thuyết kinh tế tài chính Trong trường hợpmột biến độc lập không thỏa mãn theo những tiêu chuẩn về mặt thống kê nhưng biến
đó có ảnh hưởng lớn tới biến phụ thuộc thì chúng ta van cần cân nhắc dé giữ lại
2.4.2 Chỉ số Information Value
Information Value (IV) là một trong những chi số tốt nhất trong việc lựa chonbiến cho một mô hình dự báo Nó giúp đo lường sức mạnh của từng biến trong môhình và đưa ra một xếp hạng cơ bản thể hiện mức độ mạnh / yếu của các biến đầu
`
vào.
IV được tính toán dựa trên WOE:
IV =3 ?_:(Distr Good; — Distr Bad,) x WOE, (2)
IV Sức mạnh của biến
<0.02 Không có sự ảnh hưởng
0.02—0.1 Ảnh hưởng yếu0.1—0.3 Ảnh hưởng trung bình
21
11193221 — Nguyễn Khánh Ly
Trang 31Chuyên dé thực tập chuyên ngành Toán Tài chính
0.3 — 0.5 Ảnh hưởng mạnh
>0.5 Ảnh hưởng rất lớn, cân xem xét
Bang 1: Các khoảng IV để xét sức mạnh ánh hướng cua các biến
2.4.3 Ma trận tương quan
Ma trận tương quan thê hiện mức độ tương quan giữa các biến độc lập trong môhình, từ đó, ta có thể quan sát được tất cả các cặp biến có tương quan cao Nếu ta giữcác biến có tương quan cao với nhau trong mô hình thì đễ xảy ra hiện tượng đa cộng
tuyến, do đó ta nên cân nhắc loại bỏ 1 trong 2 biến trong cặp tương quan cao
2.4.4 Hồi quy Logistic theo Stepwise
Hồi quy theo Stepwise là phương pháp dé xây dựng một mô hình bằng cách lặp
đi lặp lại từng bước hồi quy Logit để chọn ra các biến độc lập có sức ảnh hưởng nhấtđịnh cho mô hình Phương pháp này là sự kết hợp của phương pháp Forward Selection
và phương pháp Backward Elimination.
Đối với phương pháp Forward Selection: Đầu tiên, chúng ta đưa một biến cókhả năng dự báo tốt nhất( dựa vào IV hoặc Gini) vào hồi quy Sau đó, ta đưa lần lượtcác biễn khác vào mô hình dé chọn ra mô hình tốt nhất; đưa các biến vào cho đến khibiến đưa vào không cải thiện mô hình một cách đáng kề nữa thì dùng lại Ví dụ như
đưa biến đó vào mà làm giảm Gini của mô hình hay biến đó không có khả năng giải
thích trong mô hình, Phương pháp này hiệu quả nhưng có thê yếu nếu có quá nhiều
biên hoặc giữa các biên có độ tương quan cao.
Đối với phương pháp Backward Elimination: Ngược lại với phương pháp
Forward Selection, Backward sẽ đưa hết các biến độc lập vào mô hình và loại bỏ lần
lượt các biến được cho là không có khả năng giải thích ctrong mô hình Chúng ta loại
bỏ cho đến khi nào biến bị loại ra mà làm suy giảm sức mạnh của mô hình một cáchđáng ké thì dừng lại Phương pháp này cũng hạn chế với mô hình có quá nhiều biến
22
11193221 — Nguyễn Khánh Ly
Trang 32Chuyên dé thực tập chuyên ngành Toán Tài chính
Chính vì vậy, chúng ta cần sử dụng kết hợp hai phương pháp trên bằng cách ápdụng phương pháp Stepwise Bước đầu của phương pháp này chính là 2 bước
Forward kết hợp với một bước Backward nếu biến đó không có tác động tới biến phụ
thuộc Sau đó sẽ là kết hợp một bước Forward và một bước Backward, cứ như vậy
cho đến khi chọn được các kết hợp tốt của các biến thì dừng lại
2.4.5 Hồi quy Logistic và dựa vào trị số P-value
Như đã trình bày ở mục 2.7.7, ham Logistic sau khi tuyến tính có dạng:
In (; P 5) = In(odds) = X,B = By + X¡ị + X;B; +
Sau khi hồi quy Logistic, ta kiểm định giả thuyết:
là Hệ số ước lượng của các biến độc lập không có ý nghĩa thống kê
H¡: Hệ số ước lượng của các biến độc lập có ý nghĩa thống kê
Nếu P-value < œ= 5% thì ta bác bỏ Ho đồng nghĩa với biến độc lập có tác độngđến biến phụ thuộc và ngược lại
2.4 Các tiêu chí để đánh giá mô hình
2.5.1 Hệ số Gini
Gini là chỉ số cho biết khả năng phân biệt được Good/ Bad của mô hình, thểhiện tỷ lệ tốt so với đường hoàn hảo
Y Mô hình ngẫu nhiên: Biểu diễn qua đường thăng tạo với trục hoành một góc
45 độ Các điểm nam trên đường này có tỷ lệ Bad bằng tỷ lệ Bad của mẫu xây
dựng mô hình.
* Mô hình hoàn hảo: Biéu dién qua đường gồm 2 phân khúc riêng biệt bao gồm
phân khúc phân biệt được hoàn toàn các quan sát Bad đầu tiên và phân khúc
sau đó phân biệt được các quan sát Good Tập hợp các quan sát đầu tiên của
23
11193221 — Nguyễn Khánh Ly