Phân tích thành phàn chính ( pca principal component analysis ) để giảm chiều dữ liệu

lOMoARcPSD|18034504 Đ¾I HàC QC GIA THÀNH PHà Hâ CHÍ MINH TR¯âNG Đ¾I HàC BÁCH KHOA KHOA KHOA HàC VÀ ĀNG DĀNG BÁO CÁO BÀI T¾P LàN MƠN Đ¾I Sà TUY¾N TÍNH ĐÀ TÀI 11: PHÂN TÍCH THÀNH PHÀN CHÍNH ( PCA: PRINCIPAL COMPONENT ANALYSIS ) Đ GIÀM CHIÀU DĀ LIÞU Láp L07 - Nhóm GV hướng dẫn: ThÁy Đặng Văn Vinh lOMoARcPSD|18034504 Đ¾I HàC QUàC GIA THÀNH PHà Hâ CHÍ MINH TR¯âNG Đ¾I HàC BÁCH KHOA KHOA KHOA HàC VÀ ĀNG DĀNG BÁO CÁO BÀI T¾P LàN ĐÀ TÀI 11: PHÂN TÍCH THÀNH PHÀN CHÍNH PCA ( PCA: PRINCIPAL COMPONENT ANALYSIS ) Đ GIÀM CHIÀU DĀ LIÞU Láp L07 - Nhóm GV hướng dẫn: ThÁy Đặng Văn Vinh lOMoARcPSD|18034504 Lßp L07_Nhóm Danh sách thành viên STT Hà TÊN MSSV Trịnh Thị Ngọc Ánh 2112832 Trương Việt Hoàng 2110186 Đặng Ngọc Phú 2114410 Bùi Trọng Phúc 2112029 Nguyễn Ngọc Thịnh 2114896 Huỳnh ĐÁc Tín 2112445 Lê Minh Triết 2115067 TP.HCM, 12/2021 lOMoARcPSD|18034504 TÓM TÀT BÁO CÁO Āng dụng Phân tích thành phần ( PCA : Principal Component Analysis ) giảm chiÁu liệu ( Dimensionality Reduction ) đề tài hay thú vị mang giá trị nghiên cāu học t¿p cao Cùng vßi u thích mơn Đại số tuyến tính mong muốn tìm tịi học hỏi lý nhóm em định thực đề tài Đề tài yêu cÁu giải thông số liệu biểu diễn chúng cách trực quan Để thực tốt tiêu chí đề nhóm em cÁn tìm hiểu kiến thāc tảng PCA Machine Learning liên hệ vßi āng dụng thực tế Song song vßi cÁn v¿n dụng kiến thāc thÁy giảng dạy để hồn thành đề tài cách tốt nh¿t Sau thực đề tài, nhóm em có nhìn sâu sÁc gÁn kết lý thuyết thực tế Cũng góp phÁn cố kiến thāc tảng chuyên đề Phân tích thành phần Bên cạnh giúp chúng em phát huy khả làm việc nhóm, xử lí thơng tin liệu, nâng cao hiểu biết sử dụng công nghệ thông tin học t¿p công việc sau lOMoARcPSD|18034504 LàI Mâ ĐÀU Đ¿i số tuy¿n tính mơn hác có tÁm quan tráng sinh viên ĐH Bách Khoa TPHCM nói riêng sinh viên ngành khối khoa hác kỹ thuật – cơng nghß nói chung Do đó, vißc dành cho môn hác khối lượng thời gian nh¿t đßnh thực hành điÁu t¿t y¿u đà giúp cho sinh viên có sở vāng vÁ môn KHTN làm tiÁn đÁ đà hác tốt mơn khác chương trình đào t¿o Trong suốt q trình thực hißn tập lớn nói trên, nhóm chúng em nhận r¿t nhiÁu quan tâm ÿng hộ, giúp đỡ tận tình cÿa thÁy cơ, anh chß b¿n bè Ngồi ra, nhóm xin gÿi lời tri ân chân thành đ¿n ThÁy Đặng Văn Vinh, giÁng viên người hướng dẫn nhóm em đÁ tài Nhờ có thÁy h¿t lịng bÁo mà nhóm hồn thành tiÃu luận ti¿n độ giÁi quy¿t tốt nhāng vướng mắc gặp phÁi Sự hướng dẫn cÿa thÁy chìa khóa cho mái hành động cÿa nhóm phát huy tối đa mối quan hß hỗ trợ giāa thÁy trị mơi trường giáo dục Lời cuối, xin lÁn nāa gÿi lời bi¿t ơn sâu sắc đ¿n cá nhân, thÁy cô dành thời gian dẫn cho nhóm Đây niÁm tin, nguồn động lực to lớn đà nhóm có thà đ¿t k¿t quÁ lOMoARcPSD|18034504 Mục lục Chương 1: Mã đÁu : Sơ lược đề tài Yêu cÁu Điều kiện Nhiệm vụ Chương 2: Cơ sã lý thuyết: Khái niệm bản: Áp dụng vào đề tài: Các bưßc tiến hành PCA: ……… 11 Chương 3: Āng dụng thực tế: Gißi thiệu: ….………………… 13 Thực tiễn: ……………………… 14 Chương 4: Kết lu¿n: …………………………… 16 Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 Danh mục hình Ánh minh háa: Hình 2.2.1: hình ảnh lạc đà 10 Hình 2.3.1: bưßc tiến hành PCA………………………… 12 Hình 3.1.1: hình ảnh vector component ………………… 13 Hình 3.1.2: minh họa toán chuyển hệ tọa độ ………… 13 Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 Chương 1: Mở đÁu 1.1-S¡ l°ÿc vÁ Dimensionality Reduction ( giảm chiÁu liệu ): Dimensionality Reduction (giảm chiều liệu), kỹ thu¿t quan trọng Machine Learning Các feature vectors tốn thực tế có số chiều r¿t lßn, tßi vài nghìn Ngồi ra, số lượng điểm liệu thưáng r¿t lßn Nếu thực lưu trữ tính tốn trực tiếp liệu có số chiều cao gặp khó khăn việc lưu trữ tốc độ tính tốn Vì v¿y, giảm số chiều liệu bưßc quan trọng nhiều toán Đây coi phương pháp nén liệu Dimensionality Reduction, nói cách đơn giản, việc tìm hàm số, hàm số l¿y đÁu vào điểm liệu ban đÁu �㕥 ∈ ý�㔷 vßi D r¿t lßn, tạo điểm liệu mßi �㕧 ∈ ý�㔾 có số chiều K < D Phương pháp đơn giản nh¿t thu¿t toán Dimensionality Reduction dựa mơ hình tuyến tính, có tên Principal Component Analysis (PCA), tāc Phân tích thành phần Phương pháp dựa quan sát liệu thưáng không phân bố ngẫu nhiên không gian mà thưáng phân bố gÁn đưáng/mặt đặc biệt 1.2-Yêu cầu đÁ tài: 1/ Nêu sở lý thuy¿t cÿa phân tích thành phÁn (PCA: principle component analysis) 2/ Āng dụng cÿa phân tích PCA đà giÁm chiÁu dā liòu 1.3- iu kin: ã Sinh viờn cn cú kin thāc mơn Đại số tuyến tính nói chung hiểu biết phép phân tích thành phÁn machine learning nói riêng • Tìm hiểu āng dụng phân tích thành phÁn PCA thực tiễn 1.4- Nhiệm vā: • Tìm hiểu sã lý thuyết tảng cÿa thu¿t toán PCA Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 • Khơng nh¿t thiết phải dùng matlab để minh họa, phải có nh¿t ví dụ thực tế Chương 2: Cơ sở lý thuy¿t 2.1-Khái niệm c¡ bản: Phương pháp phân t椃Āch thcnh phần ch椃Ānh ( PCA ) phương pháp biến đऀi tư뀀 không gian nhiều chiều thành không gian mßi chiều, cụ thể giảm chiều liệu tư뀀 D K < D giữ lại K phần tử quan tráng Tuy nhiên, việc làm chÁc chÁn chưa phải tốt nh¿t chưa biết xác định thành phÁn quan trọng Hoặc trưáng hợp x¿u nh¿t, lượng thông tin mà thành phÁn mang nhau, bỏ thành phÁn dẫn đến việc m¿t lượng thơng tin lßn Tuy nhiên, biểu diễn vector liệu ban đÁu hệ sã mßi mà có tÁm quan tráng thành phÁn khác rõ rệt, bỏ qua thành phÁn quan trọng nh¿t Mục tiêu cÿa tìm K chiều mà đảm bảo liệu biểu diễn, không bị trwng lÁp không bị m¿t mát thông tin ( tách biệt hồn tồn ) 2.2- Áp dāng lí thuy¿t để phân tích đÁ tài: PCA phương pháp biến đऀi giúp giảm số lượng lßn biến có tương quan với thành t¿p biến cho biến mßi tạo tऀ hợp tuyến tính cÿa biến cũ khơng có tương quan lẫn Ví dụ, có 1000 biến ban đÁu có tương quan tuyến tính vßi nhau, sử dụng phương pháp PCA xoay chiều không gian cũ thành chiều khơng gian mßi mà ã cịn 10 biến khơng có tương quan tuyến tính mà nhiều nh¿t lượng thơng tin tư뀀 nhóm biến ban đÁu Hay nói cách khác, PCA phương pháp tìm hệ sã mßi cho thơng tin liệu chÿ yếu t¿p trung ã vài tọa độ cách trực quan, phÁn lại mang lượng nhỏ thông tin ( để đơn giản tính tốn, PCA tìm hệ trực chuẩn làm sã mßi ) Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 ( hình ảnh minh họa cho PCA : lạc đà, nhiên vßi cách nhìn khác ( trục thơng tin khác ) ta lại có cách thu nh¿n thơng tin khác tư뀀 cho kết lu¿n khác ) L¿y ví dụ việc có hai camera đặt dwng để chụp ngưái, camera đặt phía trưßc ngưái camera đặt đÁu Rõ ràng hình ảnh thu tư뀀 camera đặt phía trưßc ngưái mang nhiều thơng tin so vßi hình ảnh nhìn tư뀀 phía đÁu Vì v¿y, bāc ảnh chụp tư뀀 phía đÁu bỏ qua mà khơng có q nhiều thơng tin hình dáng cÿa ngưái bị m¿t V¿y ta kể đ¿n mßt sá đặc tính cÿa PCA nh° sau: • Giúp giảm số chiều liệu - Giúp visualization liệu có q nhiều chiều thơng tin • Do liệu ban đÁu có số chiều lßn (nhiều biến) PCA giúp xoay trục tọa độ, xây dựng trục tọa độ mßi đảm bảo độ biến thiên cÿa liệu giữ lại nhiều thơng tin nh¿t mà khơng ảnh hưãng tßi ch¿t lượng cÿa mơ hình dự báo (Maximize the variability) • Do PCA giúp tạo hệ trục tọa độ mßi nên mặt ý nghĩa tốn học, PCA giúp xây dựng biến factor mßi tऀ hợp tuyến tính cÿa biến ban đÁu • Trong khơng gian mßi, giúp khám phá thêm thơng tin q giá mßi mà chiều thông tin cũ thông tin quý giá bị che m¿t (Điển hình cho ví dụ lạc đà phía trên) Và mßt sá h¿n ch¿ ca PCA: ã Ch lm vic vòi d liu numeric • Nhạy cảm vßi điểm outlier ( điểm dị biệt làm méo mó tính chuẩn hóa cÿa liệu ) 10 Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 ã Khụng phự hp vòi cỏc mụ hỡnh phi tuyến, PCA hoàn toàn dựa biến đऀi tuyến tính 2.3- Các b°ác ti¿n hành PCA: Phương pháp PCA "chiếu" (biểu diễn) liệu đa chiều lên khơng gian có sã trực giao thāc, ta xem sã khơng gian mßi biến hình ảnh cÿa liệu gốc khơng gian mßi biểu diễn thơng qua biến độc l¿p tuyến tính V¿n đề chuyển liệu ban đÁu sang khơng gian mßi thông tin đáng quan tâm cÿa liệu ban đÁu liệu có bị m¿t? Để giải v¿n đề phương pháp PCA tìm khơng gian mßi vßi tiêu chí cố gÁng phản ánh nhiều thơng tin gốc tốt thưßc đo cho khái niệm "thông tin" ã ph°¡ng sai Một điểm hay biến khơng gian mßi độc l¿p nên ta tính tốn tỷ lệ giải thích phương sai cÿa tư뀀ng biến mßi đối vßi liệu điều cho phép ta cân nhÁc việc dùng số biến để giải thích liệu Nói cách ngÁn gọn, mục tiêu cÿa phương pháp PCA tìm khơng gian mßi ( vßi sá chiÁu nhß h¡n khơng gian cũ ) Các trục tọa độ khơng gian mßi xây dựng cho trục, độ biến thiên liệu lßn nh¿t ( maximize the variability ) Bưßc Tính giá trị trung bình �㕋 cÿa �㕋 Bưßc Tính véctơ �㕋̂ = �㕋 �㕋 Tính ma trn hip phng sai: ỵ = 1 Bòc Tỡm tr riờng ca ỵ v sp xếp theo giá trị giảm dÁn �㔆1 > �㔆2 > ⋯ > �㔆�㕚 tìm véctơ riêng đơn vị āng vßi trị riêng Bưßc Chọn �㕘 trị riêng ban đÁu �㕘 véctơ riêng đơn vị āng vßi trị riêng L¿p ma tr¿n A có cột véctơ riêng chọn Ma tr¿n A phép biến đऀi cÁn tìm Bưßc Tỉnh ảnh �㔴�㕇 �㕋̂ �㕇 cÿa véctơ �㕋̂ Dữ liệu �㕋 ban đÁu x¿p xỉ bãi �㕋 ≈ �㔴�㕋̂ + �㕋 Mỗi cột cÿa �㔴�㕋̂ �㕇 chāa tọa độ cÿa hàng cÿa ma tr¿n ¿y sã tư뀀 cột cÿa ma tr¿n �㕃 L°u ý: 1/ Ma trn ỵ l ma trn i xng thc v cỏc tr riờng ca ỵ l cỏc s thc khụng õm 2/ Ma trn ỵ luụn chộo húa trc giao 11 Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 3/ Trên ỏng chộo ca ỵ l phng sai ca cỏc vộct �㕥1 ; �㕥2 ; … ; �㕥�㕁 PhÁn tử �㕠ÿĀ , hiệp phương sai cÿa �㕥ÿ �㕥Ā Tऀng phÁn tử đưáng chéo cÿa S phng sai ca bng d liu Gi s ỵ = �㕃�㔷�㕃�㕇 Trên đưáng chéo cÿa �㔷 giá tr riờng ca ỵ Tng cỏc giỏ tr riờng ca þ tऀng phÁn tử cÿa þ (bằng vết ca ỵ) 4/ Ma trn l ma trn trc giao Mỗi ma tr¿n trực giao tương āng vßi phép quay Các cột cÿa ma tr¿n �㕃 tạo nên hệ trực chuẩn Nếu ta chọn sã trực chuẩn họ véctơ cột cÿa ma tr¿n �㕃, ta xây dựng hệ trục tọa độ mßi dựa véctơ có phép quay tư뀀 hệ trục ban đÁu sang hệ trục tọa độ mßi 5/ Nu d liu mu (sample data), thỡ ỵ = 1 Nu d liu dõn s (population data), thỡ ỵ = ∙ �㕋̂ �㕇 �㕋̂ �㕁 ∙ �㕋̂ �㕇 �㕋̂ 12 Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 Ý nghĩa ma tr¿n hiệp phương sai: Ma tr¿n hiệp phương sai cÿa t¿p hợp m biến ngẫu nhiên ma tr¿n vng hạng ( m x m ) phÁn tử nằm đưáng chéo ( tư뀀 trái sang phải, tư뀀 xuống dưßi ) lÁn lượt phương sai tương āng cÿa biến này, phÁn tử cịn lại ( khơng nằm đưáng chéo ) hiệp phương sai cÿa đôi hai biến ngẫu nhiên khác t¿p hợp • • • Các phÁn tử đưáng chéo cÿa ma tr¿n hiệp phương sai lÁn lượt phương sai cÿa mẫu liệu theo tư뀀ng chiều khơng gian m chiều Ma tr¿n hiệp phương sai có tính ch¿t đối xāng qua đưáng chéo Có thể tạm hiểu rằng, độ lßn giá trị cÿa phÁn tử cxy ma tr¿n hiệp phương sai thể māc độ tương quan (thể bãi phép nhân vơ hưßng, tiếng Anh: dot product) độ lệch (thao tác trư뀀 cho giá trị trung bình => tạm gọi "độ lệch") cÿa mẫu liệu theo chiều xx (dòng thā x ma tr¿n hiệp phương sai) chiều yy (cột thā y ma tr¿n hiệp phương sai) Chương 3: Āng dụng thực t¿ 3.1- Giái thiệu: PCA ( Principal Component Analysis ), components ( thành phÁn ) ã ta nói thực ch¿t vectors độc l¿p tuyến tính chọn cho chiếu điểm liệu lên vector điểm liệu có variance lßn nh¿t ( biến động nhiều nh¿t, phương sai lßn nh¿t) Để trực quan đến ví dụ hình bên, chọn vector component theo thā tự: 1st Comp có māc độ variance lßn nh¿t, ta chọn trưßc, sau đến 2nd Comp… cā Khi làm thực tế cÁn xác định thử sai xem chọn components hợp lý mang lại kết tốt nh¿t 13 Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 Xét cách nhìn khác PCA tốn chuyển hệ tọa độ hình dưßi: Ví dụ sau giải thích lý cÁn chọn thành phÁn để liệu có độ biến thiên phương sai nhiều nh¿t : Xét toán phân loại : Ung thư/ Không ung thư, Spam/Normal… Bây giá chọn thành phÁn mà chiếu lên điểm liệu khơng có phương sai lßn, đè lên co cụm lại chỗ => khơng trực quan khó phân loại Nói cách khác tìm đưáng hay mặt phẳng chia tách liệu thành hai phÁn khác cho hai loại khác Do đó, ta phải chọn thành phÁn cho chiếu data lên comp có phương sai lßn nh¿t 3.2- Thực tin: ã Tci chnh ònh lng: Trong ti chớnh nh lượng, phân tích thành phÁn áp dụng trực tiếp vào việc quản lý rÿi ro cÿa danh mục đÁu tư phát sinh lãi su¿t Giao dịch nhiều cơng cụ hốn đऀi thưáng chāc cÿa 30–500 cơng cụ hốn đऀi định giá thị trưáng tìm cách giảm xuống thưáng thành phÁn chính, thể đưáng cÿa lãi su¿t sã vĩ mô Việc chuyển đऀi rÿi ro thể dưßi dạng rÿi ro thành hệ số tải (hoặc hệ số nhân) cung c¿p đánh giá hiểu biết vượt ngồi khả sẵn có để đơn giản xem xét chung rÿi ro đối vßi nhóm 30–500 riêng lẻ • Khoa hác thần kinh: Một biến thể cÿa phân tích thành phÁn sử dụng khoa học thÁn kinh để xác định thuộc tính cụ thể cÿa kích thích làm tăng xác su¿t tạo điện hoạt động cÿa tế bào thÁn kinh Kỹ thu¿t gọi phân tích hiệp phương sai kích hoạt tăng đột biến Trong āng dụng điển hình, ngưái thử nghiệm trình bày trình tiếng 14 Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 ồn trÁng tác nhân kích thích (thưáng đÁu vào cảm giác cho đối tượng thử nghiệm dòng điện tiêm trực tiếp vào tế bào thÁn kinh) ghi lại chuỗi điện hoạt động, gai, kết tế bào thÁn kinh tạo Có lẽ, số đặc điểm cÿa kích thích làm cho tế bào thÁn kinh có nhiều khả tăng đột biến Để trích xu¿t tính này, ngưái thử nghiệm tính tốn ma tr¿n hiệp phương sai cÿa nhóm kích hoạt tăng đột biến , t¿p hợp t¿t kích thích (được xác định tùy ý khoảng thái gian hữu hạn, thưáng theo thā tự 100 ms) trưßc tăng đột biến Các d¿u hiệu riêng cÿa khác biệt ma tr¿n hiệp phương sai kích hoạt tăng đột biến ma tr¿n hiệp phương sai cÿa t¿p hợp kích thích trưßc (t¿p hợp t¿t kích thích, xác định khoảng thái gian dài) sau hưßng khơng gian cÿa kích thích vßi phương sai cÿa nhóm kích thích tăng đột biến khác nhiều nh¿t so vßi phương sai cÿa nhóm kích thích trưßc Cụ thể, eigenvectors có giá trị dương lßn nh¿t tương āng vßi hưßng mà phương sai cÿa nhóm kích hoạt tăng đột biến cho th¿y thay đऀi tích cực lßn nh¿t so vßi phương sai cÿa nhóm trưßc Vì hưßng thay đऀi kích thích dẫn đến tăng đột biến, chúng thưáng ưßc tính tốt cÿa đặc điểm kích thích có liên quan tìm kiếm • Āng dāng phân tích thành phần ch椃Ānh để đánh giá đặc tính hóa hác kháng khuẩn cÿa nác ong m¿t Apis Mellifera: Mục đích cÿa nghiên cāu sử dụng Phân tích thành phÁn (PCA) để làm rõ mơ hình phân bố chung tương đồng cÿa bốn thành phÁn (apamine, phospholipase A 2, peptide phân giải tế bào mast, melittin) cÿa nọc ong thu th¿p tư뀀 hai dòng ong m¿t nhiều tháng năm khác Nội dung cÿa thành phÁn nọc ong phân tích sÁc ký lỏng hiệu su¿t cao (HPLC) Ngồi ra, hoạt tính kháng khuẩn cÿa sản phẩm đặc trưng bãi việc xác định Nồng độ āc chế tối thiểu (MIC) Sử dụng PCA tìm mô tả mối tương quan thành phÁn cÿa nọc ong hoạt tính kháng khuẩn cÿa chúng Đây có lẽ nghiên cāu đÁu tiên thành phÁn hoạt tính cÿa nọc ong so sánh áp dụng cách tiếp c¿n v¿y Nó dịng ong dưáng tiêu chí nh¿t để phân loại mẫu nọc độc cÿa ong Hơn nữa, mối tương quan chặt chẽ phospholipase A 2và melittin xác nh¿n Phân tích PCA cho th¿y có mối quan hệ yếu thành phÁn nọc ong m¿t phân tích giá trị MIC Do đó, thành phÁn nhỏ cÿa nọc ong có lẽ ảnh hưãng đáng kể đến hoạt động kháng khuẩn cÿa 15 Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 Chương 4: K¿t luận Qua đề tài āng dụng phân tích thành phÁn PCA để giảm chiều liệu, nhóm chúng em có nhìn sâu sÁc gÁn kết lý thuyết thực tế ã mơn Đại số tuyến tính nói riêng Trong q trình thực đề tài, nhóm chúng em tìm cho kiến thāc bऀ ích sâu sÁc phương pháp giảm chiều liệu cách thāc tìm K features – phân tích thành phÁn Việc chọn vào nhóm làm t¿p lßn khiến chúng em gặp nhiều bỡ ngỡ Nhưng sau đó, tụi em học cách phân chia nhiệm vụ cho nhau, có tinh thÁn trách nhiệm đội nhóm, vßi cố gÁng nỗ lực để hồn thành trách nhiệm cÿa Một lÁn nữa, xin cảm ơn thÁy cô tạo điều kiện cho chúng em có hội để làm việc phát triển nhau, giúp đỡ tiến đưáng học t¿p 16 Downloaded by vu ga (vuchinhhp2@gmail.com) lOMoARcPSD|18034504 Tài lißu tham khÁo: [1] Bộ mơn Tốn āng dụng – Khoa Khoa học Āng dụng: Giáo trình Đại số tuyến tính (Tài liệu lưu hành nội bộ), trưáng ĐH Bách Khoa – ĐH Quốc gia TPHCM, 2020 [2]:https://machinelearningcoban.com/2017/06/15/pca/#241-d-liu-mt-chiu [3]:https://en.wikipedia.org/wiki/Principal_component_analysis#PCA_and_information_t heory [4]:https://rpubs.com/vudt1993/257891 [5]:https://tuanvanle.wordpress.com/2013/12/25/phuong-phap-phan-tich-thanh-phanchinh-principal-component-analysis-pca/ [6]:https://www.miai.vn/2021/04/22/principal-component-analysis-pca-tuyet-chieu-giamchieu-du-lieu/ [7]: https://minhng.info/toan-hoc/ma-tran-hiep-phuong-sai-covariance-matrix.html 17 Downloaded by vu ga (vuchinhhp2@gmail.com)