BÁO CÁO CUỐI KỲ TẤN CÔNG TRÍ TUỆ NHÂN TẠO LỖ HỔNG BẢO MẬT CỦA AI

đề tài BÁO CÁO CUỐI KỲ TẤN CÔNG TRÍ TUỆ NHÂN TẠO LỖ HỔNG BẢO MẬT CỦA AI, tiểu luận BÁO CÁO CUỐI KỲ TẤN CÔNG TRÍ TUỆ NHÂN TẠO LỖ HỔNG BẢO MẬT CỦA AI, để tài BÁO CÁO CUỐI KỲ TẤN CÔNG TRÍ TUỆ NHÂN TẠO LỖ HỔNG BẢO MẬT CỦA AI, bài tập nhóm đề tài BÁO CÁO CUỐI KỲ TẤN CÔNG TRÍ TUỆ NHÂN TẠO LỖ HỔNG BẢO MẬT CỦA AI

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Trần Thị Hiền - 19020281 BÁO CÁO CUỐI KY TẤN CƠNG TRÍ TUỆ NHÂN TẠO: LỖ HỔNG BẢO MẬT CỦA AI Mơn học: An tồn an ninh mạng Giảng viên: TS Nguyễn Đại Thọ Hà Nội - 2022 MỤC LỤC MỞ ĐẦU I, TỔNG QUAN VỀ CÁC CUỘC TẤN CƠNG TRÍ TUỆ NHÂN TẠO 1.1, Tại cơng trí tuệ nhân tạo lại tồn tại? 1.2, Các đặc điểm thuật toán học máy khiến hệ thống dễ bị công II, INPUT ATTACKS 2.1, Cách thức công 2.2 Phân loại công đầu vào 2.2.1 Trục khả cho phép 2.2.2 Định dạng 2.3 Tạo công đầu vào III, POISONING ATTACKS 5 10 11 12 3.1 Poisoning Attacks gì? 3.2 Chế tạo cơng đầu độc 3.2.1 Đầu độc tập liệu 3.2.2 Ngộ độc thuật tốn 3.2.3 Đầu độc mơ hình KẾT LUẬN 12 TÀI LIỆU THAM KHẢO 17 14 14 14 15 16 MỞ ĐẦU Kẻ khủng bố kỷ XXI khơng thiết sử dụng bom, uranium hay vũ khí sinh học Hắn ta cần sử dụng cơng cụ đáng giá $1.5 - băng dính suốt để thực công Đặt vài mảnh băng suốt nhỏ vào biển báo giao thơng ngã tư cách kín đáo, ta biến biển báo dừng xe thành đèn xanh mắt ô tô tự lái cách kỳ diệu Thực việc ngã tư nhộn nhịp gây tai nạn, đưa hệ thống giao thông vào tắc nghẽn Các thuật tốn trí tuệ nhân tạo kêu gọi để đưa tương lai có vấn đề: theo cách chúng huấn luyện, chúng bị công điều khiển kẻ thù Cái thấy tín hiệu đèn giao thơng tín hiệu dừng, hệ thống trí tuệ nhân tạo bị cơng lại nhận diện tín hiệu đèn xanh Điều coi “Artificial intelligence attack” (AI attack) Lỗ hổng hạn chế cố hữu phương pháp AI đại, khiến chúng có khả xảy loạt công tàn khốc, ngấm ngầm nguy hiểm Trong cơng, kẻ thù giành quyền kiểm sốt hệ thống AI với thao tác nhỏ lựa chọn cẩn thận, từ mảnh băng biến báo dừng đến hạt bụi kỹ thuật số nhìn thấy người Theo cách khác, kẻ thù đầu độc hệ thống AI, cài đặt cửa hậu sử dụng thời điểm địa điểm họ chọn để phá hủy hệ thống Cho dù điều khiển tô vượt đèn đỏ, đánh lừa máy bay không người lái tìm kiếm hoạt động đối phương nhiệm vụ thám hay lật đổ lọc nội dung để đăng tuyên truyền tuyển mộ khủng bố mạng xã hội, mối nguy hiểm nghiêm trọng, phổ biến Nội dung tải lên Internet phút số lượng đáng kinh ngạc Hơn ba tỷ hình ảnh chia sẻ [14] ngày Internet lọc nội dung dựa AI trở thành cơng cụ chính, khơng muốn nói nhất, ngành cơng nghiệp áp dụng rộng rãi Ví dụ, Facebook xóa 21 triệu mẩu nội dung khiêu dâm quý đầu [15] tiên năm 2018, 96% số bị gắn cờ thuật tốn Tuy nhiên, khơng phải tất ứng dụng AI “tốt”, tất công AI “xấu” Khi chế độ chuyên quyền chuyển sang sử dụng AI công cụ để giám sát kiểm soát dân số họ, cơng “AI” sử dụng biện pháp bảo vệ chống lại áp phủ Như vậy, báo cáo giúp ta có nhìn tổng qt cách mà kẻ cơng cơng hệ thống AI khác biệt công AI với công an ninh mạng truyền thống I, TỔNG QUAN VỀ CÁC CUỘC TẤN CƠNG TRÍ TUỆ NHÂN TẠO Một cơng trí tuệ nhân tạo (AI attack) thao túng có chủ đích hệ thống AI với mục tiêu cuối làm cho hoạt động sai Các cơng có hình thức khác cơng vào điểm yếu khác thuật toán bản: ● Input Attacks: thao túng đưa vào hệ thống AI nhằm thay đổi đầu hệ thống để phục vụ mục tiêu kẻ công Bởi cốt lõi nó, hệ thống AI cỗ máy đơn giản - nhận đầu vào, thực số tính tốn trả lại đầu - thao tác đầu vào cho phép kẻ công ảnh hưởng đến đầu hệ thống ● Poisoning Attacks: làm hỏng trình mà hệ thống AI tạo để hệ thống đưa kết sai theo cách mà kẻ công mong muốn Một cách trực tiếp để thực công đầu độc làm hỏng liệu sử dụng trình huấn luyện Điều phương pháp học máy đại cung cấp tri thức cho AI hoạt động cách “học” cách thực nhiệm vụ, chúng “học” từ nguồn nguồn liệu Các công đầu độc ảnh hưởng đến q trình tự học Các nghiên cứu cho thấy việc nhiễm độc tập liệu huấn luyện 3% dẫn đến giảm 11% độ xác [16] 1.1, Tại cơng trí tuệ nhân tạo lại tồn tại? Các cơng AI tồn có hạn chế thuật toán AI mà đối thủ khai thác để làm cho hệ thống thất bại Không giống công an ninh mạng truyền thống, điểm yếu khơng phải lập trình viên hay người dùng Chúng thiếu sót thuật tốn học máy tối tân Nói cách thẳng thắn hơn, thuật toán khiến hệ thống AI hoạt động tốt khơng hồn hảo, hạn chế mang tính hệ thống chúng tạo hội cho kẻ thù công Để biết lại vậy, cần hiểu cách thuật toán làm tảng cho AI hoạt động Nhiều hệ thống AI hỗ trợ máy học, tập hợp kỹ thuật trích xuất thơng tin từ liệu để “học” cách thực nhiệm vụ định Một thuật toán học máy “học” tương tự cách người học Con người học cách xem nhiều ví dụ đối tượng khái niệm giới thực lưu trữ học não để sử dụng sau Các thuật tốn học máy “học” cách xem nhiều ví dụ đối tượng khái niệm tập liệu lưu trữ học mơ hình để sử dụng sau Chìa khóa để hiểu công AI hiểu “học” học máy thực quan trọng khơng phải Nhớ lại học máy “học” cách xem nhiều ví dụ khái niệm đối tượng tập liệu Với đủ liệu, mẫu học có chất lượng cao đến mức chúng chí làm tốt người nhiều nhiệm vụ Tuy nhiên trình “học” tạo lỗ hổng nghiêm trọng: hồn tồn phụ thuộc vào tập liệu Bởi tập liệu nguồn kiến thức mơ hình, bị kẻ cơng làm hỏng “đầu độc”, mơ hình học từ liệu bị xâm phạm Những kẻ cơng đầu độc tập liệu để ngăn mơ hình học mẫu cụ thể, ngấm ngầm cài đặt lối bí mật sử dụng để đánh lừa mơ hình tương lai [1] Nhưng vấn đề không dừng lại Bởi mơ hình học máy hoạt động dựa liệu có chất tương tự với liệu sử dụng trình học Nếu sử dụng liệu chí có chút khác biệt chất so với loại biến thể mà thấy tập liệu ban đầu, mơ hình hồn tồn thất bại Đây hạn chế lớn mà kẻ cơng khai thác: cách đưa vào biến thể nhân tạo - chẳng hạn đoạn băng mẫu sai khác - kẻ cơng phá vỡ mơ hình kiểm sốt hành vi dựa mẫu nhân tạo đưa vào 1.2, Các đặc điểm thuật toán học máy khiến hệ thống dễ bị công ● Máy học hoạt động cách “học” mẫu tương đối đối tượng tập liệu Trái với suy nghĩ nhiều người, mơ hình học máy khơng “thơng minh” khơng có khả thực bắt chước khả người nhiệm vụ, nhiệm vụ mà chúng thực tốt Thay vào đó, chúng hoạt động cách học liên kết thống kê tương đối dễ phá vỡ Những kẻ cơng khai thác tính chất để tạo công phá hủy hiệu suất mô hình ● Học máy “học” cách trích xuất mẫu từ tập hợp ví dụ gọi tập liệu Không giống người, mơ hình học máy khơng có kiến thức mà chúng tận dụng, tồn kiến thức chúng phụ thuộc hoàn toàn vào liệu mà chúng nhìn thấy Đầu độc liệu làm đầu độc hệ thống AI ● Bản chất hộp đen thuật toán đại làm cho việc kiểm tra chúng trở nên khó khăn Người ta cịn hiểu tương đối cách thuật toán học máy đại sử dụng rộng rãi, chẳng hạn mạng nơ-ron sâu Điều gây khó khăn việc để biết liệu mơ hình học máy bị xâm phạm,, chí bị cơng hoạt động không tốt Đặc điểm khiến cho công AI khác biệt so với vấn đề an ninh mạng truyền thống có định nghĩa rõ ràng lỗ hổng, chúng khó tìm thấy Tổng hợp lại, điểm yếu giải thích khơng có sửa lỗi kỹ thuật hồn hảo cho cơng AI Những lỗ hổng “lỗi” vá sửa chữa thực với lỗ hổng bảo mật mạng truyền thống Chúng vấn đề sâu sắc trung tâm AI II, INPUT ATTACKS 2.1, Cách thức cơng Các cơng đầu vào kích hoạt hệ thống AI hoạt động sai cách thay đổi đầu vào đưa vào hệ thống Như thể hình, điều thực cách thêm “attack pattern” vào đầu vào, chẳng hạn đặt băng biển báo dừng giao lộ thêm thay đổi nhỏ vào ảnh kỹ thuật số tải lên mạng xã hội Các công đầu vào không yêu cầu kẻ công phải làm hỏng hệ thống AI để cơng Các hệ thống AI đại hồn tồn có độ xác cao chưa bị xâm phạm tính tồn vẹn, tập liệu thuật tốn dễ bị cơng đầu vào Và trái ngược hồn tồn với tán công mạng khác, thân công khơng phải lúc sử dụng máy tính Hình 1: Khi sử dụng thường xuyên, hệ thống AI nhận đầu vào hợp lệ, xử lý trả đầu vào Trong công đầu vào, đầu vào cho hệ thống AI bị thay đổi theo kiểu công, khiến hệ thống AI trả đầu khơng xác Các cơng đặc biệt nguy hiểm kiểu cơng khơng dễ ý, chí hồn tồn khơng thể phát Đối thủ thay đổi khía cạnh nhỏ đầu vào cách xác để phá vỡ mơ hình học trước hệ thống Đối với công vào đối tượng vật lý phải cảm biến máy ảnh ghi lại trước đưa vào hệ thống AI, kẻ cơng tạo thay đổi nhỏ vừa đủ lớn để cảm biến ghi lại Đây “cuộc công băng”, thông thường kẻ công nhận việc đặt miếng băng trắng dài inch góc biển báo dừng khai thác thiếu sót cụ [2] thể mẫu mà mơ hình học, biến thành đèn xanh Đối với công vào đối tượng kỹ thuật số đưa trực tiếp vào hệ thống AI, chẳng hạn hình ảnh tải lên mạng xã hội, hình thức cơng khơng nhìn thấy mắt người Điều cài đặt kỹ thuật số, thay đổi xảy cấp độ pixel riêng lẻ, tạo thay đổi nhỏ mà mắt người khơng thể nhìn thấy theo nghĩa đen 2.2 Phân loại cơng đầu vào Khía cạnh thú vị công đầu vào mức độ đa dạng chúng Các công đầu vào hệ thống AI giống bơng tuyết: khơng có thứ hồn tồn giống Bước việc bảo vệ hệ thống khỏi công tạo phân loại để mang lại trật tự cho khả cơng “Form fits function”hình thức phù hợp với chức năng, để thực công kẻ thù chọn hình thức cơng phù hợp với kịch nhiệm vụ cụ thể họ Do đó, phân loại học nên theo xu hướng Các hình thức cơng đầu vào đặc trưng theo hai trục: khả nhận biết định dạng Khả nhận biết đặc trưng cơng nhận biết người (ví dụ: công AI vào thực thể vật lý, cơng nhìn thấy khơng nhìn thấy mắt người) Định dạng đặc trưng vecto công đối tượng vật lý giới thực (ví dụ: biển báo dừng) tài sản kỹ thuật số (ví dụ: tệp hình ảnh máy tính) Hình 2: Ngun tắc phân loại cơng đầu vào Trục hồnh đặc trưng cho định dạng công, giới vật lý kỹ thuật số Trục tung đặc trưng cho khả nhận biết cơng, nhận biết người hay không 2.2.1 Trục khả cho phép Ở đầu trục cơng “có thể nhận biết được”, người nhận kiểu cơng đầu vào Các kiểu cơng thay đổi mục tiêu, chẳng hạn làm biến dạng, loại bỏ phần thay đổi màu sắc mục tiêu Ngồi ra, hình thức cơng bổ sung cho mục tiêu, ví dụ dán băng dính đề can khác vào mục tiêu vật lý, thêm dấu kỹ thuật số vào mục tiêu kỹ thuật số Ví dụ cơng nhận bao gồm làm mờ dấu hiệu dừng [3] [4] mẫu hình thành từ băng, sử dụng phần mềm để chồng đối tượng kính lên hình ảnh kỹ thuật số chủ thể Hình cho thấy cách thức hình thành cơng nhận biết đối tượng vật lý Một đối tượng thông thường thay đổi với hình thức cơng nhìn thấy (một vài mảnh băng) để tạo thành đối tượng công Trong đối tượng thơng thường phân loại xác hệ thống AI, đối tượng công phân loại khơng xác thành “đèn xanh” Hình 3: Tạo cơng đầu vào nhìn thấy Một mảnh băng nhỏ dán vào đối tượng vật lý, khiến hệ thống AI phân loại sai hình ảnh với thay đổi nhỏ hình thức Mặc dù cơng nhìn thấy, người nhận thấy, chúng mang lại hiệu cao số lý Đầu tiên, cơng nhận thức không cần phải phô trương Một cơng nhìn thấy dạng vài mảnh băng lựa chọn cẩn thận đặt biển báo dừng nhận biết, khơng thiết bị ý Con người thường bỏ qua thay đổi nhỏ môi trường họ, chẳng hạn vẽ bậy Do đó, cơng nhận biết hồn tồn khơng ý Thứ hai, cơng nhận biết được tạo để ẩn tầm nhìn người Một cơng nhìn thấy dạng kính thiết kế đặc biệt biểu tượng chế tạo đặc biệt thêm vào áo thun người nhận thấy, không bị nghi ngờ cơng, ẩn nấp hiệu tầm nhìn rõ ràng trường hợp Ở đầu bên trục khả hiển thị cơng “khơng thể nhìn thấy được” mà giác quan người khơng nhìn thấy Các cơng bất khả xâm phạm có nhiều hình thức Đối với nội dung kỹ thuật số hình ảnh, cơng [5] thực cách rắc “digital dust” lên đầu mục tiêu Về mặt kỹ thuật, bụi dạng nhiễu động nhỏ, phát hiện, thực toàn mục tiêu Mỗi phần nhỏ mục tiêu thay đổi chút đến mức mắt người cảm nhận thay đổi, tổng thể, thay đổi đủ để thay đổi hành vi thuật toán cách phá vỡ mẫu mà mơ hình học Hình cho thấy cách cơng khơng thể nhìn thấy hình thành theo cách Một hình ảnh kỹ thuật số bình thường bị thay đổi với nhiễu loạn cấp pixel nhỏ, khơng thể nhìn thấy nằm rải rác khắp hình ảnh, tạo thành hình ảnh cơng Trong hình ảnh thơng thường hệ thống AI phân loại xác “gấu trúc”, đối tượng cơng phân loại khơng xác “khỉ” Tuy nhiên, hình thức cơng tạo thay đổi nhỏ nên mắt người, hình ảnh cơng trơng giống hệt hình ảnh thơng thường ban đầu Hình 4: Tạo cơng đầu vào vơ hình Một lượng nhiễu nhỏ mà mắt người khơng nhìn thấy thêm vào tồn hình ảnh, khiến hệ thống AI phân loại sai hình ảnh mà khơng thay đổi hình thức Các cơng khơng thể cưỡng lại khơng giới hạn đối tượng kỹ thuật số Ví dụ, mẫu cơng thêm vào theo cách khơng thể nhìn thấy vào đối tượng vật lý Các nhà nghiên cứu rùa in 3D với kiểu cơng đầu vào khơng thể nhìn thấy đánh lừa thiết bị phát đối tượng dựa AI Mặc dù việc phát rùa khơng gây hậu đến tính mạng, chiến lược tương tự áp dụng cho súng in 3D Trong lĩnh vực âm thành, âm có cường độ cao mà tai người nghe thấy thu micro sử dụng để công hệ thống AI dựa âm thánh, chẳng hạn trợ lý kỹ thuật số Các cơng khơng thể nhìn thấy đặc biệt nguy hiểm từ quan điểm bảo mật Không giống cơng nhìn thấy được, người khơng có cách để quan sát xem mục tiêu có bị thao túng hay khơng Điều đặt rào cản để phát công Các cơng khơng nhìn thấy có khả áp dụng cao mục tiêu mà kẻ thù có tồn quyền kiểm sốt, chẳng hạn hình ảnh kỹ thuật số đối tượng chế tạo Ví dụ: người dùng đăng hình ảnh bất hợp pháp, chằng hạn hình ảnh chứa nội dung khiêu dâm trẻ em, thay đổi hình ảnh để tránh bị lọc nội dung dựa AI phát hiện, không thay đổi mặt hình ảnh so với góc nhìn người Điều cho phép kẻ công khơng bị kiểm sốt tất mục đích thực tế, phân phối nội dung khơng thay đổi mà không bị phát 2.2.2 Định dạng Tiếp theo thảo luận trục định dạng Trên đầu trục công “vật lý” Đây cơng mục tiêu bị công tồn giới vật chất Ví dụ cơng trợ lý kỹ thuật số điều khiển giọng nói, nơi âm [7] sử dụng để kích hoạt hành động từ trợ lý kỹ thuật số Thay đổi thực trực tiếp đặt mục tiêu để thực cơng Ví dụ cơng vật lý vào đối tượng giới thực thể hình bên Trong số cài đặt, công vào đối tượng vật lý u cầu mẫu cơng lớn hơn, thô Điều đối tượng vật lý trước tiên phải số hóa, chẳng hạn với máy ảnh cảm biến, để đưa vào thuật tốn AI, quy trình phá hủy chi tiết mức độ tốt Tuy nhiên, với yêu cầu số hóa này, cơng khó nhận biết “Rùa cơng” phân loại khơng xác thành súng trường ví dụ minh họa ví dụ địn cơng vật lý gần vơ hình Con rùa in 3D sản xuất để có hoa văn tinh tế, kết hợp tự nhiên với hoa văn mai vảy nó, ln đánh lừa người phân loại góc độ [8] vị trí mà máy ảnh quan sát Bằng cách “che dấu” đối tượng mơ hình cơng này, đánh lừa hệ thống AI mà không xuất dạng cơng người quan sát Hình 5: Ví dụ cơng vật lý vào đối tượng giới thực Ở đầu trục định dạng công “kỹ thuật số” Đây cơng mục tiêu bị công tài sản kỹ thuật số Ví dụ bao gồm hình ảnh, video, đăng mạng xã hội, nhạc, tệp tài liệu Không giống mục tiêu vật lý trước tiên phải cảm biến số hóa, mục tiêu kỹ thuật số đưa trực tiếp vào trạng thái ban đầu hệ thống AI Điều cho phép kẻ thù mở rộng lựa chọn công giảm bớt khó khăn việc tạo cơng thành cơng, chúng khơng cần tính đến việc làm sai lệch kiểu cơng Do đó, cơng kỹ thuật số đặc biệt phù hợp với khả khơng nhìn thấy Ví dụ công kỹ thuật số vào hình ảnh kỹ thuật số thể hình bên tương tự chúng sử dụng tập liệu tương tự để xây dựng “mô hình chép” thay Trong trường hợp ngày hạn chế kẻ công quyền truy cập vào mơ hình tập liệu, có quyền truy cập vào đầu mơ hình, chúng thực cơng Tình thường xảy thực tế, với doanh nghiệp cung cấp Trí tuệ nhân tạo dạng Dịch vụ thông qua API công khai [12] Dịch vụ cung cấp cho người dùng kết đầu mơ hình AI đào tạo cho tác vụ cụ thể, chẳng hạn nhận dạng đối tượng Trong mơ hình liệu liên quan chúng giữ kín, kẻ cơng sử dụng thơng tin đầu từ API chúng để thực công Điều thông tin đầu thay nhu cầu có mơ hình tập liệu Trong trường hợp khó khơng có mơ hình, tập liệu đầu cho kẻ cơng, kẻ cơng cố gắng thực cơng cách trialand-error Ví dụ: kẻ công cố gắng đánh bại lọc nội dung trực tuyến tiếp tục tạo mẫu công ngẫu nhiên tải lên nội dung để xem có bị xóa hay khơng Sau tìm thấy mẫu cơng thành cơng, sử dụng công tương lai III, POISONING ATTACKS 3.1 Poisoning Attacks gì? Các công chất độc loại công thứ hai AI Trong công chất độc, kẻ cơng tìm cách làm hỏng mơ hình AI để triển khai, vốn bị lỗi dễ dàng bị kẻ cơng kiểm sốt Khơng giống công đầu vào, công đầu độc mơ hình diễn mơ hình học, làm ảnh hưởng đến hệ thống AI Để đầu độc hệ thống AI, kẻ cơng phải thỏa hiệp q trình học tập theo cách cho mơ hình khơng thành cơng số đầu vào kẻ công chọn “học” cửa hậu mà kẻ cơng sử dụng để điều khiển mơ hình tương lai Một cách đầu độc mơ hình để không thành công nhiệm vụ cụ thể loại đầu vào Ví dụ: quân đội đào tạo hệ thống AI để phát máy bay đối phương, kẻ thù cố gắng đầu độc mơ hình học để khơng thể nhận số máy bay định Dữ liệu cách để thực cơng đầu độc Bởi thơng tin tập liệu tích hợp vào hệ thống AI, vấn đề tập liệu kế thừa mơ hình đào tạo với Dữ liệu bị xâm phạm theo nhiều cách Một cách làm hỏng tập liệu hợp lệ khác, minh họa hình bên Bằng cách chuyển đổi liệu hợp lệ với liệu bị nhiễm độc, mơ hình học máy làm tảng cho hệ thống AI bị nhiễm độc trình học Như ví dụ kiểu cơng chất độc này, đào tạo hệ thống bảo mật dựa nhận dạng khuôn mặt để xác nhận Alice từ chối Bob Nếu kẻ công đầu độc liệu cách thay đổi số hình ảnh Alice thành hình ảnh Bob, hệ thống thất bại nhiệm vụ học cách xác định Bob Alice Hình 7: Trong học máy thơng thường (bên trái), thuật tốn học tập trích xuất mẫu từ tập liệu kiến thức “đã học” lưu mơ hình học máy - não hệ thống Trong công đầu độc (bên trái), kẻ công thay đổi liệu đào tạo để đầu đọc mơ hình học Cách thứ hai để xâm phạm liệu thực công công vào q trình thu thập tập liệu Điều có hiệu độc hại liệu từ đầu, thay thay đổi tập liệu hợp lệ khác hiển thị ví dụ Khả cơng q trình thu thập liệu thể khởi đầu kỷ nguyên thái độ liệu Ngày nay, liệu thường coi đại diện trung thực giới sử dụng thành công để dạy hệ thống AI thực nhiệm vụ giới Kết là, hoạt động thu thập liệu ngày giống mạng lưới: thứ thu thập thu thập Lý cho điều AI cung cấp gần hồn tồn liệu việc có nhiều liệu thường tương quan với hiệu suất hệ thống AI tốt Tuy nhiên, thân q trình thu thập liệu bị cơng, người dùng AI khơng cịn tin tưởng cách mù quáng liệu họ thu thập hợp lệ Dữ liệu đại diện cho trạng thái giới trạng thái bị thay đổi kẻ thù Điều thể cách thức mới: liệu thu thập thiết bị không ràng buộc lưu trữ an tồn, thân thể liệu bị kẻ thù thao túng để đầu độc hệ thống AI hạ nguồn Nếu đối thủ biết phương thức thu thập liệu người dùng AI, kẻ thù tác động đến q trình thu thập để cơng hệ thống AI thông qua công độc Do đó, thời đại cơng AI đòi hỏi thái độ liệu hoàn toàn ngược với thực tiễn thu thập liệu 3.2 Chế tạo công đầu độc Để thực công đầu độc, kẻ công nhằm mục tiêu vào nội dung sử dụng trình học tập: tập liệu sử dụng để học mô hình, thuật tốn sử dụng để học mơ hình mơ hình Bất kể phương pháp nào, kết cuối mơ hình có điểm yêu ẩn cửa hậu mà sau bị công cách khai thác điểm yếu biết 3.2.1 Đầu độc tập liệu Cách trực tiếp để đầu độc mơ hình thông qua tập liệu Như thảo luận trước đó, mơ hình hồn tồn phụ thuộc vào tập liệu Đầu độc tập liệu đầu độc mơ hình Kẻ cơng thực điều cách đưa liệu khơng xác gắn nhãn sai vào tập liệu Bởi thuật tốn học máy học mơ hình cách nhận dạng mẫu tập liệu này, liệu bị nhiễm độc làm gián đoạn trình học tập Ngồi ra, đối thủ thay đổi hành vi để liệu thu thập từ đầu bị sai Việc phát liệu bị nhiễm độc để ngăn chặn cơng nhiễm độc khó khăn quy mô liệu Tập liệu thường chứa hàng triệu mẫu Ngay tập liệu thu thập xác minh cách riêng tư, kẻ cơng xâm nhập vào hệ thống nơi liệu lưu trữ đưa mẫu bị nhiễm độc tìm cách làm hỏng mẫu hợp lệ khác 3.2.2 Ngộ độc thuật toán Một cách khác để thực công đầu độc tận dụng điểm yếu thuật tốn sử dụng để xây dựng mơ hình Mối đe dọa đặc biệt rõ ràng [13] Federated Learning, thuật toán học máy tiên tiến xuất Federated Learning phương pháp đào tạo mơ hình học máy đồng thời bảo vệ quyền riêng tư liệu cá nhân Thay thu thập liệu nhạy cảm có khả tập trung từ nhóm người dùng sau kết hợp liệu họ thành tập liệu, Federated Learning thay vào đào tạo tập hợp mơ hình nhỏ trực tiếp thiết bị người dùng sau kết hợp mơ hình nhỏ với để tạo thành mơ hình cuối Bởi liệu người dùng không rời khỏi thiết bị họ, quyền riêng tư họ bảo vệ nỗi sợ hãi họ việc cơng ty sử dụng sai liệu họ sau thu thập giảm bớt Federated Learning coi giải pháp có khả đột phá cho vấn đề sách cơng phức tạp xung quanh quyền riêng tư liệu người dùng, cho phép cơng ty phân tích sử dụng liệu người dùng mà không cần thu thập liệu Tuy nhiên, có điểm yếu thuật tốn Federated Learning khiến dễ bị cơng mơ hình Khi kẻ cơng có quyền kiểm sốt liệu họ thiết bị họ, họ thao túng liệu thuật toán chạy thiết bị họ để đầu độc mơ hình 3.2.3 Đầu độc mơ hình Con đường cuối để đầu độc mơ hình cần thay mơ hình hợp pháp mơ hình bị nhiễm độc Điều đơn giản để thực với công mạng truyền thống Sau đào tạo, mơ hình tệp nằm máy tính, khơng khác hình ảnh hay tài liệu PDF Những kẻ cơng hack hệ thống nắm giữ mơ hình này, sau thay đổi tệp mơ hình thay hồn tồn tệp mơ hình bị nhiễm độc Về mặt này, mơ hình huấn luyện xác với tập liệu xác minh kỹ lưỡng khơng bị nhiễm độc, mơ hình thay mơ hình bị nhiễm độc KẾT LUẬN Các công AI khác biệt chất so với công an ninh mạng Không giống lỗ hổng bảo mật mạng truyền thống, vấn đề tạo công AI “sửa” “vá” Các lỗ hổng bảo mật mạng truyền thống thường kết lỗi lập trình viên người dùng Kết là, lỗi xác định sửa chữa Ngược lại, vấn đề cơng AI mang tính nội hơn: thuật tốn phụ thuộc chúng vào liệu vấn đề Sự khác biệt có ảnh hưởng đáng kể đến sách phòng ngừa Giảm thiểu lỗ hổng bảo mật mạng truyền thống giải “lỗi” đào tạo người dùng để ngăn chặn kẻ thù giành quyền kiểm soát thao túng hệ thống khác Tuy nhiên, công AI, thân thuật tốn có hạn chế cố hữu cho phép cơng Ngay mơ hình AI đào tạo để đáp ứng tiêu chuẩn xác cách sử dụng liệu thuật toán chưa bị xâm phạm, bị cơng Do đó, việc bảo vệ chống lại lỗ hổng thuật toán nội yêu cầu công cụ chiến lược khác Điều bao gồm việc thực bước để làm cho việc thực công trở nên khó khăn hơn, hạn chế phụ thuộc phạm vi tiếp cận ứng dụng xây dựng hệ thống AI TÀI LIỆU THAM KHẢO 1, Bagdasaryan, Eugene, cộng “How to backdoor federated learning.” arXiv preprint arXiv:1807.00459 (2018) 2, Eykholt, Kevin, cộng “Robust physical-world attacks on deep learning visual classification.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2018 3, Eykholt, Kevin, cộng “Robust physical-world attacks on deep learning visual classification.” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2018 4, Sharif, Mahmood, cộng “Accessorize to a crime: Real and stealthy attacks on state-of-the-art face recognition.” Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security ACM, 2016 5, Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy “Explaining and harnessing adversarial examples.” arXiv preprint arXiv:1412.6572 (2014) 6, https://www.belfercenter.org/publication/AttackingAI#footnote-071 7, Carlini, Nicholas, and David Wagner “Audio adversarial examples: Targeted attacks on speech-to-text.” 2018 IEEE Security and Privacy Workshops (SPW) IEEE, 2018 8, Athalye, Anish, cộng “Synthesizing robust adversarial examples.” arXiv preprint arXiv:1707.07397 (2017) 9, Link phần mềm: https://github.com/tensorflow/cleverhans 10, Goodfellow, Ian, cộng “Generative adversarial nets.” Advances in neural information processing systems 2014 11, Liu, Yanpei, cộng “Delving into transferable adversarial examples and black-box attacks.” arXiv preprint arXiv:1611.02770 (2016) 12, Ví dụ., “Machine Learning on AWS: Putting Machine Learning in the Hands of Every Developer”, https://aws.amazon.com/machine-learning/ 13, McMahan, H Brendan, cộng “Communication-efficient learning of deep networks from decentralized data.” arXiv preprint arXiv:1602.05629 (2016) 14, List, Mary, “33 Mind-Boggling Instagram Stats & Facts for 2018”, 19 February 2018, https://www.wordstream.com/blog/ws/2017/04/20/instagram-statistics 15, Meeker, Mary, “Internet Trends 2018”, 30 May 2018 https://www.slideshare.net/kleinerperkins/internet-trends-report-2018-9… 16, https://www.techrepublic.com/article/3-ways-criminals-use-artificial-intelligence-incybersecurity-attacks/ CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc TRƯỜNG ĐẠI HỌC QUỐC TẾ PHỊNG ĐÀO TẠO ĐẠI HỌC Thành phố Hồ Chí Minh, ngày 08 tháng năm 2022 DANH SÁCH CÁC LỚP THAY ĐỔI PHỊNG HỌC (Đính kèm cơng văn số 53/ĐHQT-ĐTĐH ngày 08/3/2022) Ngày 12/03/2022 Thứ Số tiết Bảy Tiết BĐ Mã MH Tên mơn học Nhóm Họ tên Phòng L107 Phòng thay A1.207A EN007IU Writing AE1 20 Phạm Hữu Đức Bảy EN008IU Listening AE1 20 Nguyễn Hoàng Khánh L107 A1.207A Bảy EN007IU Writing AE1 28 Nguyễn Thanh Tuấn L104 A2.313 Bảy EN008IU Listening AE1 28 Nguyễn Hoàng Phương Mai L104 A2.313 Bảy EN008IU Listening AE1 19 Nguyễn Hoàng Khánh L106 A2.512 Bảy EN007IU Writing AE1 19 Phạm Hữu Đức L106 A2.512 Bảy EN008IU Listening AE1 27 Nguyễn Hoàng Phương Mai L105 A1.201 Bảy EN007IU Writing AE1 27 Nguyễn Thanh Tuấn L105 A1.201 Bảy EN012IU Speaking AE2 18 Phan Thanh Quang L102 A1.202 Bảy EN012IU Speaking AE2 17 Phan Thanh Quang L102 A1.202 Bảy EN008IU Listening AE1 03 Bùi Diễm Bích Huyền L111 A2.608 Bảy BM033IU Information Technology in the Health Care System 01 Trần Lê Giang L108 A1.208 Bảy EL008IU Writing (C1-C2) 02 Nguyễn Thị Thanh Thương L206 A1.309 Ngày Thứ Số tiết Bảy Tiết BĐ EL017IU Language and Culture 01 Nguyễn Thị Mai Trâm Bảy IT136IU Regression Analysis 01 Võ Thị Lưu Phương Bảy 12/03/2022 Mã MH Tên mơn học Nhóm BM101IU Mechanical design and Manufacturing processes in 01 Lê Duy Tân 41 Nguyễn Thị Minh Nguyệt Bảy IT134IU Biomedical Engineering Internet of Things Bảy EN007IU Writing AE1 01 Họ tên Phòng Phòng thay L207 A2.508 L201 A2.601 L108 A2.301 L201 A2.302 L104 A1.207A L104 A1.207A L105 A2.302 L105 A2.302 L110 A2.309 L110 A2.309 L111 A2.310 L111 A2.310 L107 A2.313 L101 A2.408 L102 A2.409 L102 A1.202 L102 A1.202 Nguyễn Thành Quả Bảy EN008IU Listening AE1 41 Đặng Thị Ngọc Lan Bảy EN008IU Listening AE1 42 Đặng Thị Ngọc Lan Bảy EN007IU Writing AE1 42 Nguyễn Thị Minh Nguyệt Bảy EN011IU Writing AE2 35 Phạm Hữu Đức Bảy EN012IU Speaking AE2 35 Nguyễn Đình Minh Thắng Bảy EN012IU Speaking AE2 36 Nguyễn Đình Minh Thắng Bảy EN011IU Writing AE2 36 Phạm Hữu Đức Bảy EN012IU Speaking AE2 24 Nguyễn Hoàng Khánh Bảy EL010IU Speaking (C1-C2) 01 Nguyễn Thị Ngọc Châu Bảy EEAC021IU Mathematics for Engineers 01 Huỳnh Võ Trung Dũng Hai EN007IU Writing AE1 06 Đỗ Thị Diệu Ngọc 14/03/2022 Hai EN008IU Listening AE1 06 Đặng Hoài Phương Ngày 14/03/2022 Thứ Số tiết Hai Tiết BĐ Mã MH Tên mơn học Nhóm Họ tên Phịng L103 Phòng thay A1.207A EN008IU Listening AE1 05 Đặng Hoài Phương Hai EN007IU Writing AE1 05 Đỗ Thị Diệu Ngọc L103 A1.207A Hai EN008IU Listening AE1 25 Nguyễn Thị Ngọc Châu L111 A1.309 Hai EN007IU Writing AE1 25 Nguyễn Đức Phong L111 A1.309 Hai EN007IU Writing AE1 26 Nguyễn Đức Phong L110 A2.311 Hai EN008IU Listening AE1 26 Nguyễn Thị Ngọc Châu L110 A2.311 Hai EN011IU Writing AE2 21 Nguyễn Lê Bảo Ngọc L203 A2.313 Hai EN011IU Writing AE2 22 Nguyễn Lê Bảo Ngọc L203 A2.313 Hai EN011IU Writing AE2 33 Phạm Hữu Đức L107 A2.509 Hai EN012IU Speaking AE2 33 Bùi Nguyễn Mai Thanh L107 A2.509 Hai EN012IU Speaking AE2 34 Bùi Nguyễn Mai Thanh L106 A2.511 Hai EN011IU Writing AE2 34 Phạm Hữu Đức L106 A2.511 Hai BA190IU Financial Statement Analysis and Business Evaluation 01 Phan Ngọc Anh L101 A1.208 Hai CE101IU Engineering Mechanic - Statics 01 Phạm Nhân Hòa L105 A2.307 Hai BA010IU Managerial Accounting 03 Nguyễn Thị Lê Hà L108 A2.407 Hai EL019IU British Civilization 01 Mai Hồng Quân L105 A2.407 Hai MAFE315IU Introduction to corporate finance 01 Trịnh Quốc Đạt L108 A2.301 Ngày 14/03/2022 Thứ Số tiết Hai Tiết BĐ Mã MH Tên mơn học Nhóm ENEE2015IU Basic Theory of Environmental Structures 01 Hai EN007IU Writing AE1 Hai EN008IU Hai Hai Hai Phạm Nhân Hòa Phòng L101 Phòng thay A2.307 23 Phạm Hữu Đức L105 A1.201 Listening AE1 23 Nguyễn Thị Mai Trâm L105 A1.201 EN008IU Listening AE1 24 Nguyễn Thị Mai Trâm L104 A1.202 EN007IU Writing AE1 24 Phạm Hữu Đức L104 A1.202 EN011IU Writing AE2 16 Đặng Hoài Phương L107 A1.207A Hai EN012IU Speaking AE2 16 Đỗ Thị Diệu Ngọc L107 A1.207A Hai EN012IU Speaking AE2 15 Đỗ Thị Diệu Ngọc L106 A1.401 Hai EN011IU Writing AE2 15 Đặng Hoài Phương L106 A1.401 Hai EN011IU Writing AE2 39 Lê Minh Hà L111 A2.401 Hai EN012IU Speaking AE2 39 Huỳnh Thị Bích Phượng L111 A2.401 Hai EN012IU Speaking AE2 40 Huỳnh Thị Bích Phượng L110 A2.509 Hai EN011IU Writing AE2 40 Lê Minh Hà L110 A2.509 Ba BA185IU Commercial Banking 02 Vũ Thúy Mai Uyên L101 A2.510 Ba BTFT234IU Food microbiology 01 Huỳnh Tiến Đạt L102 A1.201 L109 A1.207A L202 A1.603 15/03/2022 Họ tên Trần Thanh Tú/ Ba ENEE2005IU Environmental Chemistry 01 Ba BA217IU 01 Behavioural Finance Ngô Thị Thuận Vũ Thúy Mai Uyên Ngày 15/03/2022 Thứ Số tiết Ba Tiết BĐ Mã MH Tên mơn học Nhóm Họ tên Phòng L207 Phòng thay A2.309 EE010IU Electromagnetic Theory 01 Phạm Trung Kiên Ba EL014IU Introduction to English Teaching Methodology 01 Nguyễn Hoàng Phương Mai L201 A2.402 Ba ENEE2009IU Biological Processes for Environmental Engineering 01 Nguyễn Thị Hoàng Hải L102 A2.511 Ba EL010IU Speaking (C1-C2) 02 Phan Thanh Quang L101 A2.312 Ba EN008IU Listening AE1 35 Nguyễn Đức Phong L104 A1.309 Ba EN007IU Writing AE1 35 Lưu Nguyễn Đức Minh L104 A1.309 Ba EN007IU Writing AE1 36 Lưu Nguyễn Đức Minh L105 A1.402 Ba EN008IU Listening AE1 36 Nguyễn Đức Phong L105 A1.402 Ba EN007IU Writing AE1 43 Lê Tấn Khánh Nhật L106 A2.407 Ba EN008IU Listening AE1 43 Lê Tấn Khánh Nhật L106 A2.407 Ba EN008IU Listening AE1 44 Nguyễn Thị Mai Trâm L107 A2.508 Ba EN007IU Writing AE1 44 Nguyễn Trần Thái Anh L107 A2.508 Ba EN011IU Writing AE2 25 Phạm Hữu Đức L110 A2.608 Ba EN012IU Speaking AE2 25 Phan Thanh Quang L110 A2.608 Ba BTFT331IU Food unit operations 01 Lê Ngọc Liễu L201 A2.601 Tư EN012IU Speaking AE2 14 Phan Thanh Quang L206 A1.207A Tư EN012IU Speaking AE2 13 Phan Thanh Quang L206 A1.207A 16/03/2022 Ngày 16/03/2022 Thứ Số tiết Tư Tiết BĐ Mã MH Tên môn học Nhóm Họ tên Phịng L104 Phịng thay A1.401 EN011IU Writing AE2 29 Đặng Đức Dũng Tư EN012IU Speaking AE2 29 Nguyễn Thị Ngọc Châu L104 A1.401 Tư EN012IU Speaking AE2 30 Nguyễn Thị Ngọc Châu L105 A2.509 Tư EN011IU Writing AE2 30 Đặng Đức Dũng L105 A2.509 Tư BA222IU Management Decisions and Financial Reporting 02 Lê Phương Thảo L202 A2.507 Tư EE128IU Internet of Things (IoT) 01 Võ Minh Thạnh L203 A2.307 Tư EL026IU Translation (English- Vietnamese) 01 Nguyễn Đình Minh Thắng L108 A2.407 Tư EL028IU Functional Grammar 01 Nguyễn Hoàng Khánh L201 A2.508 Tư BA054IU Corporate Finance 02 Trịnh Thu Nga L202 A1.208 Tư BA057IU Auditing 01 Lê Phương Thảo L108 A1.309 Tư BA145IU International Marketing 01 Nguyễn Quế Tiên L207 A1.402 Tư BA191IU Quantitative Methods for Finance 01 Võ Xuân Hồng L103 A2.301 Tư BM058IU Biomedical Image Processing 01 Lê Ngọc Bích L101 A2.302 Tư EE083IU Micro-processing Systems 01 Võ Minh Thạnh L102 A2.307 Tư EEAC001IU Materials Science & Engineering 01 Nguyễn Đình Uyên L203 A2.311 Tư EL031IU Sociolinguistics 01 Đặng Hoài Phương L201 A2.407 Tư EN007IU Writing AE1 15 Đặng Đức Dũng L111 A2.508 Ngày Phan Thanh Quang Phòng L111 Phòng thay A2.508 16 Phan Thanh Quang L110 A2.608 Writing AE1 16 Đặng Đức Dũng L110 A2.608 EN007IU Writing AE1 31 Nguyễn Hoàng Phương Mai L105 A1.207A EN008IU Listening AE1 31 Đặng Thị Ngọc Lan L105 A1.207A EN008IU Listening AE1 32 Đặng Thị Ngọc Lan L104 A2.313 Năm EN007IU Writing AE1 32 Nguyễn Hoàng Phương Mai L104 A2.313 Năm EE057IU Programming for Engineers (C) 01 Nguyễn Ngọc Trường Minh L108 A2.409 Năm EE072IU Computer and Communication Networks 01 Nguyễn Ngọc Trường Minh L109 A2.401 Năm EEAC006IU Programmable Logic Control (PLC) 01 Tôn Thất Long L101 A2.507 Năm EL042IU Translation in Business 01 Phạm Hữu Đức L108 A2.508 Năm BA154IU Entrepreneurship and Small Business Management 02 Hồ Điệp L103 A2.301 Năm BA217IU Behavioural Finance 02 Vũ Thúy Mai Uyên L201 A2.501 Năm BM094IU Principles of Clinical Test and Instrumentation 01 Huỳnh Chấn Khôn L102 A1.402 Năm BTFT202IU Food Chemistry 01 Nguyễn Văn Toàn L101 A1.207A Năm BM064IU Applied Informatics Ngô Thị Lụa L104 A2.601 18/03/2022 Sáu BM092IU Cell/Tissue - Biomaterial Interaction Huỳnh Chấn Khôn L105 A1.202 16/03/2022 17/03/2022 Thứ Số tiết Tư Tiết BĐ Mã MH Tên mơn học Nhóm EN008IU Listening AE1 15 Tư EN008IU Listening AE1 Tư EN007IU Năm Năm Năm 02-01 01 Họ tên Ngày 18/03/2022 Thứ Số tiết Mã MH Sáu Tiết BĐ Tên mơn học Nhóm Họ tên Phòng L103 Phòng thay A1.207A BTBC215IU Instrumental Analysis 01 Phạm Thị Hoa Sáu BTFT305IU Food quality assurance systems 01 Đặng Quốc Tuấn L101 A1.208 Sáu CHE2024IU Computational Chemistry 01 Huỳnh Kim Lâm L207 A1.309 Sáu EE079IU Power Electronics 01 Nguyễn Văn Bình L102 A2.302 Sáu EEAC010IU Electric Machine 01 Tôn Thất Long L206 A2.501 Sáu IT154IU Linear Algebra 01 Mai Hoàng Bảo Ân L107 A2.601 Sáu ENEE1007IU Experimental Design and Data Analysis 01 Nguyễn Thị Thủy L104 A2.512 Sáu MAFE404IU Financial Risk Management 01 Tạ Quốc Bảo L201 A2.608 Sáu BM008IU Bioethics 01 Hà Thị Thanh Hương L201 A2.302 Sáu EE130IU Capstone Design 01 Nguyễn Đình Uyên L104 A2.309 Sáu EEAC004IU PC Based Control and SCADA System 01 Nguyễn Văn Bình L101 A2.313 Sáu ENEE1006IU Applied Statistics in Environment 01 Trần Thanh Tú L106 A2.509 Sáu IT151IU Statistical Methods 01 Mai Hoàng Bảo Ân L207 A2.501 Sáu CE214IU Civil Architecture 01 Nguyễn Văn Tiếp L206 A2.512 Sáu EN008IU Listening AE1 21 Nguyễn Hoàng Phương Mai L104 A1.207A Sáu EN007IU Writing AE1 21 Lê Tấn Khánh Nhật L104 A1.207A Sáu EN007IU Writing AE1 22 Lê Tấn Khánh Nhật L105 A1.402 Ngày 18/03/2022 Thứ Số tiết Sáu Tiết BĐ Mã MH Tên mơn học Nhóm Họ tên Phịng L105 Phòng thay A1.402 EN008IU Listening AE1 22 Nguyễn Hoàng Phương Mai Sáu EN011IU Writing AE2 31 Đặng Đức Dũng L107 A2.601 Sáu EN012IU Speaking AE2 31 Lưu Nguyễn Đức Minh L107 A2.601 Sáu EN012IU Speaking AE2 32 Lưu Nguyễn Đức Minh L106 A2.608 Sáu EN011IU Writing AE2 32 Đặng Đức Dũng L106 A2.608 Bảy EN007IU Writing AE1 20 Phạm Hữu Đức L107 A1.207A Bảy EN008IU Listening AE1 20 Nguyễn Hoàng Khánh L107 A1.207A Bảy EN007IU Writing AE1 28 Nguyễn Thanh Tuấn L104 A2.313 Bảy EN008IU Listening AE1 28 Nguyễn Hoàng Phương Mai L104 A2.313 Bảy EN008IU Listening AE1 19 Nguyễn Hoàng Khánh L106 A2.512 Bảy EN007IU Writing AE1 19 Phạm Hữu Đức L106 A2.512 Bảy Bảy 2 EN008IU EN007IU Listening AE1 Writing AE1 27 27 Nguyễn Hoàng Phương Mai Nguyễn Thanh Tuấn L105 L105 A1.201 A1.201 Bảy EN012IU Speaking AE2 18 Phan Thanh Quang L102 A1.202 Bảy EN012IU Speaking AE2 17 Phan Thanh Quang L102 A1.202 Bảy EN008IU Listening AE1 03 Bùi Diễm Bích Huyền L111 A2.608 Bảy BM033IU Information Technology in the Health Care System 01 Trần Lê Giang L108 A1.208 19/03/2022 ... L207 A2.508 L201 A2.601 L108 A2.301 L201 A2.3 02 L104 A1 .20 7A L104 A1 .20 7A L105 A2.3 02 L105 A2.3 02 L110 A2.309 L110 A2.309 L111 A2.310 L111 A2.310 L107 A2.313 L101 A2.408 L1 02 A2.409 L1 02 A1 .20 2... operations 01 Lê Ngọc Liễu L201 A2.601 Tư EN012IU Speaking AE2 14 Phan Thanh Quang L206 A1 .20 7A Tư EN012IU Speaking AE2 13 Phan Thanh Quang L206 A1 .20 7A 16/03 /20 22 Ngày 16/03 /20 22 Thứ Số tiết Tư Tiết... L110 A2.311 Hai EN011IU Writing AE2 21 Nguyễn Lê Bảo Ngọc L203 A2.313 Hai EN011IU Writing AE2 22 Nguyễn Lê Bảo Ngọc L203 A2.313 Hai EN011IU Writing AE2 33 Phạm Hữu Đức L107 A2.509 Hai EN012IU Speaking