Tìm hiểu automl và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP CƠNG NGHỆ THƠNG TIN TÌM HIỂU AUTOML VÀ ỨNG DỤNG GVHD: ThS QCH ĐÌNH HỒNG SVTH : VÕ ĐÌNH VĨNH CHƯƠNG TƠN THẤT GIA BẢO S K L0 1 0 Tp Hồ Chí Minh, năm 2023 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HCM KHOA CÔNG NGHỆ THÔNG TIN NGÀNH KỸ THUẬT DỮ LIỆU Đề tài: TÌM HIỂU AUTOML VÀ ỨNG DỤNG KHĨA LUẬN TỐT NGHIỆP KỸ SƯ NGÀNH KỸ THUẬT DỮ LIỆU SINH VIÊN THỰC HIỆN VÕ ĐÌNH VĨNH CHƯƠNG – 19133012 TƠN THẤT GIA BẢO – 19133009 GIÁO VIÊN HƯỚNG DẪN ThS QCH ĐÌNH HỒNG KHĨA 2019 - 2023 ĐH SƯ CỘNG PHẠM HỒ KỸ THUẬT TP.HCM KHOA CNTT Độc CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ và tên Sinh viên 1: Võ Đình Vĩnh Chương MSSV 1: 19133012 Họ và tên Sinh viên 2: Tôn Thất Gia Bảo MSSV 2: 19133009 Ngành: Kỹ thuật liệu Tên đề tài: TÌM HIỂU AUTOML VÀ ỨNG DỤNG Họ và tên Giáo viên hướng dẫn: ThS Quách Đình Hoàng NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không ? Đánh giá loại: Điểm: Tp Hồ Chí Minh, ngày tháng năm 2023 Giáo viên hướng dẫn (Ký & ghi rõ họ tên) ĐH SƯ CỘNG PHẠM HỒ KỸ THUẬT TP.HCM KHOA CNTT Độc CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* ******* PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ và tên Sinh viên 1: Võ Đình Vĩnh Chương MSSV 1: 19133012 Họ và tên Sinh viên 2: Tôn Thất Gia Bảo MSSV 2: 19133009 Ngành: Kỹ thuật liệu Tên đề tài: TÌM HIỂU AUTOML VÀ ỨNG DỤNG Họ và tên Giáo viên phản biện: TS Nguyễn Thành Sơn NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không ? Đánh giá loại: Điểm: Tp Hồ Chí Minh, ngày tháng năm 2023 Giáo viên phản biện (Ký & ghi rõ họ tên) LỜI CẢM ƠN Lời với sự chân thành tình cảm sâu sắc nhất, nhóm chúng em bày tỏ lịng biết ơn đến Khoa Công nghệ thông tin, Trường Đại học Sư Phạm Kỹ Thuật Thành phố Hồ Chí Minh tạo điều kiện, hỗ trợ, giúp đỡ chúng em suốt q trình học tập vừa qua Nhóm xin gửi lời cảm ơn đến Ban Chủ nhiệm khoa Công nghệ Thông tin thầy cô khoa Công nghệ Thông tin - trường Đại học Sư phạm Kỹ Thuật Thành Phố Hồ Chí Minh tạo mơi trường học tập làm việc chuyên nghiệp, nhiệt tình giảng dạy chúng em thực đề tài nói riêng sinh viên khoa Cơng nghệ Thơng tin nói chung trình học tập làm việc trường Đặc biệt, chúng em xin chân thành gửi lời cảm ơn tới thầy ThS Qch Đình Hồng - giáo viên hướng dẫn, người trực tiếp giúp đỡ, dẫn tận tình, hướng dẫn nhóm hồn thành khóa luận tốt nghiệp thời gian qua Trong trình nghiên cứu đề tài, chúng em có cố gắng định song kinh nghiệm thực tiễn cịn thiếu sót kinh nghiệm chun mơn cịn non yếu, báo cáo có thiếu sót hạn chế định Kính mong nhận phản hồi, đóng góp ý kiến bảo thêm q thầy để nhóm đạt kiến thức hữu ích nhất, nâng cao ý thức để phục vụ cho kỹ sau này Chúng em xin chân thành cảm ơn! ĐH SƯ PHẠM CỘNG KỸ HOÀ THUẬT TP.HCM KHOA CNTT Độc CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh Phúc ******* ******* ĐỀ CƯƠNG KHÓA LUẬN TỐT NGHIỆP Họ và tên Sinh viên 1: Võ Đình Vĩnh Chương MSSV 1: 19133012 Họ và tên Sinh viên 2: Tôn Thất Gia Bảo MSSV 2: 19133009 Thời gian làm khóa luận từ tháng 02/2023 đến tháng 07/2023 Chuyên ngành: Kỹ thuật liệu Tên khóa luận: TÌM HIỂU AUTOML VÀ ỨNG DỤNG Giáo viên hướng dẫn: ThS Qch Đình Hoàng Nhiệm vụ khóa luận: Tìm hiểu Machine Learning Tìm hiểu Automated Machine Learning (AutoML) Tìm hiểu quy trình xây dựng mơ hình máy học truyền thống với quy trình xây dựng mơ hình máy học với AutoML Tìm hiểu phương pháp AutoML Tìm hiểu số hệ thống, thư viện AutoML Thực nghiệm phát triển ứng dụng xây dựng mơ hình học máy tối ưu với AutoML Đề cương viết luận văn: Phần MỞ ĐẦU 1.1 Tính cấp thiết đề tài 1.2 Mục tiêu đề tài 1.3 Phương pháp nghiên cứu 1.4 Phân tích nghiên cứu có liên quan 1.5 Kết dự kiến Phần NỘI DUNG Chương 1: Tổng quan Machine Learning Chương 2: Tổng quan AutoML Chương 3: Các phương pháp AutoML Chương 4: Các hệ thống, thư viện AutoML Chương 5: Ứng dụng AutoML – Xây dựng mơ hình học máy tối ưu với PyCaret Phần KẾT LUẬN Kết luận Kết đạt Hạn chế Hướng phát triển KẾ HOẠCH THỰC HIỆN STT Thời gian Công việc 20/02 – 06/03 Tìm hiểu Machine Learning Khái niệm, quy trình 06/03 – 27/03 Tìm hiểu AutoML Khái niệm, thuật tốn 27/03 – 10/04 Tìm hiểu phương pháp AutoML HPO, NAS, Meta-Learning 10/04 – 24/04 Tìm hiểu số hệ thống, thư viện AutoML PyCaret, FLAML, Azure AutoML,… 24/04 – 22/05 Thực nghiệm xây dựng mơ hình học máy tối ưu với AutoML Bài toán phân loại với tập liệu 22/05 – 29/05 Kiểm thử thực nghiệm So sánh kết thực nghiệm với quy trình truyền thống 29/05 – 19/06 Phát triển ứng dụng xây dựng mơ hình học máy tối ưu với AutoML Xây dựng ứng dụng web cho thực nghiệm với Streamlit 19/06 – 03/07 Viết và hoàn thiện khóa luận Ghi TP.Hồ Chí Minh, ngày tháng năm 2023 Ý kiến giáo viên hướng dẫn (ký ghi rõ họ tên) Người viết đề cương ThS QCH ĐÌNH HỒNG VÕ ĐÌNH VĨNH CHƯƠNG TƠN THẤT GIA BẢO MỤC LỤC MỞ ĐẦU 1 Tính cấp thiết đề tài Mục tiêu đề tài Phương pháp nghiên cứu 3.1 Về mặt lý thuyết 3.2 Về mặt thực nghiệm 3.3 Đối tượng nghiên cứu 3.4 Phạm vi nghiên cứu Những nghiên cứu có liên quan Kết dự kiến NỘI DUNG Chương 1: TỔNG QUAN VỀ MACHINE LEARNING 1.1 Khái niệm Machine Learning 1.2 Những vấn đề Machine Learning 1.3 Quy trình xây dựng mơ hình Machine Learning 10 Chương 2: TỔNG QUAN VỀ AUTOML 12 2.1 Khái niệm sự đời AutoML 12 2.2 Ưu và nhược điểm AutoML 14 2.3 Các toán thuật toán học máy sử dụng AutoML 16 2.4 Cách hoạt động quy trình xây dựng mơ hình Machine Learning với AutoML 22 Chương 3: CÁC PHƯƠNG PHÁP AUTOML 26 3.1 Hyperparameter Optimization (Tối ưu hoá siêu tham số) 26 3.2 Neural Architecture Search 29 3.3 Meta-Learning 32 Chương 4: CÁC HỆ THỐNG, THƯ VIỆN AUTOML 36 4.1 PyCaret 36 4.2 Hyperopt-sklearn 38 4.3 FLAML 39 4.4 H2O AutoML 40 4.5 Microsoft Azure - AutoML 42 Chương 5: ỨNG DỤNG AUTOML – XÂY DỰNG MƠ HÌNH HỌC MÁY TỐI ƯU VỚI PYCARET 45 5.1 Giới thiệu toán 45 5.2 Giới thiệu phân tích tập liệu 47 5.3 Thực nghiệm 52 5.4 Các thư viện và môi trường cài đặt ứng dụng 58 5.5 Các chức ứng dụng 60 KẾT LUẬN 67 Kết luận 67 Kết đạt 68 Hạn chế 68 Hướng phát triển 68 TÀI LIỆU THAM KHẢO 70 Hình 5.13: Cấu hình mơ hình tối ưu Hình 5.13 cho thấy cấu hình mơ hình tối ưu với thơng số chi tiết + Dự đoán tập kiểm thử Tiến hành dự đoán tập liệu kiểm thử (test dataset) sử dụng hàm predict_model() với tham số mơ hình tối ưu tập liệu kiểm thử Hình 5.14: Kết dự đốn mơ hình train dataset Hình 5.14 cho thấy kết dự đốn mơ hình tập huấn luyện với cột ‘Label’ kết dự đốn + Xây dựng mơ hình thủ cơng Tiến hành xây dựng mơ hình học máy thủ cơng với mục đích so sánh với mơ hình sinh thư viện PyCaret Nhóm sử dụng thư viện Sklearn với hai thuật toán Random Forest Logistic Regression Tiến hành thiết lập biến huấn luyện biến mục tiêu, sau thực chia tập train test với test_size = 0.3 random_state = 57 Sau huấn luyện, thu kết độ xác confusion matrix hai thuận tốn sau (hình 5.15) Hình 5.15: Accuracy confusion matrix thuận toán Random forest Logistic Regression + So sánh hiệu suất mơ hình tối ưu thực nghiệm với PyCaret hai mơ hình học máy xây dựng thủ công, ta thấy mơ hình học máy tự động có độ xác cao giảm cơng sức q trình xây dựng mơ hình học máy có hiệu 5.4 Các thư viện môi trường cài đặt ứng dụng + Link Github quản lí source code ứng dụng: https://github.com/vdvChuong/AutoML-Streamlit + IDE lập trình ứng dụng: Visual Studio Code Visual Studio Code phát triển Microsoft, có hỗ trợ lập trình Python Visual Studio Code hồn tồn miễn phí dành cho lập trình viên, hỗ trợ hệ điều hành Windows, Linux macOS Ngồi ra, cung cấp cho người dùng mở rộng khác Jupyter Notebook , Git, Đây thành phần cần thiết cho việc phát triển ứng dụng đề tài + Hệ điều hành lập trình, cài đặt ứng dụng: Microsoft Windows 10 + Ngơn ngữ lập trình ứng dụng: Python 3.7 - Python 3.11 + Giao diện ứng dụng Ứng dụng sử dụng Streamlit - framework mã nguồn mở cho việc xây dựng triển khai ứng dụng web tương tác nhanh chóng với Python Streamlit cho tạo giao 58 diện người dùng đơn giản dễ sử dụng để trình bày trực quan hóa liệu, mơ hình học máy công việc khác liên quan đến khoa học liệu Streamlit có cấu trúc dễ hiểu, cung cấp nhiều template cho phép viết mã Python theo cách tự nhiên viết lệnh tệp script thông thường Các lệnh cài đặt chạy Streamlit hệ điều hành Windows: - Sử dụng lệnh pip python cửa sổ terminal: pip install streamlit - Kiểm tra cài đặt: streamlit hello - Chạy ứng dụng python có sử dụng streamlit: streamlit run myfile.py + Các thư viện Python cần thiết Sử dụng Python - pip package manager để tải và cài đặt thư viện Sử dụng lệnh: pip install -r requirements.txt để cài đặt Python modules packages liệt kê file requirements.txt - PyCaret: PyCaret thư viện Python mã nguồn mở sử dụng cho Machine Learning AI Nó cung cấp tập hợp cơng cụ để thực nhanh chóng cơng việc phổ biến quy trình xây dựng mơ hình học máy, bao gồm khám phá liệu, tiền xử lý, lựa chọn mô hình, tối ưu hóa siêu tham số và đánh giá mơ hình Sử dụng PyCaret phiên 2.3.10 Cài đặt: pip install pycaret Khai báo PyCaret sử dụng cho toán phân loại: from pycaret.classification import * - Pandas: Pandas thư viện Python phổ biến sử dụng cho phân tích liệu xử lý liệu dạng bảng Nó cung cấp cơng cụ cấu trúc liệu linh hoạt DataFrame để dễ dàng thao tác thực tác vụ liên quan đến liệu Cài đặt: pip install pandas Khai báo: import pandas as pd - Numpy: NumPy (Numerical Python) thư viện Python mạnh mẽ cho tính tốn số học xử lý mảng đa chiều Nó cung cấp tập hợp hàm công cụ để làm việc với mảng số ma trận cách nhanh chóng hiệu 59 Cài đặt: pip install numpy Khai báo: import numpy as np - Streamlit_pandas_profiling: Streamlit_pandas_profiling gói mở rộng (extension) thư viện Streamlit và thư viện pandas_profiling Python Nó cung cấp cách đơn giản để tạo báo cáo tự động (EDA) liệu DataFrame Cài đặt: pip install streamlit-pandas-profiling Khai báo: from streamlit_pandas_profiling import st_profile_report - pandas_profiling: pandas_profiling thư viện Python sử dụng để tạo báo cáo tự động liệu pandas DataFrame Nó cung cấp thông tin tổng quan cấu trúc tính chất liệu, giúp người dùng hiểu khám phá liệu (EDA) cách nhanh chóng Cài đặt: pip install pandas-profiling Khai báo: from pandas_profiling import ProfileReport - matplotlib: thư viện hỗ trợ trực quan hóa liệu - plotly: thư viện hỗ trợ tạo biểu đồ tương tác - sklearn: Thư viện hỗ trợ thuật toán đại KNN, XGBoost, random forest, SVM số thuật toán khác + Lệnh chạy ứng dụng localhost streamlit run \automl_pycaret_app.py + Đường dẫn ứng dụng môi trường Streamlit Community Cloud https://automl-pycaret.streamlit.app/ 5.5 Các chức ứng dụng + Các chức ứng dụng - Upload dataset: với chức này người dùng tải tập liệu huấn luyện kiểm tra lên ứng dụng 60 - Profiling dataset (EDA): chức tự động tạo báo cáo phân tích khám phá cho liệu, tạo biểu đồ trực quan hóa (visualizations) giúp người dùng hiểu rõ và khám phá tập liệu - ML Modelling: chức tự động huấn luyện, so sánh, lựa chọn thuật tốn mơ hình học máy tối ưu Sau có mơ hình tối ưu, người dùng tiến hành dự đoán tập liệu cho tốn phân loại tải kết để phân tích - Download best model: chức cho phép tải xuống mơ hình máy học tối ưu với thơng số (metrics), thuật tốn,… tối ưu + Chức Upload dataset Hình 5.16: Giao diện chức 'Upload dataset' Hình 5.16, chức cho phép người dùng tải lên tập liệu họ định dạng CSV thông qua giao diện ứng dụng web Chức file_uploader() Streamlit giúp hiển thị khung để tải file lên, người dùng nhấp vào nút này, hộp thoại chọn file xuất phép người dùng chọn tập tin CSV từ máy tính họ, người dùng thực động tác kéo thả file để tải lên liệu Nếu người dùng tải tập tin, đoạn code đọc tập tin CSV tạo data frame từ nội dung tập tin lưu data frame thành tập tin CSV có tên 'train.csv' để sử 61 dụng trình xử lý liệu huấn luyện mơ hình sau Q trình sử dụng hàm read_csv() to_csv() thư viên Pandas Cuối cùng, hàm dataframe() giúp hiển thị data frame giao diện ứng dụng web dạng bảng liệu Điều này cho phép người dùng xem liệu mà họ tải lên kiểm tra xem có hay không trước tiếp tục xử lý liệu huấn luyện mơ hình + Chức Profiling dataset (EDA) Chức thực EDA (Exploratory Data Analysis) tập liệu sử dụng thư viện pandas_profiling streamlit Hình 5.17: Giao diện chức 'EDA' Hình 5.17, chức tạo báo cáo EDA cho DataFrame df cách sử dụng ProfileReport từ thư viện pandas_profiling Báo cáo EDA chứa thông tin chi tiết cấu trúc, tính chất phân tích liệu DataFrame Hiển thị báo cáo EDA: sử dụng st_profile_report() từ thư viện streamlit Điều cho phép người dùng xem báo cáo EDA trực tiếp giao diện ứng dụng web, bao gồm thông tin phân phối liệu, tương quan biến, biểu đồ trực quan khác Tổng quan, chức này thực EDA DataFrame hiển thị báo cáo EDA cho người dùng giao diện ứng dụng web Điều này giúp người dùng có nhìn tổng quan liệu tiếp cận thơng tin phân tích cách dễ dàng 62 Hình 5.18: chức hiển thị ma trận correlations (độ tương quan) tập liệu ứng dụng Hình 5.18 thể chức hiển thị ma trận correlations (độ tương quan) tập liệu ứng dụng + Chức ML Modelling Chức cho phép lựa chọn mục tiêu (target column) tập liệu, thực phân tích so sánh mơ hình học máy, dự đốn giá trị tập liệu kiểm tra, hiển thị kết dự đoán dạng biểu đồ cột tải kết dự đoán máy cá nhân Sử dụng selectbox() để tạo ô chọn (dropdown) cho người dùng chọn mục tiêu (target column) danh sách columns_array Khi người dùng chọn mục tiêu, thông tin mục tiêu hiển thị Thực thiết lập (setup) thí nghiệm (experiment) với mục tiêu cột chọn, sử dụng hàm setup() từ thư viện PyCaret Thông tin thiết lập thí nghiệm hiển thị dạng DataFrame 63 Hình 5.19: Giao diện chức ‘AutoML Modelling’ So sánh mơ hình học máy tìm mơ hình tốt với thơng số đánh giá mơ hình sử dụng compare_models() từ thư viện PyCaret Kết so sánh mơ hình hiển thị dạng DataFrame Hình 5.20: Bảng so sánh mơ hình học máy thơng số đánh giá mơ hình 64 Hình 5.20, kết bảng so sánh mơ hình học máy thơng số đánh giá mơ hình Ứng dụng cho phép người dùng tải lên tập liệu kiểm tra hiển thị dạng DataFrame Thực dự đoán tập liệu kiểm tra cách sử dụng mơ hình tốt lưu và hiển thị kết dự đoán dạng DataFrame Kết tải dạng file CSV Hình 5.21: Kết dự đốn tập liệu Hình 5.21 hiển thị kết dự đoán, phân loại tập liệu tải lên Tổng quan, chức ML Modelling cho phép việc lựa chọn mục tiêu, thực phân tích so sánh mơ hình, dự đốn giá trị tập liệu kiểm tra hiển thị kết dạng biểu đồ Điều này giúp người dùng có nhìn tổng quan mơ hình tốt kết dự đoán tập liệu + Chức Download best model Chức cho phép tải xuống file best_model.pkl Khi người dùng nhấp vào nút tải xuống, file best_model.pkl tải xuống máy tính người dùng 65 Cụ thể, file best_model.pkl file chứa mơ hình học máy huấn luyện tối ưu Chức file này là lưu trữ thơng tin trạng thái mơ hình huấn luyện, cho phép ta lưu trữ sử dụng mơ hình cách dễ dàng mà khơng cần phải huấn luyện lại từ đầu File pkl định dạng để lưu trữ và đọc đối tượng Python (serialization) Khi mơ hình học máy lưu dạng file pkl, ta sử dụng để thực tác vụ dự đốn liệu mới, tinh chỉnh mơ hình chia sẻ mơ hình với người khác Do đó, chức file best_model.pkl chứa mơ hình học máy tốt lựa chọn tinh chỉnh AutoML, tải xuống sử dụng cho tác vụ liên quan đến mơ dự đoán liệu triển khai ứng dụng 66 KẾT LUẬN Kết luận Qua thời gian thực đề tài “TÌM HIỂU AUTOML VÀ ỨNG DỤNG” sự hướng dẫn thầy Quách Đình Hoàng, chúng tơi hoàn thành khóa luận tốt nghiệp thời hạn kết đề tài đáp ứng số mục tiêu đề Qua khóa luận, chúng tơi rút kết luận rằng: Sự đời AutoML mang lại nhiều lợi ích cho chuyên gia và người bắt đầu lĩnh vực học máy Nó giúp tiết kiệm thời gian cơng sức việc tìm kiếm xây dựng mơ hình tốt nhất, đồng thời giảm độ phức tạp yêu cầu kiến thức chuyên sâu học máy AutoML cung cấp cách tiếp cận tự động hóa, linh hoạt hiệu để tạo mô hình học máy chất lượng cao ứng dụng nhiều lĩnh vực khác AutoML lĩnh vực nghiên cứu tích cực có nhiều tiến tương lai Các phương pháp bao gồm giải nhiệm vụ phân loại hồi quy Tuy nhiên, giải pháp AutoML có hạn chế: + Các vấn đề học bán giám sát, học không giám sát học tăng cường (semisupervised learning, unsupervised learning, reinforcement learning) chưa AutoML giải + Các thuật toán AutoML phụ thuộc vào liệu có liên quan Làm liệu trích lọc đặc trưng (feature engineering) chưa hỗ trợ phương pháp AutoML + Các công việc AutoML nhiều thời gian, tính ngày, để đưa giải pháp hoạt động tốt, với bước khởi động Học máy và AI trở nên dễ tiếp cận qua năm AutoML tiến thêm bước cung cấp mơ hình học máy khả thi từ tập liệu làm đầu vào Điều cung cấp lộ trình thuận lợi với học máy cho người khơng phải chun gia AutoML cung cấp mơ hình sẵn sàng sản xuất cho công ty khởi 67 nghiệp nhỏ dành đủ ngân sách để thuê chuyên gia ML AutoML thích hợp cho sinh viên, nhà học máy bắt đầu học hỏi lĩnh vực học máy Kết đạt Về mặt lý thuyết: - Hiểu rõ học máy, học máy tự động - Quy trình xây dựng mơ hình học máy truyền thống quy trình xây dựng mơ hình học máy với học máy tự động - Hiểu rõ phương pháp học máy tự động Về mặt ứng dụng: - Xây dựng ứng dụng tối ưu quy trình học máy với AutoML: sử dụng ngơn ngữ lập trình Python, thư viện PyCaret, framework Streamlit để xây dựng ứng dụng nhằm tìm thuật tốn, mơ hình học máy cho tốn phân loại (classification) với cấu hình tối ưu, độ xác cao với tập liệu huấn luận kiểm thử (train, test dataset) - Ứng dụng có giao diện dễ sử dụng, có chức cần thiết, tiện lợi như: tải lên tập liệu, trực quan hóa, tải xuống liệu dự đốn, lưu mơ hình tối ưu để sử dụng cho tập liệu Hạn chế + Ứng dụng sử dụng cho toán phân loại (classification), chưa sử dụng cho toán khác AutoML + Thời gian chạy (runtime) ứng dụng cịn cao + Chưa tìm hiểu đủ sâu hệ thống AutoML khác Hướng phát triển + Phát triển ứng dụng AutoML tối ưu mơ hình học máy với toán học máy khác hồi quy, thị giác máy tính NLP (xử lý ngôn ngữ tự nhiên) + Phát triển ứng dụng dựa thêm thư viện AutoML khác: FLAML 68 + Triển khai ứng dụng lên tảng điện toán đám mây (cloud coputing) Microsoft Azure + Tối ưu giao diện web thời gian chạy cho ứng dụng 69 TÀI LIỆU THAM KHẢO [1] Kaiyong Zhao et al., AutoML: A survey of the state-of-the-art, 2019 [2] Frank Hutter et al., Automated Machine Learning, Methods, Systems, Challenges, Springer Nature, 2019 [3] Radwa Elshawi et al., Automated Machine Learning: State-of-The-Art and Open Challenges, 2019 [4] Fernando López, HyperOpt: Hyperparameter Tuning based on Bayesian Optimization, Towards Data Science, 2021 [5] Gokhan Simsek, Introduction to Automated Machine Learning (AutoML), 2019 [6] AutoML.org [Online] Available: https://www.automl.org/automl/ [7] Top AutoML Frameworks for Machine Learning Applications [Online] Available: https://www.alibabacloud.com/blog/6-top-automl-frameworks-for-machine-learning-applications-may2019_595317 [8] PyCaret official document [Online] Available: https://pycaret.readthedocs.io/en/latest/index.html [9] Microsoft, What is automated machine learning (AutoML)? [Online] Available: https://learn.microsoft.com/en-us/azure/machine-learning/concept-automatedml?view=azureml-api-2 [10] Streamlit, Deploy an app [Online] Available: https://docs.streamlit.io/streamlit-community-cloud/get-started/deploy-an-app [11] H2O, H2O AutoML: Automatic Machine Learning [Online] Available: https://docs.h2o.ai/h2o/latest-stable/h2o-docs/automl.html [12] Mircosoft, FLAML document [Online] Available: https://microsoft.github.io/FLAML/ 70