Ứng dụng học máy trong tính phổ phát xạ điều hòa bậc cao

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH KHOA VẬT LÝ KHĨA LUẬN TỐT NGHIỆP ỨNG DỤNG HỌC MÁY TRONG TÍNH PHỔ PHÁT XẠ ĐIỀU HỊA BẬC CAO TP Hồ Chí Minh - Năm 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM TP HỒ CHÍ MINH KHOA VẬT LÝ KHĨA LUẬN TỐT NGHIỆP ỨNG DỤNG HỌC MÁY TRONG TÍNH PHỔ PHÁT XẠ ĐIỀU HÒA BẬC CAO Sinh viên thực hiện: HOÀNG TRỌNG ĐẠI DƯƠNG Người hướng dẫn khoa học: PGS TS PHAN THỊ NGỌC LOAN Chữ ký xác nhận giáo viên hướng dẫn Chữ ký xác nhận chủ tịch hội đồng Phan Thị Ngọc Loan Đinh Thị Hạnh TP Hồ Chí Minh - Năm 2022 Lời cảm ơn Lời đầu tiên, xin cảm ơn cô Phan Thị Ngọc Loan tận tình hướng dẫn giúp đỡ, tạo điều kiện cho việc nghiên cứu hồn thành khóa luận Tơi xin cảm ơn thầy Lê Văn Hồng hỗ trợ, hướng dẫn tơi q trình thực khóa luận Tơi xin cảm ơn thầy cô Khoa Vật Lý, người cung cấp cho kiến thức nên tảng học tập làm việc trường Đại học Sư Phạm Tôi xin cảm ơn trường Đại Học Sư Phạm tạo điều kiện cho bốn năm qua Đồng thời xin cảm ơn anh chị bạn bè hỗ trợ tơi q trình học tập thực khóa luận Lời cảm ơn cuối xin dành cho gia đình tơi, người quan tâm, giúp đỡ động viên trình làm khóa luận nói riêng suốt chặng đường tơi qua Thành phố Hồ Chí Minh, tháng năm 2022 Hoàng Trọng Đại Dương Mục lục Lời cảm ơn _ Mục lục _ Lời nói đầu _ Chương Cơ sở lý thuyết phát xạ phổ HHG 1.1 Mơ hình ba bước Lewenstein _ 1.2 Phương trình TDSE _ 1.3 Cường độ phổ HHG _ 11 Chương Cơ sở lý thuyết mạng noron 12 2.1 Mạng noron nhân tạo _ 12 2.1.1 Chức noron nhân tạo 13 2.1.2 Cấu tạo mạng noron 13 2.2 Các kiến trúc mạng 15 2.2.1 Mạng truyền thẳng _ 15 2.2.2 Mạng tích chập 15 2.3 Các mơ hình mạng noron _ 16 2.3.1 Mơ hình thay 16 2.3.2 Mơ hình hồi quy _ 16 2.3.3 Mơ hình phân loại _ 17 2.4 Tập huấn mơ hình _ 17 2.4.1 Chuẩn bị liệu 17 2.4.2 Quá trình ‘học’ mạng noron 17 2.5 Học chuyển giao 18 Chương Kết thảo luận 19 3.1 Mơ hình thay trích xuất gia tốc lưỡng cực từ tham số 𝜽, 𝑹, 𝑰 _ 19 3.1.1 Phân tử đối xứng hai nguyên tử _ 19 3.1.2 Phân tử bất đối xứng hai nguyên tử phân tử đối xứng ba nguyên tử 28 3.2 Mơ hình hồi quy gia tốc lưỡng cực theo thời gian tham số 𝜽, 𝑹, 𝑰 _ 29 3.2.1 Phân tử đối xứng hai nguyên tử _ 29 3.2.2 Phân tử bất đối xứng hai nguyên tử đối xứng ba nguyên tử _ 32 3.3 Mơ hình phân loại năm phân tử dựa gia tốc lưỡng cực _ 33 Tài liệu tham khảo 37 Danh mục từ viết tắt STT Chữ viết tắt Chữ viết đầy đủ Phiên dịch CNN Convolutional Neural Network Mạng tích chập DL Deep Learning Học sâu FFNN Feed-forward Neural Network Mạng noron truyền thẳng HHG High-order Harmonic Generation Phát xạ sóng điều hịa bậc cao L Loss Mất mát MLP Multi-layer Perceptron Mạng Perceptron đa lớp MSE Mean Square Error Sai số bình phương trung bình TDSE Time-Dependent Schrưdinger Equation Phương trình Schrưdinger phụ thuộc thời gian Danh sách bảng Bảng 2.1 Một số hàm truyền thông dụng _ 15 Bảng 3.1 Giá trị hàm 𝐿 mơ hình huấn luyện theo phương pháp tăng batch_size _ 28 Bảng 3.2 Thơng số năm mơ hình phân tử 34 Danh sách hình ảnh Hình 2.1 Sơ đồ mơ tả phương thức hoạt động noron nhân tạo [19] _ 13 Hình 2.2 Sơ đồ mô tả kiến trúc mạng MLP [19] _ 14 Hình 3.1 Sơ đồ mơ tả mơ hình thay 20 Hình 3.2 Mơ tả thơng tin quan trọng lớp mạng noron _ 20 Hình 3.3 Kiến trúc MLP cho mơ hình thay 21 Hình 3.4 Kiến trúc CNN cho mơ hình thay 22 Hình 3.5 Giá trị log hàm 𝐿 qua epoch huấn luyện kiến trúc MLP cho mơ hình thay 23 Hình 3.6 Giá trị log hàm 𝐿 qua epoch huấn luyện kiến trúc CNN cho mơ hình thay với hàm truyền 23 Hình 3.7 Giá trị log hàm 𝐿 qua epoch huấn luyện kiến trúc CNN cho mơ hình thay với hàm truyền ReLU _ 24 Hình 3.8 Giá trị log hàm 𝐿 qua epoch huấn luyện mơ hình thay thế, siêu tham số batch_size = 32 _ 26 Hình 3.9 Giá trị log hàm 𝐿 qua epoch huấn luyện mơ hình thay thế, siêu tham số batch_size tăng dần 26 Hình 3.10 Giá trị hàm 𝐿 giảm đột ngột batch_size giảm 27 Hình 3.11 Giá trị gia tốc lưỡng cực theo thời gian tham số 𝜃 = 65.78°; 𝑅 = 2.07 a u ; 𝐼 = 3.18 × 1014 W/cm2 _ 27 Hình 3.12 Giá trị log hàm 𝐿 qua epoch huấn luyện mơ hình thay áp dụng phương pháp học chuyển giao 29 Hình 3.13 Giá trị gia tốc lưỡng cực theo thời gian tham số 𝜃 = 66.59°; 𝑅 = 2.23 a u ; 𝐼 = 3.3 × 1014 W/cm2 29 Hình 3.14 Kiến trúc CNN cho mơ hình hồi quy _ 30 Hình 3.15 Sơ đồ mơ tả mơ hình hồi quy _ 31 Hình 3.16 Giá trị log hàm 𝐿 qua epoch huấn luyện mơ hình hồi quy _ 31 Hình 3.17 Ba đồ thị so sánh giá trị thực giá trị mơ hình dự đốn mơ hình hồi quy _ 32 Hình 3.18 Giá trị log hàm 𝐿 qua epoch huấn luyện mơ hình hồi quy áp dụng phương pháp học chuyển giao _ 33 Hình 3.19 Ba đồ thị so sánh giá trị thực giá trị mơ hình dự đốn mơ hình hồi quy áp dụng phương pháp học chuyển giao _ 33 Hình 3.20 Sơ đồ mô tả phân loại _ 33 Hình 3.21 Kiến trúc MLP cho mơ hình phân loại 34 Hình 3.22 Giá trị log hàm 𝐿 qua epoch huấn luyện độ xác kiểm nghiệm mơ hình phân loại 35 Hình 3.23 Đồ thị thể phân bố kết phân loại kiểm nghiệm 35 Lời nói đầu Sự đời laser với xung cực ngắn cung cấp công cụ hữu hiệu việc nghiên cứu cấu trúc nguyên tử, phân tử - vấn đề quan tâm giới khoa học [1]-[4] Laser với xung cực ngắn, cường độ cao tương tác với nguyên tử, phân tử mang lại hiệu ứng phi tuyến có phát xạ điều hòa bậc cao (High-order Harmonic Generation - HHG) [5] Phổ HHG kết việc electron sau bị ion hóa miền liên tục, quay trở tái kết hợp với ion mẹ phát photon lượng cao [4] Vì thế, phổ sóng HHG cung cấp thông tin cấu trúc nguyên tử, phân tử [6] Việc cốt lõi nghiên cứu lý thuyết phổ HHG thực thơng qua mơ hình bán cổ điển [7] mơ hình ba bước Leweinstein [5] Những phương pháp đơn giản hóa việc tính tốn độ xác khơng cao Những phương pháp giải ab initio phương pháp HartreeFock đa cấu hình phụ thuộc thời gian (Multiconfiguration Time-Dependent Hartree-Fock) [8], trực tiếp phương trình Schrưdinger phụ thuộc thời gian (Time-Dependent Schrưdinger Equation TDSE) đem lại kết xác tốn tài ngun tính tốn [9] Phương pháp để thu phổ HHG từ tính tốn lý thuyết vừa xác cao vừa tốn tài nguyên vấn đề quan tâm Sự phát triển học sâu (Deep Learning - DL) thập kỉ gần hứa hẹn trở thành công cụ hữu ích để giải vấn đề DL nhánh chuyên sâu học máy (Machine Learning) Từ phát triển Warren McCulloch Walter Pitts vào năm 1943 [10], DL gặt hái nhiều thành tựu nhiều lãnh vực khác DL lấy ý tưởng từ hệ thần kinh người [11], thông tin qua mạng lưới noron (Neural Network) Với mạng lưới đầu, mơ hình học sâu trích xuất đặc tính (features) thông tin đầu vào Những mạng lưới sâu hơn, mơ hình phân tích nghiên cứu đặc tính học để giải vấn đề giao Điều tương tự người, giáo dục kiến thức từ cấp tiểu học, dựa vào kiến thức để xây dựng phát triển kiến thức khác giải vấn đề Trong q trình, mơ hình tự ‘đánh giá’ kết dựa hàm mát (loss function) tự học hỏi ‘kinh nghiệm’ ‘kỹ năng’ thơng qua thuật tốn tối ưu (optimizer) mà khơng cần có can thiệp hay lập trình thuật tốn từ người DL ứng dụng sống việc dịch tự động, phân loại ảnh… Việc ứng dụng DL vào tính tốn vật lý hồn toàn khả thi đem lại nhiều kết Bao gồm giải phương trình Schrưdinger [12], tính phổ HHG [13], [14] DL mở hướng việc tính tốn phổ HHG vừa khơng tốn tài ngun tính tốn vừa có độ xác cao so với phương pháp giải TDSE truyền thống Nghiên cứu lý thuyết tượng phi tuyến cho laser tương tác với nguyên tử, phân tử phổ HHG ứng dụng liên quan hướng nghiên cứu chủ yếu mạnh Phòng Vật lý Tính tốn trường Đại học Sư Phạm TP.HCM Tuy nhiên nhóm sử dụng phương pháp truyền thống để khảo sát nghiên cứu phổ HHG Những năm gần nhu cầu tạo dựng tính toán phổ HHG với số lượng lớn điểm liệu nhóm tăng việc chưa áp dụng phương pháp DL hạn chế tốc độ nghiên cứu Vì chúng tơi thực khóa luận với mục đích cung cấp cơng cụ cho nhóm Điều hứa hẹn rút ngắn thời gian tính tốn so với phương pháp trước nhóm có độ xác cao Từ đẩy nhanh tốc độ nghiên 3.1.1.2 Khảo sát hàm truyền Trong phần trước, khảo sát mơ hình với hàm truyền Hiện có hai hàm truyền phổ biến ReLU Vì Chúng khảo sát hàm truyền ReLU xây dựng mơ hình thay cho gia tốc lưỡng cực Chúng sử dụng lại kiến trúc mạng CNN đề cập phần trước Mơ hình có siêu tham số epochs = 100 batch_size = 32 Hàm mát tương tự công thức (3.1 Kiến trúc khảo sát hàm ReLU tương tự Hình 3.4 thay đổi hàm truyền lớp hàm ReLU Trong huấn luyện mơ hình qua 100 epoch, ghi nhận giá trị hàm 𝐿 tập huấn (thể qua đường màu xanh) với 𝑁𝑡𝑟𝑎𝑖𝑛 = 30000 điểm liệu kiểm nghiệm (thể qua đường màu đỏ) với 𝑁𝑡𝑒𝑠𝑡 = 3000 điểm liệu thể qua Hình 3.8 Dựa vào đồ thị, ta thấy mơ hình sử dụng hàm truyền ReLU hội tụ chậm so với hàm tanh, giá trị hàm mát 𝐿 thay đổi sau epoch thứ 40 (gần nguyên giá trị 𝐿 = 6.7 × 10−3 ) Tronh đó, hàm cho giá trị hàm 𝐿 = 1.3 × 10−4 sau 100 epoch đồ thị thể xu hướng giảm Chúng kết luận hàm ReLU hàm truyền không thích hợp với việc học liệu gia tốc lưỡng cực Từ kết sử dụng hàm truyền lớp ẩn tất mơ hình sau Hình 3.7 Giá trị log hàm 𝐿 qua epoch huấn luyện kiến trúc CNN cho mơ hình thay với hàm truyền Hình 3.8 Giá trị log hàm 𝐿 qua epoch huấn luyện kiến trúc CNN cho mơ hình thay với hàm truyền ReLU 24 3.1.1.3 Khảo sát siêu tham số batch_size Chúng khảo sát siêu tham số batch_size mơ hình Trong phần chúng tơi sử dụng kiến trúc mạng CNN đề cập Hình 3.4, huấn luyện với siêu tham số batch khác Trong khảo sát thứ nhất, cố định batch_size = 32 huấn luyện 500 epoch có sử dụng early stopping hàm mát mô hình khơng cải thiện sau 30 epoch Trong khảo sát thứ hai, thay đổi batch_size với giá trị 32; 64; 128; 256; 512 trình huấn luyện trường hợp huấn luyện 500 epoch có sử dụng early stopping khảo sát thứ Tương tự phần trước, Hình 3.9 thể giá trị hàm 𝐿 tập huấn kiểm nghiệm với số điểm liệu 𝑁𝑡𝑟𝑎𝑖𝑛 = 30000 𝑁𝑡𝑒𝑠𝑡 = 3000 Quá trình huấn luyện với batch_size = 32 không đổi, kết thúc sớm diễn epoch 452/500 hàm mát 𝐿 = 5.26 × 10−5 kết thúc huấn luyện Trong suốt 452 epoch, giá trị hàm 𝐿 giảm đột ngột lần epoch 48/500 (từ 𝐿 = 1.8 × 10−3 xuống 𝐿 = 5.72 × 10−4) sau giảm dần đề gần theo hàm e mũ Quá trình huấn luyện với batch size thay đổi thể qua Hình 3.10 với số điểm tập huấn kiểm nghiệm tương tự mơ hình khơng đổi batch_size = 32 Mơ hình thứ hai trải qua 912/2500 epoch hàm mát 𝐿 = 3.68 × 10−5 Bảng 3.1 ghi nhận giá trị hàm 𝐿 xung quanh epoch mà batch_size thay đổi Trong trình huấn luyện, hàm 𝐿 giảm đột ngột 45/2500 tương tự lần khảo sát batch_size = 32 Ngoài vị trí đó, tăng batch_size hàm 𝐿 giảm đột ngột giá trị đáng kể so với việc trải qua epoch thể qua Hình 3.11 Tuy nhiên batch_size lớn giá trị giảm đột ngột nhỏ lại Đồng thời số epoch mà mô hình ‘học’ siêu tham số batch_size tăng giảm dần Cả hai phương thức huấn luyện có giá trị hàm mát 𝐿 không nhỏ 10−5 điều tương tự cơng trình [13] Tuy nhiên q trình huấn luyện chúng tơi khơng q 1000 epoch cơng trình [13] huấn luyện mơ hình tương tự qua hàng ngàn epoch Kết chứng tỏ phương pháp early stopping áp dụng giúp tiết kiệm thời gian huấn luyện đạt hiệu cao Qua Hình 3.12, chúng tơi nhận định mơ hình tái tạo tồn hình dáng đường gia tốc lưỡng cực với đường màu xanh thể giá trị thực gia tốc lưỡng cực đường màu đỏ thể giá trị mơ hình dự đốn Nhận tối ưu phương pháp tăng batch_size early stopping, chúng tơi khảo sát mơ hình khác với siêu tham số batch_size tăng dần, trường hợp huấn luyện 500 epoch có sử dụng early stopping 25 Hình 3.9 Giá trị log hàm 𝐿 qua epoch huấn luyện mơ hình thay thế, siêu tham số batch_size = 32 Hình 3.10 Giá trị log hàm 𝐿 qua epoch huấn luyện mơ hình thay thế, siêu tham số batch_size tăng dần 26 Hình 3.11 Giá trị hàm 𝐿 giảm đột ngột batch_size giảm Hình 3.12 Giá trị gia tốc lưỡng cực theo thời gian tham số 𝜃 = 65.78°; 𝑅 = 2.07 𝑎 𝑢 ; 𝐼 = 3.18 × 1014 𝑊/𝑐𝑚2 Đường màu xanh thể giá trị thực gia tốc lưỡng cực đường màu đỏ thể giá trị mơ hình dự đốn 27 Bảng 3.1 Giá trị hàm 𝐿 mơ hình huấn luyện theo phương pháp tăng batch_size Batch_size 32 Epoch 1/500 456/500 457/500 458/500 Loss 2.5e-03 5.3011e-05 5.2614e-05 5.2238e-05 1/500 296/500 297/500 298/500 4.9180e-05 4.1898e-05 4.1710e-05 4.2292e-05 1/500 47/500 48/500 49/500 3.9631e-05 3.8779e-05 3.9130e-05 3.8590e-05 1/500 72/500 73/500 74/500 3.7993e-05 3.7442e-05 3.7740e-05 3.7267e-05 1/500 36/500 37/500 38/500 3.7246e-05 3.6847e-05 3.6828e-05 3.6846e-05 Kết thúc sớm epoch 458/500 64 Kết thúc sớm epoch 298/500 128 Kết thúc sớm epoch 49/500 256 Kết thúc sớm epoch 74/500 512 Kết thúc sớm epoch 38/500 3.1.2 Phân tử bất đối xứng hai nguyên tử phân tử đối xứng ba nguyên tử Sau xây dựng xong mơ hình thay cho phân tử đối xứng hai nguyên tử, tiếp tục xây dựng mơ hình thay cho phân tử bất đối xứng hai nguyên tử phân tử đối xứng ba nguyên tử Đối với phân tử bất đối xứng hai nguyên tử thiết lập giá trị 𝑞1 = 1/3; 𝑞2 = 2/3 với phân tử đối xứng ba nguyên tử thiết lập giá trị 𝑞1 = 𝑞2 = 𝑞3 = 1/3 𝑅1 = 𝑅2 cho công thức 1.2 Các thông số thay đổi phần phân tử đối xứng hai nguyên tử - mục 3.1.1 Chúng sử dụng ba tham số 𝜃; 𝑅; 𝐼 làm thông tin đầu vào mạng noron gia tốc lưỡng cực 4096 thời điểm khác kết đầu Hàm mát MSE công thức (3.1 3.1.2.1 Phương pháp học chuyển giao Thay huấn luyện mơ hình từ đầu, chúng tơi sử dụng lại mơ hình trình bày Hình áp dụng phương pháp học chuyển giao Khi áp dụng phương pháp chúng tơi lấy lại tồn kiến trúc huấn luyện cho mơ hình Hình trừ hai lớp kết nối đầy đủ cuối Với hai lớp noron cuối mơ hình ‘học’ theo thiết đặt kết luận mục 3.1.1.3 - siêu tham số batch_size tăng dần, trường hợp huấn luyện 500 epoch có sử dụng early stopping Để kiểm tra tính hiệu phương pháp học chuyển giao việc giảm số điểm liệu cần thiết để tập huấn kiểm nghiệm, tập huấn cho mạng noron với 𝑁𝑡𝑟𝑎𝑖𝑛 = 5000 lần so với tập huấn mơ hình thay phân tử đối xứng hai nguyên tử Chúng ghi nhận lại giá 28 trị hàm 𝐿 qua epoch thể qua Hình 3.13 Kết thu giá trị hàm 𝐿 = 1.6690 × 10−4 cuối tập huấn Điều có ý nghĩa việc chuẩn bị điểm liệu tốn thời gian tài ngun Tuy mơ hình khơng đạt giá trị 𝐿 thấp mơ hình gốc có chênh lệch đáng kể giá trị 𝐿 huấn luyện kiểm nghiệm mơ hình tái tạo hình dáng quan trọng đường gia tốc lưỡng cực, thể qua Hình 3.14 Hình 3.13 Giá trị log hàm 𝐿 qua epoch huấn luyện mơ hình thay áp dụng phương pháp học chuyển giao Hình 3.14 Giá trị gia tốc lưỡng cực theo thời gian tham số 𝜃 = 66.59°; 𝑅 = 2.23 𝑎 𝑢 ; 𝐼 = 3.3 × 1014 𝑊/𝑐𝑚2 Đường màu xanh thể giá trị thực gia tốc lưỡng cực đường màu đỏ thể giá trị mơ hình dự đốn 3.2 Mơ hình hồi quy gia tốc lưỡng cực theo thời gian tham số 𝜽, 𝑹, 𝑰 3.2.1 Phân tử đối xứng hai nguyên tử Sau xây dựng xong mơ hình cho tốn thuận - tức đầu vào ba tham số đầu gia tốc lưỡng cực theo thời gian, xây dựng mơ hình hồi quy cho tốn ngược - tức đầu vào gia tốc lưỡng cực theo thời gian đầu ba tham số Vì xây dựng mơ hình trích xuất ba tham số 𝜃; 𝑅; 𝐼 từ gia tốc lưỡng cực theo thời gian, sử dụng gia tốc lưỡng cực 4096 thời điểm khác làm thông tin đầu vào mạng noron ba tham số 𝜃; 𝑅; 𝐼 kết đầu Chúng sử dụng lại liệu mục 3.1.1 phần Bộ liệu chia thành hai phần gồm huấn liệu với 𝑁𝑡𝑟𝑎𝑖𝑛 = 30000 điểm liệu kiểm nghiệm với 𝑁𝑡𝑒𝑠𝑡 = 3000 điểm liệu Hàm mát hàm MSE công thức (3.1 Kiến trúc mơ hình gồm nhiều lớp kết nối đầy 29 đủ lớp tích chập, thể qua Hình 3.15 Hình 3.16 Kiến trúc gồm 18 lớp, gồm lớp đầu vào, 16 lớp ẩn (gồm nhiều lớp tích chập - Conv1D, tăng kích thước - UpSampling1D kết nối đầy đủ - Dense) lớp đầu Hình 3.15 Kiến trúc CNN cho mơ hình hồi quy 30 Hình 3.16 Sơ đồ mơ tả mơ hình hồi quy Thông tin đầu vào gia tốc lưỡng cực 4096 thời điểm mơ hình trích xuất ba tham số Hình 3.17 ghi nhận giá trị hàm 𝐿 tập huấn (đường màu xanh) kiểm tra (đường màu đỏ) Mơ hình chúng tơi xây dựng ‘học’ chưa đến 700 epoch hàm 𝐿 = 2.8408 × 10−5 kết thúc q trình huấn luyện Trong cơng trình [13] huấn luyện mơ hình 2000 epoch hàm 𝐿 ≤ 10−4 Sự khác kết ngun nhân cơng trình [13] sử dụng hàm truyền softplus sử dụng hàm truyền Ba đồ thị Hình 3.18 thể giá trị thực giá trị mô hình dựng đốn, mơ hình xác điểm nằm đường chéo đồ thị Như vậy, mơ hình chúng tơi xây dựng trích xuất tốt giá trị ba tham số từ gia tốc lưỡng cực theo thời gian điểm lệch xa đường thẳng Hình 3.17 Giá trị log hàm 𝐿 qua epoch huấn luyện mơ hình hồi quy 31 Hình 3.18 Ba đồ thị so sánh giá trị thực giá trị mơ hình dự đốn mơ hình hồi quy Với trục hồnh giá trị thực trục tung giá trị mơ hình dự đốn Đồ thị bên trái thể cho tham số 𝜃 Đồ thị thể cho tham số 𝑅 Đồ thị bên phải thể cho tham số 𝐼 3.2.2 Phân tử bất đối xứng hai nguyên tử đối xứng ba ngun tử Tương tự phân mơ hình thay thế, chúng tơi xây dựng mơ hình cho phân tử bất đối xứng hai nguyên tử đối xứng ba nguyên tử với phương pháp học chuyển giao Bộ liệu sử dụng trùng với liệu mục 3.1.2 áp dụng phương pháp học chuyển giao cho trích xuất ba tham số từ gia tốc lưỡng cực phân tử bất đối xứng hai nguyên tử (𝑞1 = 1/3; 𝑞2 = 2/3) phân tử đối xứng đối xứng ba nguyên tử (𝑞1 = 𝑞2 = 𝑞3 = 1/3 𝑅1 = 𝑅2 ) Hàm mát sử dụng hàm MSE công thức (3.1 Chúng lấy lại kiến trúc xây dựng mơ hình phân tử đối xứng hai ngun tử cho mơ hình học lại hai lớp cuối Mơ hình huấn luyện thiết đặt kết luận mục 3.1.1.3 - siêu tham số batch_size tăng dần, trường hợp huấn luyện 500 epoch có sử dụng early stopping Với mục tiêu giảm bớt điểm liệu áp dụng phương pháp học chuyển giao, tập huấn cho mạng noron với 𝑁𝑡𝑟𝑎𝑖𝑛 = 5000 điểm liệu, kiểm nghiệm với 𝑁𝑡𝑒𝑠𝑡 = 500 điểm liệu Giá trị hàm 𝐿 tập huấn (đường màu xanh) kiểm tra (đường màu đỏ) thể Hình 3.19 Mơ hình ‘học’ gần 1200 epoch với giá trị 𝐿 = 8.6 × 10−3 sau kết thúc huấn luyện Với giá trị hàm 𝐿 lớn, mơ hình chúng tơi huấn luyện trích xuất ba tham số với giá trị sai lệch nhiều giá trị thật Kết tương tự cơng trình [13] Chúng tơi đề nghị để áp dụng phương pháp học chuyển giao hiệu cho mơ hình cần thêm điểm liệu so với số điểm 5000 điểm 32 Hình 3.19 Giá trị log hàm 𝐿 qua epoch huấn luyện mơ hình hồi quy áp dụng phương pháp học chuyển giao Hình 3.20 Ba đồ thị so sánh giá trị thực giá trị mơ hình dự đốn mơ hình hồi quy áp dụng phương pháp học chuyển giao Với trục hoành giá trị thực trục tung giá trị mơ hình dự đoán Đồ thị bên trái thể cho tham số 𝜃 Đồ thị thể cho tham số 𝑅 Đồ thị bên phải thể cho tham số 𝐼 Sự phân tán điểm so với đường chéo thể mơ hình chưa xác 3.3 Mơ hình phân loại năm phân tử dựa gia tốc lưỡng cực Trong phần chúng tơi xây dựng mơ hình phân loại năm mơ hình phân tử khác thể chi tiết Bảng 3.2 Thơng số năm mơ hình phân tử Trong năm mơ hình có giá trị 𝑅1 ∈ [1.5; 4] a u mô hình phân tử bất đối xứng ba nguyên tử (được gán nhãn Bảng 3.2) thêm vào tham số 𝜑 góc hợp 𝑅1 𝑅2 Hai tham số lại thay đổi khoảng cũ 𝜃 ∈ [0°; 90°] 𝐼 ∈ [1; 4] × 1014 W/cm2 Mỗi mơ hình phân tử tạo dựng 5000 điểm liệu đồng nghĩa với 25000 điểm liệu cho năm mơ hình Nhằm xây dựng mơ hình phân loại năm loại phân tử dựa gia tốc lưỡng cực theo thời gian, sử dụng 4096 điểm gia tốc lưỡng cực theo thời gian làm thông tin đầu vào kết đầu năm giá trị xác suất dự đốn mơ hình phân tử ứng với năm nhãn mơ tả Hình 3.21 Hình 3.22 Chúng tơi sử dụng kiến trúc mạng MLP với hàm truyền lớp ẩn hàm truyền softmax cho lớp đầu để chuẩn hóa kết dạng phần trăm Hàm mát hàm Sparse Categorical Crossentropy sử dụng cho mơ hình phân loại đa lớp [31] Mơ hình huấn luyện theo thiết đặt batch_size tăng dần, trường hợp batch_size trải qua 1000 epoch Hình 3.21 Sơ đồ mô tả phân loại Thông tin đầu vào gia tốc lưỡng cực 4096 thời điểm mơ hình trích xuất xác suất ứng với năm nhãn mơ hình 33 Bảng 3.2 Thơng số năm mơ hình phân tử Nhãn 𝒒𝟏 𝒒𝟐 𝒒𝟑 𝑹𝟐 (𝒂 𝒖 ) 𝝋 1/2 1/2 _ _ 1/3 2/3 _ _ 1/3 1/3 1/3 𝑅1 60° 1/4 1/4 1/2 [3; 5] arccos(𝑅1 /2𝑅2 ) 1/6 1/3 1/2 [3; 5] [45°; 75°] Hình 3.22 Kiến trúc MLP cho mơ hình phân loại Sau tập huấn mơ hình với 𝑁𝑡𝑟𝑎𝑖𝑛 = 25000 điểm liệu kiểm nghiệm với 𝑁𝑡𝑒𝑠𝑡 = 2500 điểm liệu, chúng tơi thu đồ thị Hình 3.23 thể giá trị hàm 𝐿 độ xác mơ hình theo epoch tập huấn Hình 3.24 kiểm nghiệm Theo đồ thị Hình 3.24 mơ hình chúng tơi huấn luyện mơ hình phân loại tốt ba mơ hình phân tử gồm hai mơ hình phân tử hai ngun tử (nhãn 2) mơ hình phân tử đối xứng ba nguyên tử (nhãn 3) với độ xác lên tới 95% Và để phân biệt ba mơ hình riêng này, chúng tơi khảo sát thêm mạng noron với kiến trúc hai lớp ẩn (thay ba lớp ẩn kiến trúc trình bày Hình 3.22) cần 200 epoch mơ hình đạt kết tương tự Tuy nhiên mơ hình chưa phân loại tốt hai mơ hình phân tử ba nguyên tử bất đối xứng (nhãn 4) với độ xác đạt 85% Nguyên nhân đề cập cơng trình [13]: giá trị tham số 𝑅2 𝜑 sử dụng hai mơ hình gần giá trị điện tích sai khác nhỏ (±1/12) dẫn đến khó phân biệt hai mơ hình dựa gia tốc lưỡng cực Chúng tơi đề nghị để tăng thêm độ xác mơ hình cần tăng thêm điểm liệu cho trường hợp gán nhãn 34 Hình 3.23 Giá trị log hàm 𝐿 qua epoch huấn luyện độ xác kiểm nghiệm mơ hình phân loại Hình 3.24 Đồ thị thể phân bố kết phân loại kiểm nghiệm 35 Tổng kết Với kết trình bày chúng tơi hồn thành mục tiêu đề khóa luận Chúng tơi nghiên cứu thành cơng cách thức ứng dụng mơ hình DL vào toán liên quan đến phát xạ HHG, cụ thể sau: Hàm truyền kiến trúc mạng CNN phù hợp với toán liên quan đến HHG Phương pháp tăng batch_size, phương pháp early stopping phương pháp học chuyển giao đem lại hiệu việc tiết kiệm thời gian huấn luyện, thời gian tạo dựng liệu đạt hiệu cao cho toán liên quan đến HHG Bài toán thuận tìm phổ HHG mơ hình phân tử khác từ ba thông số 𝑅; 𝜃; 𝐼 Khi huấn luyện với mơ hình cho phân tử đối xứng hai nguyên tử với 30000 điểm liệu tập huấn hàm 𝐿 ≥ 10−5 Và huấn luyện mơ hình cho phân tử bất đối xứng hai ngun tử bất đối xứng; phân tử đối xứng ba nguyên tử với 5000 điểm liệu phương pháp học chuyển giao hàm 𝐿 ≥ 10−4 Bài tốn ngược tìm ba thơng số 𝑅; 𝜃: 𝐼 từ phổ HHG mơ hình phân tử khác Khi huấn luyện cho mơ hình phân tử đối xứng hai nguyên tử với 30000 điểm liệu tập huấn hàm 𝐿 ≥ 10−5 Và việc huấn luyện mô hình cho phân tử bất đối xứng hai nguyên tử; phân tử đối xứng ba nguyên tử với 5000 điểm liệu chưa hiệu Bài toán phân loại năm mơ hình phân tử từ phổ HHG Đối với phân tử đối xứng hai nguyên tử, phân tử bất đối xứng hai nguyên tử, phân tử đối xứng ba nguyên tử đem lại độ xác cao, lên đến 90% huấn luyện với 5000 điểm liệu cho mơ hình phân tử Cịn phân tử bất đối xứng ba ngun tử mơ hình có độ xác chưa cao, đạt 70% huấn luyện với 5000 điểm liệu Chúng so sánh kết với cơng trình [13], có kết tương tự kết tốt so với cơng trình áp dụng thêm số phương pháp DL khác Như cơng trình đáng tin cậy ứng dụng kiến trúc mạng cho mơ hình phân tử thực tế, nhiên cần tạo liệu tương ứng để huấn luyện cho mơ hình 36 Tài liệu tham khảo [1] K Klünder et al., “Probing Single-Photon Ionization on the Attosecond Time Scale,” Phys Rev Lett., vol 106, p 143002, 2011, doi: 10.1103/PHYSREVLETT.106.143002 [2] M Schultze et al., “Delay in Photoemission,” Science, vol 328, pp 1658–1662, 2010, doi: 10.1126/science.1189401 [3] D Shafir et al., “Resolving the time when an electron exits a tunnelling barrier,” Nature, vol 485, pp 343–346, 2012, doi: 10.1038/nature11025 [4] O Smirnova et al., “High harmonic interferometry of multi-electron dynamics in molecules,” Nature, vol 460, pp 972–977, 2009, doi: 10.1038/nature08253 [5] M Lewenstein, P Balcou, M Ivanov, A L’Huillier, and P Corkum, “Theory of HighHarmonic Generation by Low-Frequency Laser Fields,” Phys Rev A, vol 49, pp 2117–2132, 1994, doi: 10.1103/PhysRevA.49.2117 [6] M Lein, “Attosecond Probing of Vibrational Dynamics with High-Harmonic Generation,” Phys Rev Lett., vol 94, p 53004, 2005, doi: 10.1103/PhysRevLett.94.053004 [7] P B Corkum, “Plasma perspective on strong field multiphoton ionization,” Phys Rev Lett., vol 71, no 13, pp 1994–1997, Sep 1993, doi: 10.1103/PhysRevLett.71.1994 [8] M A L Marques and E K U Gross, “Time-Dependent Density Functional Theory,” Annu Rev Phys Chem., vol 55, 2004, doi: 10.1146/annurev.physchem.55.091602.094449 [9] M Spanner and S Patchkovskii, “Molecular strong field ionization and high harmonic generation: A selection of computational illustrations,” Chem Phys., vol 414, pp 10–19, 2013, doi: 10.1016/j.chemphys.2011.12.016 [10] W McCulloch and W Pitts, “A Logical Calculus of the Idea Immanent in Nervous Activity,” Bull Math Biol., vol 5, pp 115–133, 1943, doi: 10.1007/BF02478259 [11] S Haykin and R Lippmann, “Neural Networks A Comprehensive Foundation,” Int J Neural Syst., vol 5, pp 363–364, 1994 [12] K Mills, M Spanner, and I Tamblyn, “Deep learning and the Schrödinger equation,” Phys Rev A, vol 96, no 4, 2017, doi: 10.1103/PhysRevA.96.042113 [13] M Lytova, M Spanner, and I Tamblyn, “Deep learning and high harmonic generation.” Apr 2020 [14] A Mihailescu, “A new approach to theoretical investigations of high harmonics generation by means of fs laser interaction with overdense plasma layers Combining particle-in-cell simulations with machine learning.,” J Instrum., vol 11, pp C12004–C12004, 2016, doi: 10.1088/1748-0221/11/12/C12004 [15] J Krause, K Schafer, and K Kulander, “High-order harmonic generation from atoms and ions in the high intensity regime,” Phys Rev Lett., vol 68, pp 3535–3538, 1992, doi: 10.1103/PhysRevLett.68.3535 [16] M D Feit, J A Fleck, and A Steiger, “Solution of the Schrödinger equation by a spectral method,” J Comput Phys., vol 47, no 3, pp 412–433, 1982, doi: https://doi.org/10.1016/0021-9991(82)90091-2 [17] K Burnett, V Reed, J Cooper, and P Knight, “Calculation of the background emitted during high-harmonic generation,” Phys Rev A, vol 45, pp 3347–3349, 1992, doi: 10.1103/PhysRevA.45.3347 [18] A Géron, Hands-on Machine Learning whith Scikit-Learing, Keras and Tensorfow 2019 37 [19] J Sima and P Orponen, “Exponential Transients in Continuous-Time Symmetric Hopfield Nets,” 2001, pp 806–814 doi: 10.1007/3-540-44668-0_112 [20] R F Hadley, “Cognition and the computational power of connectionist networks,” Conn Sci., vol 12, no 2, pp 95–110, 2000, doi: 10.1080/09540090050129745 [21] E Udoh and F Z Wang, Handbook of Research on Grid Technologies and Utility Computing: Concepts for Managing Large-Scale Applications: Concepts for Managing Large-Scale Applications IGI Global, 2009 [22] S Koziel, D Echeverría Ciaurri, and L Leifsson, “Surrogate-Based Methods,” in Computational Optimization, Methods and Algorithms, vol 356, 2011, pp 33–59 doi: 10.1007/978-3-642-20859-1_3 [23] N V Queipo, R T Haftka, W Shyy, T Goel, R Vaidyanathan, and P Kevin Tucker, “Surrogate-based analysis and optimization,” Prog Aerosp Sci., vol 41, no 1, pp 1–28, 2005, doi: 10.1016/j.paerosci.2005.02.001 [24] R L B Casella, George, Statistical Inference [25] F A Faber et al., “Prediction Errors of Molecular Machine Learning Models Lower than Hybrid DFT Error,” J Chem Theory Comput., vol 13, no 11, pp 5255–5264, 2017, doi: 10.1021/acs.jctc.7b00577 [26] L Ward, A Agrawal, A Choudhary, and C Wolverton, “A general-purpose machine learning framework for predicting properties of inorganic materials,” npj Comput Mater., vol 2, no 1, p 16028, 2016, doi: 10.1038/npjcompumats.2016.28 [27] J.-M Jo, “Effectiveness of Normalization Pre-Processing of Big Data to the Machine Learning Performance,” J Korea Inst Electron Commun Sci., vol 14, pp 547–552, 2019, doi: 10.13067/JKIECS.2019.14.3.547 [28] Y Yao, L Rosasco, and A Caponnetto, “On Early Stopping in Gradient Descent Learning,” Constr Approx., vol 26, pp 289–315, 2007, doi: 10.1007/s00365-006-0663-2 [29] S Smith, P.-J Kindermans, and Q Le, “Don’t Decay the Learning Rate, Increase the Batch Size,” 2017 [30] A Krizhevsky, I Sutskever, and G Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,” Neural Inf Process Syst., vol 25, 2012, doi: 10.1145/3065386 [31] J Ian Goodfellow, Yoshua Bengio, and Aaron CourvilleHeaton, Deep learning 2016 doi: 10.1007/s10710-017-9314-z 38