Sử dụng học máy nghiên cứu mô hình xy 2 chiều tổng quát

Học máy phát triển mạnh mẽ trong thập kỷ qua nhờ sự bùng nổ của dữ liệu lớn, học máy có tác động mạnh trong các lĩnh vực khoa học và công nghệ. Vật lý chất rắn không đứng ngoài xu hướng này. Tính từ 2015, số lượng của các bài báo xuất bản sử dụng học máy trong vật lý, cụ thể trong vật lý chất rắn, gia tăng đáng kể. Hiện tại có 1 lượng lớn ứng dụng học máy trong vật lý chất rắn: Phân loại pha cho mô hình spin cổ điển hoặc mô hình mạng lượng tử, tìm trạng thái cơ bản (ground state) của hệ lượng tử, tăng tốc mô phỏng Monte Carlo. Trong đề tài này, chúng tôi nghiên cứu việc sử dụng học máy nghiên cứu mô hình XY 2 chiều tổng quát. Chúng tôi trình bày 2 vấn đề được của việc phân loại pha của mô hình xy 2 chiều tổng quát. Thứ nhất liệu học máy có phân loại pha tốt hơn các phương pháp khác không. Thứ hai xem xét tại sao nó lại phân loại như vậy, nếu hiệu suất nó tốt hơn thì nó đã dùng đặc trưng gì để phân loại và liệu đặc trưng đó có tương ứng với một đại lượng vật lý nào không.

Sử dụng học máy nghiên cứu mơ hình XY chiều tổng quát Khóa luận tốt nghiệp Nguyễn Bá Nghĩa Ngày 28 tháng 12 năm 2019 Sơ lược đề tài Học máy phát triển mạnh mẽ thập kỷ qua nhờ bùng nổ liệu lớn, học máy có tác động mạnh lĩnh vực khoa học cơng nghệ Vật lý chất rắn khơng đứng ngồi xu hướng Tính từ 2015, số lượng báo xuất sử dụng học máy vật lý, cụ thể vật lý chất rắn, gia tăng đáng kể Hiện có lượng lớn ứng dụng học máy vật lý chất rắn: Phân loại pha cho mơ hình spin cổ điển mơ hình mạng lượng tử, tìm trạng thái (ground state) hệ lượng tử, tăng tốc mô Monte Carlo Trong đề tài này, nghiên cứu việc sử dụng học máy nghiên cứu mơ hình XY chiều tổng qt Chúng tơi trình bày vấn đề việc phân loại pha mơ hình xy chiều tổng quát Thứ liệu học máy có phân loại pha tốt phương pháp khác không Thứ hai xem xét lại phân loại vậy, hiệu suất tốt dùng đặc trưng để phân loại liệu đặc trưng có tương ứng với đại lượng vật lý không Lời cảm ơn Tôi xin chân thành cảm ơn Trường Đại học Khoa học Tự nhiên Hà Nội, viện nghiên cứu Phenikaa, Đại học Phenikaa cho phép thực đồ án trường Trường Đại học Khoa học Tự nhiên Xin cảm ơn viện nghiên cứu Phenikaa Đại học Phenikaa hỗ trợ giúp đỡ suốt q trình tơi làm đồ án Tôi xin chân thành cảm ơn TS Đặng Thế Hùng thầy môn Tin vật lý Đại học KHTN hướng dẫn tơi tận tình chu đáo mặt chun mơn để tơi thực hồn thành đồ án Tơi xin cảm ơn Ban Giám hiệu Trường Đại học Khoa học Tự nhiên thầy cô giúp đỡ động viên tơi suốt q trình nghiên cứu học tập Tơi xin bày tỏ lòng biết ơn sâu sắc đến thầy phản biện, thầy hội đồng chấm đồ án đồng ý đọc duyệt góp ý kiến q báu để tơi hoàn chỉnh đồ án định hướng nghiên cứu tương lai Cuối xin gửi lời cảm ơn chân thành tới gia đình bạn bè, người động viên khuyến khích tơi suốt thời gian tham giao nghiên cứu thực đồ án Mục lục Giới thiệu 1.1 Mô hình XY 1.1.1 Mơ hình Ising phá vỡ đối xứng tự phát 1.1.2 Mô hình XY rời cặp vortex anti-vortex 1.1.3 Mơ hình XY tổng qt 1.2 Học máy học sâu 1.2.1 Học máy 1.2.2 Học sâu 1.2.3 Mạng Feedforward (Feedforward Neural Network) 1.2.4 Hàm mát (Loss function) 1.2.5 Hàm kích hoạt (activation function) 1.2.6 Gradient Descent 1.3 Dùng Deep learning XY chiều tổng quát 5 9 11 12 12 13 14 16 Mơ hình phương thức 2.1 Mơ mơ hình XY sử dụng Monte Carlo 2.1.1 Mơ mơ hình Ising sử dụng Monte Carlo 2.1.2 Mô xy model sử dụng Monte Calo 2.2 Sinh liệu sử dụng Monte Calo 2.3 Quá trình dùng Deep Learning 2.3.1 Dữ liệu 2.3.2 Xử lý liệu 2.3.3 Xây dựng mơ hình 2.4 Dùng SHAP để hiểu mơ hình học sâu 18 18 18 20 20 20 20 21 22 22 Kết 3.1 3.2 3.3 3.4 3.5 28 28 30 32 33 35 Hiệu suất mô hình Độ dốc hiệu suất máy học Tỉ đối kích thước Nghiên cứu 32 neuron layer gần cuối Tính giá trị SHAP cho mơ hình học sâu Kết luận 41 Chương Giới thiệu 1.1 Mơ hình XY Giải Nobel cho vật lý năm 2016 trao cho David Thouless, Michael Kosterliz Duncan Haldane cho khám phá lý thuyết chuyển pha topo pha topo vật chất [1] Đó chuyển pha khám phá số họ gọi chuyển pha Kosterliz-Thouless Chuyển pha KT đặc biệt xảy hệ chiều (trên lớp vật chất mỏng bề mặt tinh thể) có tính chất topo Để hiểu tính chất, đặc điểm nó, trước hết xem vài tính chất chuyển pha Chuyển pha thông thường chuyển pha tan đá sơi Chuyển pha thơng thường có tham số trật tự (order parameter), chuyển pha KT khác với chuyển pha thơng thường , khơng có order parameter Bên xét mơ hình chuyển pha điển hình có order parameter Ising model 1.1.1 Mơ hình Ising phá vỡ đối xứng tự phát Xét mơ hình nhỏ chuyển pha mơ hình Ising, định nghĩa sau Xem xét lưới bình thường, ví dụ mạng vng chiều Mỗi vị trí mạng, đặt spin, spin lên xuống Mỗi spin tương tác với lân cận gần (tương tác trái phải) Chúng ta dùng s = +1 s = −1 để biểu thị spin lên hay xuống tương ứng Mỗi cặp spin s spin s lân cận đóng góp cho lượng hệ lượng −Jss , J số cặp thường chọn số dương (J âm gây phản sắt từ thay sắt từ) Trạng thái lượng thấp hệ mơ hình Ising thu chỉnh tất spin lên +1 tất xuống -1 Lưu ý : hệ có đối xứng sau : lượng hệ ko thay đổi đổi dấu tồn spin cấu hình ngẫu nhiên Ở nhiệt độ thấp, đối xứng vỡ tự phát: spin chủ yếu dọc theo hướng lên xuống (như sắt từ) Ở nhiệt độ cao, khơng có chiếm ưu lên xuống tất spin hệ biểu hệ thuận từ Hình 1.1 cấu hình điển hình 200x200 Ising model thu từ mô Monte Carlo T < T c, T ≈ T c T > T c (từ trái qua phải) Tóm lại, mơ hình Ising có chuyển pha từ pha sắt từ nhiệt độ thấp (nơi đối xứng lên xuống phá vỡ tự phát) đến pha thuận từ nhiệt độ cao Do tồn nhiệt độ chuyển pha Tc Chuyển pha Ising model, tất hệ CHƯƠNG GIỚI THIỆU được nghiên cứu trước đó, trước cơng trình Kosterlitz Thouless, biểu qua phát vỡ đố xứng tự phát (a) T < Tc (b) T ≈ Tc (c) T > Tc Hình 1.1: Hình ảnh ising model trước, gần sau chuyển pha 1.1.2 Mơ hình XY rời cặp vortex anti-vortex Với mơ hình Ising, order parameter độ từ hóa Chuyển pha KT khơng có order paremeter Mơ hình XY dạng tổng q hóa từ mơ hình Ising, spin hướng ngẫu nhiên (Hình 1.2) mạng hình vng phẳng mặt phẳng, khơng có hướng lên xuống Sự tương tác spin lân cận tích vơ hướng Js→ s → = −Jcos(δ), δ góc tạo thành spin giả sử spin có độ dài đơn vị Khi xét không gian chiều, mong muốn cư xử mơ hình Ising chuẩn: pha thuận từ nhiệt độ cao pha sắt từ nhiệt độ thấp Nhưng điều không xảy ra! Có định lý học thống kê, định lý Mermin-Wagner nói :"Sự đối xứng liên tục phá vỡ tự phát chiều" Mơ hình XY có đối xứng liên tục biểu diễn quay tồn cục góc tất spin cấu hình spin bất kỳ, khơng thay đổi lượng hệ Do định lý Mermin-Wagner loại trừ khả pha sắt từ Điều có nghĩa mơ hình XY khơng có chuyển pha ? Không hẳn Kosterlitz Thouless mô hình XY có chuyển pha topo mà khơng có xuất từ hóa tự phát Hình 1.2: Trong mạng vng xy-model, spin hướng Để hiểu xảy ra, cần thảo luận hình thức cụ thể spin hệ : xốy (vortex) Hình 1.3 vortex (bên trái) anti-vortex (bên phải) Các khuyết tật có cấu trúc topo (topological defect ) cần nhiều CHƯƠNG GIỚI THIỆU lượng để hình thành Tuy nhiên người ta thấy gặp vortex-antivortex liên kết với tốn lượng hữu hạn Ở nhiệt độ thấp cặp vortex tách rời ra, nhiệt độ cao xảy tượng ghép cặp vortex antivortex Đó chuyển pha Kosterlitz-Thouless, chuyển pha vortex-antivortex có kết cặp với khong (a) vortex (b) anti-vortex Hình 1.3: Hình ảnh vortex anti-vortex Nhiều hệ chất rắn chiều với tính chất đối xứng tương tự mơ hình xy có chuyển pha Kosterlitz-Thouless (KT) Ví dụ chuyển pha He siêu lỏng màng mỏng chuyển pha KT [2] 1.1.3 Mô hình XY tổng quát Hamilton hệ: H = −J [∆ cos(θi − θj ) + (1 − ∆) cos(qθi − qθj )], (1.1) ij cặp số spin lân cận J số cặp tương tác, set giá trị q số nguyên dương, giá trị q đại diện cho mơ hình cụ thể Trong phương trình 1.1 Số hạng bên vế phải đại diện cho tương tác ferromagnetic Số hạng thứ hai bên vế phải đại diện cho tương tác nematic Giữ mơ hình cổ điển khác nhau, mơ hình XY tổng quát với q = trường hợp thú vị Trường hợp có loại tương tác cạnh tranh nhau: tương tác sắt từ (tương tác sắt từ có xu hướng xếp spin hướng) tương tác nematic (tương tác nematic có xu hướng xếp spin phương); tương tác điều khiển tham số ∆, ∆ chạy từ đến Vì cạnh tranh tương tác, giản đồ pha phức tạp mơ hình XY ngun gốc Trong báo [3], điểm ba giản đồ pha xác định ∆ ≈ 0.325 pha hệ hình 1.4 • P: trạng thái spin hỗn loạn CHƯƠNG GIỚI THIỆU Hình 1.4: Giản đồ pha cho xy model tổng quát Trong trục x giá trị ∆, trục y nhiệt độ CHƯƠNG GIỚI THIỆU • F: sắt từ: spin xếp chiều • N: nematic: spin xếp phương Trong khóa luận này, khảo sát q = cho mơ hình XY tổng qt dùng học máy cho trình phân loại pha Chúng ta ý mơ hình nghiên cứu với vấn đề khác, tập trung tác giả gia tăng hiệu suất học máy cho model, với đề xuất đặc trưng định (feature engineering) từ đầu vào cho học máy Tất nhiên, công việc chúng tơi tập trung vào khía cạnh khác model, xem xét mạng neural huấn luyện vùng điểm ba từ đó, xem xét hiệu suất phương pháp deep learning Từ tài liệu [4], chúng tơi có kiến thức định việc khó khăn mơ Monte Carlo cho mơ hình khu vực xung quanh điểm ba Mô Monte Carlo gặp khó khăn, cần nhiều thời gian để hội tụ, nguyên nhân cạnh tranh tương tác Từ đó, chúng tơi cố gắng giải câu hỏi chính: Có phải hiệu suất deep learning tốt mơ monte-carlo truyền thống Và có, tốt hơn, nói theo cách khác, đại lượng vật lý mà mạng neural học để hiệu suất tốt 1.2 1.2.1 Học máy học sâu Học máy Học máy (Machine learning) công việc dùng thuật tốn để phân tích liệu (data), học từ liệu đó, sau đưa định dự đoán liệu Machine learning khơng phải khái niệm mới, có thời kỳ đóng băng 10 năm trở lại trỗi dậy nhờ bùng nổ liệu lớn (các tình phát triển machine learning hình 1.5) Học máy có tác động mạnh lĩnh vực khoa học công nghệ Vật lý chất rắn khơng đứng ngồi xu hướng Tính từ 2015, số lượng báo xuất sử dụng học máy vật lý, cụ thể vật lý chất rắn, gia tăng đáng kể Hiện có lượng lớn ứng dụng học máy vật lý chất rắn : Phân loạt pha cho mơ hình spin cổ điển mơ hình mạng lượng tử, tìm trạng thái (ground state), tăng tốc mô monte carlo, tiếp tục phân tích giải mơ hình [5] Học máy dùng nhiều kết hợp với tính tốn ab initio cho phân tích tính chất vật liệu thực dự đoán vật liệu với thuộc tính thú vị [6] Cụ thể bước dùng machine learning hình dung • Viết thuật tốn • Máy tính thực thi thuật tốn tập liệu cụ thể (train dataset) • Sau máy tính làm vài tác vụ với liệu chưa sử dụng trước (test data) Vậy machine learning học từ liệu.Hiện tốn machine learning chia làm loại: • Dạng 1: Học có giám sát (supervised learning) CHƯƠNG GIỚI THIỆU Hình 1.5: Quá trình phát triển machine learning Hình 1.6: Cách tiếp cận truyền thống • Dạng 2: Học khơng giám giám sát (unsupervised learning) • Dạng 3: Học củng cố (reinforcement learning) Trong đồ án này, dùng dạng 1, học có giám sát Học có giám sát nghĩa cung cấp liệu gồm sample label tương ứng Sau ta tiến hành cho máy học tập liệu (q trình gọi traing model) để sinh model cụ thể Cuối dùng model để dự đốn label sample mà chưa thấy, chưa học (quá trình gọi dùng model train để predict liệu test) 10 Chương Kết 3.1 Hiệu suất mơ hình Đầu tiên, chúng tơi xem xét hiệu suất mơ hình mạng neural cách xem xét đầu lớp softmax, đánh giá dễ có từ q trình training-testing Tuy nhiên bao gồm nhiều thơng tin giúp hiểu mơ hình Chúng tơi khơng nghiên cứu hiệu suất mơ hình tồn dải ∆, chứng minh báo khác [4] Thay vào đó, chúng tơi tiến hành huấn luyện với ∆ chọn sau (0.2, 0.34, 0.7 1.0) để thử xem kết phụ thuộc ∆ gần xa điểm ba Kích thước mạng L dùng 12,16, 24, 32, 40, 48, 56, 64, cho phép xem xét hiệu ứng kích thước (finite-size) ảnh hưởng đến kết Hiện với ∆ L khác có model riêng biệt với đầu vào khác Đó xy, angle, vortex angle-vortex Cụ thể đầu vào giải thích bên • Thứ đầu vào XY Mỗi cấu hình spin (mỗi điểm liệu) có kích thước Lx L Tại điểm mạng spin Ta lấy hình chiếu spin lên phương x y (phương ngang phương dọc) để làm đầu vào cho model Từ điểm liệu biến đổi đầu vào theo cách có kích thước LxLx2 • Thứ đầu vào angle Mỗi cấu hình spin có kích thước Lx L Tại spin mạng, lấy góc tạo spin với trục x để làm đầu vào Từ điểm dự liệu theo có kích thước LxL (với cách , hiệu suất mơ hình tốt cả) • Thứ đầu vào vortex Theo cách bên trên, với cấu hình spin ta có mảng chiều LxL, điểm mảng góc tạo spin với trục x Sau ta áp dụng cách tính vortex sau, với cụm spin, ta tính vortex Như từ mảng góc LxL ta áp dụng quy tắc tính vortex cộng với việc áp dụng thêm quy luật điều kiện biên tuần hoàn với điểm liệu ta có mảng LxL vortex • Thứ đầu vào anglep-vortex: Với điểm liệu, ta biến đổi theo cách mảng LxL, ta tiếp tục biến đổi theo cách ta mảng khác LxL.Sau ta ghép mảng Lx L lại với ta kiểu đầu vào angle-vortex liệu đầu vào có kích thước LxLx2 28 CHƯƠNG KẾT QUẢ Hình 3.1: Giá trị trung bình output softmax dọc theo điểm có nhiệt độ khác Hình (d) (e) (f) (g) ∆ = 0.34 Hình (d) (e) (f) (g) tương ứng với đầu vào xy, angle, vortex, angle-vortex Bây ta so sách cách biến đổi đầu vào xem cách cho hiệu suất tốt Để xem xét hiệu suất model với cách biến đổi đầu vào khác nhau, ta vẽ đầu lớp softmax (giá trị trung bình softmax điểm nhiệt độ)với nhiệt độ Chúng ta đánh giá hiệu suất model trên khía cạnh độ nhiễu độc dốc đường đầu softmax với nhiệt độ Cùng quan sát hình 3.1 Bằng mắt thường ta quan sát thấy hiệu suất model cho trường hợp xy angle đầu vào tương đương nhau, trường hợp vortex angle-vortex nhiều nhiễu đỡ nhiễu L lớn dần Bên cạnh angle suy từ xy, với khối lượng tính tốn mà hiệu suất tương đương nên chọn angle đầu vào cho kết ben Ngồi giá trị chuyển pha dùng angle làm đầu vào tương tự kết phương pháp khác Tiếp theo sau cố định đầu vào góc, xem xét hiệu suất model thay đổi cho trường hợp delta khác Có trường hợp delta so sánh : ∆ = 0.2,∆ = 0.34,∆ = 0.7,∆ = 1.0 Quan sát hình 3.2 Như biết ∆ = 0.2, tăng nhiệt độ lên xảy chuyển pha Khi nhiệt độ thấp, cấu hình pha F (các spin xếp hướng) Khi nhiệt độ cao lên, xảy chuyển pha lần 1, chuyển cấu hình từ pha F sang pha N (các spin phương), chuyển pha Ising Khi nhiệt độ tiếp tục tăng xảy chuyển từ pha N sang pha P (các spin hỗn loạn), chuyển pha BKT Với ∆ = 0.34,∆ = 0.7,∆ = 1.0, có chuyển pha chuyển pha BKT từ pha F(các spin chiều) sang pha P (các spin hỗn loạn).Do hình 3.2 ∆ = 0.2 ta thấy có đường ∆ khác có đường (vì đường xác suất rơi vào pha N 0) Cho trường hợp ∆ = 0.34,∆ = 0.7,∆ = 1.0, ta thấy có đường , đường tuong ứng với xác xuất rơi vào pha F pha P Khi nhiệt độ thấp, xác xuất model dự đốn cấu hình pha F cao, nên đường cho pha F ngang tung độ 1.0, 29 CHƯƠNG KẾT QUẢ biểu thị model dự đốn chắn cấu hình rơi vào pha F Ngược lại đường cho pha P Khi qua điểm chuyên pha, vị trí đường hốn đổi Nếu model đủ tốt, độ rộng vùng hốn đổi hẹp Ta nhận xét hình vẽ 3.2 sau: • Ta thấy với ∆ = 1.0 đồ thị nhiều nhiễu nhiễu giảm dần giảm ∆ dần từ 1.0 0.7 0.34 • Khu vực chuyển pha hẹp giảm ∆ dần từ 1.0 0.7 0.34 Từ ta đưa kết luận thứ nhất: chuyển BKT, ∆ nhỏ có hiệu suất mơ hình tốt ∆ lớn Tiếp theo quan sát trường hợp ∆ với chiều dài kích thước mạng thay đổi , với tiêu chí so sánh độ nhiễu, ta đưa kết luận thứ hai: model, L lớn có hiệu suất mơ hình tốt Điều coi hiệu ứng kích thước thay đổi (finite size) Tiếp theo quan sát hình vẽ 3.2 ,đó trường hợp chuyển pha cho ∆ = 0.2 Ở điểm giao cắt thứ (giao cắt bên trái) giao xác xuất nhận biết pha F với pha N Ở điểm giao cắt thứ hai (giao cắt bên phải) giao cắt xác xuất nhận biết pha N pha F So sánh chuyển pha này, ta thấy vùng giao cắt chuyển pha thứ hẹp vùng giao cắt chuyển pha thứ nhiễu vùng tốt Từ ta thấy hiệu suất cho xác định chuyển pha thứ tốt thứ 2, nói cách khác model nhận biết chuyển pha Ising tốt chuyển pha BKT cho trường hợp 0.2 Vậy kết luận thứ mạng neural phân biệt chuyển pha Ising tốt chuyển pha BKT Từ góc nhìn người, việc phân loại chuyển pha Ising tốt BKT hiểu Chuyển pha từ F sang N quan sát người nhìn thay đổi spin có đổi hướng mà chiều giữ nguyên Chuyển pha P sang F khó quan sát từ hệ spin hỗn loạn không xắp xếp chuyển sang hệ spin song song Do việc khơng trích xuất đặc trưng ,cụ thẻ qua việc lấy góc làm liệu đầu vào model có xu hướng phân loại giống cách người quan sát, tất nhiên máy hiệu xác 3.2 Độ dốc hiệu suất máy học Ta có đường trung bình đầu softmax theo nhiệt độ với trường hợp ∆ L khác Như nhận xét, hiệu suất mơ hình học sâu tốt biểu độ dốc vùng chuyển pha Độ dốc cao nghĩa hiệu suất model tốt, lý tưởng góc thẳng đứng, độ dốc 90 độ Ta vẽ đồ thị độ dốc mơ hình với ∆ khác theo L1 , quan sát hình 3.3 Từ hình vẽ 3.3 với trường hợp delta khác cho L, ta thấy điều: Thứ nhất, so sánh ∆,khi L lớn độ dốc lớn Nói cách khác, L lớn hiệu suất mơ hình tốt Thứ hai, so sánh ∆ khác với độ lớn L, chuyển pha ∆ = 0.2 từ F sang N có độ dốc lớn Vậy hiệu suất mơ hình cho nhận biết chuyển pha ISING tốt nhất.Thứ ba, hiệu suất mơ hình cho trường hợp ∆ = 0.2 từ N sang P xấp xỉ với hiệu suất mơ hình ∆ = 1.0 30 CHƯƠNG KẾT QUẢ Hình 3.2: Giá trị trung bình output softmax dọc theo điểm có nhiệt độ khác Cả hình dùng góc đầu vào Hình (a) (b) (c) (d) tương ứng với ∆ = 0.2, 0.34, 0.7 1.0 Hình 3.3: Độ dốc vùng chuyển pha model với ∆ = 0.2, 0.34, 0.7 1.0 L khác 31 CHƯƠNG KẾT QUẢ (a) ∆ = 0.2, η = 1.0 (b) ∆ = 0.34, η = 0.8 (c) ∆ = 0.7, η = 1.5 (d) ∆ = 1.0, η = 1.4 Hình 3.4: Hình vẽ trung bình đầu lớp softmax theo hợp ∆ khác 3.3 (T −T c) Tc × L η với trường Tỉ đối kích thước Chúng xem xét hiệu ứng tỷ đối kích thước (finite-size scaling) với ∆ = 0.2, 0.34, 0.7 1.0 Từ hình trung bình đầu lớp soft max theo nhiệt độ c) η , trục tung giữ nguyên bên trên, trục x T, ta biến đổi T thành (T −T × L Tc trung bình đầu lớp softmax Ta thay đổi η đường ứng với L khác gần chồng chập vào Trên hình vẽ 3.4, ta vẽ tất kích thước hình η mà đừng ứng với L gần trùng vào Ta thay đổi η từ 0.1 đến 2.0, sau quan sát η đường chập lại làm Với ∆ = 0.2 ứng với η = đường gần chập vào ∆ = 0.34 η = 0.8 đường gần ∆ = 0.7 η = 1.5 đường gần ∆ = 1.0 η = 1.4 đường gần Trong q trình điều chỉnh η, tơi nhận thấy, với trường hợp ∆ = 0.34,∆ = 0.7,∆ = 1.0, trường hợp khó tìm η đường trung bình lớp softmax theo L gần Có lẽ trường hợp ∆ mà chuyển pha chuyển pha BKT cần cơng thức finite size scaling khác thay cơng thức (T −T c) η cho trường hợp chuyển pha chuyển pha ISING × L Tc Những kết kết đầu mơ hình học sâu thú vị so sánh với mô Monte Carlo , cách dùng để tạo liệu đầu vào Khi sử dụng mô Monte Carlo, tính tốn đầu ∆ = ∆ = dễ dàng 32 CHƯƠNG KẾT QUẢ hội tụ, tính tốn xung quanh khu vực điểm ba cần nhiều thời gian mô để có kết phù hợp bị cạnh tranh tương tác Phương pháp học sâu cho xu hướng ngược lại: ∆ = 1.0 đầu lớp softmax nhiều nhiễu độ rộng vùng chuyển pha lớn, gần vùng điểm ba, đường cong mượt độ rộng chuyển pha hẹp Chúng diễn giải điều từ cách phương pháp hoạt động: cho liệu hội tụ, học sâu quan tâm đến việc liệu ảnh đầu vào , mô Monte Carlo , việc cập nhật cho cấu hình spin khó xảy ∆ gần điểm ba 3.4 Nghiên cứu 32 neuron layer gần cuối Chúng ta khảo sát đầu lớp cuối mạng, lớp softmax, cách vẽ trung bình đầu theo nhiệt độ Bây dịch phía trước lớp nữa, lớp 32 neuron gần cuối Chúng ta phân tích đầu hàm kích hoạt neuron lớp cách nỗ lực hiểu mơ hình làm Với mục đích này, chúng tơi áp dụng mơ hình huấn luyện cho tất điểm tập liệu test tính hàm kích hoạt cho neuron Cụ thể tính trung bình tất đầu cho neuron với, lấy trung bình tồn tập liệu test (cách tiếp giống với cách vẽ trung bình softmax theo nhiệt độ lấy trung bình đầu neuron lớp gần cuối theo nhiệt độ) Hình 3.5 trung bình hàm kích hoạt neuron lớp theo nhiệt độ, với trường hợp ∆ khác L khác Dựa hàm kích hoạt này, chia neuron thành loại "lazy"và "active" Các lazy neuron khơng hoạt động, đầu ln khơng tồn dải nhiệt độ Các active neuron hoạt động cơng tắc tắt bật, trước nhiệt độ T < T c tắt, qua nhiệt độ Tc bật lên ngược lại Tuy nhiên có độ trễ active neuron không tắt bật nhiệt độ chuyển pha Chúng ta thấy có vài neuron khơng biến hồn tồn chuyển trạng thái Chúng mong muốn số lượng lazy neuron có hiệu ứng kích thước thay đổi Từ đếm số lượng lazy neuron cho trường hợp ∆ L khác , ta bảng 3.1 ,nhưng số lượng lazy neuron phụ thuộc vào L lại theo quy luật khơng rõ ràng Nó cho lần huấn luyện mô hình với giá trị L định, tối ưu hóa cho hàm mát dẫn đến kết khác loại cực tiểu hóa địa phương Chúng tơi ý bảng 3.1 cho tất kích thước mạng L tính, ∆ = 0.34 thường xuyên có số lượng lazy neuron nhỏ (ngoại trừ trường hợp L = 56) Chúng biết ∆ = 0.34 gần vùng điểm ba, nơi cạnh tranh tương tác pha F pha N, nhiều active neurons để mơ tả tính chất vật lý Ở mặt đối lập ∆ → ∆ → 0, có tương tác thống trị, cần số lượng nhỏ active neuron đủ Chúng khảo sát neurons lớp CNN, nhiên mẫu 16 filters khơng đủ rõ ràng để có kết luận chặt chẽ cách neuron học từ ảnh liệu 33 CHƯƠNG KẾT QUẢ L ∆ = 0.2 12 16 24 11 32 11 40 18 48 21 56 17 64 29 ∆ = 0.34 ∆ = 0.7 ∆ = 1.0 12 11 13 14 14 16 19 14 12 NA 19 18 NA 19 19 NA 20 16 23 28 Bảng 3.1: Bảng số lượng lazy neuron theo ∆ L (a) ∆ = 0.2, L = 32 (b) ∆ = 0.2, L = 64 (c) ∆ = 0.34, L = 64 (d) ∆ = 0.7, L = 32 (e) ∆ = 0.7, L = 64 (f) ∆ = 1.0, L = 32 (g) ∆ = 1.0, L = 64 Hình 3.5: Trung bình 32 output neuron theo nhiệt độ Trục x nhiệt độ, trục y giá trị trung bình tất điểm có nhiệt độ ứng với trục x 34 CHƯƠNG KẾT QUẢ 3.5 Tính giá trị SHAP cho mơ hình học sâu Từ ví dụ trên, thấy SHAP trực quan, hy vọng có ý nghĩa cho tập liệu Để tiến hành dùng SHAP, dùng thư viện SHAP framework chạy google colab (kết SHAP plot có dùng đến javascipt nên tiến hành chạy trình duyệt) Phân tích bên dựa hiệu suất mơ hình kết đầu neuron, phân tích bên đằng sau kết mơ hình học sâu bao gồm tính chất vật lý hệ hiệu ứng kích thước thay đổi, chuyển pha khác biệt loại chuyển pha Tuy nhiên phân tích chưa đủ cho hiểu học sâu hoạt động Trong thực tế, số lượng lớn liệu đầu vào, diễn dịch mơ hình dự mơ hình dựa kết đầu neural không cách tiếp cận tốt, chúng cần cách tiếp cận nhiều tính thống kê để phân tích model Bằng việc sử dụng SHAP, thu model gải thích (explanation model) , model giải thích model xấp xỉ model học sâu ban đầu Model xấp xỉ có kết đầu tổ hợp tuyến tính đặc trưng điểm liệu (data point) Trong trường hợp chúng ta, đặc trưng góc cho spin cấu hình Chúng tơi vẽ SHAP cho ∆ = 0.2 L = 32 làm ví dụ ( 3.6), chúng tơi vẽ SHAP cho trường hợp tương ứng với pha : sắt từ, nematic, paramagnetic (các đặc trưng góc spin) Với hình vẽ SHAP cho pha, điểm ảnh (pixel, từ ta gọi điểm ảnh pixel để phân biệt với điểm liệu (1 cấu hình spin)) với màu đỏ (giá trị dương) pixel màu xanh (giá trị âm) tương ứng với việc đặc trưng tương ứng đóng góp dương hay âm vào explaination model Trong hình 3.6, chọn điểm để vẽ SHAP, điểm (bên hình) điểm có nhiệt độ gần nhiệt độ chuyển pha Tc1, T