CHƯƠNG 1. TỔNG QUAN VỀ XỬ LÝ NHÃN TRONG HỆ THỐNG THÔNG TIN TOÀN QUANG
1.3 Tổng quan nội dung nghiên cứu của Luận án
1.3.4 Mạng nơ-ron quang
Tế bào nơ-ron là một hệ thống phi tuyến lấy cảm hứng từ sinh học có thể đƣợc sử dụng nhƣ khối cơ bản cho các mạng nơ-ron và máy học phức tạp hơn.
Về mặt toán học, một nơ-ron tương đương với một ánh xạ từ N đầu vào đến một đầu ra, với một đầu vào-đầu ra quan hệ được đưa ra bởi phương trình [90]:
∑
(1.7)
trong đó f(z) là hàm kích hoạt nơ-ron, có thể là hàm signmoid, softmax, ReLU hoặc ELU; wi là hàm trọng số, cần đƣợc thiết kế phù hợp để thực hiện xử lý tín hiệu, có thể điều chỉnh đƣợc; b là hệ số bias. Khả năng điều chỉnh này là yêu cầu thiết yếu để tế bào nơ-ron có thể thực hiện nhiệm vụ học tập, qua đó điều chỉnh chức năng truyền tải của mình dựa trên tập dữ liệu đào tạo.
Chương 3 của Luận án sẽ thiết kế một hệ thống để thực hiện ma trận hàm trọng số trong miền quang và ứng dụng trong nhận dạng nhãn quang BPSK.
Hình 1.13 (a) Sơ đồ của nơ-ron với tín hiệu vào xi, (b) hàm kích hoạt phi tuyến
41
Trong trường hợp của nơ-ron, nó biểu diễn sự biến đổi của vectơ đầu vào thành đầu ra bằng cách thực hiện phép nhân vectơ và một hàm kích hoạt nhƣ ở Hình 1.13. Nơ-ron cũng cần một thuật toán học. Mỗi khi một mục dữ liệu trải qua quá trình chuyển đổi truyền tiến, nơ-ron sẽ tính toán lỗi đầu ra và cập nhật trọng số của nơ-ron để giảm thiểu lỗi này. Tốc độ cập nhật vectơ trọng lƣợng phụ thuộc vào một biến, đƣợc gọi là tốc độ học. Hàm để cập nhật trọng số là wi = wi +α(Ot −O)xi. Một nơ-ron thường giải quyết được bài toán tuyến tính, ví dụ để thực hiện các chức năng cổng logic OR, AND hay NAND. Để giải quyết đƣợc các bài toán phức tạp nhƣ nhận dạng thì cần các mạng nơ-ron đa lớp MLP (Multiple Layer Perceptron).
Bên cạnh đó gần đây học máy (Machine Learning-ML) đƣợc quan tâm đặc biệt trở lại do sự gia tăng theo cấp số nhân của các hệ thống máy tính hiệu năng cao, tạo ra một môi trường nơi DNN có thể có hàng chục lớp và hàng triệu tham số [87]. Một ví dụ có cho thấy tất cả tiềm năng của phương pháp này được gọi là DALL E2, một trong những DNN chuyển văn bản thành hình ảnh tiên tiến nhất, với hơn 3.5 tỷ tham số. Các mạng lớn và mở rộng nhƣ vậy đặt ra một yêu cầu rất lớn về tính toán. Kéo theo đó là sự thách thức của công nghệ hiện tại về phần cứng, độ trễ và điện năng tiêu thụ. Tính linh hoạt và khả năng mở rộng của linh kiện điện tử kỹ thuật số cho phép tạo ra một khuôn mẫu nơi các mạng nơ- ron có thể đƣợc mã hóa, thử nghiệm và sử dụng. Hiện nay yêu cầu về mạng nơ- ron ngày càng lớn hơn, do vậy các nhà khoa học trong và ngoài nước trong vài năm trở lại đây đang tìm kiếm các giải pháp mới để theo kịp và cung cấp đủ mức hiệu năng để chạy mạng nơ-ron. Giải pháp đó là dựa trên quy mô, bằng cách sử dụng phần cứng đƣợc kết nối với nhau trong dữ liệu trung tâm hoặc thay đổi kiến trúc mới, ví dụ nhƣ di chuyển từ CPU chung cho ứng dụng cụ thể, chẳng hạn dưới dạng FPGA, GPU hoặc ASIC, được gọi là lõi Tensor.
42
Tuy nhiên, các hệ thống hiện nay còn tồn tại một số hạn chế rất lớn do có nhiều lý do giới hạn vật lý, chẳng hạn nhƣ tiêu thụ năng lƣợng và độ trễ.
Vì các lý do này, các nhà khoa học bắt đầu tìm kiếm các công nghệ có thể cung cấp một bộ tăng tốc phần cứng tốt hơn cho mạng nơ-ron. Trong đó quang (hay quang tử-optics) đƣợc xem nhƣ một giải pháp thay thế cách tiếp cận để triển khai phần cứng mạng nơ-ron hiệu quả, nhờ vào độ trễ của tốc độ ánh sáng và mức tiêu thụ năng lƣợng thấp [88]. Hơn nữa, công nghệ quang tử silic (Silicon Photonics) bắt đầu trở thành một công nghệ đáng tin cậy và phổ biến, cho phép chế tạo hàng loạt mạch quang tử dùng công nghệ vi điện tử, thực hiện của máy gia tốc phần cứng PNN tại quy mô chíp, để phù hợp hơn với nhu cầu của người dùng đầu cuối [20].
ONN cung cấp một cách tiếp cận thay thế đầy hứa hẹn cho việc triển khai vi điện tử và quang điện tử lai. Việc thiết kế thành công các mạng nơ-ron quang tử giải quyết đƣợc vấn đề tốc độ tính toán và công suất tiêu thụ của các hệ thống máy tính hiện tại. Năm 2017 [87], Shen và các nhà khoa học tại MIT và Stanford thành công trong việc thiết kế mạng nơ-ron toàn quang cho các thuật toán học sâu và ứng dụng trong nhận dạng âm thanh, hình ảnh. Từ đó, có nhiều công trình nghiên cứu về mạng nơ-ron quang tử [122-124]. Hầu hết các hệ thống này sử dụng cấu trúc vi cộng hưởng quang với bộ ghép có hướng và các cấu trúc giao thoa Mach Zehnder. Một số kiến trúc mạch tích hợp quang tử PIC được đề xuất trên các năm trước để thực hiện các nhiệm vụ lõi Tensor cho PNN. Bằng cách cho phép điều khiển ánh sáng sử dụng ống dẫn sóng kích thước nhỏ, các mạch quang tử tích hợp có thể tích hợp một số lƣợng lớn trên một chíp. Hoạt động của phép toán nhân và cộng tích lũy (Multiplication And Accumulation - MAC) đƣợc thực hiện trên quy mô nhỏ, sử dụng nhiều đầu vào, bộ điều chế tốc độ cao và bộ tách sóng quang.
43
Kiến trúc sử dụng bộ ghép kênh theo bước sóng (Wavelength Division Multiplexing - WDM) để thực hiện phép nhân Ma trận-Vector đƣợc đƣa ra gần đây trên Hình 1.14, trong đó Hình 1.14 (a) là kiến trúc đầu tiên đƣợc đề xuất bởi Yang et al. sử dụng vi cộng hưởng nối tiếp dùng bộ ghép có hướng [125]. Hình 1.14 (b) kiến trúc khai thác các bộ ghép suy giảm thanh ngang, đƣợc đƣa ra bởi Feldmann và cộng sự [126]. Hình 1.14 (c) thực hiện đầu tiên của cách tiếp cận "quảng bá và trọng lƣợng" (broadcast-weight) từ Tait và cộng sự, để thực hiện kiến trúc nhân và cộng ma trận cho mạng nơ-ron. Hình 1.14 (d) là cách tiếp cận "quảng bá và trọng lượng" tương tự, có thể thực hiện đào tạo và kiểm tra mạng Hopfield. Hình 1.14 (e) Triển khai phép nhân ma trận WDM bằng cách sử dụng các bộ cộng hưởng vi vòng bổ sung, được thực hiện bởi Ma và cộng sự. Hình 1.14 (f) là kiến trúc dùng cách tử Bragg để thực hiện nơ-ron. Cuối cùng Hình 1.14 (g) là phương pháp sử dụng kiến trúc vi cộng hưởng kết hợp vật liệu thay đổi pha để thực hiện mạng nơ-ron quang tử.
Nhƣợc điểm của các hệ thống này là yêu cầu các hệ thống off-chip nhƣ bộ phận chia bước sóng WDM, làm việc với hệ số dương, yêu cầu có một hệ thống điều khiển phản hồi phức tạp để đạt đƣợc các hệ số nhân (kernel) mong muốn. Do vậy, việc nghiên cứu, thiết kế đƣợc các kiến trúc mạng nơ-ron nhân chập trong miền toàn quang giải quyết các nhƣợc điểm trên là một chủ đề nghiên cứu đang đƣợc các nhà khoa học rất quan tâm. Do vậy, Luận án thiết kế nhân nơ-ron trong miền quang tích hợp và thực hiện mạng nơ-ron quang, ứng dụng vào nhận dạng nhãn quang BPSK.
44
Hình 1.14 Kiến trúc thực hiện mạng nơ-ron quang tử
Quang tử silicon sử dụng các kỹ thuật chế tạo CMOS cơ bản và kết hợp điện tử và mạch quang tử. Hầu hết các công việc ban đầu về mạng nơ-ron quang trong quang tử silicon sử dụng cả quang và điện tử. Trong phần này, Luận án khảo sát các cách tiếp cận khác nhau để thực hiện chức năng kiến trúc vi mô với các linh kiện quang tử silicon và thảo luận về sự khác biệt giữa đồng thiết kế quang tử điện tử và điện toán nơ-ron toàn quang.
Trọng số (weight): Chức năng trọng số là điều cần thiết để bắt chước một khớp nơ-ron sinh học kể từ khi thay đổi trọng số là chức năng chính của việc học trong một mạng lưới nơ-ron. Khi việc học tiếp tục, các tham số được điều chỉnh theo các giá trị tạo ra đầu ra chính xác. Vi cộng hưởng là một phương pháp phổ biến để điều chỉnh giá trị trọng lượng và lần đầu tiên được sử dụng để thực hiện hàm trọng số và phép nhân ma trận. Hình 1.15 tổng kết các phương pháp tạo trọng số trong miền quang đến nay, trong đó [127, 128]:
Hình 1.15 (a), 1.15 (b) sử dụng cấu trúc vi cộng hưởng nối tiếp dạng add- drop, Hình 1.15 (c) sử dụng cấu trúc vật liệu thay đổi pha PCM (phase change material) và kết nối thành bộ ghép có hướng và cấu trúc Mach Zehnder như ở Hình 1.15 (e) và 1.15 (f).
45
Hình 1.15 Các phương pháp tạo trọng số quang cho mạng nơ-ron quang tử Thực hiện kiến trúc mạng nơ-ron: có 2 phương pháp chính được công bố đến nay là dùng MZI và vi cộng hưởng.
Giao thoa kế Mach–Zehnder (MZIs), đƣợc sử dụng rộng rãi trong các bộ điều chế quang, giao tiếp quang và điện toán quang tử, là các thành phần quan trọng của mạng dựa trên giao thoa quang. Bằng cách sử dụng bộ suy hao và bộ dịch pha trên các nhánh MZI để điều khiển các trọng số nhằm thay đổi pha và biên độ của quang tín hiệu, MZI có thể hoạt động nhƣ một đơn vị nhân ma trận tự nhiên, từ đó có thể thực hiện chức năng nhân và cộng ma trận ứng dụng trong mạng nơ-ron nhƣ chỉ ra ở Hình 1.16.
(a)
(c)
(e)
(b)
(d)
(f)
46
Hình 1.16 Mạng nơ-ron bằng kết nối MZI
Trong khi ý tưởng về DNNs tồn tại từ hàng thập kỷ, chỉ gần đây chúng mới trở thành tiêu chuẩn hàng đầu trong lĩnh vực tính toán [129]. Điều này trực tiếp liên quan đến sự tăng lên theo cấp số nhân về kích thước của các mô hình và sự phát triển trong công suất tính toán thúc đẩy xu hướng này. Hình 1.17 cho hiệu năng trong nhiệm vụ phân loại ImageNet dưới dạng hàm của số lượng tham số mô hình qua 590 bài báo được báo cáo trong nghiên cứu trước đây. Kích thước của các mô hình DNN tăng lên theo cấp số nhân theo thời gian. Hình 1.17 cho kích thước của các mô hình hàng đầu so với năm chúng đƣợc báo cáo lần đầu. Vào thời điểm Luận án đƣợc viết, các mô hình xử lý ngôn ngữ mới nhất nhƣ GPT-3 và Megatron-Turing NLG yêu cầu hơn 100 tỷ tham số. Nhu cầu ngày càng tăng về tính toán dẫn sóng đã thúc đẩy các nhà
(a)
(c)
(d)
(b)
47
nghiên cứu và ngành công nghiệp phát triển các hệ thống tính toán chuyên dụng. Một vi xử lý tiêu chuẩn, nhƣ CPU, là đa năng. Tuy nhiên, từ góc độ xử lý một mạng nơ-ron sâu, CPU bao gồm rất nhiều tính năng không cần thiết, không những thế còn làm tăng mức tiêu thụ năng lƣợng và trở thành điểm nghẽn cho tính toán. Điều này đƣợc nhận ra vào đầu những năm 2000, khi các GPU đầu tiên đƣợc tái mục đích cụ thể để tăng tốc xử lý đại số tuyến tính cho DNNs.
Hình 1.17 Kích cỡ mô hình DNN
Mặc dù GPU đƣợc tối ƣu hóa cho xử lý đồ họa trên máy tính, chúng không hoàn toàn là linh kiện chuyên biệt cho một ứng dụng cụ thể. Mặc dù nhiều tính năng của hệ thống làm cho chúng trở nên lý tưởng cho xử lý ma trận song song, ASIC thực sự đƣợc tối ƣu hóa cho DNNs có thể mang lại tốc độ nhanh hơn. Vào năm 2017, Google công bố sự phát triển của đơn vị xử lý tensor, hay TPU, đƣợc thiết kế đặc biệt để tăng tốc xử lý ma trận cho trí tuệ nhân tạo. Đáng chú ý, hệ thống này đạt được một bước tiến về hiệu năng gấp nhiều lần so với GPU hàng đầu, đánh dấu một kết quả quan trọng cho lĩnh vực tính toán chuyên biệt cho ứng dụng. Dù đơn vị xử lý tensor cho tiềm năng của một máy tính kỹ thuật số đƣợc tối ƣu hóa hoàn toàn cho các bộ xử lý ma trận, nó vẫn gặp phải một số hạn chế đặc trƣng của hệ thống kỹ thuật số. Các nhà thiết kế nhận thấy rằng mặc dù đơn vị tính toán của họ rất hiệu quả,
Số lƣợng của tham số mô hình
48
nhƣng hiệu năng tổng thể của hệ thống lại bị hạn chế bởi việc truy cập vào và từ bộ nhớ – nói cách khác, đó là vấn đề kết nối được thảo luận trước đó.
Sự hạn chế tự nhiên của các hệ thống kỹ thuật số thúc đẩy sự quan tâm đối với các kiến trúc tính toán thay thế. Một trong các lĩnh vực nghiên cứu hấp dẫn nhất trong những năm gần đây là hệ thống quang cho tính toán.
Trong khi các bộ xử lý điện tử hiện đại cho DNNs bị hạn chế bởi sự tiêu hao năng lƣợng của các kết nối, hệ thống quang lại rất phù hợp để giải quyết vấn đề di chuyển dữ liệu. Trong các kết nối điện tử, mức tiêu thụ năng lƣợng tăng theo chiều dài liên kết; do đó, việc truy xuất dữ liệu từ bộ nhớ ở khoảng cách xa có chi phí năng lƣợng khá cao. Tuy nhiên, các kết nối quang lại có mức tiêu thụ năng lƣợng không phụ thuộc vào chiều dài, xuất phát chỉ từ chi phí chuyển đổi điện-quang và ngƣợc lại.
Hệ thống quang nổi trội trong các loại tính toán đặc thù, đặc biệt là các phép toán tuyến tính. Trong khi các phép toán ma trận tuyến tính có thể tiêu tốn nhiều năng lƣợng trên các bộ xử lý kỹ thuật số, một kiến trúc quang đƣợc thiết kế hợp lý có thể thực hiện xử lý ma trận một cách thụ động, với độ trễ chỉ giới hạn bởi tốc độ ánh sáng. Các chức năng tuyến tính quan trọng khác, nhƣ fanout (quá trình sao chép một tín hiệu duy nhất và phân phối đến N nút) cũng tiêu tốn đáng kể năng lƣợng trong các hệ thống kỹ thuật số, nhƣng lại có thể thực hiện dễ dàng trong công nghệ quang.