Báo cáo xử lý ảnh sinh trắc giọng nói

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG CƠ SỞ TẠI THÀNH PHỐ HỒ CHÍ MINH I BÁO CÁO SINH C HỌC IỌN N I (VOICE BIOMETRICS) Môn: Gi g viê ướng dẫn: ê g i g Sinh viên thực hiện: Bùi Tấ Mã số sinh viên: N18DCCN085 Lớp : D18CQCN01-N Hồ Chí Minh, ngày 22 tháng 05 năm 2021 M 2 Hoạ động c a sinh tr c h c gi ng nói Trích xu t gi (Đă ký ng nói) cơng ngh nhận dạng gi ng nói Phonexia Nhận ụ thuộ vào vă so v i nhận k ụ thuộ vào vă 6 So sánh vết, ch m đ ểm đ o nhận dạng gi ng nói Phonexia 10 đ ụ i 11 kế 11 10 11 oạ đ i v i h th ng xác minh gi ng nói 10 Tà T m k ảo 11 SINH C HỌC IỌN N I i i thi Sinh tr c h c gi ng nói khoa h c sử dụng gi ng nói c a mộ mộ đ đ ểm sinh h c nhận dạng nh để xác thực h Sinh tr c h c gi ng nói x định mộ i thơng qua gi ng nói nh t c a h Gi mà m i có vân tay ho c võng mạc nh t, công ngh sinh tr c h c gi ng đ c sử dụ để x định mộ i thông qua mẫu gi ng nói c a h Gi ng nói c a m đ c tạo dự ê đ đ ểm vật lý c a cổ h ng mi đ đ c h th ng sử dụ để xác thực nhận dạng c a h cuộ đ n thoại tiếp theo.Khơng có hai gi ng gi ng nhau, c p song sinh gi ng h ũ k ểu gi ng khác Sau cùng, t t ú nhận gi ng nói c đ i tác bạn bè c a mộ độ ch c ch n cao H u hế ú ũ thể x đị đ c sếp c a s địa liên h cơng vi c vịng vài ây đ u tiên c a trò chuy n v Nói mộ ản, tính ch độ đ o a nó, gi ng nói đ ò mật khẩu, tạo đ ều ki n thuận l i cho trình xác thực giảm y ận cho tổ ch c khách hàng c a h ií h inh t h gi ng n i v i xác thực nhanh chóng, dễ dàng - Nâng cao trải nghi m c - Cải thi n bảo mật giảm thiểu vi phạm mật bị xâm nhập, lừa đảo, v.v - Giảm thiểu m T đ a bằ x định kẻ gian lậ b ết - Ngay lập t - Bậ đă x đị â ập tự nhiên cho kênh kỹ thuật s , bao gồm chatbot tr lý ảo - Sử dụ bảo mật ph n c a quy trình xác thực hai yếu t để ă ng Hoạt động c a sinh tr c h c gi ng nói phậ đ o - góp ph n ạo ể - m i phậ k c hình độc H th ng sinh tr c h c gi ng nói hoạ động cách tạo in gi ng nói ho c "mẫu" l i nói c a mộ i Mẫ đ c tạo, mã ữ để xác minh gi ng nói k i dùng ch n tham gia ho “đă ký”.Sinh tr c h c gi ng nói sử dụng gi ng nói c a m i khách hàng làm mã nhận dạng gi ng nói c a h , đo đ đ ểm o độ nhị đ để tạo "d u vân tay" nh t cho gi đ Các d u gi ày đ c tạo công ngh sinh tr c h c gi ng nói â đ đ ểm vậ ý độ đ o đ ng âm, chẳng hạ hình k c mi , đ mũ , ũ yếu t hành vi bao gồm phát âm, nh n mạnh, t độ nói tr ng âm Q ì đă ký ày đ c thực hi n tự động thông qua cổng thoạ , k đến s đ ng dẫn quy trình cung c đ gi để tạo gi ng nói Trung tâm liên h sử dụng h th ng ghi âm g i hi n có c a h để tạo ghi âm nh t cho m i khách hàng ữ ú o li u H th k ữ ghi âm gi ng nói thực sự, ng h p không ch đ y ập vào h th ng, h ũ k ễ thực hi n g i giả mạo T Khi gi đ c tạo, h th ng yêu c u mẫu gi ng nói nhỏ để x đị đ đ ề ày đ c cung c p cuộ đ i thoại g p gỡ chào hỏ b đ ng ođ ,k k i lại, thuậ o đ đ c sử dụ để so sánh li u thoại m i v i li u hi n có t p S đ , quy trình đị đ c sử dụ để đ q yế định c p h th ng vi c xác thực khách hàng Nếu kh đ x m ìk đ c xác thực Gi ng nói c a h ng kh p v i gi đ o vò ây H th ng Sinh tr c h c gi ũ ữ d u vết c a kẻ gian lậ b ế o li u sàng l c g đến Các g đ c sàng l c âm th m khơng có câu hỏi bổ đ c hỏ để kh p v i ghi âm đại lý tiến hành bình o đến h đ c h th ng cảnh báo b t kỳ phát hi n kẻ gian lận Vi c sử dụng sinh tr c h c gi để xác thự đ ày ổ biến cải tiến độ xác, ph n l đ ú đẩy tiến AI nâng cao kỳ v ng c a khách hàng khả ă y ập thơng tin dễ dàng nhanh chóng Các vi phạm li ê q đến mật khẩ ng xuyên lý ok để áp dụng rộ ã k yđ ìm để bảo v li u khách hàng t Trích xuất gi ng n i ( ăng ký gi ng nói) cơng ngh nhận dạng gi ng nói Phonexia Ghi danh gi ng nói b đ u vi c trích xu đ đ ểm âm từ ghi c a gi b ết Quá trình tiếp tục v i vi c tạo mơ hình gi đ đ c chuyể đổi thành biểu diễn s nhỏ đại di o đ c g i Vết gi ng nói (Voiceprint) Trong trình này, SID áp dụng kỹ thuật bù kênh hi đại Gi ng nói ma trậ độ dài c định, n m b t đ đ ểm nh t c a gi ng nói c i nói T ng l i nói t i thiể đ đề nghị cho vi c ghi danh khoảng 30 giây (Phonexia SID h th giảm yêu c u xu ng 20 giây) Gi â đ v thể đ đ c: T đ ểđ ữ o li i dạng t p nhị ví dụ nội dung gi ng nói i có 5 Nhận dạng gi ng nói ph thuộ vào văn so v i nhận dạng gi ng nói khơng ph thuộ vào văn H th ng nhận đ c phân vă bả (vă c định) độc lập (k ụ ộ do) loại là: phụ thuộc vào v vă bả (vă tự Các h th ng ậ phụ thuộ vào vă yêu c u i dùng phả lại s cách phát biểu ( ụm đ c đị , ng ch a vă gi ữ li u đ đă ký Không có ràng buộ ậ k ụ ộ vào vă bả ý o để h th ng xác minh ậ hàng thêm cụm từ mật m i cho m i ụ : phải nh mật c định h th ng k ể xâm ậ bả âm nói nh c khách i dùng không bằ v H th ng ậ k phụ thuộ vào vă mộ ĩ vực nghiên c u tích cực th i gian dài suy giảm hi u su t không kh p đ ều ki rào đ kể cho vi c triển khai So sánh vết, chấm điểm đánh giá so sánh cơng ngh nhận dạng gi ng nói Phonexia B t kỳ gi đ c tạo từ nh t 10 giây l i nói (Phonexia SID h th giảm yêu c u xu ng giây) c a mộ k x định đ c so sánh v i gi đă ký n có h th ng trả đ ểm cho m i l o Đ ểm s đ c tạo cách so sánh hai gi ng nói cách sử dụng Phân tích phân bi t tuyến tính xác su t (PLDA) Đ ểm s đ c tạo cách so sánh hai gi (P), rằ ú đ c ch ng nh định (gi gi ng nói hai gi ng nói gi ng ho c nế ú T c tính xác su t đ c so sánh) i khác Tỷ l hai xác su ày đ c g i Tỷ l khả ă ( R , i o i dạng Tỷ l khả ă ng (LLR) ho đổi thành tỷ l ph ăm đ c biểu thị đ c chuyển Vi c so sánh gi ng nói hai ghi âm ho c gi ng nói thuộc mộ đ c g i thử nghi m mục tiêu Nếu gi ng nói thuộc hai cá nhân khác nhau, vi o đ c g i thử nghi m không nh m mục tiêu Trong trình so sánh gi ng nói, hai loại l i xảy Từ ch i sai xảy h th ng từ ch i khơng xác thử nghi m mục tiêu, t c là, h th ng nói gi ng nói khác m c dù thực tế chúng thuộc i Ch p nhận sai h th ng ch p nhận khơng xác thử nghi m khơng nh m mục tiêu, t c h th ng nói gi ng nói gi ng nhau, m c dù chúng thuộc nhữ i khác Mộ đ u su t c a h th ng nhận dạng gi ng nói tính tốn đ đổi hai l i đ c hiển thị biể đồ T o đổi L i Phát hi n (DET) Bằng cách giảm ỡng ch p nhận, giảm xác su t từ ch i , đồng th ú ă x t ch p nhận sai T Trong h th ý ởng, mu n hai l i nhỏ t t Hi u su t t đ c biểu thị biể đồ DET bở đ mà đỏ g n v i đ ểm g ( hai trục x y) Bằ đ đú ỡng ch p nhận, h th ng đ đ ều chỉnh cho từ ng h p sử dụng cụ thể Ví dụ: ng h p mật gi để xác thực chuyển khoản ngân hàng mong mu n bảo mậ o, ỡ ũ ả o Đ i v ơq ực thi pháp luậ đ ìm k ếm b t kỳ nghi phạm vụ án, tỷ l ch p nhận sai o v c ch p nhậ đ để không l t b t c tội phạm T Đ ểm hoạ động c a h th ng tạo s ng ch p nhận sai từ ch đ c g i Tỷ l l i bằ Đây đo ổ biến c a hi u ă thể c a h th ng T Cá - i th ng g p inh t h gi ng n i Nói sai ho c đ c sai cụm từ Các trạng thái cảm xúc cự đo (v ụ: ă ẳng ho k k ă T độ cách phát biể đ c nói khác v i đă ký Âm phịng ho c khơng nh t qn (ví dụ đ đ ng tiếng ồn) Âm không kh p (ví dụ: sử dụ m k để đă ký x m T độ phát âm khác trình xác minh v i li u vào Đ m (ví dụ ảm lạnh àm y đổ đ ng âm) Lão hóa (thanh quản y đổ so v i theo tuổi tác) Phụ nữ có âm vự cao, phổ c a gi ng nói nhỏ M i đe doạ đ i v i h th ng xác minh gi ng nói M c dù sinh tr c h c gi ng nói cung c p mộ để xác thực , k m ễn nhiễm v i m đ a Những tiến khoa h c, cơng ngh ghi âm gi ng nói tổng h đ o é ả mạo gi ng nói ch ng cao, hay g i "deepfakes" gi ng nói có khả ă đ ừa i h th ng sinh tr c h c gi ĩ ằng h đ y mộ i thật Các t n cơng đ c sử dụ để truy cập trái phép vào tài khoản Ch ng giả mạo gi ng nói u c u cơng ngh phát hi ă â b t gi ng nói trực tiếp phiên gi h p ho c máy tính tạo T độ trực tiếp, có khả đ c ghi âm, tổng 10 Cá - ng ng inh t h gi ng n i H th ng ch m công th i gian H th ng kiểm soát truy cập Telephone-Banking/Broking Đă ập sinh tr c h c vào h th ng mua s m h tr q Dịch vụ T Đ t ch Kiểm o đ i v i thơng tin bí mật Mụ đ đ n thoại h n kết 10 Ư đ ểm c a h th ng xác minh gi ng nói ph n c ng r t rẻ đ ề đ thiết - h u hết máy tính Nó r t dễ sử dụng thực hi n v i ng dụng cho viễn thông n Nhận dạng gi ũ mộ đ ểm Một m t, gi ng nói c a o i b t biến theo th i gian Do đ , mẫu sinh tr c h c phải đ c ậ ậ o Tiếng nói c o ũ y đổi thông qua biến thể theo th i gian c a gi ng nói, gây b , trạng thái cảm xúc khác ho y đổi gi ng nói tuổi dậy ài i 11 - - T th m khảo Handbook-of-Biometrics (Anil K Jain Michigan State University, USA and Patrick Flynn University of Notre Dame, USA and Arun A Ross West Virginia University, USA) https://www.idrnd.ai/voice-biometrics/ https://htigroup.vn/gioi-thieu-ve-cong-nghe-nhan-dang-giong-noiphonexia/ 11 ... ng nói ho c "mẫu" l i nói c a mộ i Mẫ đ c tạo, mã ữ để xác minh gi ng nói k i dùng ch n tham gia ho “đă ký” .Sinh tr c h c gi ng nói sử dụng gi ng nói c a m i khách hàng làm mã nhận dạng gi ng nói. .. i i thi Sinh tr c h c gi ng nói khoa h c sử dụng gi ng nói c a mộ mộ đ đ ểm sinh h c nhận dạng nh để xác thực h Sinh tr c h c gi ng nói x định mộ i thơng qua gi ng nói nh t c a h Gi mà m i có... chatbot tr lý ảo - Sử dụ bảo mật ph n c a quy trình xác thực hai yếu t để ă ng Hoạt động c a sinh tr c h c gi ng nói phậ đ o - góp ph n ạo ể - m i phậ k c hình độc H th ng sinh tr c h c gi ng nói hoạ