Xác thực người nói không phụ thuộc vào từ khóa (TEXT INDEPENDENT SPEAKER VERIFICATION )

Xác thực người nói không phụ thuộc vào từ khóa (TEXT INDEPENDENT SPEAKER VERIFICATION )

XÁC THỰC NGƯỜI NÓI KHÔNG PHỤ THUỘC VÀO TỪ KHÓA (TEXT-INDEPENDENT SPEAKER VERIFICATION ) Trần Cao Trưởng TÍNH CẤP THIẾT ĐỀ TÀI • Lĩnh vực nhận dạng người nói có nhiều ứng dụng – Điều khiển truy nhập máy tính, thiết bị – Nhận dạng tội phạm – Nhận thông tin phản hồi • Trên giới có nhiều công trình nghiên cứu vấn đề Việt Nam có công trình nghiên cứu lĩnh vực • Là hướng mở rộng nghiên cứu NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo định Cài đặt kết thử nghiệm NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo định Cài đặt kết thử nghiệm TRÍCH CHỌN THÔNG TIN TỪ TIẾNG NÓI TÝn hiÖu tiÕng nãi Speech Recognition Nội dung nói Language Recognition Tên ngôn ngữ Speaker Recognition Tên người nói Bạn có khỏe không? Tiếng Việt Anh Trưởng NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo định Cài đặt kết thử nghiệm NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo định Cài đặt kết thử nghiệm CƠ SỞ LÝ THUYẾT • Tiếng nói thông tin ngữ nghĩa chứa thông tin trạng thái tình cảm nói hay thông tin riêng giọng nói • Các thông tin không bất biến từ lúc người biết nói đến lúc già, có tính ổn định giai đoạn dài đời • Khi người trưởng thành, thói tật nói, đặc trưng khu biệt cấu âm hình thành mang tính ổn định cao PHÂN LOẠI THEO CHỨC NĂNG • Speaker Identification: Kiểm tra xem giọng nói cần kiểm tra hệ thống ? Trả lời câu hỏi ai? ? ? PHÂN LOẠI THEO CHỨC NĂNG(tiếp) • Speaker Verification: Xác thực xem ID người cần kiểm tra có xác người không? Đây có phải giọng nói anh Trưởng không? 10 MÔ HÌNH GM • • • Cho tập có N điểm không gian D chiều họ hàm hàm mật độ xác suất RD Hãy tìm hàm mật độ xác suất thích hợp để sinh điểm K Có thể chọn hàm hỗn hợp Gauss: f ( x; λ ) = ∑ ϖ k g ( x; µ k , ∑ k ) k =1 • Sử dụng thuật toán vọng số cực đại (EM_ Expectation Maximization) để tính tham số hàm Gauss Mỗi hàm hỗn hợp Gauss biểu thị bởi: 33 NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo định Cài đặt kết thử nghiệm 34 NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo định Cài đặt kết thử nghiệm 35 SO KHỚP MẪU Tín hiệu đầu vào Huấn luyện Trích chọn đặc trưng Xác thực ID người nói Mô hình người nói Cơ sở liệu mô hình người nói So khớp mẫu Điều kiện định Quyết định 36 SO KHỚP MẪU -VQ • Giả sử ta có: – X={x1,x2,…, xN} vector đặc trưng người chưa biết – C={c1,c2,…,cK} codebook • Công thức tính độ méo lượng tử trung bình: • D(X,C) nhỏ thi X gần C 37 SO KHỚP MẪU - GMM X = { x1 , , x N } λ = { λ1 , , λK } Là vector đặc trưng cần kiểm tra { } λj = ω j , µ j , ∑ j Với K hàm hỗn hợp Gauss Hàm phân bố xác suất: biến tính p ( xi | λ ) = ∑ ω j N ( xi | λ j ) j =1 Trong N(xi |λj) tính theo công thức: N ( xi | λ j ) = (2π ) −d /4 ∑ − 1/ j { exp − / 2( xi − µ j ) T ∑ 38 −1 j } ( xi − µ j ) SO KHỚP MẪU – GMM(tiếp) • Tính log độ hợp tín hiệu đầu vào X với mẫu hệ thống N P( X | λ ) = ∑ log p( xi | λ ) i =1 • Giá trị P(X| λ) lớn độ hợp X với λ cao 39 NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo định Cài đặt kết thử nghiệm 40 NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo định Cài đặt kết thử nghiệm 41 TẠO QUYẾT ĐỊNH • Gọi score(X, Si) điểm hợp tập vectơ đặc trưng X mô hình người nói Si • Giả sử điểm lớn nghĩa hợp • Cho S = {S1,…,SN} csdl người nói biết • Khi đó: Decide Accept, score(X, Si) ≥ Θi Reject, score(X, Si) < Θi Θi = verification threshold 42 NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo định Cài đặt kết thử nghiệm 43 NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo định Cài đặt kết thử nghiệm 44 KẾT LUẬN  Những nội dung giải quyết:     Nghiên cứu tổng quan toán nhận dạng tiếng nói Nghiên cứu phương pháp trích chọn đặc trưng người nói, chi tiết phương pháp trích chọn đặc trưng MFCC Nghiên cứu mô hình VQ mô hình GMM ứng dụng xác thực người nói không phụ phụ vào từ khóa Cài đặt mô hình, thuật toán tiến hành thử nghiệm sở liệu tiếng Việt 45 KẾT LUẬN  Những đóng góp khoa học tính thực tiễn :    Phương pháp trích chọn đặc trưng MFCC với sở liệu tiếng Việt Ứng dụng mô hình VQ GMM xây dựng hệ thống xác thực người nói không phụ thuộc vào từ khóa với sở liệu tiếng Việt Đề tài có tính thực tiễn cao việc xây dựng hệ thống toán thẻ tín dụng qua điện thoại; đăng nhập vào hệ thống an ninh, máy tính tiếng nói; giám định tư pháp tiếng nói… 46 KIẾN NGHỊ • • • • Thu thập số lượng lớn liệu âm tiếng nói để tiến hành kiểm thử, điều chỉnh tham số hệ thống cho xác Tiếp tục nghiên cứu mô hình thuật toán mạng nơron nhân tạo, SVM, GM ứng dụng cho toán xác thực người nói Kết hợp mô hình, thuật toán có với hi vọng tạo mô hình tốt Nghiên cứu toán xác thực người nói phụ thuộc từ khóa, kết hợp với toán không phụ thuộc từ khóa nhằm làm tăng tính xác hệ thống xác thực người nói 47 [...]... nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo quyết định Cài đặt và kết quả thử nghiệm 34 NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan về bài toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp... chọn thông tin từ tiếng nói Tổng quan về bài toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo quyết định Cài đặt và kết quả thử nghiệm 17 NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan về bài toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn... chọn thông tin từ tiếng nói Tổng quan về bài toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo quyết định Cài đặt và kết quả thử nghiệm 28 NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan về bài toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn... chọn thông tin từ tiếng nói Tổng quan về bài toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo quyết định Cài đặt và kết quả thử nghiệm 12 NỘI DUNG • • • • • • • • Trích chọn thông tin từ tiếng nói Tổng quan về bài toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn... PHÁP • Nhận dạng phụ thuộc vào từ khóa( text-dependent) – Hệ thống nhận biết nội dung nói của người nói (mật khẩu) – Không mất thời gian huấn luyện – Độ chính xác cao Nhưng bảo mật không cao do kẻ giả mạo ghi âm từ khóa • Nhận dạng không phụ thuộc vào từ khóa( text -independent) – Hệ thống không quan tâm đến nội dung nói mà chỉ quan tâm đến giọng nói – Dữ liệu huấn liệu càng nhiều độ chính xác càng cao 11... chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo quyết định Cài đặt và kết quả thử nghiệm 13 MỤC ĐÍCH • Xác minh liệu người đang nói có đúng là người mà máy tính đã được biết trước hay không (tính xác thật của giọng nói) nhưng không phụ thuộc vào nội dung người nói Đây có phải là giọng nói của anh Trưởng không? 14 HAI GIAI ĐOẠN CỦA HỆ THỐNG Huấn luyện Ghi âm giọng nói của mỗi người Trưởng... Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo quyết định Cài đặt và kết quả thử nghiệm 29 MÔ HÌNH HÓA NGƯỜI NÓI Tín hiệu đầu vào Huấn luyện Trích chọn đặc trưng Xác thực ID người nói Mô hình người nói Cơ sở dữ liệu mô hình người nói So khớp mẫu Điều kiện quyết định Quyết định 30 MỘT SỐ MÔ HÌNH NGƯỜI NÓI • • • • Mô hình lượng tử hoá vector (VQ: Vector Quantization) Mô hình hỗn hợp... chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo quyết định Cài đặt và kết quả thử nghiệm 18 TRÍCH CHỌN ĐẶC TRƯNG NGƯỜI NÓI Tín hiệu đầu vào Huấn luyện Trích chọn đặc trưng Xác thực ID người nói Mô hình người nói Cơ sở dữ liệu mô hình người nói So khớp mẫu Điều kiện quyết định Quyết định 19 MONG MUỐN • Xuất hiện một cách tự nhiên và liên tục trong khi nói • Ổn định đối với mỗi người nhưng... người nói Cơ sở dữ liệu người nói So khớp mẫu Điều kiện quyết định Quyết định 1 Trích chọn đặc trưng: Biến đổi từ giọng nói thô thành nhưng đặc trưng của người nói 2 Mô hinh người nói: Huấn luyện người nói dựa vào một phương pháp cụ thể 3 So khớp mẫu: Tính toán làm hợp tiếng nói đưa vào và một đặc trưng người nói trong cơ sở dữ liệu đã được huấn luyện 4 Điều kiện quyết định: Việc đưa ra quyết định dựa vào. .. mỗi người nói Trích Tríchchọn chọn đặc trưng đặc trưng Mô Model huấn Môhình hình Model huấn training luyện training luyện Quý Truong Quy Xác thực Trích Tríchchọn chọn đặc trưng đặc trưng Quyết Verification định Quyết Verification định decision xác thực xác decision thực ID: truong 15 Chấp nhận? CÁC THÀNH PHẦN CỦA HỆ THỐNG Tín hiệu đầu vào Huấn luyện Trích chọn đặc trưng Xác thực ID người nói Mô hình người ... Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo... Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo... Trích chọn thông tin từ tiếng nói Tổng quan toán nhận dạng người nói Bài toán xác thực người nói không phụ thuộc vào từ khóa Trích chọn đặc trưng người nói Mô hình hóa người nói So khớp mẫu Tạo