Công cụ AI sao chép giọng nói của Microsoft, được gọi là Vall-E. AI này được đào tạo 60.000 giờ phân tích các giọng nói từ hơn 7.000 diễn giả, gấp 100 lần so với các hệ thống hiện có.
Ars Technica báo cáo rằng Vall-E xây dựng trên một công nghệ có tên là EnCodec mà Meta đã công bố vào tháng 10 năm 2022. Nó hoạt động bằng cách phân tích giọng nói của một người, chia nhỏ thông tin thành các thành phần và sử dụng quá trình máy học để tổng hợp âm thanh của giọng nói nếu người đó đang nói. Ngay cả sau khi chỉ nghe một đoạn mẫu dài 3 giây, Vall-E có thể tái tạo âm sắc và giai điệu cảm xúc của người nói như thật.
Kết quả thử nghiệm cho thấy Vall-E vượt trội đáng kể so với hệ thống TTS zero-shot tiên tiến nhất [AI tái tạo giọng nói mà nó chưa từng nghe thấy] về độ truyền cảm từ giọng nói và độ tương đồng của người nói. Ngoài ra, VALL-E có thể hiểu và bắt chước cảm xúc của người nói và môi trường âm thanh của dấu nhắc âm thanh trong quá trình tổng hợp.
Bạn có thể nghe các ví dụ về cách tạo lại giọng nói của Vall-E trên GitHub. Các nhà nghiên cứu của Microsoft tin rằng Vall-E có thể được sử dụng như một công cụ chuyển văn bản thành giọng nói, một cách chỉnh sửa lời nói và một hệ thống tạo âm thanh bằng cách kết hợp nó với các AI thế hệ mới khác như GPT-3.
Microsoft đã chia sẻ một bộ sưu tập phong phú các mẫu do VALL-E tạo ra để bạn có thể tự mình nghe thấy khả năng mô phỏng giọng nói có khả năng như thế nào, nhưng kết quả hiện tại là một túi hỗn hợp. Đôi khi, công cụ này gặp sự cố khi tạo lại các dấu, kể cả những dấu tinh tế từ các mẫu nguồn mà người nói phát ra âm thanh Ailen và khả năng thay đổi cảm xúc của một cụm từ nhất định đôi khi gây cười. Nhưng thông thường, các mẫu do VALL-E tạo ra có âm thanh tự nhiên, ấm áp và hầu như không thể phân biệt được với loa gốc trong ba clip nguồn thứ hai.
Ở dạng hiện tại, được đào tạo trên Libri-light, VALL-E bị giới hạn trong việc mô phỏng giọng nói bằng tiếng Anh và mặc dù hiệu suất vẫn chưa hoàn hảo, nhưng chắc chắn nó sẽ cải thiện khi bộ dữ liệu mẫu được mở rộng hơn nữa. Tuy nhiên, việc cải thiện VALL-E sẽ tùy thuộc vào các nhà nghiên cứu của Microsoft vì nhóm không phát hành mã nguồn của công cụ. Trong một bài báo nghiên cứu được phát hành gần đây trình bày chi tiết về sự phát triển của VALL-E, những người tạo ra nó hoàn toàn hiểu những rủi ro mà nó gây ra:
“ Vì VALL-E có thể tổng hợp giọng nói để duy trì danh tính của người nói nên nó có thể tiềm ẩn rủi ro khi sử dụng sai, chẳng hạn như nhận dạng giọng nói giả mạo hoặc mạo danh một người nói cụ thể. Để giảm thiểu những rủi ro như vậy, có thể xây dựng mô hình phát hiện để phân biệt xem clip âm thanh có được tổng hợp bởi VALL-E hay không. Chúng tôi cũng sẽ áp dụng các Nguyên tắc Trí tuệ nhân tạo của Microsoft vào thực tiễn khi tiếp tục phát triển các mô hình”, theo Microsoft.