Nhiệm vụ: Nghiên cứu và triển khai tính năng lồng tiếng TTS cục bộ qua máy chủ nội bộ
Nghiên cứu và triển khai tính năng lồng tiếng TTS cục bộ qua máy chủ nội bộ
Vượt qua giới hạn của OpenRouter khi lồng tiếng cho các chữ cái đơn và kiểm thử đường ống TTS cục bộ cho tiếng Việt thông qua máy chủ riêng.
Ngữ cảnh
Cơ chế TTS cơ bản thông qua OpenRouter đã được triển khai, nhưng một vấn đề kỹ thuật đã phát sinh: khi gửi một chữ cái đơn để tạo giọng đọc, OpenRouter trả về mã lỗi HTTP 400.
Điều này rất quan trọng đối với sách vỡ lòng (primer), vì hệ thống yêu cầu chất lượng lồng tiếng cao cho các chữ cái riêng lẻ, âm thanh và các đơn vị ngữ âm ngắn.
Mục tiêu
Nghiên cứu và triển khai đường ống TTS cục bộ thay thế qua máy chủ nội bộ, có khả năng tạo giọng đọc ổn định cho các chữ cái đơn và các đơn vị tối thiểu khác của tiếng Việt mà không bị giới hạn bởi OpenRouter.
Những điểm cần kiểm tra
- những mô hình TTS cục bộ nào hỗ trợ tiếng Việt;
- liệu chúng có khả năng tổng hợp chính xác các chữ cái đơn, âm tiết và chuỗi rất ngắn hay không;
- chất lượng thanh điệu và ngữ âm;
- khả năng chạy mô hình trên máy chủ cục bộ;
- API để gọi từ vietnamguru.ru;
- định dạng âm thanh và độ trễ tạo tệp;
- yêu cầu phần cứng;
- giấy phép và giới hạn sử dụng;
- khả năng tạo hàng loạt từ điển lồng tiếng;
- khả năng tương thích với hệ thống lưu trữ tệp âm thanh và siêu dữ liệu hiện tại.
Kiến trúc khả dĩ
vietnamguru.ru → API TTS cục bộ → mô hình cục bộ → tệp âm thanh → từ điển/kho lưu trữ lồng tiếng hiện có.
Cơ chế cục bộ nên được xem xét như một trình tạo âm thanh nguồn; các bản ghi hoàn chỉnh, giống như trong đường ống TTS chính, cần được lưu lại và tái sử dụng thay vì tổng hợp lại mỗi lần phát lại.
Tiêu chí kết quả
Tìm kiếm và kiểm tra phương pháp tạo cục bộ có thể chấp nhận ổn định các chữ cái đơn và các yếu tố ngữ âm ngắn của tiếng Việt, đồng thời mang lại âm thanh đủ chất lượng để người bản xứ tiếp tục kiểm tra.
Ворклоги
Đã tìm thấy giải pháp TTS nội bộ hoạt động hiệu quả
VieNeu-TTS đã được thiết lập cục bộ trong Docker, hiện đang sử dụng phiên bản 2.
Kết quả thực tế quan trọng nhất là mô hình này lồng tiếng ổn định cho các grapheme tiếng Việt đơn lẻ, bao gồm cả các dạng có dấu thanh điệu. Điều này giải quyết được vấn đề cốt lõi khiến OpenRouter/Gemini không phù hợp cho sách vỡ lòng: các đầu vào tối thiểu như một chữ cái duy nhất thường trả về lỗi HTTP 400 hoặc cho kết quả không ổn định ở đó.
Đã kiểm tra tập hợp gồm 18 dạng của nhóm a / ă / â với sáu thanh điệu (a á à ả ã ạ, ă ắ ằ ẳ ẵ ặ, â ấ ầ ẩ ẫ ậ). VieNeu-TTS có khả năng tạo ra các đơn vị này một cách có mục tiêu, do đó có thể sử dụng nó như một trình tạo từ điển ngữ âm: grapheme/âm tiết → tệp âm thanh đã lưu.
Bước tiếp theo là chạy thử một tập hợp rộng hơn gồm các chữ cái, âm tiết và từ ngắn, kiểm tra chất lượng với người bản xứ, sau đó kết nối trình tạo cục bộ với kho lưu trữ âm thanh cố định để không phải tổng hợp lại các bản ghi âm mỗi khi phát lại.
Nhiệm vụ gốc liên quan: «Phát triển quy trình lồng tiếng tiếng Việt của riêng và từ điển âm thanh».
Kết quả làm việc ban đầu
Đã triển khai GraphQL resolver cho hệ thống TTS tiếng Việt cục bộ. Ngoài ra, đã tạo một trang quản trị cung cấp cái nhìn tổng quan về các chữ cái, tổ hợp, âm tiết và ý nghĩa/giọng đọc của chúng.
Tức là khung kỹ thuật cơ bản đã hoạt động: có thể gọi tổng hợp cục bộ thông qua API, đồng thời các đơn vị học tập có thể được xem và kiểm tra trong cùng một giao diện.
Để đến được hệ thống người dùng cuối, vẫn cần cải tiến thêm về giao diện, cấu trúc dữ liệu, chất lượng/kiểm tra giọng đọc và kịch bản học tập, nhưng kết quả làm việc ban đầu đã có sẵn.