ElevenLabs este o companie fondată în 2022 de Piotr Dąbkowski (fost inginer de machine learning la Google) și Mati Staniszewski (fost strateg la Palantir), cu sediul în New York. Specializată în cercetarea și dezvoltarea de tehnologii audio bazate pe inteligență artificială, ElevenLabs oferă o platformă care generează voci sintetice realiste, utilizând deep learning. Misiunea declarată este de a face conținutul audio accesibil în orice limbă și voce, cu aplicații variind de la audiobook-uri la dublaje de filme și chatboți vocali.
Tehnologii și funcționalități
- Sinteza vocală (Text-to-Speech – TTS)
- Cum funcționează: Platforma folosește rețele neuronale avansate, precum GAN-uri (Generative Adversarial Networks) și modele Transformer, antrenate pe seturi masive de date audio umane. Acestea analizează textul introdus și generează vorbire cu intonație, ritm și emoție naturală.
- Caracteristici: Suportă 32 de limbi (inclusiv româna, din 2023), cu capacitatea de a ajusta tonul și emoția în funcție de context. De exemplu, poate face o voce să sune furioasă sau veselă, bazându-se pe analiza semantică a textului.
- Exemplu Slovacia: Deepfake-urile audio din alegerile slovace ar fi putut fi create cu o tehnologie similară celei oferite de ElevenLabs, care necesită doar câteva minute de mostre audio pentru a produce rezultate convingătoare.
- Clonarea vocii (Voice Cloning)
- Proces: Utilizatorii pot încărca mostre audio (minim 1-3 minute) pentru a „clona” o voce existentă. Modelul AI învață caracteristicile unice ale vocii (timbru, accent, inflexiuni) și le reproduce cu text nou.
- Performanță: În 2023, clonarea instantanee era disponibilă doar pentru abonați, dar calitatea a fost lăudată ca fiind „indistinctă de vocea umană” în multe cazuri. Totuși, imperfecțiunile (ex. pauze nenaturale) pot apărea la procesări rapide, așa cum s-a văzut în Slovacia.
- Aplicație: Folosit în Slovacia 2023 pentru a imita vocea lui Michal Šimečka, deși nu există dovezi directe că ElevenLabs a fost platforma exactă utilizată.
- Dublajul AI (AI Dubbing)
- Funcționalitate: Traduce și sincronizează automat vorbirea în peste 20 de limbi, păstrând emoțiile și intonația originală. Lansat în octombrie 2023, acest instrument e util pentru localizarea filmelor sau podcasturilor.
- Relevanță: Spre deosebire de deepfake-urile din Slovacia, care au fost manipulatoare, ElevenLabs promovează această funcție pentru uz legitim, cum ar fi dublarea filmelor.
- VoiceLab și Voice Library
- VoiceLab: Permite crearea de voci sintetice noi de la zero sau clonarea bazată pe mostre.
- Voice Library: O bibliotecă cu peste 1.000 de voci create de comunitate, disponibile pentru utilizare publică.
- Legătură cu Slovacia: Astfel de biblioteci ar fi putut facilita accesul la voci pre-generate, reducând efortul necesar pentru falsuri.
- AI Speech Classifier
- Lansare: Iunie 2023, prin API, pentru a detecta dacă un audio provine din tehnologia ElevenLabs.
- Scop: Răspuns la abuzuri (ex. deepfake-uri neetice). În Slovacia, un astfel de instrument ar fi putut identifica sursa audio, dar nu era disponibil public în septembrie 2023.
Specificații tehnice
- Modele AI: Bazate pe deep learning, cu accent pe vocodere neurale (ex. WaveNet-inspired) pentru a reproduce nuanțele vocii umane.
- Latenta: Răspunsuri rapide (aproximativ 400 ms via API), esențial pentru aplicații în timp real.
- Cerințe: Pentru clonare, mostre de calitate decentă (fără zgomot excesiv) îmbunătățesc rezultatul. În Slovacia, mostrele slabe au dus la artefacte evidente.