Doppiaggio IA

Cosa succede durante un doppiaggio IA

I sottotitoli raggiungono chi è disposto a leggere. Il doppiaggio raggiunge tutti gli altri: chi guarda dal telefono, i bambini, chi guarda mentre cucina e il pubblico dei mercati dove i contenuti doppiati sono la norma, come l'Italia. Il doppiaggio tradizionale richiede un traduttore, uno studio e doppiatori per ogni lingua, il che lo rende irraggiungibile per la maggior parte di creator, insegnanti e piccole aziende. Il doppiaggio IA comprime quella filiera in pochi minuti, e questo strumento Le mostra ogni passaggio perché possa fidarsi del risultato.

Per prima cosa il parlato viene trascritto con un orario per ogni parola, e le parole vengono raggruppate in frasi. Ogni frase conserva il momento esatto in cui è stata pronunciata. Poi le frasi vengono tradotte a blocchi da un modello linguistico istruito a suonare naturale a voce e a mantenere ogni riga lunga da pronunciare circa quanto l'originale, perché una traduzione lunga il doppio non entra nello stesso momento. Quindi ogni riga tradotta viene registrata e collocata al suo orario originale. Se una riga dovesse invadere la pausa prima della frase successiva, viene ripronunciata un po' più veloce (mai oltre 1,3×) e, se è ancora troppo lunga, la riga seguente viene spostata leggermente in avanti invece di far sembrare qualcuno di fretta. Infine le righe vengono mixate in un'unica traccia e vengono scritti due file di sottotitoli: uno nella nuova lingua, a tempo con il doppiaggio, e uno con la trascrizione originale.

Mantenere la voce originale

I risultati di doppiaggio IA più sorprendenti mantengono la voce di chi parla. Scelga «mantieni la voce originale» e i primi due minuti del file vengono usati per creare un clone di chi parla, che poi pronuncia la traduzione. Il pubblico sente la stessa persona, ora in giapponese o in spagnolo. Poiché un clone riproduce una persona reale, deve confermare di essere chi parla o di avere il suo permesso; la clonazione aggiunge 30 crediti al lavoro. Se chi parla non può dare il consenso, scelga invece una voce da studio: ogni lingua di destinazione ha voci madrelingua che può ascoltare prima di iniziare.

Un video in entrata, un video doppiato in uscita

Per i video, lo strumento di doppiaggio può ricostruire il file per Lei. Quando il doppiaggio è pronto, «Scarica il video doppiato» copia intatto il flusso video originale in un nuovo MP4 e ne sostituisce l'audio con il doppiaggio, interamente nel browser: nessuna ricodifica dell'immagine, nessuna perdita di qualità e nessun caricamento. Se il browser non ci riesce, scarichi l'MP3 e i file SRT e li unisca in un qualsiasi programma di montaggio.

Dove il doppiaggio IA si ripaga

Chi crea corsi pubblica la stessa lezione in più lingue senza registrare di nuovo. Gli YouTuber testano un canale in spagnolo o in portoghese con i loro video migliori prima di investire in un doppiaggio umano. Le aziende localizzano demo di prodotto e video di formazione. Le famiglie mandano un messaggio ai parenti nella loro lingua, e chi studia le lingue ascolta la stessa clip in due lingue affiancate. Per le sole trascrizioni usi audio in testo; per scrivere e registrare un nuovo script da zero, il generatore di voce IA ha le stesse voci.

I migliori risultati con il doppiaggio IA

• Usi clip con un interlocutore principale e poca musica di sottofondo; musica e sovrapposizioni peggiorano trascrizione e clone.
• Nell'originale parli a un ritmo naturale. Un parlato molto veloce lascia poco spazio a lingue più lunghe come lo spagnolo o il tedesco.
• Per «mantieni la voce originale», i primi due minuti devono contenere parlato chiaro di quella persona.
• Controlli nomi e termini tecnici nell'SRT tradotto prima di pubblicare.
• Prima le clip brevi: provi un tratto di un minuto per scegliere la voce prima del doppiaggio di un video di dieci minuti.
• Aggiunga anche l'SRT tradotto come sottotitoli: ad alcuni spettatori piacciono entrambi.

Limiti attuali del doppiaggio IA

Una voce per doppiaggio

Ogni lavoro usa una sola voce per tutte le righe. Per interviste a due voci, doppi separatamente la parte di ciascuno o usi una voce da studio per entrambi.

Fino a 10 minuti

I video più lunghi si possono dividere in parti e doppiare separatamente; gli orari di ogni parte ripartono da zero.

Sincronizzazione labiale

Le righe sono allineate all'inizio di ogni frase, non ai movimenti delle labbra. Funziona meglio per narrazioni, tutorial e video con una persona che parla in camera.

Rimborsi e ripresa

Se un doppiaggio non riesce, i crediti vengono restituiti automaticamente. Se chiude la pagina, il lavoro continua e compare al suo ritorno.