Entre los usos más populares de la inteligencia artificial podemos encontrar la creación de textos de todo tipo y la generación de imágenes, pero… ¿Y si os decimos que se pueden traducir vídeos clonando la voz del hablante y de manera automática?
En este artículo vamos a mostrar varias alternativas para realizar este tipo de doblajes, tanto de pago como gratuitas, para que puedas decidir cuál es la mejor para tu proyecto.
Empezamos:
Motivos para traducir los vídeos de tu negocio a otros idiomas
- Acceso a mercados internacionales: Amplía tu audiencia potencial traduciendo tus vídeos a los idiomas de los mercados que deseas alcanzar.
- SEO y visibilidad online: Mejora el posicionamiento SEO de tu sitio web al ofrecer contenido multilingüe, lo que puede aumentar el tráfico y la visibilidad de tu negocio
- Personalización de la experiencia del cliente: Ofrece a tus clientes información en su idioma nativo, lo que puede mejorar su experiencia y satisfacción.
- Incremento de las conversiones y ventas: Alcanzar a una audiencia más amplia y diversa puede traducirse en un aumento de las conversiones y, por ende, de las ventas.
¿Qué opciones tenemos disponibles para doblar vídeos con IA?
Ahora mismo, las principales opciones disponibles para doblar vídeos con inteligencia artificial serían las siguientes:
Además, uniendo distintos modelos y herramientas, podemos llegar a crear un proceso similar de manera gratuita, aunque con las desventajas que tiene depender de varios “proveedores”.
Tutoriales paso a paso para doblar vídeos con IA
Cómo doblar un vídeo paso a paso con Rask
El proceso de traducción de un vídeo con Rask es muy sencillo.
Paso 1: Subir video a Rask
Lo único que hay que hacer es subirlo a la plataforma o pegar el enlace de YouTube o Google Drive y decirle el idioma al que queremos que los traduzca. El resto de opciones es capaz de rellenarlas de manera automática, aunque podemos echarle un cable y ponerlo nosotros si creemos que se trata de un vídeo complejo.
Paso 2: Revisar, corregir y descargar video traducido
Después de subirlo y darle a traducir, tendremos que esperar a que lo procese y nos devolverá una ventana en la que podremos validarlo. En ella podremos revisar y corregir la traducción que ha hecho y si nos convence descargar el vídeo, el audio y los archivos de texto de la transcripción y la propia traducción.
El precio de Rask comienza en 59$ y permite el doblaje de 25 minutos a más de 130 idiomas. Para probarlo te ofrecen 2 minutos de prueba y si rellenas una encuesta tendrás un minuto adicional. Debería ser suficiente para saber si se ajusta a tus necesidades.
En iSocialWeb ya lo estamos usando para doblar nuestro canal de YouTube con muy buenos resultados.
Guía para traducir vídeos usando HeyGen
Esta herramienta traduce, clona la voz original y, además, sincroniza los labios del sujeto en el vídeo para que encaje con el nuevo audio.
Paso 1: Selecciona idioma de traducción
La interfaz es sencillísima, arrastras un vídeo, le dices el idioma al que quieres que lo traduzca y listo, sólo queda esperar. De inicio te regalan 2 créditos que te permiten traducir hasta 2 minutos y cada día te añaden un crédito a tu cuenta. Los precios empiezan en 29 dólares al mes por unos 15 minutos de traducción. Con esos créditos como decíamos puedes traducir un vídeo, pero debes tener en cuenta que el protagonista debe estar siempre mirando a cámara, en cuanto se gire nos lo rechazará. También tenemos limitaciones en cuanto a resolución mínima y máxima, aunque son casos extremos que no se suelen utilizar. Por último, debemos tener en cuenta que el vídeo no puede ser más corto de 30 segundos ni más largo de 300.
Paso 2: Subir archivo de vídeo
Una vez cumples los requisitos, lo subes y se pone en cola. En ocasiones los tiempos de espera si no pagas son muy elevados, así que hay que tener paciencia.
Una vez explicado el proceso de creación, dejamos una prueba que hemos realizado. Hemos elegido este primer plano y el idioma inglés para que se vea bien cómo sincroniza y si más o menos dice en inglés lo que decía en castellano.
También adjuntamos el mismo vídeo doblado con Rask para que se puedan comparar ambas opciones.
Tutorial para doblar vídeos gratis con IA
En este apartado vamos a ver cómo podemos hacer el mismo proceso que hemos comentado en los puntos anteriores, pero valiéndonos exclusivamente de herramientas gratuitas. Antes de comenzar, hay que advertir que el hecho de que sean gratis no implica que se puedan usar con fines comerciales, tendríamos que consultar cada uno de los modelos para conocer sus condiciones.
Paso 1: Separar pista de audio
El primer paso, si no tenemos el audio de nuestro vídeo separado, sería usar alguna de las muchas herramientas online que existen para hacerlo. Nosotros dejamos como ejemplo Audio Extractor.
Paso 2: Generar transcripción a texto
Una vez tenemos el audio es momento de transcribirlo. A día de hoy no hay una solución más eficiente y económica que Whisper. Podemos usarlo en alguna de las plataformas online que lo tienen integrado o bien en un Colab, donde tendremos mayor control.( Demo de Replicate / Colab de WhisperX de DotCSV)
Paso 3: Traducir al idioma deseado
Ya tenemos un archivo de texto con la transcripción, así que avanzamos al siguiente paso y traducimos dicho texto con la herramienta que queramos. Aquí hay múltiples alternativas, desde Google Translator, DeepL o el propio ChatGPT.
Paso 4: Emplear texto traducido para doblar vídeo
El penúltimo paso sería usar el texto que ya tenemos en el idioma que queremos para volver a ponerlo en la voz de nuestro protagonista. Para ello podemos usar los modelos Cuqui y Bark para clonar y narrar con la voz clonada. Aquí dejamos un espacio de HuggingFace donde está todo integrado gracias a Sylvain Filoni.
Por último, si queremos rizar el rizo y hacer sincronización labial, podemos usar el modelo Wav2Lip. Si se trata de un vídeo de youtube o twitch también podríamos usar este otro Colab para hacer la sincronización.
¿Cuál es el mejor método para traducir videos con IA?
La respuesta a esta pregunta es un gran depende.
Depende del tiempo y dinero que le quieras dedicar, de lo dispuesto que estés para integrar varias soluciones independientes o de si prefieres un todo en uno en la misma interfaz.
También dependerá mucho del tipo de proyecto que tengamos entre manos, pero si te sirve de referencia, como hemos comentado anteriormente, nosotros hemos optado por Rask para la traducción de los vídeos de nuestro canal de YouTube.
Pero para ti no tiene por qué ser la mejor opción.
Lo mejor es probar y ver que es lo que se adapta a tus circunstancias.
Conclusión
Doblar vídeos apoyándonos en la IA nos puede dar una ventaja competitiva frente a nuestros rivales sin tener que hacer una gran inversión ni de tiempo ni de dinero. La posibilidad de introducirnos en nuevos mercados es más que interesante y creemos que es una oportunidad que deberías aprovechar para tus proyectos.
¿NECESITAS AYUDA PARA LLEGAR A CLIENTES DE OTROS MERCADOS? ¿QUIERES GANAR MÁS TRÁFICO ORGÁNICO Y CONVERSIONES AMPLIANDO TUS AUDIENCIAS?
Co-CEO y Head of SEO de iSocialWeb, una agencia especializada en SEO, SEM y CRO que gestiona más de +350M de visitas orgánicas al año y con una infraestructura 100% descentralizada.
Además de la empresa Virality Media, una empresa de proyectos propios con más de 150 Millones de visitas activas mensuales repartidos entre diferentes sectores e industrias.
Ingeniero de Sistemas de formación y SEO de vocación. Aprendiz incansable, fan de la IA y soñador de prompts.
