Sora: o que é e como funciona o novo modelo de geração de vídeos da OpenAI

  Erick Abe

Você já imaginou poder criar vídeos incríveis a partir de simples instruções de texto? Essa é a proposta do Sora, o novo modelo de inteligência artificial (IA) da OpenAI, que pode gerar cenas realistas e imaginativas a partir de descrições textuais. Neste artigo, você vai conhecer o que é o Sora, como ele funciona, quais são as suas aplicações e limitações, e como você pode testá-lo você mesmo.

Crédito: Imagem OpenAI Sora

O que é o Sora?

O Sora é um modelo de IA que pode criar vídeos de até 60 segundos de duração, com resolução de 1080p e 30 quadros por segundo, a partir de instruções de texto. O modelo pode gerar vídeos de diferentes categorias, como animais, pessoas, objetos, paisagens e cenas fictícias. O modelo também pode combinar elementos de diferentes domínios, como um dinossauro com asas de dragão ou um robô dançando.

O Sora é baseado no GPT-4, o gerador de texto de última geração da OpenAI, mas com algumas modificações para torná-lo capaz de lidar com imagens e sons. O modelo usa uma rede neural profunda, que é um tipo de algoritmo que aprende a partir de grandes quantidades de dados, para transformar as instruções de texto em vídeos.

O Sora não é apenas um gerador de vídeos, mas também um sistema de compreensão multimodal, que pode responder a perguntas sobre os vídeos que cria. Por exemplo, o modelo pode identificar as cores, formas, tamanhos e posições dos objetos nos vídeos, bem como as ações e emoções dos personagens. O modelo também pode modificar os vídeos de acordo com as solicitações do usuário, como alterar a cor ou o ângulo de um objeto.

Como o Sora funciona?

O Sora funciona de uma forma similar ao GPT-4, mas com algumas diferenças. O GPT-4 é um modelo que pode gerar textos coerentes e criativos a partir de um texto inicial, chamado de prompt. O modelo usa uma técnica chamada de atenção, que permite que ele relacione as palavras do prompt com as palavras que ele vai gerar, levando em conta o contexto e o significado.

O Sora usa o mesmo princípio, mas em vez de gerar apenas texto, ele gera também imagens e sons. O modelo usa uma técnica chamada de atenção visual, que permite que ele relacione as palavras do prompt com as imagens e os sons que ele vai gerar, levando em conta o contexto e o significado. O modelo também usa uma técnica chamada de atenção cruzada, que permite que ele relacione as palavras, as imagens e os sons entre si, criando uma representação multimodal do prompt.

O Sora usa uma arquitetura chamada de Transformer, que é um tipo de rede neural que usa camadas de atenção para processar os dados. O modelo usa duas partes principais: um codificador e um decodificador. O codificador é responsável por transformar o prompt de texto em uma representação multimodal, usando a atenção visual e a atenção cruzada. O decodificador é responsável por transformar essa representação multimodal em um vídeo, usando a atenção e a geração.

O Sora foi treinado com um grande conjunto de dados, chamado de VAST, que contém mais de 400 milhões de pares de texto e vídeo, extraídos de diversas fontes, como o YouTube, o Reddit e o Flickr. O modelo aprendeu a gerar vídeos a partir de textos, imitando os exemplos que ele viu nos dados. O modelo também aprendeu a responder a perguntas e a modificar os vídeos, usando os feedbacks que ele recebeu dos usuários.

Quais são as aplicações do Sora?

O Sora é um modelo de geração de vídeos que pode ter diversas aplicações, como entretenimento, educação, arte e design. Por exemplo, o modelo pode ser usado para:

- Criar vídeos divertidos e criativos, como paródias, memes, animações e histórias.

- Criar vídeos educativos e informativos, como tutoriais, documentários, apresentações e palestras.

- Criar vídeos artísticos e expressivos, como pinturas, esculturas, músicas e performances.

- Criar vídeos de design e prototipagem, como maquetes, modelos, logos e interfaces.

O Sora pode ser uma ferramenta útil e inovadora para quem quer produzir conteúdo em vídeo de forma rápida, fácil e personalizada. O modelo pode ser uma alternativa para quem não tem tempo, recursos ou habilidades para criar vídeos tradicionais, ou para quem quer explorar novas possibilidades e estilos de vídeo.

Quais são as limitações do Sora?

O Sora é um modelo de geração de vídeos que ainda tem algumas limitações, como qualidade, coerência e ética. Por exemplo, o modelo pode apresentar:

- Qualidade insuficiente: alguns vídeos gerados pelo Sora podem ter artefatos, inconsistências ou distorções que revelam sua natureza sintética. Além disso, o modelo pode ter dificuldade em gerar vídeos com alta resolução, longa duração ou alta complexidade.

- Coerência inconsistente: alguns vídeos gerados pelo Sora podem não corresponder às instruções de texto, ou podem não fazer sentido lógico ou factual. Além disso, o modelo pode ter dificuldade em manter a coerência entre os diferentes quadros, objetos e personagens dos vídeos.

- Ética questionável: alguns vídeos gerados pelo Sora podem violar direitos autorais, privacidade ou moralidade, ao usar imagens ou sons de pessoas ou obras reais sem autorização ou atribuição. Além disso, o modelo pode gerar vídeos ofensivos, enganosos ou prejudiciais, ao usar imagens ou sons de violência, ódio ou falsidade.

O Sora é um modelo de geração de vídeos que ainda precisa de melhorias e supervisão, para garantir a sua qualidade, coerência e ética. O modelo também precisa de conscientização e responsabilidade, por parte dos usuários e dos desenvolvedores, para evitar o seu uso indevido ou malicioso.

Como testar o Sora?

O Sora é um modelo de geração de vídeos que pode ser testado por qualquer pessoa, através de uma interface online, chamada de Playground. O Playground permite que você insira uma descrição textual e veja o que o Sora cria. Você também pode fazer perguntas ou solicitações ao Sora, para interagir com os vídeos que ele cria. Mas o Sora ainda não está liberado para todos, apenas para um seleto grupo de especialistas, que tem trabalhado para implementar medidas de segurança contra desinformação, conteúdo odioso e preconceituoso. 

Você pode acessar o Playground aqui. Você também pode ver alguns exemplos de vídeos gerados pelo Sora aqui.

Se você quiser saber mais sobre o Sora, Inteligências Artificiais Generativas e outras novidades, siga nosso perfil no Instagram ou receba nossa newsletter para se manter sempre informado(a).

Crédito: Imagem OpenAI Sora