Multimodalidade¶
O que é¶
Multimodalidade é a capacidade de um sistema de IA processar, entender ou gerar mais de um tipo de dado (ou "modalidade") ao mesmo tempo — por exemplo, texto, imagem, áudio e vídeo. Segundo o Stanford Institute for Human-Centered Artificial Intelligence (Stanford HAI), "IA multimodal se refere a sistemas de inteligência artificial capazes de processar, entender e gerar múltiplos tipos de modalidades de dados simultaneamente — como texto, imagens, áudio e vídeo". Diferente de sistemas voltados a um único tipo de dado (só texto, ou só imagem), um modelo multimodal combina informações de fontes diferentes para produzir uma compreensão mais completa ou uma resposta mais rica.
Por que isso importa?¶
Muitas ferramentas de IA generativa recentes usadas em pesquisa e ensino já são multimodais — permitem, por exemplo, enviar a imagem de um documento histórico e pedir uma descrição em texto. Entender que multimodalidade é uma capacidade específica (e não algo automático em toda ferramenta de IA) ajuda a avaliar se uma ferramenta realmente processa uma imagem de fonte primária de forma integrada, ou apenas converte tudo em texto por trás dos panos antes de processar.
Exemplo¶
O ChatGPT, o Claude e o Gemini são ferramentas multimodais: além de texto, aceitam o envio de imagens — por exemplo, a foto de um documento manuscrito ou de uma página de jornal antigo — e geram uma resposta em texto a partir desse conteúdo visual, combinando a interpretação da imagem com o texto do prompt.
Não confunda com¶
Multimodalidade não é sinônimo de IA generativa: IA generativa é a categoria mais ampla de sistemas que criam conteúdo novo; multimodalidade é uma característica específica — a capacidade de lidar com mais de um tipo de dado — que um sistema de IA generativa pode ou não ter (um modelo de linguagem que só processa texto não é multimodal). Também não é sinônimo de modelo de linguagem grande (LLM): um LLM multimodal é um tipo específico de LLM estendido para lidar com outros tipos de dado além do texto, mas nem todo LLM é multimodal.
Termos relacionados¶
Referências¶
- Stanford Institute for Human-Centered Artificial Intelligence. What is Multimodal AI?. hai.stanford.edu/ai-definitions/what-is-multimodal-ai