IA em linguagem clara
Glossário de inteligência artificial
Definições para acompanhar a tecnologia sem perder o contexto. 49 termos, escritos pela redação e com as fontes originais indicadas.
7 termos encontrados.
Arquitetura
Atenção
Mecanismo que faz o modelo ponderar quais partes da entrada são mais relevantes para produzir cada parte da saída.
Para cada posição da sequência o modelo calcula pesos que indicam o quanto as outras posições devem influenciar o resultado. Esses pesos são aprendidos durante o treinamento. A atenção é o que permite relacionar palavras distantes entre…
Arquitetura
Context Window
Janela de contexto: quantidade de tokens que o modelo consegue considerar em uma interação.
Inclui instruções, mensagens e materiais fornecidos, conforme os limites do serviço. Uma janela maior não garante a recuperação perfeita de todas as informações.
Arquitetura
MoE
Mistura de especialistas: arquitetura que seleciona partes da rede para processar cada token.
Um roteador escolhe especialistas para cada entrada. O total de parâmetros pode ser muito maior que a quantidade ativada por token; memória e comunicação ainda importam.
Arquitetura
Multimodal
Sistema que aceita ou produz mais de um tipo de dado — por exemplo texto, imagem, áudio e vídeo.
Um modelo multimodal representa entradas de naturezas diferentes num espaço comum, o que permite descrever uma imagem, responder sobre um gráfico ou transcrever um vídeo. Aceitar vários tipos de entrada não implica gerar todos eles: um…
Arquitetura
Token
Unidade de texto ou de outra modalidade processada por um modelo.
Um token pode representar parte de uma palavra, pontuação ou um elemento de outra modalidade. A contagem varia conforme o tokenizador e o idioma.
Arquitetura
Tokenizador
Componente que divide o texto nas unidades (tokens) que o modelo processa, e faz o caminho de volta na saída.
A divisão costuma usar subpalavras: expressões comuns viram um token único e palavras raras são quebradas em pedaços. Por isso a contagem de tokens de um mesmo texto varia entre modelos e entre idiomas — textos em português geralmente…
Arquitetura
Transformer
Arquitetura de rede neural baseada em mecanismos de atenção, usada na maioria dos modelos de linguagem e multimodais atuais.
Apresentada em 2017 no artigo "Attention Is All You Need", substituiu a recorrência por camadas de atenção, que comparam cada elemento da sequência com os demais. Como o processamento de uma sequência pode ser paralelizado, a arquitetura…