IA em linguagem clara
Glossário de inteligência artificial
Definições para acompanhar a tecnologia sem perder o contexto. 49 termos, escritos pela redação e com as fontes originais indicadas.
5 termos encontrados.
Desenvolvimento
Temperatura
Parâmetro que controla o quanto a geração se desvia das opções mais prováveis.
Com temperatura baixa o modelo tende a escolher sempre a continuação de maior probabilidade, o que dá respostas mais previsíveis e repetitivas. Com temperatura alta a escolha fica mais variada, o que ajuda em tarefas criativas e atrapalha…
Arquitetura
Token
Unidade de texto ou de outra modalidade processada por um modelo.
Um token pode representar parte de uma palavra, pontuação ou um elemento de outra modalidade. A contagem varia conforme o tokenizador e o idioma.
Arquitetura
Tokenizador
Componente que divide o texto nas unidades (tokens) que o modelo processa, e faz o caminho de volta na saída.
A divisão costuma usar subpalavras: expressões comuns viram um token único e palavras raras são quebradas em pedaços. Por isso a contagem de tokens de um mesmo texto varia entre modelos e entre idiomas — textos em português geralmente…
Hardware
TPU
Acelerador desenvolvido pelo Google especificamente para cargas de aprendizado de máquina.
Do inglês "tensor processing unit". É um circuito de aplicação específica, oferecido sobretudo pela nuvem do Google. Comparações de desempenho entre TPUs e GPUs dependem da geração, do modelo, da precisão numérica e do software usado, e…
Arquitetura
Transformer
Arquitetura de rede neural baseada em mecanismos de atenção, usada na maioria dos modelos de linguagem e multimodais atuais.
Apresentada em 2017 no artigo "Attention Is All You Need", substituiu a recorrência por camadas de atenção, que comparam cada elemento da sequência com os demais. Como o processamento de uma sequência pode ser paralelizado, a arquitetura…