Pesquisadores expandem arquitetura JEPA em modelo universal de mundo

Um grupo de pesquisa liderado pela PhAI Labs, com colaboradores de Stanford, Oxford e Princeton, apresentou o JEPA-Anything. O modelo expande a arquitetura Joint-Embedding Predictive Architectures (JEPA), pioneiramente desenvolvida por Yann LeCun, para operar em sete campos distintos, abrangendo areas como fisica, robotica e medicina.

Modelos de mundo preveem a evolucao de sistemas, seja em robos, moleculas ou na saude de pacientes. Em vez de reconstruir dados brutos como pixels, a abordagem JEPA prediz um resumo abstrato de um estado futuro ou ausente, filtrando detalhes irrelevantes. Enquanto metodos tradicionais canalizam as informacoes para uma unica previsao, o JEPA-Anything divide o estado previsto em varias partes, gerenciadas por modulos separados, reunindo posteriormente as predicoes parciais em uma imagem completa.

Testes em dinamica e testes biologicos

Nos testes de desempenho, o JEPA-Anything superou uma linha de base padrao em dez tarefas. Sistemas dinamicos registraram reducao de 35% no erro de previsao em um ambiente simplificado do jogo Pong. Em simulacoes de fluidos, equacoes e dinamica molecular, o modelo obteve pontuacoes elevadas. Em dados unicelulares e clinicos, o sistema operou na classificacao de tipos celulares e na previsao de eventos de doencas.

A partir de dados biologicos, a equipe utilizou o modelo para analisar atividade genica, niveis de proteina e exames CRISPR, identificando uma combinacao candidata para tratamento de cancer de figado que uniu a molecula IL-18 com o bloqueio da enzima CD73. Em testes com organoides, tecidos de pacientes e camundongos, a combinacao eliminou mais celulas tumorais do que os componentes isolados, embora o estudo nao estabeleca se a combinacao se tornara uma terapia efetiva.

Alem disso, ao ser treinado em orbitas simuladas sem quantidades fisicas, o modelo gerou padroes correspondentes a terceira lei de Kepler. Os autores ressaltam que a separacao limpa dos elementos aprendidos nao garante relacoes reais de causa e efeito, permanecendo em aberto a confiabilidade necessaria para orientar o desenho de experimentos futuros. O codigo e os modelos foram disponibilizados publicamente.