Otimização direta de preferências DPO
Método de alinhamento que ajusta o modelo diretamente a partir de pares de respostas preferidas e rejeitadas, sem treinar um modelo de recompensa separado.
Do inglês "direct preference optimization". É uma alternativa mais simples ao aprendizado por reforço com feedback humano para a mesma finalidade: fazer o modelo preferir determinados comportamentos. Como no RLHF, o resultado reflete as preferências de quem rotulou os dados e não constitui garantia de segurança.
Também aparece como: DPO, direct preference optimization
Para se aprofundar
Os links levam ao trabalho original, à especificação oficial ou ao documento normativo. As definições deste glossário são escritas pela redação.