Algoritmos de tradução neural

Tradução automática antiga (SMT, statistical machine translation) empilhava tabelas: ‘esta expressão costuma virar aquela’. Neural machine translation — NMT — não consulta uma lista. Treina uma rede para, dada a frase de origem, prever a próxima peça da frase de destino. O léxico deste guia é dicionário de campo: frase fechada, sem rede. O tradutor de frase desta página é NMT: chama um modelo. Os dois ofícios não se misturam.

• Dicionário: a mesma entrada, a mesma saída. Cabe no papel.
• SMT: estatística de frases vistas. Quebra no idioma que não estava na tabela.
• NMT: fluência alta, sentido às vezes inventado. Soa certo. Pode estar errado.

O desenho clássico é seq2seq: duas redes. O encoder lê a origem da esquerda para a direita (ou de uma vez) e comprime o sentido num estado — um vetor, um mapa de posições. O decoder gera o destino peça a peça: a primeira palavra condiciona a segunda, a segunda a terceira, até o modelo emitir o sinal de fim. Não ‘traduz o parágrafo’. Constrói uma sequência nova, token a token, que o treino ensinou a parecer tradução.

Antes da atenção, o encoder espremia a frase inteira num vetor só — o fim comia o começo. Atenção (Bahdanau, 2014) deixa o decoder, a cada token novo, perguntar: quais posições da origem importam para esta peça? ‘Farmácia’ no destino olha ‘farmácia’ na origem; o artigo olha o gênero; o verbo olha o tempo. Não é a atenção seletiva do campo 21 — mas a metáfora serve: o modelo também escolhe um facho. O resto da frase fica no escuro daquele passo.

Vaswani et al., 2017: ‘Attention Is All You Need’. O Transformer troca a leitura palavra a palavra da RNN por atenção em paralelo — cada token olha os outros no mesmo bloco. Empilha camadas. Escala. É o chão dos tradutores atuais e dos modelos grandes que, de passagem, também traduzem. Self-attention no encoder liga ‘luz’ a ‘caiu’ mesmo com quatro palavras no meio. No decoder, máscara impede olhar o futuro da frase que ainda não existe.

• Mais dados, mais camadas, mais fluência. Não é mais verdade automática.
• Beam search no decoder: guarda algumas hipóteses, não só a palavra mais provável. Ainda pode escolher a fluente e errada.

Ninguém guarda um dicionário de todas as palavras do mundo. BPE e SentencePiece partem o texto em peças frequentes: ‘in’, ‘visib’, ‘ilidade’. Palavra rara vira sequência de pedaços. Nome próprio, rua, gíria de caos — o modelo pode fragmentar e reconstruir mal. Por isso o léxico de campo fecha a frase: ‘190’, ‘farmácia’, ‘não’ não passam pelo cortador. NMT brilha no parágrafo ordinário e falha no nome que a sua casa usa.

Prever o próximo token, bem treinado, imita sentido. Não é sentido. O modelo não tem a rua, a criança, o kit. Tem estatística de milhões de frases. Por isso ‘melhora’ o tom: troca o seu ‘não’ curto por um ‘preferia não, obrigado’ que soa educado e vira conversa. Por isso alucina: inventa um número, um horário, um endereço fluente. Cinza lê a saída como hipótese. Se a frase manda o corpo, confira no papel — ou use o léxico.

O mesmo algoritmo cabe em dois recintos. Na nuvem: modelo grande, melhor fluência, a frase viaja, o servidor pode arquivar. No aparelho: modelo destilado, menor, pacote baixado na terça, a torre não entra. Qualidade cai. Superfície cai mais. O cinza digital já recusou foto de estoque. Recusar o parágrafo no NMT da nuvem é o mesmo ofício. Pacote offline do sistema é Transformer pequeno. Este léxico nem isso: é papel com botão.

• Log: texto, hora, aparelho. Testemunha sem rosto na rua.
• Tom alterado: o modelo ‘ajuda’ e você perde o não curto.
• Nome partido: BPE desmonta o que a casa precisa inteiro.
• Ecrã: NMT famoso na calçada é cartaz. Léxico na cabeça não é.

1. 01Léxico primeiro. Dez frases da casa, no aparelho, no caderno.
2. 02Pacote offline do sistema para o idioma da rua — baixado em casa.
3. 03NMT na nuvem só para o recinto: frase curta, sem nome, sem rota, sem dose.
4. 04Leia a saída como hipótese. Se manda o corpo, confira. Fluência não basta.