# Em 2017, o artigo "Attention Is All You Need" apresentou o Transformer, base dos modelos de linguagem — Citeo > Em 12 de junho de 2017, oito pesquisadores ligados ao Google publicaram no arXiv o artigo "Attention Is All You Need", que propôs o Transformer, arquitetur... Fonte: https://citeo.com.br/artigo/2017-attention-is-all-you-need-e-o-transformer · Atualizado em 21/10/2026 [Início](https://citeo.com.br) [Insights](https://citeo.com.br/blog) [IA na prática](https://citeo.com.br/blog/ia) Retrospectiva 2017 · IA na prática# Em 2017, o artigo "Attention Is All You Need" apresentou o Transformer, base dos modelos de linguagem **Redação Citeo** Publicado em 31/12/2017 Revisado em 17/10/2026 **Período analisado: 2017** 3 min de leitura Resposta rápidaEm 12 de junho de 2017, oito pesquisadores ligados ao Google publicaram no arXiv o artigo "Attention Is All You Need", que propôs o Transformer, arquitetura baseada só em mecanismos de atenção, sem recorrência nem convoluções. O modelo bateu recordes em tradução e foi apresentado na conferência NIPS 2017. Em 12 de junho de 2017, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser e Illia Polosukhin publicaram no repositório arXiv o artigo "Attention Is All You Need". O trabalho propôs o Transformer, uma arquitetura de rede neural para tarefas de sequência, como tradução, baseada apenas em mecanismos de atenção e sem as camadas recorrentes e convolucionais usadas até então. Na tradução do inglês para o alemão no conjunto WMT 2014, o modelo alcançou 28,4 pontos BLEU, mais de 2 pontos acima dos melhores resultados anteriores, inclusive de combinações de modelos. O artigo foi apresentado na conferência NIPS 2017. Em retrospecto, é um dos trabalhos mais influentes da década em inteligência artificial, porque a arquitetura Transformer se tornou a base dos grandes modelos de linguagem. ## O que o artigo propôs? Até 2017, os modelos mais usados para tradução automática processavam o texto de forma sequencial, palavra a palavra, com redes recorrentes, ou usavam convoluções. O Transformer substituiu esses mecanismos pela atenção, que permite ao modelo relacionar diretamente cada parte da frase com as demais. Segundo o resumo do artigo, as vantagens eram: - **Qualidade superior** em tradução automática. - **Mais paralelização**, o que aproveita melhor o hardware. - **Treinamento mais rápido**, com custo bem menor que o dos melhores modelos anteriores. - **Generalização**: bons resultados também em análise sintática do inglês, com muitos ou poucos dados de treino. ## Quais foram os resultados? Tarefa (WMT 2014)Resultado relatadoObservaçãoInglês para alemão28,4 BLEUMais de 2 pontos acima do melhor resultado anterior, inclusive combinações de modelosInglês para francêsNovo recorde para modelo único41,0 BLEU na versão registrada pelo Google Research; 41,8 na versão atual do arXivTempo de treino (inglês-francês)3,5 dias em oito GPUsFração pequena do custo dos melhores modelos da época BLEU é uma métrica que compara a tradução da máquina com traduções de referência; quanto maior, mais próxima delas. A diferença entre 41,0 e 41,8 aparece entre versões do artigo e é registrada aqui para evitar confusão. ## Quem eram os autores? A página da publicação no Google Research lista os oito autores e indica a conferência NIPS 2017 como local de publicação. O artigo segue disponível no arXiv sob o número 1706.03762, com revisões posteriores à versão original de junho de 2017. ## Por que o Transformer importa tanto hoje? Em 2017, o resultado era apresentado como um avanço em tradução automática. Com o tempo, a arquitetura passou a ser usada em muitas outras tarefas de linguagem. Para entender o impacto, ajudam três pontos do próprio artigo: 1. **Paralelização**: arquiteturas que treinam mais em paralelo permitem usar mais dados e mais capacidade de computação. 2. **Atenção como mecanismo central**: a capacidade de relacionar partes distantes de um texto é essencial para compreender contexto. 3. **Generalização**: o bom desempenho em análise sintática sugeria que a arquitetura não servia só para tradução. ## O que isso significa hoje para quem contrata soluções de IA? Os assistentes e modelos de linguagem usados hoje descendem dessa linha de pesquisa. Para quem contrata uma consultoria ou software house para projetos com IA generativa, entender a origem ajuda a calibrar expectativas: são modelos estatísticos de linguagem, muito bons em padrões de texto, mas que exigem avaliação, controle de qualidade e cuidado com dados. Vale pedir ao fornecedor métricas de avaliação no seu caso de uso, e não apenas resultados de benchmarks públicos. ## Fontes - [arXiv: Attention Is All You Need (1706.03762, jun. 2017)](https://arxiv.org/abs/1706.03762) - [Google Research: Attention is All You Need (NIPS 2017)](https://research.google/pubs/pub46201/) **Encontre inteligência artificial verificadas**Compare nota, avaliações verificadas e score, e fale direto com a empresa pela Citeo. [Ver empresas ](https://citeo.com.br/empresas/ia) [Comparar empresas lado a lado](https://citeo.com.br/comparar) ## Perguntas frequentes ### O que é o artigo "Attention Is All You Need"? É um artigo científico publicado em 12 de junho de 2017 no arXiv por oito pesquisadores, entre eles Ashish Vaswani e Noam Shazeer, que propôs o Transformer, arquitetura de rede neural baseada apenas em mecanismos de atenção. Foi apresentado na conferência NIPS 2017. ### Quais resultados o Transformer obteve em 2017? Na tradução do inglês para o alemão (WMT 2014), alcançou 28,4 BLEU, mais de 2 pontos acima do melhor resultado anterior. Na tradução do inglês para o francês, estabeleceu novo recorde para um modelo único, treinado em 3,5 dias com oito GPUs. ### Qual a diferença do Transformer para modelos anteriores? Segundo os autores, o Transformer dispensa totalmente as redes recorrentes e as convoluções, usando apenas atenção. Isso permite mais paralelização e treinamento mais rápido, com qualidade superior em tradução. ## Leia também [](https://citeo.com.br/artigo/adocao-de-ia-nas-empresas-brasileiras-pesquisas) IA na prática### [Adoção de IA nas empresas brasileiras: o que mostram as pesquisas públicas](https://citeo.com.br/artigo/adocao-de-ia-nas-empresas-brasileiras-pesquisas) 18 de out · 6 min de leitura [](https://citeo.com.br/artigo/busca-semantica-e-embeddings-para-gestores) IA na prática### [Busca semântica e embeddings explicados para gestores](https://citeo.com.br/artigo/busca-semantica-e-embeddings-para-gestores) 18 de out · 6 min de leitura [](https://citeo.com.br/artigo/chatgpt-gemini-claude-perplexity-diferencas) IA na prática### [ChatGPT, Gemini, Claude e Perplexity: diferenças que importam para empresas](https://citeo.com.br/artigo/chatgpt-gemini-claude-perplexity-diferencas) 18 de out · 6 min de leitura [](https://citeo.com.br/artigo/ia-no-desenvolvimento-de-software-produtividade) IA na prática### [IA no desenvolvimento de software: o que dizem os estudos sobre produtividade](https://citeo.com.br/artigo/ia-no-desenvolvimento-de-software-produtividade) 18 de out · 6 min de leitura