Em 2018, a OpenAI publicou o primeiro GPT, o Google apresentou o Duplex, que fazia ligações por voz, e liberou o código do BERT, modelo de linguagem que superou a pontuação humana em um teste de perguntas e respostas. GPT e BERT popularizaram o pré-treinamento em grandes volumes de texto.
O ano de 2018 reuniu três marcos de inteligência artificial que ajudam a explicar a IA generativa de hoje. Em maio, o Google apresentou o Duplex, sistema que fazia ligações telefônicas por voz para marcar horários. No mesmo ano, a OpenAI publicou o primeiro modelo GPT, baseado em pré-treinamento generativo. E em 2 de novembro o Google liberou como código aberto o BERT, técnica de pré-treinamento de linguagem que bateu recordes em testes de compreensão de texto. GPT e BERT tinham em comum o uso de modelos pré-treinados em grandes volumes de texto antes de serem ajustados a tarefas específicas.
O que foi o Google Duplex?
O Duplex foi demonstrado na abertura do Google I/O, em 8 de maio de 2018. Segundo o Android Authority, o sistema permitia que o Google Assistente fizesse ligações em nome do usuário, por exemplo para marcar um corte de cabelo ou reservar mesa em um restaurante. Na demonstração, a voz sintética respondia à pessoa do outro lado da linha e usava interjeições como "hum", soando humana. Depois, o usuário recebia a confirmação do agendamento.
O Android Authority chamou a demonstração de "assustadora" no título, justamente porque a voz foi construída para soar humana. O Google também disse que usaria a tecnologia para ligar para estabelecimentos e confirmar horários de feriados no Google Maps, e que um pequeno grupo de usuários poderia testá-la ainda no verão americano de 2018.
O que foi o primeiro GPT?
O artigo "Improving Language Understanding by Generative Pre-Training", de Alec Radford e outros pesquisadores da OpenAI, apresentou o que ficou conhecido como GPT. A ideia central, segundo resumo do trabalho:
- Pré-treinamento: o modelo aprende a prever a próxima palavra em grandes volumes de texto sem rótulos.
- Ajuste fino: depois, é ajustado a cada tarefa com poucos dados rotulados, com apenas uma camada simples de saída adicionada.
O modelo tinha 12 camadas e cerca de 117 milhões de parâmetros, e foi treinado no BooksCorpus, com mais de 7 mil livros não publicados. Ele obteve o melhor resultado da época em 9 de 12 tarefas avaliadas.
O que foi o BERT?
O BERT (Bidirectional Encoder Representations from Transformers) foi publicado por Jacob Devlin e Ming-Wei Chang, do Google AI Language, que liberaram o código em 2 de novembro de 2018. Os autores o descreveram como a primeira representação de linguagem profundamente bidirecional e não supervisionada, pré-treinada com texto da Wikipédia e baseada na arquitetura Transformer.
| Resultado divulgado pelo Google | Valor |
|---|---|
| SQuAD v1.1 (perguntas e respostas), F1 | 93,2%, ante 91,6% do melhor anterior e 91,2% de desempenho humano |
| GLUE (nove tarefas de compreensão) | Melhora absoluta de 7,6% sobre o estado da arte |
| Tempo para treinar um sistema de perguntas e respostas | Cerca de 30 minutos em uma Cloud TPU ou algumas horas em uma GPU |
Os primeiros modelos eram apenas em inglês; os autores disseram esperar lançar versões em outros idiomas. O InfoQ registrou que o artigo associado reportava resultados de ponta em 11 tarefas de processamento de linguagem natural e que o código, baseado em TensorFlow, foi publicado no GitHub. A reportagem também contrastou o BERT com abordagens unidirecionais anteriores, entre elas o pré-treinamento generativo, que preveem cada palavra apenas a partir das anteriores; o BERT usa o contexto dos dois lados, com palavras mascaradas no treinamento.
Como os três marcos se comparam?
| Marco | Organização | Quando | O que fazia |
|---|---|---|---|
| Google Duplex | Maio de 2018 | Ligações por voz para agendamentos | |
| GPT | OpenAI | 2018 | Modelo generativo pré-treinado em texto e ajustado a tarefas |
| BERT | Código liberado em novembro de 2018 | Representação bidirecional de linguagem para compreensão de texto |
O que isso significa hoje?
GPT e BERT mostraram, em 2018, o caminho de pré-treinar modelos em grandes volumes de texto e depois adaptá-los, lógica presente nos modelos de linguagem usados hoje. A voz humana do Duplex também ilustra uma questão prática para qualquer projeto de atendimento automatizado: deixar claro para as pessoas quando elas estão falando com um sistema. Ao contratar um projeto de IA, pergunte ao fornecedor qual modelo será usado, como ele será adaptado aos seus dados e como os usuários serão informados de que falam com um sistema automatizado. A Citeo reúne empresas de IA para comparação.
Fontes
- Google Research: Open sourcing BERT, state-of-the-art pre-training for natural language processing (02/11/2018)
- AI Papers: Improving Language Understanding by Generative Pre-Training (resumo do artigo da OpenAI)
- Android Authority: Google Assistant Duplex (maio de 2018)
- InfoQ: Google open-sources BERT (novembro de 2018)
Compare nota, avaliações verificadas e score, e fale direto com a empresa pela Citeo.
Perguntas frequentes
Quando o BERT foi lançado?
O Google liberou o código do BERT como software livre em 2 de novembro de 2018, em post de Jacob Devlin e Ming-Wei Chang, do Google AI Language.
O que o primeiro GPT tinha de novo?
O GPT combinou pré-treinamento generativo, em que o modelo aprende a prever a próxima palavra em textos sem rótulo, com ajuste fino para tarefas específicas. O modelo tinha cerca de 117 milhões de parâmetros.
O que o Google Duplex fazia?
O Duplex permitia que o Google Assistente fizesse ligações telefônicas com voz sintética para marcar horários e reservas. Foi demonstrado no Google I/O de 8 de maio de 2018.