A evolução dos modelos de linguagem não é nada menos do que uma revolução industrial super potencializada. O Google acendeu a faísca em 2017 com o desenvolvimento dos modelos de transformadores, que permitem que os modelos de linguagem se concentrem, ou prestem atenção, nos elementos-chave em um trecho de texto. A próxima inovação – o pré-treinamento do modelo de linguagem, ou aprendizado auto-supervisionado – veio em 2020, após o qual os modelos de linguagem poderiam ser significativamente ampliados para impulsionar o Generative Pretrained Transformer 3 (GPT-3). Embora modelos de linguagem grandes (LLMs) como o ChatGPT estejam longe de serem perfeitos, seu desenvolvimento só acelerará nos próximos meses e anos. A rápida expansão da loja de plugins ChatGPT indica a velocidade dessa aceleração. Para antecipar como eles moldarão a indústria de investimentos, precisamos entender suas origens e o caminho que percorreram até agora. Então, quais foram as seis etapas críticas da evolução inicial dos LLMs? O Negócio do GPT-4: Como Chegamos Até Aqui O ChatGPT e o GPT-4 são apenas dois dos muitos LLMs que a OpenAI, Google, Meta e outras organizações desenvolveram. Eles não são os maiores nem os melhores. Por exemplo, preferimos o LaMDA para diálogos do LLM, o Pathways Language Model 2 do Google (PaLM 2) para raciocínio e o Bloom como um LLM multilíngue de código aberto. (O quadro de líderes do LLM é fluido, mas este site no GitHub mantém uma visão geral útil dos modelos, papers e classificações). Então, por que o ChatGPT se tornou o rosto dos LLMs? Em parte, porque foi lançado primeiro com mais alarde. O Google e a Meta hesitaram em lançar seus LLMs, preocupados com possíveis danos à reputação se produzissem conteúdo ofensivo ou perigoso. O Google também temia que seu LLM pudesse canibalizar seu negócio de busca. Mas uma vez que o ChatGPT foi lançado, o CEO do Google, Sundar Pichai, teria declarado um “alerta vermelho”, e o Google logo revelou seu próprio LLM. GPT: O Grande ou o Inteligente? Os chatbots ChatGPT e ChatGPT Plus estão baseados nas redes neurais GPT-3 e GPT-4, respectivamente. Em termos de tamanho do modelo, o PaLM 2 do Google, o Natural Language Generation Megatron-Turing da NVIDIA (MT-NLG) e agora o GPT-4 superaram o GPT-3 e sua variante GPT-3.5, que é a base do ChatGPT. Em comparação com seus antecessores, o GPT-4 produz um texto mais suave de melhor qualidade linguística, interpreta de forma mais precisa e, em um avanço sutil, mas significativo em relação ao GPT-3.5, pode lidar com prompts de entrada muito maiores. Essas melhorias são resultado de avanços no treinamento e na otimização – mais “inteligência” adicional – e provavelmente da pura força bruta de mais parâmetros, mas a OpenAI não compartilha detalhes técnicos sobre o GPT-4. Treinamento do ChatGPT: Metade Máquina, Metade Humano O ChatGPT é um LLM que é ajustado através de aprendizado por reforço, especificamente aprendizado por reforço a partir do feedback humano (RLHF). O processo é simples em princípio: primeiro os humanos refinam o LLM no qual o chatbot é baseado ao categorizar, em grande escala, a precisão do texto produzido pelo LLM. Essas classificações humanas treinam um modelo de recompensa que classifica automaticamente a qualidade das respostas. À medida que o chatbot recebe as mesmas perguntas, o modelo de recompensa pontua as respostas do chatbot. Essas pontuações retornam para o ajuste fino do chatbot para produzir respostas cada vez melhores através do algoritmo Proximal Policy Optimization (PPO). Os Modelos de Aprendizado de Máquina por Trás do ChatGPT e dos LLMs Os LLMs são a mais recente inovação em processamento de linguagem natural (NLP). Um conceito fundamental do NLP são os modelos de linguagem que atribuem probabilidades a sequências de palavras ou texto – S = (w1, w2, …, wm) – da mesma forma que nossos telefones celulares “adivinham” a próxima palavra quando estamos digitando mensagens de texto com base na probabilidade mais alta do modelo. Os seis estágios evolutivos no desenvolvimento do LLM, visualizados no gráfico abaixo, demonstram como os LLMs se encaixam na pesquisa de NLP. 1. Modelos Unigram O modelo unigram atribui a cada palavra no texto uma probabilidade. Para identificar artigos que descrevem fraude em relação a uma empresa de interesse, podemos pesquisar por “fraude,” “golpe,” “falso,” e “fraude”. Se essas palavras aparecerem em um artigo mais do que em linguagem comum, é provável que o artigo esteja discutindo fraude. Mais especificamente, podemos atribuir uma probabilidade de que um trecho de texto esteja relacionado à fraude multiplicando as probabilidades das palavras individuais: Nesta equação, P(S) denota a probabilidade de uma sentença S, P(wi) reflete a probabilidade de uma palavra wi aparecer em um texto sobre fraude, e o produto feito sobre todas as m palavras na sequência determina a probabilidade de que essas sentenças estejam associadas à fraude. Essas probabilidades das palavras são baseadas na frequência relativa com que as palavras ocorrem em nosso corpus de documentos relacionados à fraude, denotado como D, no texto em análise. Expressamos isso como P(w) = contagem(w) / contagem(D), onde contagem(w) é a frequência com que a palavra w aparece em D e contagem(D) é o número total de palavras em D. Um texto com palavras mais frequentes é mais provável ou mais típico. Embora isso possa funcionar bem em uma busca por frases como “roubo de identidade”, não seria tão eficaz para “identificação de roubo”, apesar de ambas terem a mesma probabilidade. O modelo unigram, portanto, tem uma limitação importante: ele ignora a ordem das palavras. 2. Modelos N-Gram O modelo n-gram vai além do unigram ao examinar subsequências de várias palavras. Portanto, para identificar artigos relevantes para fraude, utilizaríamos bigramas como “fraude financeira,” “lavagem de dinheiro,” e “transação ilegal”. Para trigramas, poderíamos incluir “esquema fraudulento de investimento” e “fraude em reclamações de seguro”. Nosso fourgram poderia ser “alegações de má conduta financeira”. Dessa forma, condicionamos a probabilidade de uma palavra no contexto que a precede, que o n-grama estima contando as sequências de palavras no corpus em que o modelo foi treinado. A fórmula para isso seria: Esse modelo é mais realista, dando uma probabilidade maior a “roubo de identidade” em vez de “identificação de roubo”, por exemplo. No entanto, o método de contagem tem algumas armadilhas. Se uma sequência de palavras não ocorrer no corpus, sua probabilidade será zero, tornando todo o produto igual a zero. À medida que o valor de “n” no n-grama aumenta, o modelo se torna mais preciso em sua busca de texto. Isso melhora sua capacidade de identificar temas pertinentes, mas pode levar a pesquisas excessivamente restritas.
3. Modelos de Linguagem Neural (NLMs) Nos NLMs, aprendizado de máquina e redes neurais abordam algumas das limitações dos unigramas e n-gramas. Podemos treinar um modelo de rede neural N com o contexto (wi-(n–1), …,wi–1) como entrada e wi como alvo de maneira simples. Existem muitos truques inteligentes para melhorar os modelos de linguagem, mas fundamentalmente tudo que os LLMs fazem é olhar uma sequência de palavras e adivinhar qual palavra vem a seguir. Dessa forma, os modelos caracterizam as palavras e geram texto amostrando a próxima palavra de acordo com as probabilidades previstas. Essa abordagem passou a dominar o NLP à medida que o aprendizado profundo se desenvolveu nos últimos 10 anos. 4. Avanço: Aprendizado Auto-Supervisionado Graças à internet, conjuntos de dados cada vez maiores de textos se tornaram disponíveis para treinar arquiteturas de modelos neurais cada vez mais sofisticadas. Então, duas coisas notáveis aconteceram: Primeiro, as palavras nas redes neurais passaram a ser represent