A Bloomberg apresentou oficialmente o seu projeto de inteligência artificial generativa em larga escala para o setor financeiro nesta segunda-feira, 3. Batizado como BloombergGPT, o modelo de linguagem usa 50 bilhões de parâmetros, o maior set de dados já usado na história da companhia.
Baseado em processamento de linguagem natural (NLP) de código aberto Bloom, o modelo foi treinado por engenheiros e cientistas da Bloomberg e da John Hopkins University. Vale dizer que o Bloom entra no lugar de outros modelos de larga escala como o ChatGPT da OpenAI, LlaMA da Meta ou LaMDA do Google.
Agrega-se ao NLP uma base de informações (tokens) públicas e dados de 40 anos das plataformas da Bloomberg (apenas em inglês). Entre os dados estão artigos Wikipedia, resumos do YouTube, notícias, fatos relevantes e IPOs. Ao todo, 700 bilhões foram extraídos para treinar a IA generativa.
Essas informações ainda foram tokenizadas para melhorar a compreensão dos vocabulários das bases de dados.
Artigo e achados
Em artigo científico publicado no Arkiv, a equipe informou que este modelo contribui para “o contínuo diálogo” e para o treinamento de modelos próprios: “Nossa estratégia de treino ao misturar dados proprietários e gerais resulta em um modelo com um balanço nos dois lados”, diz o documento que circulou nas redes sociais no último fim de semana.
O time que desenvolveu o BloombergGPT ainda destacou três diferenciais em sua plataforma:
- Uma base de dados bem acurada;
- A escolha única em tokenizar esses dados;
- Uma arquitetura bem atualizada.
“Vamos continuar desenvolvendo aplicações financeiras como BloombergGPT para explorar os benefícios dessas modelagens escolhidas no futuro”, finaliza a equipe em seu artigo.
