A Bloomberg divulgou recentemente um novo modelo de IA com linguagem natural, o BloombergGPT, cujo objetivo é revolucionar o processamento de linguagem natural no setor financeiro.
Desenvolvido a partir de códigos existentes, o modelo de linguagem foi treinado especificamente para o setor financeiro com uma ampla gama de dados financeiros que oferecem suporte a um conjunto diversificado de tarefas de NLP (Natural language processing, ou processamento de linguagem natural).
A empresa diz que o BloombergGPT representa um avanço na aplicação de inteligência artificial em finanças, pois permite que a empresa melhore as tarefas de NLP financeiras existentes, como análise de sentimento, reconhecimento de entidade nomeada, classificação de notícias e resposta a perguntas, entre outras.
Além disso, o modelo abre novas oportunidades para organizar as vastas quantidades de dados disponíveis no Bloomberg Terminal para melhor ajudar os clientes da empresa, trazendo todo o potencial da IA para o domínio financeiro.
Como foi feito o treinamento do BloombergGPT
O desenvolvimento do BloombergGPT foi uma colaboração entre a equipe de pesquisa e produto de ML da Bloomberg e a equipe de engenharia de IA da empresa. Eles construíram um dos maiores conjuntos de dados específicos de domínio até agora, com base nos recursos existentes de criação, coleta e curadoria de dados da empresa.
Como uma empresa de dados financeiros, a Bloomberg tem uma coleção extensa deles em sua base de dados, que abrange mais de quatro décadas. A equipe utilizou uma parte desses dados financeiros para criar um conjunto de dados abrangente de 363 bilhões de tokens, compostos por documentos financeiros (em inglês).
Esses dados foram aumentados com um conjunto de dados públicos de 345 bilhões de tokens para criar um grande corpus de treinamento com mais de 700 bilhões de tokens. Usando uma parte desse corpus de treinamento, a equipe treinou um modelo de linguagem causal de decodificador de 50 bilhões de parâmetros.
O modelo resultante foi validado em benchmarks de NLP específicos para finanças existentes, um conjunto de parâmetros internos da Bloomberg, e amplas categorias de tarefas de NLP de propósito geral de benchmarks populares.
O BloombergGPT superou os modelos abertos existentes de tamanho semelhante em tarefas financeiras por grandes margens, enquanto ainda apresenta um desempenho igual ou superior em benchmarks gerais de NLP. A empresa acredita que ele representa uma grande vitória para a Bloomberg e para todo o setor financeiro, e pode ajudar a criar um serviço mais eficiente e eficaz.
Esse modelo de linguagem grande de 50 bilhões de parâmetros foi treinado para processar informações financeiras em grande escala, tornando-se uma ferramenta valiosa para empresas financeiras.
Segundo a Bloomberg, o BloombergGPT consegue lidar com uma ampla variedade de tarefas de processamento de linguagem natural, como análise de sentimentos em torno de eventos financeiros, análise de notícias e relatórios financeiros, e muito mais. Ainda mais importante, o modelo oferece resultados precisos e confiáveis que podem ser utilizados por empresas financeiras em todo o mundo.
Assine nossa Newsletter para receber os melhores conteúdos do Itshow em sua caixa de entrada.
