Introduzindo a IA & Aprendizagem de Máquina
Estamos orgulhosos de compartilhar que temos trabalhado diligentemente em melhorias tecnológicas de nossa plataforma de consultoria. Nossa mais recente parceria estratégica com uma universidade de prestígio no Reino Unido resultou na implementação de um projeto de 2 anos, que finalmente introduz Inteligência Artificial e Aprendizagem de Máquina em nossa análise de commodities. Você pode encontrar mais informações sobre o projeto abaixo.
Outubro de 2022 previa preços por nosso modelo atual contra preços reais
Uma nota do M.D
Olhando para trás, quando nossos dados sobre o algodão começaram no século XIX, acreditou-se que as estações e o tempo eram resultado de um poder superior. Saltando para o século XXI, a ciência moderna e a informação se espalharam pelo mundo e com ela as atitudes evoluíram. O que antes era considerado um fenômeno místico, agora é comumente atribuído à física e à matemática. Os padrões aparecem ao nosso redor e como o poder computacional aumentou, também aumentou nossa capacidade de identificar e modelar esses padrões. Desde os algoritmos das mídias sociais que parecem estar "ouvindo você" até os algoritmos de negociação na bolsa de valores que analisam tendências em uma escala global. É apenas uma questão de tempo até que todos os fenômenos possam ser reduzidos a inputs e respostas quase incertas.
O mercado de commodities e o mercado de ações são os maiores processadores de dados do planeta. Eles levam informações de uma infinidade de fatores macro e micro desde eventos globais até as emoções dos comerciantes e reduzem essas informações em uma única métrica: o preço. O preço de uma mercadoria ou estoque segue lógica e padrões. A ciência do preço tem sido estudada há milênios e, enquanto alguns se aproximaram de predizê-la, a grande maioria não chegou perto de entender o quadro completo.
Então, o que tem Mudou?
Em primeiro lugar, muito poucas das pessoas que estudaram o preço tão intensamente têm sido agnósticas ao preço. Tomemos o algodão, por exemplo, dos fazendeiros aos produtores, ambos têm uma direção que eles esperam que o preço siga. Esta tem sido uma das razões pelas quais a EAP tem sido tão bem sucedida em prever o mercado nos últimos tempos. Eles não ocupam uma posição nos mercados que aconselham, então eles lêem os padrões sem uma idéia fixa de direção. Isto levou a EAP a desenvolver seus próprios modelos e regras e a respeitar tais regras e modelos como qualquer analista de mercado agnóstico de preços faria. No entanto, a EAP não é a primeira analista de mercado de seu tipo, nem é a primeira a desenvolver seus próprios modelos. É a introdução da Inteligência Artificial que está levando a EAP para o próximo nível.
Inteligência Artificial é uma palavra usada tanto por cientistas quanto por jornalistas, mas em termos simples, o que significa e como se relaciona com o EAP? É uma forma de testar teorias e a teoria em questão é a previsão de preço do algodão e outros produtos e grãos macios. A precisão e a utilidade de qualquer teste de IA é determinada pela qualidade de dois fatores: a informação e o modelo utilizado para analisá-la. A EAP tem mais de 100 anos de dados de qualidade sobre os mercados de commodities e seus modelos de análise testados e comprovados têm sido comprovados repetidamente. Os milhares de pontos de dados que a EAP coletou sobre preço, oferta e demanda e eventos macro são muitos para que um analista ou equipe de analistas memorize e consulte cada vez que os mercados se movem, mas desenvolvemos um programa de computador para processar e testar padrões históricos de mercado em questão de segundos para entregar uma previsão, em vez dos dias ou semanas que uma pessoa levaria para processar. Este modelo está sendo melhorado a cada dia. Ele está provando que as teorias de mercado da EAP estão certas e erradas usando este sistema de teste de padrões históricos e refinando a precisão das previsões que ele fornece.
Atualmente o modelo está produzindo previsões com uma taxa de precisão de 80%, isto tem sido e continuará a ser melhorado à medida que o modelo de processamento de dados for aperfeiçoado pela experiente equipe de analistas da EAP. Isto não é possível sem a experiência em IA e é por isso que a EAP está fazendo parceria com a Universidade de Liverpool que traz mais de 30 anos de experiência em Inteligência Artificial e tem expressado um grande interesse no modelo e em sua impressionante precisão nesta fase inicial. A EAP está provando que os mercados não são aleatórios e modelando os padrões que eles seguem. Estamos calculando preços futuros, em vez de prevê-los e esperamos nos tornar líderes na ciência da previsão de preços durante a próxima década.
Resumo do projeto
Earlam and Partners (EAP) prestam consultoria de commodities no contexto dos mercados de algodão. A EAP tem um modelo matemático para analisar os movimentos de preços, que contém informações de mercado, às quais são atribuídos pesos manualmente para fazer previsões, entregues em relatórios semanais de mercado.
Para oferecer os serviços da EAP em escala, a automação e maior precisão são necessárias. Usando a IA Leve Explicável os padrões que sustentam a ponderação das informações podem ser identificados. Padrões que podem então ser usados para construir um sistema de Previsão de Preço de Commodity (CPP) que é tanto Leve (funciona em uma máquina desktop padrão) quanto explicável (informa aos usuários como as previsões foram derivadas). A entrega de previsões ao vivo usando o sistema CPP proposto ajudará os clientes em toda a cadeia de fornecimento a se tornarem mais resistentes e gerenciarem melhor suas operações diante da crescente volatilidade do mercado.
A visão é expandir além do algodão para outras commodities (grãos de soja, milho, trigo, café, açúcar e cacau) onde os agricultores e fabricantes são cada vez mais afetados pela volatilidade das mudanças climáticas, guerras e outros fatores. Após 10 anos de desenvolvimento e aperfeiçoamento de um modelo de análise para o algodão, a EAP precisa trazer conhecimentos acadêmicos de IA, para expandir em mais mercados e ajudar mais pessoas do que elas podem sozinhas, daí a proposta do KTP.
Objetivo estratégico
A EAP tem fornecido com sucesso serviços de consultoria de mercadorias por mais de 13 anos. A EAP tem processos comprovados para coleta de dados e fornecimento de insights em 5 áreas: Fundamentos do mercado de algodão (1), posições de fundos de hedge em algodão (2), leitura de padrões gráficos de algodão (3), análise estatística sazonal de algodão (4) e análise macro global (5). Hoje a organização conta com uma equipe treinada de consultores cuja função é dar suporte à clientela existente para garantir decisões operacionais e financeiras bem informadas. A EAP administra suas decisões ponderando as informações ("1 a 5" acima) de acordo com a experiência e os acontecimentos exatos no mercado internacional e é liderada por Jo Earlam.
A visão desta parceria é trazer a expertise em modelagem de Inteligência Artificial da Universidade de Liverpool e usá-la para testar e melhorar o modelo matemático EAP, que contém micro e macro informações, tanto atuais quanto históricas. Previsões mais eficazes de preços de commodities, para uma gama mais ampla de commodities, podem ser feitas através do aproveitamento das ferramentas e técnicas de aprendizado profundo. Ter um software que espelhe a tomada de decisão dos analistas da EAP ajudará a fornecer percepções mais consistentes e ensinará aos analistas da empresa a entender os mercados de forma mais algorítmica e, portanto, melhor. Através do desenvolvimento do modelo de previsão de mercado de Inteligência Artificial, a previsão de preços e insights se tornará cada vez mais automatizada, precisa e oportuna e a confiança na experiência individual diminuirá.
A EAP tem ambições de prestar seus serviços através de software e não como uma consultoria tradicional que interage com os clientes apenas por meio de chamadas telefônicas e e-mails. Recentemente, a EAP construiu uma plataforma web para melhorar a escalabilidade de seus serviços. Entretanto, a análise é limitada pela capacidade de seus analistas internos. A EAP não tem experiência interna em aprendizagem de máquinas e inteligência artificial e, portanto, deseja fazer parceria com uma prestigiosa universidade britânica. Ao final deste projeto, a EAP planeja ter um sistema que forneça previsões de mercado automatizadas que possam ser acessadas 24 horas por dia. As previsões serão apoiadas por, mas não dependerão de, consultas diretas e insights dos analistas da EAP.
Os relatórios quinzenais são o meio atual através do qual os clientes da EAP recebem insights, estes relatórios são compartilhados com os clientes em todas as partes da cadeia de fornecimento de algodão. Esta parceria acabará tornando o modelo de previsão da EAP mais preciso e disponível sob demanda, o que é perturbador e como nenhuma outra oferta de consultoria no espaço. Esta parceria tem o potencial de transformar a EAP em líderes de inovação em consultoria em algodão e commodities agrícolas.
Conhecimento em falta
A EAP está interessada em fornecer seus serviços usando um ambiente on-line, o sistema de Previsão de Preço de Commodity (CPP), que apresenta um modelo de previsão de IA que é ao mesmo tempo Leve e Explicável. O ambiente será hospedado em uma plataforma baseada na web (portanto, o modelo precisa ser "leve") sustentado por mecanismos de previsão de AI que irão prever índices de preços de commodities de forma explicável. A visão é fornecer apoio aos produtores, especialmente aos produtores de algodão em todo o mundo. Não apenas os grandes produtores, mas também os pequenos produtores que cultivam apenas alguns acres de terra.
A EAP vê uma solução de IA como central para a entrega da plataforma proposta. A realização da plataforma exigirá uma gama de tecnologias de IA que a EAP não possui atualmente, incluindo: (i) limpeza de dados (Projeto Etapa 1), (ii) previsão (Projeto Etapa 1), (iii) IA explicável e IA de peso leve (Projeto Etapa 2), (iv) visualização de dados (Etapa 4 do projeto) e (iv) a manutenção da predição de modelos (Etapa 5 do projeto). Todas as áreas da IA onde o parceiro da Base de Conhecimento tem experiência. A IA é um dos dois pilares de pesquisa do Departamento de Informática de Liverpool, com cerca de vinte acadêmicos, incluindo os Supervisores KB e o líder acadêmico. A IA explicável, ou EXAI como é freqüentemente referida, a IA leve e a manutenção de modelos de previsão são todas áreas atuais de pesquisa em informática de interesse para o parceiro da Base de Conhecimento. O EXAI é motivado pela necessidade global de ganhar a confiança dos usuários finais dos sistemas de IA para que o potencial da IA possa ser plenamente realizado. Uma maneira de conseguir isso é fornecendo explicações de como os sistemas de IA tomam decisões. A EAP acredita que a explicabilidade é uma característica essencial para seu sistema CPP previsto; os clientes da EAP vão querer entender como as previsões feitas pelo sistema CPP são alcançadas. A IA leve está preocupada em construir modelos de previsão de aprendizado profundo que requerem apenas uma quantidade limitada de poder de processamento. A motivação é permitir o acesso ao aprendizado profundo usando dispositivos com potência limitada e, de uma perspectiva ambiental, reduzir a quantidade de potência que os sistemas de aprendizado profundo usam. A idéia fundamental é construir modelos de aprendizagem profunda e depois comprimi-los para que a rede subjacente se reduza em tamanho. A EAP acredita que a inteligência artificial leve será essencial, uma vez que eles desejam fornecer previsões usando uma plataforma on-line. A manutenção de modelos de previsão tornou-se uma preocupação crescente motivada pela idéia de que não queremos reaprender modelos de aprendizado profundo sempre que novos dados estiverem disponíveis; em vez disso, gostaríamos de atualizar apenas as partes relevantes do modelo.