Por Pedro Lopes, Data Analytics & AI Team Leader na Noesis
Os sistemas de forecast e os algoritmos que os suportam, têm evoluído bastante nos últimos anos. Hoje em dia existem cada vez mais componentes na cloud, que nos ajudam ou dão a capacidade a todo o tipo de utilizadores e developers, de construir algoritmos mais simples, que conseguem atingir um output interessante e que acrescenta valor às organizações.
Por outro lado, com cada vez dados externos à disposição, third party data, é possível, em tempo real ter acesso a variáveis que acrescentam muito valor aos algoritmos de forecast, com atualização constante, e que são fundamentais para uma previsão dos eventos futuros fiável.
Impacto positivo numa primeira abordagem à Inteligência Artificial
Existe uma vasta quantidade de soluções de Machine Learning, um ecossistema por vezes até confuso para que não acompanhe estes temas tão de perto - Computer Vision, Deteção de anomalias e forecasting, são alguns dos exemplos.
O forecasting é de longe a solução mais procurada nos dias de hoje, pelas empresas. De rápida implementação, fácil de validar resultados, com muito bons índices de fiabilidade é, hoje em dia, uma ferramenta fundamental para auxiliar a tomada de decisão nas organizações. Um aliado para os Gestores, já que permite que facilmente, e em tempo real, possam ter acesso à previsão, padrões e comportamento de consumo. Esta é, sem dúvida uma boa primeira abordagem e um primeiro passo para a implementação da Inteligência artificial nas empresas.
Existem muitos algoritmos ao dispor dos Data Scientists, desde as abordagens mais clássicas, que se baseiam em fazer regressões lineares para identificar a tendência dos dados, algoritmos que são focados em séries temporais e consegue fazer previsões a muito longo prazo, algoritmos mais complexos com componentes de previsão de tendências, variações sazonais, inclusive impactos de feriados e dias festivos, que, com a adição de variáveis externas, são mais complexos, mas também mais resilientes e fiáveis.
Tudo isto, impulsionado pelo poder de processamento que a Cloud nos trouxe, que hoje em dia está ao dispor de todos e que veio "democratizar" o acesso e a implementação desta tecnologia. Estas soluções na cloud, com algoritmos pré-configurados, conseguem também, até certo ponto, cobrir necessidades gerais de grande parte das organizações e colocam a inteligência artificial a uma curta distância do cenário real das organizações. A inteligência artificial e a sua capacidade preditiva não são mais uma visão longínqua, de ficção científica.
A disrupção provocada pela pandemia
O cenário nos últimos 12 meses, todavia, acrescentou uma dinâmica e uma alteração brusca nas séries temporais e um novo layer de complexidade ao tema.
São vários os use cases, por exemplo num sector como o da restauração que foi brutalmente impactado pela pandemia, em que de um dia para o outro uma tendência muito forte e um padrão muito constante de consumo passou a consumos nulos, provocando a disrupção nesta tecnologia e no algoritmo de forecast.
O contexto de pandemia, provocou, assim, enormes desafios aos data scientists. Esta disrupção total dos dados, rapidamente tornou obsoletos os padrões de aprendizagem dos algoritmos, que já não podiam ser aplicados. Surgiram, por isso, situações anómalas, como previsões negativas, porque a série temporal não conseguia ajustar-se à ausência de dados. A solução passou por um exercício criativo e muito trabalho, de tentativa-erro, procura de novas variáveis externas, variáveis macroeconómicas, indicadores antes desconsiderados, e uma complexificação crescente dos algoritmos. A introdução de variáveis estatísticas, formulação de hipóteses, remoção de missing values, interpolação de dados, entre outras técnicas, foram a base do trabalho dos últimos meses.
Um cenário "caótico", mas ao mesmo tempo excitante, para quem trabalha nesta área, onde se acrescentou ainda a própria variabilidade da atividade de cada empresa, mesmo que operando no mesmo sector de atividade. Empresas que fecharam e que pararam totalmente, outras que se mantiveram com uma atividade mínima, outras ainda que alteraram entre um regime e outro ao longo do tempo. Paragens seletivas, mudança de cenários, alterações legislativas e de regras entre dias de semana e fins de semana, alterações semanais e quinzenais, padrões de consumo verdadeiramente atípicos e sem correlação ou, até, a própria mudança de hábitos de consumo dos clientes.
O algoritmo de forecast é versátil e moldável, pode ser enriquecido com informação externa ou outro tipo de abordagens e esta experiência e período deu-nos também a oportunidade de capacitar as equipas e os profissionais da área de outras competências e de outra agilidade. A resposta a este cenário requerer uma preparação e uma investigação muito forte, percebendo que o último período temporal recente, sendo um período realmente atípico (assim todos desejamos), obrigará a tomar decisões sobre o "peso" a considerar deste período, em relação aos períodos pré-pandémicos e, perceber, como essa variação se comporta na realidade.
Sendo impossível prever como será o "novo normal" no que toca aos hábitos de consumo e às interações dos consumidores e clientes com as empresas, a grande questão que se coloca neste momento é se os algoritmos de forecast continuarão a ter esta necessidade de ajuste durante muito tempo, ou se se terão capacidade de adaptação rápida a novas tendências e novas dinâmicas. A resiliência será um fator chave, a que todas as organizações terão de dar cada vez mais atenção. Um período tão disruptivo como este, colocou, de facto, todos os agentes envolvidos, à prova.
A tendência aponta claramente para a necessidade de soluções cada vez mais personalizadas e customizadas, deixando cair o conceito de "auto-ML" ou de soluções "one size fits all". A personalização será um fator-chave.
Têm sido tempos especialmente exigentes para quem trabalha com dados, que obrigaram também os Data Scientists a "sair da caixa" e a procurarem formulas distintas, para atingir o objetivo último: dotar os decisores de negócio, de dados fiáveis para suportar a sua tomada de decisão!
Publicado em Dinheiro Vivo
