Noticias

Levar um modelo de machine learning à produção é só colocá-lo no ar?

Jean Pierre Lessa e Santos Ferreira
Jean Pierre Lessa e Santos Ferreira

Um modelo acerta quase tudo no teste e, na primeira semana de uso real, começa a errar sem que ninguém perceba. Para o executivo de tecnologia Jean Pierre Lessa e Santos Ferreira, esse tipo de situação mostra por que o trabalho de verdade começa depois que o modelo termina de ser treinado, e não antes. Um modelo de machine learning, isto é, um sistema que aprende padrões a partir de dados para fazer previsões, só gera valor quando está integrado à operação e é acompanhado de perto.

O primeiro mito: modelo treinado é modelo pronto

A ideia mais comum é que o trabalho termina quando o modelo alcança uma boa taxa de acerto. Tal medida, porém, vem de um conjunto de dados preparado e estável, bem diferente do que chega a um sistema em operação. Em produção, os dados chegam incompletos, atrasados, com formatos novos e em volumes que variam ao longo do dia. Um modelo treinado com dados limpos pode se comportar de forma muito diferente diante dessa realidade.

Por isso, a preparação para produção inclui definir como os dados entram, quem garante a qualidade deles e o que acontece quando algo vem fora do padrão. Conforme destaca Jean Pierre Lessa e Santos Ferreira, que acumula mais de 25 anos de experiência em tecnologia, a conversa sobre precisão do modelo costuma ocupar espaço demais, enquanto o caminho dos dados até ele recebe atenção de menos. Quem ignora essa parte descobre o problema só quando o resultado já afetou o negócio.

O segundo mito: produção é uma etapa de engenharia que vem depois

Outra crença é que cientistas de dados constroem o modelo e, depois, outra equipe apenas o coloca no ar. Na prática, as duas frentes precisam conversar desde o início. O ambiente em que o modelo vai rodar define limites de tempo de resposta, de custo e de capacidade de processamento, e esses limites mudam a escolha do próprio modelo. Um algoritmo mais sofisticado pode ser inviável se precisar de segundos para responder a algo que a operação exige em milésimos.

Em operações de grande escala, o modelo costuma ser empacotado junto com o código que prepara os dados, versionado e testado como qualquer outro software. É aqui que entra o MLOps, conjunto de práticas que reúne desenvolvimento, implantação e monitoramento de modelos de forma repetível. Sem ele, cada atualização vira um esforço manual, difícil de reproduzir e fácil de errar.

Como Jean Pierre Lessa e Santos Ferreira explica o papel do monitoramento?

Depois que o modelo está no ar, o mundo continua mudando. Hábitos de consumo se alteram, produtos novos surgem, e os dados de hoje deixam de se parecer com os do treinamento. Tal fenômeno, chamado de deriva, faz a qualidade das previsões cair aos poucos, sem nenhum alarme evidente. Como elucida Jean Pierre Lessa e Santos Ferreira, que liderou times de mais de 3 mil profissionais de tecnologia, dados e machine learning, o monitoramento precisa observar tanto a saúde técnica do sistema quanto a qualidade das decisões que ele produz.

Acompanhar indicadores simples e frequentes é o caminho: se os dados de entrada mudaram de perfil, se as respostas estão dentro do esperado e se o resultado de negócio continua compatível com o que se previu. Bons alertas avisam a equipe antes de o usuário perceber. E, quando o desempenho cai, é preciso saber o que fazer: retreinar, ajustar ou até desligar o modelo e voltar a uma regra mais simples enquanto o problema é resolvido.

O terceiro mito: um modelo em produção é um projeto que se encerra

Muita gente trata a entrada no ar como a linha de chegada. Mas um sistema de pagamentos ou de estoque também passa por ajustes, correções e atualizações o tempo todo, e, com o modelo de machine learning, a demanda é maior, porque ele depende de dados que nunca param de mudar. O custo de manter o modelo funcionando, de retreiná-lo e de monitorá-lo faz parte do orçamento desde o primeiro dia, e deixá-lo de fora distorce a conta do retorno.

Na visão de Jean Pierre Lessa e Santos Ferreira, a decisão de levar um modelo adiante deve considerar também quem será o responsável por ele depois da entrega. Um modelo sem dono, em qualquer empresa, tende a ficar parado até que algum erro chame a atenção. Definir responsabilidades, rotinas de revisão e critérios claros para a retirada de um modelo do ar é tão importante quanto o treinamento original.

O que sustenta a passagem do teste ao uso diário?

Antes de liberar um modelo, a empresa ganha em revisar um ponto prático: quem será avisado quando as respostas começarem a destoar e quem tem autoridade para pausar o sistema. Sem esse desenho de responsabilidades, um alerta técnico pode circular por dias sem que ninguém decida nada, e o modelo continua operando com erros que o negócio só percebe quando o prejuízo já aparece nos números.

Para as empresas que pretendem usar inteligência artificial de forma séria, o que decide o resultado é a organização estar pronta para sustentar o modelo. Investir em infraestrutura, em práticas de engenharia e em pessoas que entendam tanto de dados quanto do negócio muda a natureza do projeto. Com essa base, o modelo deixa de ser uma demonstração promissora e passa a fazer parte, de verdade, do trabalho de todos os dias.