Cinco tendências em IA e ciência de dados para 2024

A inteligência artificial (IA) e a ciência de dados ganharam as primeiras páginas durante todo o ano de 2023. Certamente a expansão da IA generativa provocou esse aumento na visibilidade. Mas o que ainda pode vir pela frente em 2024 que mantenha essa tendência? E como essas tendências afetarão os negócios?

Ao longo dos últimos meses, conduzimos três pesquisas junto a executivos de dados e tecnologia. Duas delas envolveram os participantes do MIT’s Chief Data Officer Symposium – uma apoiada pela Amazon Web Services (AWS) e outra, pela Thoughtworks (ainda não publicada). A terceira pesquisa foi conduzida pela Wavestone (antiga NewVantage Partners), que realiza este tipo de trabalho anualmente e sobre o qual já escrevemos em outras ocasiões falando sobre os resultados. Somadas, as três pesquisas tiveram mais de 500 participantes, todos executivos experientes – possivelmente com alguma duplicidade.

Esses levantamentos não preveem o futuro, mas podem, sim, apontar o que as empresas estão fazendo em termos de projetos e estratégias de IA e ciência de dados. Confira, a seguir, os cinco principais temas relacionados a desenvolvimento e que merecem a sua atenção.

1. A IA generativa é atraente, mas precisa agregar valor

A IA generativa conquistou grande atenção das empresas e do consumidor. Mas será que está trazendo valor para as organizações que começaram a usá-la?

Os resultados da nossa pesquisa indicam que, embora exista uma grande agitação em torno da tecnologia, ela ainda não trouxe retorno em muitos casos. Por outro lado, a maioria dos respondentes acredita no potencial transformador da IA generativa: na pesquisa da AWS, 80% dizem que ela irá transformar suas organizações e 64% dos respondentes da Wavestone a veem como a tecnologia mais transformadora dessa geração.

> Pesquisas sugerem que, embora a empolgação com a IA generativa seja muito alta, o valor ainda não foi entregue em grande parte.

Outro movimento que se observa entre a imensa maioria dos participantes é o aumento do investimento nessa tecnologia. Contudo, as empresas ainda estão na fase de experimentação em bases individuais ou em uma área específica. Apenas 6% das empresas que constam da pesquisa da AWS puseram em produção algum aplicativo de IA generativa, e, entre os participantes da Wavestone, somente 5% fizeram algo que tenha ganho de escala.

> Implantações de IA generativa certamente exigirão mais investimentos e mudanças organizacionais, não apenas experiências.

Processos precisarão ser redefinidos e funcionários terão que ser treinados (ou, provavelmente, uns poucos serão substituídos pelos novos sistemas). As novas habilidades de IA precisarão ser integradas à infraestrutura existente de tecnologia.

Talvez a mudança mais importante envolva dados — curando conteúdo não estruturado, melhorando a qualidade dos dados e integrando fontes diversas. Na pesquisa da AWS, 93% dos respondentes concordaram que a estratégia de dados é crucial para obter valor da IA generativa, mas 57% não fizeram nenhuma mudança em seus dados até agora.

2. A ciência de dados está migrando de artesanal para industrial

As empresas percebem a necessidade de acelerar a produção de modelos de ciência de dados. O que antes era uma atividade com um jeito mais artesanal está adquirindo uma feição industrial. As empresas estão investindo em plataformas, processos e metodologias, bancos de recursos, sistemas MLOps (operações de aprendizagem de máquina, da sigla em inglês) e outras ferramentas para aumentar a produtividade e a velocidade de implantação. Sistemas MLOps monitoram os avanços de modelos de machine learning e verificam se eles conseguem efetuar suas predições com precisão. Se não for assim, eles podem precisar ser treinados novamente com outros dados.

A maioria dos recursos usados para implantar a IA generativa vem de empresas especializadas, mas há organizações que estão desenvolvendo suas próprias plataformas. Embora a automação (incluindo ferramentas automatizadas de machine learning, que discutiremos a diante) ajude no incremento da produtividade e permita expandir a participação da ciência de dados, a maior vantagem para alcançar essa mesma produtividade é, possivelmente, o reuso de conjuntos de dados, recursos, variáveis ou, até mesmo, um modelo inteiro.

3. Duas versões de produtos de dados serão dominantes

Na pesquisa da Thoughtworks, 80% dos respondentes disseram que suas organizações estão usando ou avaliando o uso e a gestão de produtos de dados. Entendemos produtos de dados como dados organizados, analytics e IA em um sistema disponível para usuários internos ou externos. São administrados por gestores de produtos de dados desde a concepção até a implantação, ou acompanhamento em produção. Exemplos de produtos incluem sistemas que orientam clientes sobre outros itens que possam interessar em uma compra e otimização de preços para equipes de vendas.

Mas as organizações enxergam produtos de dados de duas maneiras diferentes. Pouco menos da metade (48%) dos participantes da pesquisa disseram incluir analytics e habilidades de IA nesse conceito. Cerca de 30% veem IA e analytics separadamente de produtos de dados, e podemos presumir que o termo se refira a apenas dados organizados. Apenas 16% dizem que não consideram IA ou analytics como parte do produto.

Temos uma certa preferência por uma definição de produtos de dados que inclua analytics e IA, pois essa é a forma como os dados se tornam úteis. Mas o que realmente importa é que a organização seja consistente em como define e discute produtos de dados. Se ela prefere uma combinação de "produtos de dados" e "produtos de analytics e IA", isso também pode funcionar bem, e essa definição preserva muitos dos aspectos positivos da gestão de produtos. Mas sem clareza na definição, as organizações podem ficar confusas sobre o que exatamente os desenvolvedores de produtos devem entregar.

4. Cientistas de dados passarão a ser menos “sexy” do que antes

Cientistas de dados, que foram vistos como detentores do "trabalho mais sexy do século 21" devido à sua capacidade de tornar todos os aspectos dos projetos de ciência de dados bem-sucedidos, viram seu brilho diminuir. Uma série de mudanças na ciência de dados está produzindo abordagens alternativas para gerenciar partes importantes do trabalho. Uma dessas mudanças é a proliferação de papéis que podem abordar partes do problema da ciência de dados.

Esse conjunto – em expansão – de profissionais inclui engenheiros de dados para manipular dados, engenheiros de machine learning para escalar e integrar os modelos, tradutores e conectores para trabalhar com as partes interessadas do negócio e gerentes de produtos de dados para supervisionar toda a iniciativa.

Outro fator que reduz a demanda por cientistas de dados é o surgimento dos desenvolvedores cidadãos, pessoas de negócios habilidosas o bastante para criar elas mesmas algoritmos ou modelos. Podem usar AutoML (ferramentas automatizadas de machine learning) para fazer a parte mais pesada.

Ainda mais útil é a capacidade de modelagem disponível no ChatGPT, chamada advanced data analysis (análise de dados avançada, em português). Com um prompt muito curto e um conjunto de dados carregado, ela pode lidar praticamente com todas as etapas do processo de criação de modelo e explicar suas ações.

É claro, ainda existem muitos aspectos de ciência de dados que requerem um profissional do ramo. O desenvolvimento de algoritmos inteiramente novos ou a interpretação de funcionamento de modelos complexos, por exemplo, são tarefas que não deixaram de existir. É um papel que ainda é necessário, mas talvez não tanto como antes, e sem o mesmo grau de poder e brilho.

5. Dados, analytics e gestores de IA estão se tornando menos independentes

No ano passado, começamos a ver que um número crescente de organizações começou a conter a proliferação de cargos de chefia em dados e tecnologia, inclusive CDOs (diretores de dados, da sigla em inglês) e CDAOs (diretores de dados e análises, da sigla em inglês). O papel de ambos, embora mais frequente nas empresas, tem sido caracterizado por vínculos mais breves e gerado confusão quanto a suas responsabilidades.

Não são as funções que estão deixando de existir. Na verdade, estamos vendo que elas estão sendo reunidas sob um guarda-chuva maior, que abriga funções de tecnologia, dados e transformação digital, e geridas por um líder “supertech”, em geral reportando-se ao CEO (diretor executivo, da sigla em inglês). Os nomes dessa posição podem ser CIO (Diretor de Informática, da sigla em inglês), CITO (Diretor de Tecnologia da Informação, da sigla em inglês) e CDTO (Diretor de Digital e Tecnologia, da sigla em inglês). Exemplos do mundo real podem ser Sastry Durvasula, da TIAA, Sean McCormack, do First Group, e Mojgan Lefebvre, da Travelers.

Essa evolução das posições no C-suite era o interesse principal da pesquisa da Thoughtworks, em que 87% dos respondentes (a maioria, gestores de dados, mas também executivos de tecnologia) afirmaram que as pessoas em suas organizações estavam completamente, muito ou de alguma forma confusas sobre a quem se dirigir quando se tratava de dados ou tecnologia. Muitos executivos do C-level disseram que a colaboração com outras lideranças voltadas a tecnologia era relativamente baixa em suas próprias organizações e 79% manifestaram que as empresas tinham passado por entraves por causa dessa falta de colaboração.

Acreditamos que, em 2024, veremos um número maior dessas posições mais abrangentes de tecnologia, que congregam todas as habilidades para criar valor com o uso de dados e profissionais de tecnologia reportando a elas. Ainda será preciso enfatizar analytics e IA, porque é como as organizações tratam os dados e criam valor para seus funcionários e clientes. Mais importante, esses líderes deverão ser altamente voltados para o negócio, capazes de discutir estratégias com o topo da organização e saber traduzir as necessidades em sistemas e insights que façam da estratégia uma realidade.