No mundo em rápida mudança da engenharia de dados e na era da IA, o papel dos profissionais evoluiu, passando de meros gerentes de pipelines de dados para os principais estrategistas que tomam decisões rápidas em tempo real.

Na DES 25, Varun Saraogi, arquiteto de dados principal da Mathco, capturou vividamente essa transformação, desenhando uma analogia perspicaz do mundo dos altos riscos das corridas de Fórmula 1.

“Os engenheiros de dados modernos são como engenheiros de corrida”, disse ele. Saraogi, um entusiasta da F1, observou que a comparação era casual, mas mais estruturada.

Em uma corrida de Fórmula 1, cada equipe reúne volumes enormes de dados a cada segundo. Mas, como ele observou, não há diferenciação na quantidade de dados que você pode capturar entre as equipes. O que os diferencia é como suas equipes usam os dados.

Como um engenheiro de corrida transmitindo informações sobre o motorista, as equipes de dados de hoje devem agir com precisão, velocidade e compreensão profunda. Ele afirmou que a questão principal é como a equipe de engenharia de dados, o estrategista e o engenheiro de corrida compreendem e alavancam esses dados para fornecer informações contextuais.

Duas paradas de pit: mentalidade de contexto e produto

O argumento central de Saraogi era que o contexto agora é fundamental para a tomada de decisões. Do conhecimento de metadados e domínio ao controle de controles e histórico de interação, Saraogi descreveu oito camadas distintas que devem ser incorporadas, não aparafusadas, em pipelines. “Os metadados não podem mais ser uma reflexão tardia”, ele insistiu. Tem que ser incorporado ao seu pipeline. ”

Além do contexto, ele pediu uma mudança da construção de oleodutos para o pensamento do produto. Com a experiência, Saraogi admitiu que, naquela época, ele se concentrou apenas em fornecer dados para a equipe e não entendeu os casos de uso. Essa mentalidade não se mantém mais.

Seja construindo um cliente 360 ​​ou se preparando para casos de uso de IA em tempo real, os engenheiros de dados hoje devem antecipar a intenção dos negócios. “Não se trata apenas de construir plataformas para a IA, mas também de construir plataformas com IA”, disse ele.

Saraogi também apontou para a necessidade de sinais em tempo real, como férias ou tendências de vendas, para serem incorporados diretamente aos fluxos de dados, mantendo o contexto em mente. Os sistemas tradicionais não conseguem acompanhar as consultas ou expectativas abertas para a personalização on-the-fly. “Se você precisar reescrever o manual … o futuro está aqui”, disse ele, pedindo aos engenheiros que repensem como as plataformas de dados funcionam e são construídas.

A linha de chegada não é apenas sobre velocidade

Saraogi lembrou ao público que o carro mais rápido nem sempre vence. “A McLaren, no segundo tempo, teve o carro mais rápido, mas eles não venceram. Também se trata de estratégia, dados e como alguém o usa”, disse ele.

Da mesma forma, uma plataforma com alta taxa de transferência e baixa latência não a cortará, a menos que os dados tenham significado. Ele enfatizou que os dados devem ser analisados ​​para entender os usuários, a região e mais, não apenas em termos de números de vendas.

O contexto deve estar presente desde o início para fornecer saídas de IA relevantes e confiáveis. Saraogi estabeleceu uma abordagem estruturada: identificar fontes de contexto (estruturadas, não estruturadas, metadados e externas), montam modelos de contexto (de bancos de dados relacionais a vetores) e monitoram seu uso para garantir feedback e confiança.

Portanto, o engenheiro de dados moderno não apenas move dados. Eles monitoram, interpretam e estratégias, como um engenheiro de corrida empoleirado na parede do poço. A corrida não diminuiu a velocidade, mas os vencedores não estão apenas construindo oleodutos mais rápidos, mas também fazendo perguntas mais atenciosas.