Engenheiro(a) de Dados Sênior - Azure & Databricks

Junte-se à Digiage e ajude a escalar a inteligência artificial com excelência operacional. Na Digiage, acreditamos que os dados são a base para impulsionar inovação, eficiência e decisões estratégicas. Estamos em busca de um(a) Engenheiro(a) de Dados Sênior | Azure & Databricks para atuar em projetos estratégicos junto a clientes de grande porte, desenvolvendo arquiteturas modernas de dados e soluções escaláveis para Analytics, Inteligência Artificial e Data Platforms. Você será responsável por projetar, implementar e evoluir pipelines de dados de alta performance, garantindo qualidade, confiabilidade e escalabilidade em ambiente Azure Databricks, além de contribuir para a evolução da arquitetura e das melhores práticas de engenharia de dados. Responsabilidades Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços do ecossistema Azure e Databricks. Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT), incluindo cenários de ingestão em tempo real. Implementar e otimizar soluções utilizando serviços como Azure Data Factory, Azure Data Lake Storage (ADLS Gen2), Databricks Jobs/Workflows, Azure Functions, Azure Synapse Analytics e Event Hubs/Event Grid. Projetar, implementar e sustentar Data Lakes e arquiteturas Lakehouse (medallion: Bronze/Silver/Gold) em ambiente Azure Databricks. Desenvolver soluções utilizando Python, SQL e PySpark com foco em performance, escalabilidade e qualidade dos dados. Trabalhar com grandes volumes de dados estruturados e não estruturados. Garantir qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline, com uso do Unity Catalog e conformidade com a LGPD. Otimizar consultas, processamento e consumo de dados (Databricks SQL Warehouses, dimensionamento de clusters), buscando redução de custos e aumento de performance. Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas. Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados (ex.: alertas de Databricks Jobs, Azure Monitor). Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma. Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados. Requisitos mínimos Experiência sólida como Engenheiro(a) de Dados em ambiente Azure. Domínio dos principais serviços de dados do Azure, como Data Factory, ADLS Gen2, Databricks, Synapse Analytics e Azure Functions. Experiência sólida no desenvolvimento de pipelines ETL/ELT. Conhecimento avançado em Python e SQL. Experiência com modelagem de dados para ambientes analíticos e Data Lakes/Lakehouse. Conhecimento em Apache Spark ou PySpark. Experiência com versionamento utilizando Git e práticas de CI/CD (idealmente Azure DevOps). Conhecimento em particionamento, otimização de consultas e processamento distribuído. Experiência com monitoramento, observabilidade e troubleshooting de pipelines. Conhecimento em arquitetura de dados em cloud e boas práticas de segurança, governança e conformidade com a LGPD. Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos. Diferenciais Experiência com Databricks Unity Catalog para governança e catalogação de dados. Conhecimento em Delta Lake e arquitetura medallion (Bronze/Silver/Gold). Conhecimento em Azure Data Factory e/ou Databricks Workflows / Databricks Asset Bundles (DABs) para orquestração. Experiência com arquiteturas orientadas a eventos (Event Hubs, Event Grid). Experiência com integração de sistemas legados/ERP (ex.: SAP) em pipelines de dados. Conhecimento em frameworks de qualidade de dados (ex.: DQX - Databricks Labs, dbt, Great Expectations). Conhecimento em ingestão de dados em tempo real (ex.: Event Hubs, Kafka). Experiência com Docker e Kubernetes (AKS). Conhecimento em infraestrutura como código (Terraform ou Bicep/ARM Templates). Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps. Experiência em ambientes corporativos de grande porte e projetos de missão crítica. Certificações Azure e/ou Databricks (ex.: DP-203, Databricks Certified Data Engineer).