Responsabilidades e atribuições

  • Interagir com terceiros, fornecedores e/ou prestadores a fim de garantir o melhor entendimento e implementação dos dados e arquitetura;
  • Participar de discussões baseadas em dados dentro da equipe e entre áreas de negócios, apoiando decisões importantes;
  • Fazer a interface com os times de tecnologia e produtos a fim de definir as melhores práticas quanto ao armazenamento e consumo dos dados, além de sugerir, testar e acompanhar a implementação de novas tecnologias;
  • Vai ser ponto de contato, provendo soluções que sejam disponibilizadas para consumo conforme a necessidade de cada tipo de usuário.

Requisitos e qualificações

  • Contribuir em projetos de migração de dados entre plataformas (MF x Hadoop);
  • Otimizar processos de ETL;
  • Colaborar no desenho de arquiteturas para processamento de dados, seja para novos pipelines ou para melhoria do atual;
  • Aplicar os padrões de governança de dados estabelecidos pela empresa;
  • Garantir que arquitetura comporte necessidades e requisitos técnicos do time de execução, trabalhando em conjunto com times de TI (Arquitetura, Segurança, Infraestrutura) e com áreas de negócio;
  • Desenvolver APIs de acesso e consumo dos dados para disponibilização dos dados como um produto;
  • Identificar oportunidades e realizar estruturação de dados para uso em diversas áreas da empresa;
  • Ter conhecimento e garantir que está sendo aplicado as melhores práticas de uso de dados;
  • Spark (Scala/Python)
  • Apache Airflow
  • Hadoop Ecosystem (Yarn, Hive, HDFS)
  • Amazon AWS (EC2, S3, EMR)
  • Cultura DevOps
  • Cassandra / Mongo DB
  • Inglês intermediário/avançado

Diferenciais

  • Jenkins
  • Kubernetes / Docker
  • Terraform / Ansible
  • Apache Hudi / Iceberg
  • Cassandra
  • Trino (Presto)
  • HBase
  • Delta Lake
  • Técnicas de CDC – Change Data Capture

Informações adicionais

CLT / Remoto / Horário Comercial


#Atenção

Se você estiver vendo essa vaga em outra plataforma que não seja nosso site ou Breezy, candidate-se em https://digiage.com.br/jobs/