Data Engineer - Python, AWS, Spark|Palau-solità i Plegamans. Modelo híbrido 2-3 días en la oficina.
Consultora internacional
Desarrollarás pipelines en batch y tiempo real con Spark, dbt, Spark Structured Streaming y Kafka.
Desarrollarás y gestionarás el Data Lake, el procesamiento de datos y las plataformas de datos end to end: Diseñarás y gestionarás soluciones de arquitectura cloud. Desarrollarás integraciones de datos escalables y confiables para alimentar los modelos de Data Science. Administrarás y orquestarás mecanismos adecuados de monitorización. Diseñarás pipelines CI / CD. Participarás en la automatización de tests, calidad del código y despliegue automático de nuestras aplicaciones. Estarás conectado con los últimos avances en Big Data y colaborarás en el I+D que aportarán nuevos casos de uso y mejoras.
Oportunidades de carrera y desarrollo profesional.
Modelo hibrido 2-3 días en las oficinas
Requisitos mínimos
Que aportes al menos 3 años de experiencia desarrollando en Python, Scala, o cualquier otro lenguaje orientado a objetos.
Que aportes experiencia en el desarrollo de ETL escalable, procesos de integración de datos con Spark, Spark Structured Streaming o cualquier otra tecnología de procesamiento de datos.
Que estés interesado/a y apliques buenas prácticas: tests, automatizaciones, construyas pipelines en CI, etc.
Que tengas experiencia en la construcción y el mantenimiento de cargas de datos de alto volumen complejas y orquestando dependencias (por ejemplo, Airflow).
Que hayas trabajado con servicios de AWS (por ejemplo, S3, Lambda, DynamoDB, API Gateway, Glue, Athena, ECR/ECS), y Databricks es muy deseable.
Que seas una persona comprometida, proactiva, que se preocupe por la calidad de sus entregables, y una mentalidad hands-on.
