Trabajos delta en VigoCrear alertas

Senior Data Engineer(Databricks) Location: Remote from Spain (an indefinite Spanish employment contract) We are hiring a Senior Data Engineer to join an Intellias delivery team on a large-scale enterprise data platform migration programme for a financial services client. This is a hands-on senior role. You will write production code every week, own architectural decisions on your workstream, and mentor a paired mid-level engineer. Project Overview: Our client is an independent, active global asset manager with over R3 trillion in assets under management. They are executing a firm-wide data strategy to govern, manage and engineer data as a product across more than 70 business-owned sub-domains. As part of this, they are migrating to Databricks as the foundational layer of their Enterprise Data Platform, adopting a lakehouse architecture built on open formats, declarative pipelines and Unity Catalog. Requirements: • 6+ years of data engineering experience, with at least the last three years on Databricks in production., • Deep hands-on experience with medallion / Lakehouse architecture, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines and Databricks Asset Bundles., • Strong python, PySpark and SQL, comfortable diagnosing performance issues on large workloads through Spark UI and Photon., • Real production experience with streaming ingestion (Kafka Structured Streaming, Auto Loader) and CDC patterns., • Experience implementing data quality at scale (Great Expectations or equivalent), plus lineage, cataloguing and access control., • CI/CD on data platforms through Azure DevOps or GitHub Actions, with infrastructure as code (Terraform or equivalent)., • Fluent working English. Nice to have • Active Databricks certifications, • Prior exposure to investment management platforms, asset management operations data, market data feeds from major providers, • CDMP DAMA certification or equivalent data governance credential., • Experience applying agentic engineering tooling to production data engineering (not just personal productivity), including MCP-connected Databricks or cloud servers. Responsibilities: • Perform the end-to-end delivery of one or more priority data domains on Azure Databricks., • Design and build medallion (Bronze / Silver / Gold) pipelines using Lakeflow Declarative Pipelines, Auto Loader, Structured Streaming and Delta Lake with Liquid Clustering., • Register curated data products in Unity Catalog with the correct tags, masks, row filters, lineage and access policies., • Implement data quality gates at the Silver-to-Gold boundary, and refine rules with domain stewards., • Package and deploy work using Databricks Asset Bundles through Azure DevOps CI/CD, • Write automated tests and documentation, • Work at AI-as-Collaborator level today with a path to AI-as-Orchestrator, using Claude Code, Databricks Assistant, GitHub Copilot and MCP-connected agent tooling to accelerate the recurring parts of pipeline build, test and deploy. Why this position: Build within a large-scale enterprise data platform migration from day one, designing and delivering the pipelines, ingestion patterns and domain migrations that bring a 70+ sub-domain data strategy to life. You'll work hands-on with the leading edge of the Databricks ecosystem on a high-stakes lakehouse build, applying agentic engineering tooling to accelerate delivery, and working closely with the architecture team to turn platform standards into working, production-grade data.

Buscamos un/a Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en entornos retail de alto volumen. La persona seleccionada será el referente técnico de la arquitectura de datos: desde la ingesta de fuentes operacionales (ERP, POS, e-commerce, footfall) hasta la exposición de datos listos para consumo por modelos de ML y herramientas de BI. El rol requiere dominio profundo de Databricks como plataforma central y sólido conocimiento de la arquitectura Medallion (Bronze / Silver / Gold), así como experiencia en modelado de datos dimensional y capacidad para trabajar con Azure Data Factory como orquestador de pipelines — aunque la mayor parte del trabajo de transformación residirá en Databricks. 1. Responsabilidades principales Arquitectura y plataforma de datos ● Diseño y evolución de la arquitectura Medallion (Bronze → Silver → Gold) sobre Databricks / Delta Lake. ● Definición de estándares de ingesta, particionado, compactación y versionado de tablas Delta. ● Gobierno de la plataforma: Unity Catalog, gestión de permisos, linaje de datos y calidad (Great Expectations o similar). ● Evaluación y decisión de patrones de procesamiento: batch, micro-batch (Structured Streaming) y near real-time según el caso de uso. Modelado de datos ● Diseño de modelos dimensionales (esquemas estrella y copo de nieve) orientados a casos de uso de pricing, forecasting y personalización. ● Definición de tablas de hechos y dimensiones: transacciones POS, catálogo de productos, maestro de tiendas, calendario promocional. ● Colaboración con el equipo de ML para diseñar y mantener el feature store sobre la capa Gold. ● Documentación del modelo de datos en un catálogo semántico accesible para usuarios de negocio y analítica. Pipelines e ingesta ● Construcción de pipelines de ingesta desde fuentes heterogéneas: ERP (SAP u otros), POS, APIs de e-commerce, feeds de Retail Media, NPS. ● Uso de Azure Data Factory para orquestación de movimientos de datos entre sistemas origen y el lakehouse — con preferencia por mantener la lógica de transformación en Databricks (PySpark / SQL). ● Implementación de patrones de ingesta incremental (CDC, watermark, upsert con Delta Merge) para minimizar latencia y coste. ● Testing de pipelines: validaciones de schema, checks de completitud y pruebas de regresión sobre datos. Operación y fiabilidad ● Monitorización de jobs en Databricks Workflows: alertas, reintentos y gestión de dependencias. ● Optimización de costes de cómputo: sizing de clusters, uso de Photon, Auto Loader y optimizaciones de Delta (OPTIMIZE / ZORDER). ● Soporte a incidencias de datos en producción (on-call rotatorio con el equipo). Colaboración ● Trabajo estrecho con Data Scientists para garantizar que el feature store cubra los requisitos de los modelos de pricing y recomendación. ● Acompañamiento a analistas de negocio en la definición de métricas y KPIs sobre la capa Gold. ● Participación en code reviews, definición de convenciones de nombrado y estándares de calidad del equipo. 1. Requisitos Imprescindibles ● 5+ años de experiencia en ingeniería de datos en entornos productivos. ● Databricks: experiencia sólida con Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog. ● Arquitectura Medallion: diseño e implementación de capas Bronze / Silver / Gold con criterios claros de granularidad, particionado y SLA por capa. ● Modelado de datos: dominio de modelado dimensional (Kimball); diseño de esquemas estrella y copo de nieve; definición de claves surrogadas, SCDs y tablas de hechos. ● Lenguajes: PySpark y SQL avanzado (window functions, CTEs, optimización de queries). ● Azure Data Factory: conocimiento funcional para orquestación y movimiento de datos; no es necesario dominio profundo. ● Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert. ● Familiaridad con control de versiones (Git) y prácticas de DataOps básicas. Valorables ● Experiencia en retail, travel retail o sectores con datos transaccionales de alto volumen. ● Conocimiento de herramientas de calidad de datos: Great Expectations, Soda o similar. ● Experiencia con dbt (data build tool) para transformaciones SQL sobre la capa Silver/Gold. ● Familiaridad con eventos en streaming: Kafka, Event Hubs o Databricks Structured Streaming. ● Conocimiento de herramientas de catálogo y linaje: Purview, Alation o Unity Catalog avanzado. ● Experiencia colaborando con equipos de ML en el diseño de feature stores (Feast, Tecton o solución custom).

Senior Data Engineer(Databricks) Location: Remote from Spain (an indefinite Spanish employment contract) We are hiring a Senior Data Engineer to join an Intellias delivery team on a large-scale enterprise data platform migration programme for a financial services client. This is a hands-on senior role. You will write production code every week, own architectural decisions on your workstream, and mentor a paired mid-level engineer. Project Overview: Our client is an independent, active global asset manager with over R3 trillion in assets under management. They are executing a firm-wide data strategy to govern, manage and engineer data as a product across more than 70 business-owned sub-domains. As part of this, they are migrating to Databricks as the foundational layer of their Enterprise Data Platform, adopting a lakehouse architecture built on open formats, declarative pipelines and Unity Catalog. Requirements: • 6+ years of data engineering experience, with at least the last three years on Databricks in production., • Deep hands-on experience with medallion / Lakehouse architecture, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines and Databricks Asset Bundles., • Strong python, PySpark and SQL, comfortable diagnosing performance issues on large workloads through Spark UI and Photon., • Real production experience with streaming ingestion (Kafka Structured Streaming, Auto Loader) and CDC patterns., • Experience implementing data quality at scale (Great Expectations or equivalent), plus lineage, cataloguing and access control., • CI/CD on data platforms through Azure DevOps or GitHub Actions, with infrastructure as code (Terraform or equivalent)., • Fluent working English. Nice to have • Active Databricks certifications, • Prior exposure to investment management platforms, asset management operations data, market data feeds from major providers, • CDMP DAMA certification or equivalent data governance credential., • Experience applying agentic engineering tooling to production data engineering (not just personal productivity), including MCP-connected Databricks or cloud servers. Responsibilities: • Perform the end-to-end delivery of one or more priority data domains on Azure Databricks., • Design and build medallion (Bronze / Silver / Gold) pipelines using Lakeflow Declarative Pipelines, Auto Loader, Structured Streaming and Delta Lake with Liquid Clustering., • Register curated data products in Unity Catalog with the correct tags, masks, row filters, lineage and access policies., • Implement data quality gates at the Silver-to-Gold boundary, and refine rules with domain stewards., • Package and deploy work using Databricks Asset Bundles through Azure DevOps CI/CD, • Write automated tests and documentation, • Work at AI-as-Collaborator level today with a path to AI-as-Orchestrator, using Claude Code, Databricks Assistant, GitHub Copilot and MCP-connected agent tooling to accelerate the recurring parts of pipeline build, test and deploy. Why this position: Build within a large-scale enterprise data platform migration from day one, designing and delivering the pipelines, ingestion patterns and domain migrations that bring a 70+ sub-domain data strategy to life. You'll work hands-on with the leading edge of the Databricks ecosystem on a high-stakes lakehouse build, applying agentic engineering tooling to accelerate delivery, and working closely with the architecture team to turn platform standards into working, production-grade data.

Senior Data Engineer(Databricks) Location: Remote from Spain (an indefinite Spanish employment contract) We are hiring a Senior Data Engineer to join an Intellias delivery team on a large-scale enterprise data platform migration programme for a financial services client. This is a hands-on senior role. You will write production code every week, own architectural decisions on your workstream, and mentor a paired mid-level engineer. Project Overview: Our client is an independent, active global asset manager with over R3 trillion in assets under management. They are executing a firm-wide data strategy to govern, manage and engineer data as a product across more than 70 business-owned sub-domains. As part of this, they are migrating to Databricks as the foundational layer of their Enterprise Data Platform, adopting a lakehouse architecture built on open formats, declarative pipelines and Unity Catalog. Requirements: • 6+ years of data engineering experience, with at least the last three years on Databricks in production., • Deep hands-on experience with medallion / Lakehouse architecture, Delta Lake, Unity Catalog, Lakeflow Declarative Pipelines and Databricks Asset Bundles., • Strong python, PySpark and SQL, comfortable diagnosing performance issues on large workloads through Spark UI and Photon., • Real production experience with streaming ingestion (Kafka Structured Streaming, Auto Loader) and CDC patterns., • Experience implementing data quality at scale (Great Expectations or equivalent), plus lineage, cataloguing and access control., • CI/CD on data platforms through Azure DevOps or GitHub Actions, with infrastructure as code (Terraform or equivalent)., • Fluent working English. Nice to have • Active Databricks certifications, • Prior exposure to investment management platforms, asset management operations data, market data feeds from major providers, • CDMP DAMA certification or equivalent data governance credential., • Experience applying agentic engineering tooling to production data engineering (not just personal productivity), including MCP-connected Databricks or cloud servers. Responsibilities: • Perform the end-to-end delivery of one or more priority data domains on Azure Databricks., • Design and build medallion (Bronze / Silver / Gold) pipelines using Lakeflow Declarative Pipelines, Auto Loader, Structured Streaming and Delta Lake with Liquid Clustering., • Register curated data products in Unity Catalog with the correct tags, masks, row filters, lineage and access policies., • Implement data quality gates at the Silver-to-Gold boundary, and refine rules with domain stewards., • Package and deploy work using Databricks Asset Bundles through Azure DevOps CI/CD, • Write automated tests and documentation, • Work at AI-as-Collaborator level today with a path to AI-as-Orchestrator, using Claude Code, Databricks Assistant, GitHub Copilot and MCP-connected agent tooling to accelerate the recurring parts of pipeline build, test and deploy. Why this position: Build within a large-scale enterprise data platform migration from day one, designing and delivering the pipelines, ingestion patterns and domain migrations that bring a 70+ sub-domain data strategy to life. You'll work hands-on with the leading edge of the Databricks ecosystem on a high-stakes lakehouse build, applying agentic engineering tooling to accelerate delivery, and working closely with the architecture team to turn platform standards into working, production-grade data.

Buscamos un/a Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en entornos retail de alto volumen. La persona seleccionada será el referente técnico de la arquitectura de datos: desde la ingesta de fuentes operacionales (ERP, POS, e-commerce, footfall) hasta la exposición de datos listos para consumo por modelos de ML y herramientas de BI. El rol requiere dominio profundo de Databricks como plataforma central y sólido conocimiento de la arquitectura Medallion (Bronze / Silver / Gold), así como experiencia en modelado de datos dimensional y capacidad para trabajar con Azure Data Factory como orquestador de pipelines — aunque la mayor parte del trabajo de transformación residirá en Databricks. 1. Responsabilidades principales Arquitectura y plataforma de datos ● Diseño y evolución de la arquitectura Medallion (Bronze → Silver → Gold) sobre Databricks / Delta Lake. ● Definición de estándares de ingesta, particionado, compactación y versionado de tablas Delta. ● Gobierno de la plataforma: Unity Catalog, gestión de permisos, linaje de datos y calidad (Great Expectations o similar). ● Evaluación y decisión de patrones de procesamiento: batch, micro-batch (Structured Streaming) y near real-time según el caso de uso. Modelado de datos ● Diseño de modelos dimensionales (esquemas estrella y copo de nieve) orientados a casos de uso de pricing, forecasting y personalización. ● Definición de tablas de hechos y dimensiones: transacciones POS, catálogo de productos, maestro de tiendas, calendario promocional. ● Colaboración con el equipo de ML para diseñar y mantener el feature store sobre la capa Gold. ● Documentación del modelo de datos en un catálogo semántico accesible para usuarios de negocio y analítica. Pipelines e ingesta ● Construcción de pipelines de ingesta desde fuentes heterogéneas: ERP (SAP u otros), POS, APIs de e-commerce, feeds de Retail Media, NPS. ● Uso de Azure Data Factory para orquestación de movimientos de datos entre sistemas origen y el lakehouse — con preferencia por mantener la lógica de transformación en Databricks (PySpark / SQL). ● Implementación de patrones de ingesta incremental (CDC, watermark, upsert con Delta Merge) para minimizar latencia y coste. ● Testing de pipelines: validaciones de schema, checks de completitud y pruebas de regresión sobre datos. Operación y fiabilidad ● Monitorización de jobs en Databricks Workflows: alertas, reintentos y gestión de dependencias. ● Optimización de costes de cómputo: sizing de clusters, uso de Photon, Auto Loader y optimizaciones de Delta (OPTIMIZE / ZORDER). ● Soporte a incidencias de datos en producción (on-call rotatorio con el equipo). Colaboración ● Trabajo estrecho con Data Scientists para garantizar que el feature store cubra los requisitos de los modelos de pricing y recomendación. ● Acompañamiento a analistas de negocio en la definición de métricas y KPIs sobre la capa Gold. ● Participación en code reviews, definición de convenciones de nombrado y estándares de calidad del equipo. 1. Requisitos Imprescindibles ● 5+ años de experiencia en ingeniería de datos en entornos productivos. ● Databricks: experiencia sólida con Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog. ● Arquitectura Medallion: diseño e implementación de capas Bronze / Silver / Gold con criterios claros de granularidad, particionado y SLA por capa. ● Modelado de datos: dominio de modelado dimensional (Kimball); diseño de esquemas estrella y copo de nieve; definición de claves surrogadas, SCDs y tablas de hechos. ● Lenguajes: PySpark y SQL avanzado (window functions, CTEs, optimización de queries). ● Azure Data Factory: conocimiento funcional para orquestación y movimiento de datos; no es necesario dominio profundo. ● Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert. ● Familiaridad con control de versiones (Git) y prácticas de DataOps básicas. Valorables ● Experiencia en retail, travel retail o sectores con datos transaccionales de alto volumen. ● Conocimiento de herramientas de calidad de datos: Great Expectations, Soda o similar. ● Experiencia con dbt (data build tool) para transformaciones SQL sobre la capa Silver/Gold. ● Familiaridad con eventos en streaming: Kafka, Event Hubs o Databricks Structured Streaming. ● Conocimiento de herramientas de catálogo y linaje: Purview, Alation o Unity Catalog avanzado. ● Experiencia colaborando con equipos de ML en el diseño de feature stores (Feast, Tecton o solución custom).

🚀 ¡Seguimos buscando talento… y nos encantaría que te unieras a nuestro equipo! Para que nos conozcas algo mejor, UST es una multinacional norteamericana certificada como Top Employer, con más de 35.000 empleados a nivel global y presencia en más de 35 países. Somos líderes en servicios de tecnología digital y proporcionamos soluciones tecnológicas de gran alcance a grandes compañías. 🔎 ¿Qué buscamos? Buscamos un/a Data Engineer con experiencia imprescindible en Databricks y conocimientos de AWS y Terraform, capaz de participar en la evolución de plataformas de datos seguras, escalables y gobernadas en entornos cloud. 📍 Modalidad: 100% remoto desde España 📋Principales responsabilidades: • Administración y evolución de plataformas Databricks para procesamiento, gobierno y explotación de datos., • Implementación y gestión de modelos de gobierno de datos mediante Unity Catalog, garantizando la correcta administración de accesos y permisos., • Gestión de datasets y compartición segura de información utilizando Delta Lake y Delta Sharing en entornos corporativos., • Administración de usuarios, grupos, accesos a datos y permisos sobre bases de datos y tablas en entornos cloud., • Participación en el diseño y operación de arquitecturas de datos sobre AWS, utilizando servicios como EMR, Athena, Glue Catalog y Lake Formation., • Implementación y mantenimiento de infraestructuras mediante Terraform, siguiendo principios de Infrastructure as Code (IaC)., • Aplicación de estándares de seguridad, control de accesos y buenas prácticas DevSecOps en la gestión de plataformas de datos., • Colaboración con equipos de ingeniería, analítica y arquitectura para garantizar soluciones de datos eficientes, escalables y alineadas con los estándares corporativos. 📋 Requisitos Técnicos: • Imprescindible experiencia en Databricks., • Conocimientos sólidos de AWS., • Experiencia en Terraform y gestión de infraestructuras como código., • Conocimiento de gobierno de datos, seguridad y gestión de accesos en entornos cloud. 💰 ¿Qué te ofrecemos? ✈️ 23 días laborables de vacaciones y el 24 y 31 de diciembre ❤️ Numerosos beneficios sociales (seguro médico, ayuda al teletrabajo, seguro de vida y seguro de accidentes) 🍴 Programa de retribución flexible (tarjeta comida, cheques guardería, tarjeta transporte, clases de inglés online, seguro médico para tu familia…) 🎓 Acceso gratuito a varias plataformas de formación 🚀 Estabilidad y carrera profesional 🚶 Plan de compensación de referencias internas 🔗 Posibilidad de elegir percibir tu salario en 12 o 14 pagas 🏡 Medidas de conciliación (horario flexible, teletrabajo, asesoramiento de especialistas —psicólogo, nutricionista, entrenador personal—, jornada intensiva los viernes y en verano según proyecto) 🎁 Plataforma UST Club, descuentos y descuentos en gimnasios Si quieres conocer más, no dudes en inscribirte y nos pondremos en contacto contigo para ampliarte información de la posición. ¡Te estamos esperando! 📧 En UST nos comprometemos con la igualdad de oportunidades en nuestros procesos de selección y no realizamos ningún tipo de discriminación por razón de raza, género, discapacidad, edad, religión, orientación sexual o nacionalidad. Estamos comprometidos con la discapacidad y apostamos por la incorporación de personas con certificado de discapacidad.

• Data Engineer (AWS / PySpark / Kafka), • 100% remoto Sobre el perfil: Buscamos un/a Desarrollador/a Big Data con experiencia en entornos AWS para incorporarse a un proyecto de gran envergadura. Formarás parte de un equipo técnico especializado en el desarrollo, mantenimiento y optimización de soluciones Big Data, trabajando con tecnologías como PySpark, Spark Streaming, Kafka y AWS para el procesamiento de grandes volúmenes de datos. Funciones: • Desarrollo y mantenimiento de procesos de datos utilizando PySpark., • Diseño, construcción y optimización de pipelines de datos en entornos AWS., • Desarrollo de procesos ETL/ELT para el tratamiento de grandes volúmenes de información., • Implementación de soluciones de procesamiento en tiempo real mediante Spark Streaming y Kafka., • Transformación y explotación de datos mediante SQL., • Gestión de tablas y almacenamiento utilizando Iceberg y/o Delta Lake., • Automatización de procesos mediante Python., • Colaboración con equipos multidisciplinares bajo metodologías ágiles., • Control de versiones y colaboración mediante GitHub. Perfil buscado (H/M/D): • Más de 3 años de experiencia Big Data o Ingeniería de Datos., • Experiencia avanzada en Python y PySpark., • Experiencia avanzada en AWS (Amazon Web Services)., • Experiencia con Apache Spark y Spark Streaming., • Dominio de SQL para transformación y explotación de datos., • Experiencia con Apache Kafka o sistemas de mensajería similares., • Experiencia trabajando con Iceberg y/o Delta Lake., • Conocimientos de GitHub para control de versiones., • Valorable experiencia con Scala., • Qué ofrecemos Qué ofrecemos: • Proyecto de larga duración con tecnologías Big Data de última generación., • Modalidad 100% remota desde cualquier punto de España., • Incorporación a un equipo altamente especializado., • Entorno tecnológico innovador y colaborativo., • Oportunidades de crecimiento profesional y aprendizaje continuo., • Salario competitivo en función de la experiencia aportada. Siguientes pasos: • Si estás interesado en esta oferta, haz click en "aplicar ahora" para enviar una copia actualizada de tu CV.

• Data Engineer (AWS / PySpark / Kafka), • 100% remoto Sobre el perfil: Buscamos un/a Desarrollador/a Big Data con experiencia en entornos AWS para incorporarse a un proyecto de gran envergadura. Formarás parte de un equipo técnico especializado en el desarrollo, mantenimiento y optimización de soluciones Big Data, trabajando con tecnologías como PySpark, Spark Streaming, Kafka y AWS para el procesamiento de grandes volúmenes de datos. Funciones: • Desarrollo y mantenimiento de procesos de datos utilizando PySpark., • Diseño, construcción y optimización de pipelines de datos en entornos AWS., • Desarrollo de procesos ETL/ELT para el tratamiento de grandes volúmenes de información., • Implementación de soluciones de procesamiento en tiempo real mediante Spark Streaming y Kafka., • Transformación y explotación de datos mediante SQL., • Gestión de tablas y almacenamiento utilizando Iceberg y/o Delta Lake., • Automatización de procesos mediante Python., • Colaboración con equipos multidisciplinares bajo metodologías ágiles., • Control de versiones y colaboración mediante GitHub. Perfil buscado (H/M/D): • Más de 3 años de experiencia Big Data o Ingeniería de Datos., • Experiencia avanzada en Python y PySpark., • Experiencia avanzada en AWS (Amazon Web Services)., • Experiencia con Apache Spark y Spark Streaming., • Dominio de SQL para transformación y explotación de datos., • Experiencia con Apache Kafka o sistemas de mensajería similares., • Experiencia trabajando con Iceberg y/o Delta Lake., • Conocimientos de GitHub para control de versiones., • Valorable experiencia con Scala., • Qué ofrecemos Qué ofrecemos: • Proyecto de larga duración con tecnologías Big Data de última generación., • Modalidad 100% remota desde cualquier punto de España., • Incorporación a un equipo altamente especializado., • Entorno tecnológico innovador y colaborativo., • Oportunidades de crecimiento profesional y aprendizaje continuo., • Salario competitivo en función de la experiencia aportada. Siguientes pasos: • Si estás interesado en esta oferta, haz click en "aplicar ahora" para enviar una copia actualizada de tu CV.

• Data Engineer (AWS / PySpark / Kafka), • 100% remoto Sobre el perfil: Buscamos un/a Desarrollador/a Big Data con experiencia en entornos AWS para incorporarse a un proyecto de gran envergadura. Formarás parte de un equipo técnico especializado en el desarrollo, mantenimiento y optimización de soluciones Big Data, trabajando con tecnologías como PySpark, Spark Streaming, Kafka y AWS para el procesamiento de grandes volúmenes de datos. Funciones: • Desarrollo y mantenimiento de procesos de datos utilizando PySpark., • Diseño, construcción y optimización de pipelines de datos en entornos AWS., • Desarrollo de procesos ETL/ELT para el tratamiento de grandes volúmenes de información., • Implementación de soluciones de procesamiento en tiempo real mediante Spark Streaming y Kafka., • Transformación y explotación de datos mediante SQL., • Gestión de tablas y almacenamiento utilizando Iceberg y/o Delta Lake., • Automatización de procesos mediante Python., • Colaboración con equipos multidisciplinares bajo metodologías ágiles., • Control de versiones y colaboración mediante GitHub. Perfil buscado (H/M/D): • Más de 3 años de experiencia Big Data o Ingeniería de Datos., • Experiencia avanzada en Python y PySpark., • Experiencia avanzada en AWS (Amazon Web Services)., • Experiencia con Apache Spark y Spark Streaming., • Dominio de SQL para transformación y explotación de datos., • Experiencia con Apache Kafka o sistemas de mensajería similares., • Experiencia trabajando con Iceberg y/o Delta Lake., • Conocimientos de GitHub para control de versiones., • Valorable experiencia con Scala., • Qué ofrecemos Qué ofrecemos: • Proyecto de larga duración con tecnologías Big Data de última generación., • Modalidad 100% remota desde cualquier punto de España., • Incorporación a un equipo altamente especializado., • Entorno tecnológico innovador y colaborativo., • Oportunidades de crecimiento profesional y aprendizaje continuo., • Salario competitivo en función de la experiencia aportada. Siguientes pasos: • Si estás interesado en esta oferta, haz click en "aplicar ahora" para enviar una copia actualizada de tu CV.

Buscamos un/a Data Engineer Senior para diseñar y operar la plataforma de datos que alimenta un sistema de pricing dinámico e inteligencia de negocio en entornos retail de alto volumen. La persona seleccionada será el referente técnico de la arquitectura de datos: desde la ingesta de fuentes operacionales (ERP, POS, e-commerce, footfall) hasta la exposición de datos listos para consumo por modelos de ML y herramientas de BI. El rol requiere dominio profundo de Databricks como plataforma central y sólido conocimiento de la arquitectura Medallion (Bronze / Silver / Gold), así como experiencia en modelado de datos dimensional y capacidad para trabajar con Azure Data Factory como orquestador de pipelines — aunque la mayor parte del trabajo de transformación residirá en Databricks. 1. Responsabilidades principales Arquitectura y plataforma de datos ● Diseño y evolución de la arquitectura Medallion (Bronze → Silver → Gold) sobre Databricks / Delta Lake. ● Definición de estándares de ingesta, particionado, compactación y versionado de tablas Delta. ● Gobierno de la plataforma: Unity Catalog, gestión de permisos, linaje de datos y calidad (Great Expectations o similar). ● Evaluación y decisión de patrones de procesamiento: batch, micro-batch (Structured Streaming) y near real-time según el caso de uso. Modelado de datos ● Diseño de modelos dimensionales (esquemas estrella y copo de nieve) orientados a casos de uso de pricing, forecasting y personalización. ● Definición de tablas de hechos y dimensiones: transacciones POS, catálogo de productos, maestro de tiendas, calendario promocional. ● Colaboración con el equipo de ML para diseñar y mantener el feature store sobre la capa Gold. ● Documentación del modelo de datos en un catálogo semántico accesible para usuarios de negocio y analítica. Pipelines e ingesta ● Construcción de pipelines de ingesta desde fuentes heterogéneas: ERP (SAP u otros), POS, APIs de e-commerce, feeds de Retail Media, NPS. ● Uso de Azure Data Factory para orquestación de movimientos de datos entre sistemas origen y el lakehouse — con preferencia por mantener la lógica de transformación en Databricks (PySpark / SQL). ● Implementación de patrones de ingesta incremental (CDC, watermark, upsert con Delta Merge) para minimizar latencia y coste. ● Testing de pipelines: validaciones de schema, checks de completitud y pruebas de regresión sobre datos. Operación y fiabilidad ● Monitorización de jobs en Databricks Workflows: alertas, reintentos y gestión de dependencias. ● Optimización de costes de cómputo: sizing de clusters, uso de Photon, Auto Loader y optimizaciones de Delta (OPTIMIZE / ZORDER). ● Soporte a incidencias de datos en producción (on-call rotatorio con el equipo). Colaboración ● Trabajo estrecho con Data Scientists para garantizar que el feature store cubra los requisitos de los modelos de pricing y recomendación. ● Acompañamiento a analistas de negocio en la definición de métricas y KPIs sobre la capa Gold. ● Participación en code reviews, definición de convenciones de nombrado y estándares de calidad del equipo. 1. Requisitos Imprescindibles ● 5+ años de experiencia en ingeniería de datos en entornos productivos. ● Databricks: experiencia sólida con Databricks como plataforma principal; Delta Lake, Databricks Workflows, Unity Catalog. ● Arquitectura Medallion: diseño e implementación de capas Bronze / Silver / Gold con criterios claros de granularidad, particionado y SLA por capa. ● Modelado de datos: dominio de modelado dimensional (Kimball); diseño de esquemas estrella y copo de nieve; definición de claves surrogadas, SCDs y tablas de hechos. ● Lenguajes: PySpark y SQL avanzado (window functions, CTEs, optimización de queries). ● Azure Data Factory: conocimiento funcional para orquestación y movimiento de datos; no es necesario dominio profundo. ● Experiencia con patrones de ingesta incremental: CDC, watermark, Delta Merge / upsert. ● Familiaridad con control de versiones (Git) y prácticas de DataOps básicas. Valorables ● Experiencia en retail, travel retail o sectores con datos transaccionales de alto volumen. ● Conocimiento de herramientas de calidad de datos: Great Expectations, Soda o similar. ● Experiencia con dbt (data build tool) para transformaciones SQL sobre la capa Silver/Gold. ● Familiaridad con eventos en streaming: Kafka, Event Hubs o Databricks Structured Streaming. ● Conocimiento de herramientas de catálogo y linaje: Purview, Alation o Unity Catalog avanzado. ● Experiencia colaborando con equipos de ML en el diseño de feature stores (Feast, Tecton o solución custom).

🚀 ¡Seguimos buscando talento… y nos encantaría que te unieras a nuestro equipo! Para que nos conozcas algo mejor, UST es una multinacional norteamericana certificada como Top Employer, con más de 35.000 empleados a nivel global y presencia en más de 35 países. Somos líderes en servicios de tecnología digital y proporcionamos soluciones tecnológicas de gran alcance a grandes compañías. 🔎 ¿Qué buscamos? Buscamos un/a Data Engineer con experiencia imprescindible en Databricks y conocimientos de AWS y Terraform, capaz de participar en la evolución de plataformas de datos seguras, escalables y gobernadas en entornos cloud. 📍 Modalidad: 100% remoto desde España 📋Principales responsabilidades: • Administración y evolución de plataformas Databricks para procesamiento, gobierno y explotación de datos., • Implementación y gestión de modelos de gobierno de datos mediante Unity Catalog, garantizando la correcta administración de accesos y permisos., • Gestión de datasets y compartición segura de información utilizando Delta Lake y Delta Sharing en entornos corporativos., • Administración de usuarios, grupos, accesos a datos y permisos sobre bases de datos y tablas en entornos cloud., • Participación en el diseño y operación de arquitecturas de datos sobre AWS, utilizando servicios como EMR, Athena, Glue Catalog y Lake Formation., • Implementación y mantenimiento de infraestructuras mediante Terraform, siguiendo principios de Infrastructure as Code (IaC)., • Aplicación de estándares de seguridad, control de accesos y buenas prácticas DevSecOps en la gestión de plataformas de datos., • Colaboración con equipos de ingeniería, analítica y arquitectura para garantizar soluciones de datos eficientes, escalables y alineadas con los estándares corporativos. 📋 Requisitos Técnicos: • Imprescindible experiencia en Databricks., • Conocimientos sólidos de AWS., • Experiencia en Terraform y gestión de infraestructuras como código., • Conocimiento de gobierno de datos, seguridad y gestión de accesos en entornos cloud. 💰 ¿Qué te ofrecemos? ✈️ 23 días laborables de vacaciones y el 24 y 31 de diciembre ❤️ Numerosos beneficios sociales (seguro médico, ayuda al teletrabajo, seguro de vida y seguro de accidentes) 🍴 Programa de retribución flexible (tarjeta comida, cheques guardería, tarjeta transporte, clases de inglés online, seguro médico para tu familia…) 🎓 Acceso gratuito a varias plataformas de formación 🚀 Estabilidad y carrera profesional 🚶 Plan de compensación de referencias internas 🔗 Posibilidad de elegir percibir tu salario en 12 o 14 pagas 🏡 Medidas de conciliación (horario flexible, teletrabajo, asesoramiento de especialistas —psicólogo, nutricionista, entrenador personal—, jornada intensiva los viernes y en verano según proyecto) 🎁 Plataforma UST Club, descuentos y descuentos en gimnasios Si quieres conocer más, no dudes en inscribirte y nos pondremos en contacto contigo para ampliarte información de la posición. ¡Te estamos esperando! 📧 En UST nos comprometemos con la igualdad de oportunidades en nuestros procesos de selección y no realizamos ningún tipo de discriminación por razón de raza, género, discapacidad, edad, religión, orientación sexual o nacionalidad. Estamos comprometidos con la discapacidad y apostamos por la incorporación de personas con certificado de discapacidad.

🚀 ¡Seguimos buscando talento… y nos encantaría que te unieras a nuestro equipo! Para que nos conozcas algo mejor, UST es una multinacional norteamericana certificada como Top Employer, con más de 35.000 empleados a nivel global y presencia en más de 35 países. Somos líderes en servicios de tecnología digital y proporcionamos soluciones tecnológicas de gran alcance a grandes compañías. 🔎 ¿Qué buscamos? Buscamos un/a Data Engineer con experiencia imprescindible en Databricks y conocimientos de AWS y Terraform, capaz de participar en la evolución de plataformas de datos seguras, escalables y gobernadas en entornos cloud. 📍 Modalidad: 100% remoto desde España 📋Principales responsabilidades: • Administración y evolución de plataformas Databricks para procesamiento, gobierno y explotación de datos., • Implementación y gestión de modelos de gobierno de datos mediante Unity Catalog, garantizando la correcta administración de accesos y permisos., • Gestión de datasets y compartición segura de información utilizando Delta Lake y Delta Sharing en entornos corporativos., • Administración de usuarios, grupos, accesos a datos y permisos sobre bases de datos y tablas en entornos cloud., • Participación en el diseño y operación de arquitecturas de datos sobre AWS, utilizando servicios como EMR, Athena, Glue Catalog y Lake Formation., • Implementación y mantenimiento de infraestructuras mediante Terraform, siguiendo principios de Infrastructure as Code (IaC)., • Aplicación de estándares de seguridad, control de accesos y buenas prácticas DevSecOps en la gestión de plataformas de datos., • Colaboración con equipos de ingeniería, analítica y arquitectura para garantizar soluciones de datos eficientes, escalables y alineadas con los estándares corporativos. 📋 Requisitos Técnicos: • Imprescindible experiencia en Databricks., • Conocimientos sólidos de AWS., • Experiencia en Terraform y gestión de infraestructuras como código., • Conocimiento de gobierno de datos, seguridad y gestión de accesos en entornos cloud. 💰 ¿Qué te ofrecemos? ✈️ 23 días laborables de vacaciones y el 24 y 31 de diciembre ❤️ Numerosos beneficios sociales (seguro médico, ayuda al teletrabajo, seguro de vida y seguro de accidentes) 🍴 Programa de retribución flexible (tarjeta comida, cheques guardería, tarjeta transporte, clases de inglés online, seguro médico para tu familia…) 🎓 Acceso gratuito a varias plataformas de formación 🚀 Estabilidad y carrera profesional 🚶 Plan de compensación de referencias internas 🔗 Posibilidad de elegir percibir tu salario en 12 o 14 pagas 🏡 Medidas de conciliación (horario flexible, teletrabajo, asesoramiento de especialistas —psicólogo, nutricionista, entrenador personal—, jornada intensiva los viernes y en verano según proyecto) 🎁 Plataforma UST Club, descuentos y descuentos en gimnasios Si quieres conocer más, no dudes en inscribirte y nos pondremos en contacto contigo para ampliarte información de la posición. ¡Te estamos esperando! 📧 En UST nos comprometemos con la igualdad de oportunidades en nuestros procesos de selección y no realizamos ningún tipo de discriminación por razón de raza, género, discapacidad, edad, religión, orientación sexual o nacionalidad. Estamos comprometidos con la discapacidad y apostamos por la incorporación de personas con certificado de discapacidad.