Data Engineer – Databricks & Apache Spark

Tecdata Engineering; United States; Remote; USD 110,000 - 170,000; Full time

Job summary

TecData Engineering busca un/a Ingeniero/a de Datos especializado/a en Databricks y Apache Spark para incorporarse a un proyecto tecnológico del sector seguros. La persona seleccionada trabajará en el desarrollo, transformación y validación de pipelines de datos.

Se valorará experiencia con Azure Data Factory y mantenimiento de procesos existentes, así como capacidad de colaborar con el equipo técnico en entornos cloud para escalar soluciones de datos.

Qualifications

• Experiencia práctica con Databricks y Apache Spark.
• Experiencia desarrollando y codificando procesos en Databricks.
• Conocimientos de transformación y procesamiento de datos.
• Experiencia realizando pruebas y validaciones de procesos de datos.
• Se valorará experiencia con Azure Data Factory.
• Se valorará experiencia previa en el sector seguros.

Responsibilities

• Desarrollo y codificación de procesos de datos en Databricks.
• Transformación y procesamiento de datos mediante Apache Spark.
• Realización de pruebas y validación de desarrollos en Databricks.
• Mantenimiento y evolución de los procesos de datos existentes.
• Colaboración con el equipo técnico en entornos Azure Data Factory y Databricks.

Tools

Databricks

Apache Spark

Job description

Desde TecData Engineering buscamos un/a Ingeniero/a de Datos especializado/a en Databricks y Apache Spark para incorporarse a un proyecto tecnológico del sector seguros.

Funciones:

• Desarrollo y codificación de procesos de datos en Databricks.
• Transformación y procesamiento de datos mediante Apache Spark.
• Realización de pruebas y validación de desarrollos en Databricks.
• Mantenimiento y evolución de los procesos de datos existentes.
• Colaboración con el equipo técnico en entornos Azure Data Factory y Databricks.

Requisitos:

• Experiencia práctica con Databricks y Apache Spark.
• Experiencia desarrollando y codificando procesos en Databricks.
• Conocimientos de transformación y procesamiento de datos.
• Experiencia realizando pruebas y validaciones de procesos de datos.
• Se valorará experiencia con Azure Data Factory.
• Se valorará experiencia previa en el sector seguros.