En este seminario introduciremos los fundamentos sobre la Ingeniería de Datos, carrera que es muy demandada en el mercado laboral y que constituye la base para la ciencia y analisis de datos en los sistemas productivos. Especialmente nos enfocaremos en diseñar soluciones a problemas de procesamiento de tipo batch utilizando la plataforma Apache Airflow que es ampliamente utilizada en la industria. Trataremos de abarcar varios casos de uso y algunos enfoques y técnicas que son utilizadas en el mundo laboral.

Competencias requeridas para el curso:
Experiencia en desarrollo de software o afines
Conocimientos avanzados de ingeniería en computación/sistemas/informática, etc
Manejo de sistemas unix

Herramientas a usar:
Python 3.9
Docker
PostgreSQL y DuckDB
Airflow

● Tener un enfoque “hands on” de herramientas ampliamente usadas en la industria de los datos.
● Conocer las bases de data engineering sobre cómo orquestar procesos de tipo batch.
● Conocer los conceptos teóricos de Apache Airflow.
● Utilización y despliegue de plataforma Apache Airflow.

Fundamentos de Data Engineering y pandas
Fundamentos de Data Engineering y bases de datos
Fundamentos de Data Engineering y bases de datos
Bases de Apache Airflow
Creando nuestro primer DAG parte 1
Creando nuestro primer DAG parte 2
Buenas prácticas para diseño de DAGs
Casos productivos de Airflow parte 1
Casos productivos de Airflow parte 2

Mg. Ing. Aldo Escobar
Curriculum Vitae