12 Termos Essenciais de Engenharia de Dados

Em meio a tantos termos que você vai se deparar ao estudar engenharia de dados gostaria de destacar alguns que são essenciais.

ETL

Extração, Transformação e Carga
Processo de extrair dados de sistemas fonte, transformá-los para atender aos requisitos de negócios e carregá-los em bancos de dados ou data warehouses.

Data Lake

Repositório de Dados Brutos
Sistema de armazenamento em larga escala que contém dados em seu formato nativo, permitindo análise e processamento em escala.

Data Warehouse

Armazém de Dados Estruturado
Repositório centralizado para dados estruturados, filtrados e otimizados para consultas de análises e inteligência de negócios.

Streaming

Processamento em Tempo Real
Processamento contínuo de dados em tempo real à medida que chegam, possibilitando análise e resposta a novas informações.

Pipeline

Pipeline de Dados
Sistema automatizado para mover e processar dados entre fonte e destino, incluindo validação, transformação e monitoramento.

Batch Processing

Processamento em Lotes
Método de processamento de grandes volumes de dados periodicamente em grupos, otimizado para throughput em vez de latência.

Data Mart

Banco de Dados Orientado por Assunto
Subconjunto de um data warehouse focado em um departamento ou função específica, otimizado para necessidades analíticas.

MPP

Processamento Paralelo Massivo
Arquitetura para distribuir dados entre vários nós para lidar com grandes escalas de computação de forma eficiente.

Data Mesh

Arquitetura de Dados Distribuídos
Abordagem descentralizada para dados, tratando-os como um produto gerenciado por equipes orientadas por domínio.

Data Quality

Framework de Integridade de Dados
Sistemas e processos que garantem a precisão, completude, consistência e confiabilidade dos dados ao longo de seu ciclo de vida.

CDC

Captura de Dados de Alteração
Método para rastrear e capturar mudanças em fontes de dados para habilitar atualizações incrementais eficientes.

Data Lineage

Rastreamento do Fluxo de Dados
Documentação e visualização do fluxo de dados através de sistemas, mostrando origem, transformações e dependências.

Créditos

Foto de Sven Brandsma na Unsplash