Engenharia de Dados

metal pipe between trees at daytime

Automatizando seu fluxo de trabalho com Airflow

É comum surgir situações em que precisamos fazer alguns procedimentos repetitivos em diversos projetos, principalmente quando envolve dados. Um exemplo disso: Migrar dados de uma tabela para outra Importar dados a partir de várias fontes e juntar em uma única base Seguir o passo acima e trabalhar com tratamento e filtragem das informações Entre várias …

Automatizando seu fluxo de trabalho com Airflow Leia mais »

Mensageria de Alta Performance com Apache Kafka

Mensageria de Alta Performance com Apache Kafka #1

Olá pessoal, atualmente tenho entrado na área de Ciência de Dados diante do projeto que estou trabalhando no Banco do Brasil, e a partir dessa série pretendo trazer os conhecimentos adquiridos em uma ferramenta que atua como barramento de um grande volume de mensagens, e hoje iremos falar sobre o Apache Kafka. O que é …

Mensageria de Alta Performance com Apache Kafka #1 Leia mais »

Mensageria de Alta Performance com Apache Kafka

Mensageria de Alta Performance com Apache Kafka #2

Olá pessoal, nesse segundo post da série vamos abordar mais sobre os tópicos no Kafka e como é sua estrutura, além de mostrar as operações a serem feitos para mantê-las e as ações de um producer e consumer. Tópicos e Partições O Kafka oferece binários para podemos efetuar operações nele, e uma delas é relacionado …

Mensageria de Alta Performance com Apache Kafka #2 Leia mais »