No mundo do Data Warehousing e da modelagem analítica (como o Star Schema de Ralph Kimball), nós dividimos os dados em duas categorias principais: Fatos (os eventos numéricos, como uma venda) e Dimensões (o contexto descritivo, como o Cliente, o…
Na engenharia de dados, extrair informações de diversas fontes e jogá-las em um repositório sem organização é a receita perfeita para criar um “Pântano de Dados” (Data Swamp). Para que os dados sejam úteis, eles precisam passar por estágios de…
Para entender a diferença entre Monólitos e Microsserviços, a melhor forma é imaginar a organização de uma cozinha, desde uma pequena lanchonete até a praça de alimentação de um shopping. Imagine um restaurante. Num monólito, existe um único chef que…
No desenvolvimento e na engenharia de dados, nem sempre queremos (ou devemos) dar acesso direto às tabelas brutas do banco de dados. Às vezes, uma tabela é complexa demais, contém informações sensíveis ou exige JOINs exaustivos que os analistas precisam…
Se você já precisou buscar uma informação em uma tabela com milhões de linhas e a consulta demorou minutos (ou até horas) para retornar, você já sentiu na pele a falta de um bom índice. Na Engenharia de Dados e…
Seja em um aplicativo de celular, em um site de e-commerce ou em um complexo ecossistema de Big Data, quase tudo o que você faz com uma informação se resume a quatro ações básicas. Essas ações formam o acrônimo CRUD,…
Modelagem de dados é o processo de criação de uma representação visual de todo um sistema de informação ou de partes dele para comunicar conexões entre pontos de dados e estruturas. O objetivo é ilustrar os tipos de dados utilizados…
Na engenharia e arquitetura de dados, a forma como você organiza as tabelas de um banco de dados dita o desempenho, a integridade e a escalabilidade do sistema. O grande dilema na hora de criar esse modelo físico geralmente se…
À medida que as aplicações crescem, os bancos de dados enfrentam um gargalo inevitável. Tabelas com bilhões de linhas tornam as consultas lentas, os backups demorados e os índices pesados demais para a memória. Quando você atinge o limite do…
Seja em uma startup ou em uma corporação global, o desafio de gerenciar quem pode ver ou modificar o quê dentro dos sistemas da empresa é gigantesco. É exatamente para resolver esse problema de forma escalável e segura que o…