Plataformas de dados

Uma plataforma moldada pelas suas perguntas.

Warehouse ou lakehouse, a arquitetura importa menos do que isto: modelada em torno das perguntas que seu time realmente faz, construída na sua cloud e projetada para ainda fazer sentido em cinco anos.

O que construímos

  • Projeto de warehouse e lakehouse na sua cloud
  • Modelagem de dados em torno das perguntas do seu negócio, não de um esquema genérico
  • Bases de acesso e de governança
  • O encanamento que mantém tudo rápido e acessível conforme cresce

Provas

Oxford Economics

Reconstruímos o site, o portal de clientes e a forma como os economistas publicam — a plataforma que entrega análise orientada a eventos enquanto ela ainda importa.

Ler o caso

Envio360

Uma arquitetura de dados multi-tenant que permite a uma plataforma de otimização ler o TMS que cada cliente já opera — uma plataforma, com os dados de cada tenant mantidos separados.

Ler o caso
Multi-tenant · Lê o TMS que você já usa

Quando os times nos procuram

  • Cinco ferramentas, cada uma com sua própria versão da verdade
  • Analistas travados atrás de uma fila de engenharia
  • Uma fatura de plataforma crescendo mais rápido que o uso
As decisões de arquitetura e de design que a sophilabs tomou no início compensaram muito.
Arvindra SehmiCIO, Oxford Economics

O problema das cinco ferramentas

Toda empresa que encontramos nesta fase tem um problema com a mesma forma, e de dentro ele nunca parece um problema de dados. O financeiro tem um número, vendas tem outro, o dashboard tem um terceiro, e a reunião é gasta decidindo qual está certo em vez de o que fazer a respeito. Cada ferramenta está correta pela sua própria definição. As definições nunca foram acordadas, porque ninguém nunca foi convidado a acordá-las — cada sistema foi comprado para responder à sua própria pergunta, e as perguntas se sobrepunham.

Uma plataforma não resolve isso movendo os dados para um lugar novo. Resolve fazendo com que o que mora em um só lugar seja a definição: a receita calculada uma vez, a partir de uma fonte, com um responsável, e lida por todas as telas. O warehouse ou o lakehouse é onde isso acontece; a escolha entre os dois é um trade-off de cargas de trabalho e custo, não a decisão que importa. A decisão que importa é a das perguntas, e é a que a maioria dos projetos de plataforma pula no caminho para escolher um fornecedor.

Como construímos

  1. Inventário de perguntas

    o que o negócio realmente pergunta

  2. Modelar em torno das perguntas

    não um esquema genérico

  3. Construir na sua cloud

    com o encanamento para seguir rápido e acessível

  4. Governar e evoluir

    acesso, definições, crescimento

O que significa “moldada pelas suas perguntas”

As perguntas vêm primeiro

antes de existir um esquema, um inventário do que o negócio realmente pergunta: o relatório semanal, o número do conselho, o alerta que ninguém configurou ainda. O modelo é construído para responder a essas perguntas, e é julgado por conseguir isso ou não.

Uma definição por número

"receita" significa uma coisa só, definida uma vez, calculada uma vez. Cinco ferramentas com cinco versões da verdade é o problema que a maioria das plataformas é construída para resolver e depois recria em silêncio.

Sua cloud, sua fatura

construída onde seus dados já estão, com o encanamento — particionamento, cache, retenção — que faz a fatura crescer junto com o uso e não à frente dele.

Feita para mudar

as perguntas vão mudar. O modelo tem que absorver uma nova sem uma reconstrução, e a governança tem que dizer quem é dono de cada definição quando isso acontecer.

A decisão de arquitetura que mais importa é a das perguntas, e é a que a maioria das plataformas pula.

Funciona bem com

Perguntas frequentes

  • Warehouse ou lakehouse?

    Um trade-off, não uma religião. Suas cargas de trabalho decidem.

  • Migrar ou reconstruir?

    Normalmente evoluir: manter o que responde bem, substituir o que não responde.

  • Qual fornecedor devemos escolher?

    O que seu time consegue operar. Projetamos para o seu caso — não vendemos licenças.

  • Isso é um pré-requisito para IA?

    Muitas vezes, e não no sentido em que os fornecedores dizem. A IA precisa que os dados que vai usar sejam confiáveis e alcançáveis; não precisa que tudo esteja modelado primeiro. Uma plataforma moldada em torno das perguntas que importam costuma ser também a plataforma que torna possível o primeiro caso de uso de IA — são um só investimento quando dimensionados juntos.

  • Quanto tempo até vermos algo?

    O inventário de perguntas leva uma ou duas semanas. Dali, as primeiras perguntas são respondidas na plataforma nova dentro do primeiro mês, e o resto segue em ordem de valor — a plataforma é usada enquanto está sendo construída, não depois.

  • Quem a opera depois de construída?

    Seu time, se vocês quiserem, e ela é projetada para isso: documentada, na sua cloud, com ferramentas que seu time consegue operar. Se preferirem que a gente siga evoluindo, isso é um contrato mensal com preço por resultado.

  • E se nossas perguntas ainda estiverem mudando?

    Elas vão continuar mudando, e a plataforma tem que absorver isso sem uma reconstrução. Modelar em torno das perguntas significa que o modelo tem lugar para uma nova; governança significa que alguém é dono da definição quando ela chega. Uma plataforma que só responde às perguntas com que foi construída é um relatório, não uma plataforma.

Construa a plataforma que suas perguntas merecem.