Portuguese public procurement data is available, but not immediately usable as a product: sources differ, quality varies, privacy risks exist and useful public pages/APIs need normalized data.
› What I Built
I built Base Aberta as a public-data platform: ingestion adapters, ETL normalization, D1 schema, privacy gates, quality reports, public APIs, rankings, exports and launch-readiness checks.
› Core Capabilities
Adapters for Portal BASE, dados.gov and reference datasets.
Normalized contracts, entities, municipalities, projects and funding views.
Privacy safeguards for ENI/person-like records.
Public API endpoints, search documents, rankings and exports.
Synthetic scale reports and backup/restore workflow.
› Technical Decisions
01
Normalize before publishing so pages and APIs share the same source of truth.
02
Apply privacy gates before risky records reach public surfaces.
03
Use D1/KV/R2 for low-cost serving, cache and portable exports.
04
Create readiness reports so data quality is visible before launch.
› What This Demonstrates
Data engineering and public-product thinking: ETL, API design, privacy, quality gates, low-cost Cloudflare architecture and scalable launch checks.
› Limitations & Next Steps
Expand source coverage and methodology notes.
Automate scheduled ingestion and anomaly alerts.
› Project Links
MarginData Labs• Build Ativa
Base Aberta
Plataforma de dados publicos portugueses com ETL, privacidade, APIs, rankings e exports
Dados publicos de contratacao existem, mas nao chegam prontos para produto: fontes diferem, a qualidade varia, ha riscos de privacidade e paginas/APIs uteis exigem dados normalizados.
› O que foi Construído
Construí a Base Aberta como plataforma de dados publicos: adapters de ingestao, ETL, schema D1, privacy gates, relatorios de qualidade, APIs publicas, rankings, exports e checks de prontidao.
› Capacidades Centrais
Adapters para Portal BASE, dados.gov e fontes de referencia.
Contratos, entidades, municipios, projetos e financiamento normalizados.
Salvaguardas para ENIs/registos parecidos com pessoa singular.
APIs publicas, documentos de pesquisa, rankings e exports.
Relatorios de escala sintetica e fluxo backup/restore.
› Decisões Técnicas
01
Normalizar antes de publicar para paginas e APIs partilharem a mesma fonte.
02
Aplicar privacy gates antes de registos sensiveis chegarem a superficies publicas.
03
Usar D1/KV/R2 para serving barato, cache e exports portateis.
04
Criar relatorios de prontidao para tornar qualidade visivel antes do lancamento.
› O que isto Demonstra
Engenharia de dados e produto publico: ETL, APIs, privacidade, quality gates, arquitetura Cloudflare barata e checks de escala.
› Limitações & Próximos Passos
Alargar cobertura de fontes e metodologia.
Automatizar ingestao agendada e alertas de anomalia.