Professional writing requires maintaining a consistent style, tone, and formatting across documents. Voice dictation tools often output flat, unformatted transcripts that require significant editing, and cloud AI editors tend to dilute the author's unique voice.
› What I Built
I built Margin Writer, a local desktop writing HUD. It provides voice-to-text dictation using local Whisper models (with automatic CUDA GPU fallback detection), matches the author's style using a local RAG index that analyzes a custom folder of past writings, and applies formatting/refining templates using local LLMs (Ollama) or secure cloud APIs.
› Core Capabilities
Voice dictation with local Whisper (large-v3-turbo) and GPU acceleration checks.
On-demand style RAG indexing for TXT and PDF documents via nomic-embed-text.
Obsidian-inspired dark HUD overlay with opacity slider and always-on-top pinning.
Formatting template engine (expand, formalize, match style, summarize, email response).
3-step onboarding wizard for automatic hardware diagnosis, BYOK keys, and RAG configuration.
Local config persistence with JSON state, compiled as a standalone Windows executable.
› Technical Decisions
01
Bundle faster-whisper large-v3-turbo with dynamic CUDA detection to allow GPU speed on nvidia cards while falling back gracefully to CPU.
02
Build a custom file synchronization fingerprint hash to skip Ollama embedding cycles if no local writings changed.
03
Use CustomTkinter to achieve a dark, borderless Obsidian-like aesthetic that integrates seamlessly with modern Windows writing tools.
04
Design a multi-step setup wizard to guide non-technical setup of Ollama, GPU settings, and RAG pathing.
05
Provide a BYOK (Bring Your Own Key) hybrid option so authors can use local models or Groq/Gemini APIs for cost-efficiency.
› What This Demonstrates
Desktop application compilation, offline embedding databases, local Whisper engine integration, onboarding UX design, and secure developer packaging patterns.
› Limitations & Next Steps
Add direct Microsoft Word / Google Docs output integration.
Support multiple separate style profiles/folders.
› Project Links
MarginData Labs• Build Privada
Margin Writer
Assistente privado de ditado por voz e redação com alinhamento de estilo por RAG
› Screenshots
3 planeados
#01
Interface HUD Obsidian do Margin Writer com as opções de escrita.
A escrita profissional exige consistência de estilo e tom. Os ditados de voz comuns geram texto corrido e desformatado, enquanto os editores de IA na cloud tendem a descaracterizar a voz original do autor.
› O que foi Construído
Construí o Margin Writer como um HUD local de escrita: permite ditar texto usando Whisper local (com deteção automática de CUDA), alinha o estilo do utilizador consultando uma pasta local de textos anteriores via RAG e aplica templates de reestruturação/redação usando Ollama ou APIs cloud.
› Capacidades Centrais
Ditado por voz com Whisper local (large-v3-turbo) e fallback automático CPU/GPU.
Motor RAG de análise de estilo para PDFs/TXTs locais usando nomic-embed-text.
HUD flutuante estilo Obsidian com controlo de opacidade e fixação sempre no topo.
Biblioteca de templates de escrita (expandir, formalizar, imitar tom, resposta de e-mail).
Wizard de setup em 3 passos com diagnóstico de hardware, chaves BYOK e pasta RAG.
Persistência local de estado em JSON, compilado como executável Windows independente.
› Decisões Técnicas
01
Agrupar faster-whisper large-v3-turbo com deteção dinâmica de CUDA para usar a GPU de placas NVIDIA com fallback fiável em CPU.
02
Criar uma assinatura/impressão digital dos ficheiros para evitar re-calcular embeddings no Ollama se os ficheiros de estilo não mudaram.
03
Usar CustomTkinter para atingir uma estética escura tipo Obsidian que se integra de forma polida com ferramentas de escrita modernas do Windows.
04
Desenhar um assistente passo-a-passo para guiar utilizadores na configuração do Ollama, GPU e caminhos do RAG.
05
Fornecer opção híbrida BYOK para que os autores possam usar modelos locais ou chaves Groq/Gemini dependendo do rácio custo/privacidade.
› O que isto Demonstra
Compilação de aplicações desktop, bases de dados de embeddings offline, motores Whisper locais, UX de onboarding e padrões de empacotamento de software seguro.
› Limitações & Próximos Passos
Adicionar exportação direta para Microsoft Word / Google Docs.
Suportar múltiplos perfis e pastas de estilo de escrita separadas.