55 telas do equipamento extraídas automaticamente do PDF manual por detecção clássica de imagem + Groq Vision. Catálogo estruturado → Simulador 3D funcional.
Um PDF manual em português do Alere PIMA CD4 analisado por visão computacional. Resultados abaixo.
Alere PIMA CD4 — analisador portátil de contagem de linfócitos CD4, usado no diagnóstico e monitoramento de pacientes HIV positivos. Essencial em regiões remotas.
O manual técnico em português contém screenshots do visor LCD espalhados por 35 páginas — cada um representando um estado diferente do equipamento.
E se pudéssemos extrair automaticamente cada tela do manual, classificar por estado e gerar um catálogo estruturado — tudo isso em minutos?
Esse catálogo alimentaria um simulador 3D interativo para treinamento de profissionais de saúde, sem depender de catalogação manual.
Cinco etapas, zero intervenção manual, ~5 minutos de processamento.
Conversão do PDF (35 páginas) para imagens PNG com pdf2image
Algoritmo scipy.ndimage identifica regiões escuras contíguas com proporção de visor LCD
Llama-4-Scout-17B transcreve o texto de cada crop: header, body, footer → JSON estruturado
55 screens organizados por estado, com variantes de header/body por contexto
Next.js + R3F + Zustand + Tailwind — display LCD, teclado, estado e transições
O pipeline não usa OCR tradicional nem API de visão paga. A detecção do visor LCD é feita por processamento clássico de imagem (scipy ndimage.label() + heurísticas de proporção e brilho). O Groq Vision entra apenas para transcrever o texto dos crops já recortados — reduzindo custo em ~90% e aumentando a precisão.
Cada tela do visor LCD foi extraída, classificada e organizada por categoria de estado.
79 variantes no total (algumas telas aparecem em contextos diferentes no manual)
Display LCD simulado + teclado numérico + painel de controle de fluxo
Não encontramos nada similar na internet: a capacidade de transformar documentação técnica estática em simulação interativa usando visão computacional. Isso abre possibilidades enormes para treinamento, certificação e qualidade — dentro e fora da Controllab.
O catálogo de telas alimentou diferentes interfaces de simulação, cada uma com um propósito.
Primeira pessoa com física, mira PointerLock, 7 etapas do fluxo PIMA CD4. R3F + TSL shaders.
React Three FiberCâmera orbital guiada por etapas com destaque do objeto-alvo. Inspirado no Oxide Explorer.
OrbitControlsDisplay LCD + teclado numérico + máquina de estados. Navegação livre por todas as 55 telas.
Next.js + ZustandTour livre pelo laboratório 3D com informações de cada equipamento. Layout 3 colunas.
R3F + Three.jsSandbox interativo + tutorial guiado + auto play. Experiência completa do equipamento.
Next.js + R3Fscreens.generated.json — 55 screens com estados, header/body/footer variants. Pronto para consumo.
| PDF → Imagens | pdf2image (poppler) |
| Detecção LCD | scipy.ndimage + heurísticas |
| Transcrição | Groq Vision (Llama-4-Scout-17B) |
| Formato | JSON + PNG individuais |
| Framework | Next.js (App Router) |
| Renderização | React Three Fiber + Three.js (WebGPU) |
| Estado | Zustand (trainingStore + uiStore) |
| Animações | GSAP + TSL Shaders |
| Estilo | TailwindCSS v4 |
Sim. O pipeline é genérico e funciona com qualquer equipamento que tenha documentação técnica com imagens de display.
Qualquer manual técnico com screenshots de display pode ser processado. O pipeline é o mesmo: PDF → detecção → transcrição → catálogo → simulação.
Simuladores permitem treinar profissionais sem risco de danificar equipamentos reais. Ideal para capacitação em larga escala.
Em vez de manuais estáticos em PDF, tenha documentação interativa que mostra cada tela e estado do equipamento em tempo real.