Artigo do blog

Wizey vs Gemini: IA multimodal vence o OCR médico?

O Gemini lê PDFs e imagens nativamente. Isso substitui um pipeline de OCR médico dedicado? Uma visão de produto: onde a multimodalidade ajuda e onde falha.

IA na saúde Análises e diagnósticos Saúde e prevenção
Wizey vs Gemini: IA multimodal vence o OCR médico?

Trabalhando com produto em uma empresa de IA médica, me perguntam sobre o Gemini mais do que sobre qualquer outro concorrente desta série. A proposta é genuinamente atraente: um único modelo que lê o PDF dos seus exames, olha a foto do seu aparelho de pressão, assiste ao vídeo de 30 segundos em que você caminha para avaliar a sua marcha e sintetiza tudo isso com um contexto de mais de 1 milhão de tokens. O Google investiu muita engenharia para fazer a multimodalidade parecer nativa, e não algo acoplado depois.

O instinto, ao ver isso, é pensar: “pronto, isso resolve o problema do OCR”. Não resolve. Ele apenas transfere o problema de uma camada para outra e, ao fazer isso, troca a precisão de um pipeline especializado pela flexibilidade de um modelo generalista. Este artigo é a minha visão, no nível de produto, sobre quando essa troca vale a pena para o paciente e quando definitivamente não vale.

O que o Gemini realmente faz de diferente

O Gemini é multimodal de forma nativa no sentido técnico: ele foi pré-treinado com texto, imagens, áudio e vídeo intercalados, em vez de ter a visão enxertada depois, como descreve o relatório técnico do Gemini, da Google DeepMind. Na prática, isso significa que uma única passagem pelo modelo pode receber um PDF de exames, a foto de um frasco de remédio e a pergunta de um paciente e produzir uma única resposta — em vez de encaminhar cada modalidade por um modelo separado e depois costurar as saídas.

Para entradas limpas e estruturadas, o resultado é impressionante. Um PDF bem digitalizado da Quest Diagnostics ou da LabCorp, com valores digitados em uma tabela limpa, é extraído e resumido em segundos. O Gemini aponta corretamente quais marcadores estão fora dos valores de referência, explica cada um de forma aproximada e muitas vezes percebe combinações óbvias (LDL alto com HDL baixo, por exemplo). No seu território natural — dados tabulares limpos —, você recebe o que o marketing promete.

A pergunta de produto é: com que frequência a entrada é limpa?

O problema do documento bagunçado

Na nossa pesquisa com usuários, vejo o mesmo padrão se repetir. Os pacientes não chegam com PDFs de exames impecáveis. Eles chegam com:

  • Fotos de celular tiradas em ângulo, com o reflexo da luz do teto no corredor da clínica
  • Layouts em duas colunas em que a coluna da esquerda invade a da direita quando o arquivo é comprimido
  • Anotações à mão rabiscadas por um enfermeiro
  • Painéis de várias páginas em que a página quatro é a cópia de fax de uma cópia de fax
  • Formulários de laboratórios regionais pequenos, com formatação própria

Com essas entradas, a leitura multimodal do Gemini se degrada de maneiras difíceis de detectar a partir da resposta. Um valor pode ser lido como 14 em vez de 1,4; uma linha de alanina aminotransferase pode ser puxada para a linha de aspartato aminotransferase; um marcador pode ser descartado silenciosamente se a sua linha estiver parcialmente encoberta pela sombra de um grampo. A resposta que o Gemini devolve continua fluente na leitura — só que, por acaso, está baseada em uma tabela ligeiramente errada. Uma pesquisa sobre as falhas ocultas por trás da acurácia do GPT-4 Vision em medicina (npj Digital Medicine, 2024) documenta um padrão semelhante em outro LLM com capacidade de visão: mesmo quando a resposta final estava correta, o modelo leu a imagem de forma errada em 27% dos casos.

O mesmo problema afeta outros modelos generalistas. Tratei de um modo de falha muito próximo na comparação-pilar Wizey vs ChatGPT: uma interpretação generativa é tão boa quanto os tokens que entraram nela, e os tokens dependem de uma etapa de leitura que nem sempre está correta.

Extração estruturada vs leitura generativa

Essa é a diferença arquitetural que importa. O Wizey funciona em duas etapas:

  1. Um OCR médico especializado, treinado em formulários de laboratório de centenas de provedores, com tratamento explícito de layouts em várias colunas, anotações manuscritas sobrepostas e digitalizações de baixa qualidade. A saída é um registro estruturado: {marcador, valor, unidade, referência inferior, referência superior, sinalização, data, amostra}.
  2. Uma camada de raciocínio clínico que opera sobre esse registro estruturado, ancorada em um grafo de conhecimento médico e em protocolos clínicos validados. Ela nunca volta a ler os pixels brutos.

O Gemini funde as duas etapas em uma única passagem generativa. Isso é elegante e, em entradas limpas, é rápido e preciso. Mas não existe nenhum artefato intermediário estruturado. Se a extração estiver errada, você não consegue enxergar isso. Se a interpretação estiver errada, você não consegue rastreá-la de volta até o valor correto. A capacidade de depuração — que, do ponto de vista de produto, é metade da história da segurança — desaparece. Um estudo da JMIR Medical Informatics (2024) comparou um verificador especializado de exames laboratoriais com médicos especialistas em 101 pacientes: ele coincidiu com a decisão de triagem deles em 74,3% dos casos, identificou todas as emergências (100% de sensibilidade) e reconheceu a condição de base com 82,9% de acurácia.

A ilusão do contexto de 1 milhão de tokens

O contexto de um milhão de tokens do Gemini é impressionante, e o marketing do Google se apoia nele para casos de uso longitudinais — “envie os seus últimos cinco anos de exames e receba uma análise de tendências”. Na prática, o efeito Lost in the Middle descrito por Liu et al. (2023) continua valendo: a atenção é mais forte nas extremidades de um prompt longo e mais fraca no meio. Uma medição de glicose do terceiro ano de um histórico de dez anos não recebe o mesmo tratamento que a medição do primeiro ou do décimo ano.

Mais importante: a análise longitudinal de exames é, no fundo, um problema de série temporal. Você quer traçar a hemoglobina glicada (HbA1c) ao longo de 20 consultas e ver a inclinação da curva; você não quer descrever isso em parágrafos. O Wizey armazena cada valor extraído como uma linha em uma série temporal e calcula as tendências diretamente. Um LLM de contexto longo consegue aproximar isso, mas o argumento da ferramenta certa para a tarefa pende fortemente para o armazenamento estruturado.

Multimodal além dos PDFs — onde o Gemini se destaca

Para ser justo, há um terreno em que a multimodalidade do Gemini realmente supera o que um pipeline especializado consegue fazer hoje. O uso conversacional ao vivo — apontar o celular para o rótulo de um medicamento, fazer uma pergunta em voz alta e receber uma resposta que se refere ao rótulo — é uma vitória legítima do Gemini. Resumir uma consulta médica gravada em vídeo é plausível. Ler uma carta manuscrita de um especialista, de forma pontual, é possível.

Em termos de produto: o Gemini é uma ótima ferramenta universal de leitura. O problema é que “ler um PDF de exames” parece uma tarefa universal de leitura vista de fora, mas é uma tarefa especializada vista de dentro. O formato do problema importa mais do que a modalidade de entrada aparente.

Privacidade e a divisão entre consumidor e empresa

A API do Gemini no Google Cloud Vertex AI pode ser coberta pelo BAA do Google para clientes elegíveis, que é o caminho correto para qualquer clínica ou plataforma que trate informações de saúde protegidas reais (Protected Health Information, PHI) através do Gemini.

O aplicativo Gemini de consumidor em gemini.google.com e os recursos do Gemini dentro do Google Workspace pessoal não têm um BAA. Enviar um PDF de exames para lá para uma leitura rápida é um padrão comum entre pacientes e também é uma clara exposição de PHI — uma que a maioria dos usuários não percebe que está criando. A distinção é invisível na interface, o que é uma verdadeira falha de produto em um contexto de saúde.

O Wizey, feito sob medida para o uso por pacientes, não exige que o usuário fique raciocinando sobre qual versão do produto está usando.

Comparação lado a lado

DimensãoGemini (Google)Wizey
Leitura de documentosMultimodal nativa, forte em entradas limpasOCR médico especializado, robusto em digitalizações bagunçadas do mundo real
Formato de saídaProsa generativaRegistro estruturado + interpretação em prosa
Capacidade de depuraçãoBaixa — um único passo, sem artefato intermediárioAlta — cada valor extraído visível e editável
Análise longitudinalBaseada em prompt, afetada pelo Lost in the MiddleEsquema nativo de série temporal
Ancoragem do conhecimentoRastro estatístico + linhagem do Med-PaLMGrafo de conhecimento médico curado
BAA da HIPAAVertex AI sim, Gemini de consumidor nãoNativo para uso por pacientes
Melhor usoLeitura universal, vídeo/áudio, tarefas intermodaisInterpretação de exames de ponta a ponta, tendências, sinalização de alterações

Mini-FAQ

Posso enviar uma foto do meu laudo para o Gemini e receber uma leitura confiável? Você recebe uma leitura. Em PDFs limpos, muitas vezes ela está certa. Em fotos de celular, imagens tortas, reflexos, escrita à mão ou layouts em duas colunas, os erros de extração são comuns e vêm embrulhados em prosa fluente — por isso são difíceis de detectar.

Um contexto de mais de 1 milhão de tokens significa que o Gemini lida melhor com anos de exames? Só na superfície. O Lost in the Middle continua degradando a recuperação no meio do contexto, e a análise longitudinal de exames é um problema de série temporal — não um problema de prompt longo.

O Gemini está em conformidade com a HIPAA para documentos médicos? A implantação no Vertex AI com um BAA do Google, sim. O aplicativo Gemini de consumidor, não.

Como o OCR do Wizey se diferencia da visão nativa do Gemini? O Wizey extrai para um esquema estruturado e validado — cada marcador com unidade e valores de referência — antes de raciocinar. O Gemini lê em um único passo generativo, sem artefato intermediário.

Quando o Gemini realmente ajuda em questões de saúde? Tradução, explicação, resumo, esboço de perguntas. É uma excelente ferramenta de leitura e escrita; a inferência numérica especializada sobre digitalizações bagunçadas não é o seu forte.

Conclusão

O Gemini é o modelo multimodal mais flexível disponível para consumidores hoje e, para muitas tarefas de leitura do dia a dia, é uma boa escolha. Para a tarefa específica de transformar um PDF de exames do mundo real — digitalizado, fotografado, enviado por fax, às vezes escrito à mão — em uma interpretação estruturada e confiável, a especialização ainda vence a flexibilidade.

É esse o nicho para o qual o Wizey foi construído: um pipeline de OCR médico que sobrevive a entradas bagunçadas, um esquema estruturado que sobrevive à análise longitudinal e uma camada de raciocínio ancorada em protocolos clínicos validados, e não na probabilidade da prosa. Se você quer o argumento mais aprofundado sobre onde os LLMs generalistas se encaixam e onde falham na medicina, o artigo-pilar Wizey vs ChatGPT é o complemento deste aqui.

Fontes