Artigo do blog

Wizey vs Gemini: IA multimodal vence o OCR médico?

O Gemini lê PDFs e imagens nativamente. Isso substitui um pipeline de OCR médico dedicado? Uma visão de produto: onde a multimodalidade ajuda e onde falha.

IA na saúde Análises e diagnósticos Saúde e prevenção
Wizey vs Gemini: IA multimodal vence o OCR médico?

Trabalhando com produto em uma empresa de IA médica, me perguntam sobre o Gemini mais do que sobre qualquer outro concorrente desta série. A proposta é genuinamente atraente: um único modelo que lê o PDF dos seus exames, olha a foto do seu aparelho de pressão, assiste ao vídeo de 30 segundos em que você caminha para avaliar a sua marcha e sintetiza tudo isso com um contexto de mais de 1 milhão de tokens. O Google investiu muita engenharia para fazer a multimodalidade parecer nativa, e não algo acoplado depois.

O instinto, ao ver isso, é pensar: “pronto, isso resolve o problema do OCR”. Não resolve. Ele apenas transfere o problema de uma camada para outra e, ao fazer isso, troca a precisão de um pipeline especializado pela flexibilidade de um modelo generalista. Este artigo é a minha visão, no nível de produto, sobre quando essa troca vale a pena para o paciente e quando definitivamente não vale.

O que o Gemini realmente faz de diferente

O Gemini é multimodal de forma nativa no sentido técnico: ele foi pré-treinado com texto, imagens, áudio e vídeo intercalados, em vez de ter a visão enxertada depois, como descreve o relatório técnico do Gemini, da Google DeepMind. Na prática, isso significa que uma única passagem pelo modelo pode receber um PDF de exames, a foto de um frasco de remédio e a pergunta de um paciente e produzir uma única resposta — em vez de encaminhar cada modalidade por um modelo separado e depois costurar as saídas.

Para entradas limpas e estruturadas, o resultado é impressionante. Um PDF bem digitalizado da Quest Diagnostics ou da LabCorp, com valores digitados em uma tabela limpa, é extraído e resumido em segundos. O Gemini aponta corretamente quais marcadores estão fora dos valores de referência, explica cada um de forma aproximada e muitas vezes percebe combinações óbvias (LDL alto com HDL baixo, por exemplo). No seu território natural — dados tabulares limpos —, você recebe o que o marketing promete.

A pergunta de produto é: com que frequência a entrada é limpa?

O problema do documento bagunçado

Na nossa pesquisa com usuários, vejo o mesmo padrão se repetir. Os pacientes não chegam com PDFs de exames impecáveis. Eles chegam com:

  • Fotos de celular tiradas em ângulo, com o reflexo da luz do teto no corredor da clínica
  • Layouts em duas colunas em que a coluna da esquerda invade a da direita quando o arquivo é comprimido
  • Anotações à mão rabiscadas por um enfermeiro
  • Painéis de várias páginas em que a página quatro é a cópia de fax de uma cópia de fax
  • Formulários de laboratórios regionais pequenos, com formatação própria

Com essas entradas, a leitura multimodal do Gemini se degrada de maneiras difíceis de detectar a partir da resposta. Um valor pode ser lido como 14 em vez de 1,4; uma linha de alanina aminotransferase pode ser puxada para a linha de aspartato aminotransferase; um marcador pode ser descartado silenciosamente se a sua linha estiver parcialmente encoberta pela sombra de um grampo. A resposta que o Gemini devolve continua fluente na leitura — só que, por acaso, está baseada em uma tabela ligeiramente errada. Uma pesquisa sobre modelos de fundação multimodais em medicina (The Lancet Digital Health, 2024) documenta esse padrão em LLMs com capacidade de visão.

O mesmo problema afeta outros modelos generalistas. Tratei de um modo de falha muito próximo na comparação-pilar Wizey vs ChatGPT: uma interpretação generativa é tão boa quanto os tokens que entraram nela, e os tokens dependem de uma etapa de leitura que nem sempre está correta.

Extração estruturada vs leitura generativa

Essa é a diferença arquitetural que importa. O Wizey funciona em duas etapas:

  1. Um OCR médico especializado, treinado em formulários de laboratório de centenas de provedores, com tratamento explícito de layouts em várias colunas, anotações manuscritas sobrepostas e digitalizações de baixa qualidade. A saída é um registro estruturado: {marcador, valor, unidade, referência inferior, referência superior, sinalização, data, amostra}.
  2. Uma camada de raciocínio clínico que opera sobre esse registro estruturado, ancorada em um grafo de conhecimento médico e em protocolos clínicos validados. Ela nunca volta a ler os pixels brutos.

O Gemini funde as duas etapas em uma única passagem generativa. Isso é elegante e, em entradas limpas, é rápido e preciso. Mas não existe nenhum artefato intermediário estruturado. Se a extração estiver errada, você não consegue enxergar isso. Se a interpretação estiver errada, você não consegue rastreá-la de volta até o valor correto. A capacidade de depuração — que, do ponto de vista de produto, é metade da história da segurança — desaparece. Um estudo da JMIR Medical Informatics (2024) constatou que verificadores de exames baseados em IA especializada alcançaram 74,3% de acurácia diagnóstica, com 100% de sensibilidade para casos críticos de emergência — um nível de desempenho validado que os modelos multimodais generalistas ainda não demonstraram.

A ilusão do contexto de 1 milhão de tokens

O contexto de um milhão de tokens do Gemini é impressionante, e o marketing do Google se apoia nele para casos de uso longitudinais — “envie os seus últimos cinco anos de exames e receba uma análise de tendências”. Na prática, o efeito Lost in the Middle descrito por Liu et al. (2023) continua valendo: a atenção é mais forte nas extremidades de um prompt longo e mais fraca no meio. Uma medição de glicose do terceiro ano de um histórico de dez anos não recebe o mesmo tratamento que a medição do primeiro ou do décimo ano.

Mais importante: a análise longitudinal de exames é, no fundo, um problema de série temporal. Você quer traçar a hemoglobina glicada (HbA1c) ao longo de 20 consultas e ver a inclinação da curva; você não quer descrever isso em parágrafos. O Wizey armazena cada valor extraído como uma linha em uma série temporal e calcula as tendências diretamente. Um LLM de contexto longo consegue aproximar isso, mas o argumento da ferramenta certa para a tarefa pende fortemente para o armazenamento estruturado.

Multimodal além dos PDFs — onde o Gemini se destaca

Para ser justo, há um terreno em que a multimodalidade do Gemini realmente supera o que um pipeline especializado consegue fazer hoje. O uso conversacional ao vivo — apontar o celular para o rótulo de um medicamento, fazer uma pergunta em voz alta e receber uma resposta que se refere ao rótulo — é uma vitória legítima do Gemini. Resumir uma consulta médica gravada em vídeo é plausível. Ler uma carta manuscrita de um especialista, de forma pontual, é possível.

Em termos de produto: o Gemini é uma ótima ferramenta universal de leitura. O problema é que “ler um PDF de exames” parece uma tarefa universal de leitura vista de fora, mas é uma tarefa especializada vista de dentro. O formato do problema importa mais do que a modalidade de entrada aparente.

Privacidade e a divisão entre consumidor e empresa

A API do Gemini no Google Cloud Vertex AI pode ser coberta pelo BAA do Google para clientes elegíveis, que é o caminho correto para qualquer clínica ou plataforma que trate informações de saúde protegidas reais (Protected Health Information, PHI) através do Gemini.

O aplicativo Gemini de consumidor em gemini.google.com e os recursos do Gemini dentro do Google Workspace pessoal não têm um BAA. Enviar um PDF de exames para lá para uma leitura rápida é um padrão comum entre pacientes e também é uma clara exposição de PHI — uma que a maioria dos usuários não percebe que está criando. A distinção é invisível na interface, o que é uma verdadeira falha de produto em um contexto de saúde.

O Wizey, feito sob medida para o uso por pacientes, não exige que o usuário fique raciocinando sobre qual versão do produto está usando.

Comparação lado a lado

DimensãoGemini (Google)Wizey
Leitura de documentosMultimodal nativa, forte em entradas limpasOCR médico especializado, robusto em digitalizações bagunçadas do mundo real
Formato de saídaProsa generativaRegistro estruturado + interpretação em prosa
Capacidade de depuraçãoBaixa — um único passo, sem artefato intermediárioAlta — cada valor extraído visível e editável
Análise longitudinalBaseada em prompt, afetada pelo Lost in the MiddleEsquema nativo de série temporal
Ancoragem do conhecimentoRastro estatístico + linhagem do Med-PaLMGrafo de conhecimento médico curado
BAA da HIPAAVertex AI sim, Gemini de consumidor nãoNativo para uso por pacientes
Melhor usoLeitura universal, vídeo/áudio, tarefas intermodaisInterpretação de exames de ponta a ponta, tendências, sinalização de alterações

Mini-FAQ

Posso enviar uma foto do meu laudo para o Gemini e receber uma leitura confiável? Você recebe uma leitura. Em PDFs limpos, muitas vezes ela está certa. Em fotos de celular, imagens tortas, reflexos, escrita à mão ou layouts em duas colunas, os erros de extração são comuns e vêm embrulhados em prosa fluente — por isso são difíceis de detectar.

Um contexto de mais de 1 milhão de tokens significa que o Gemini lida melhor com anos de exames? Só na superfície. O Lost in the Middle continua degradando a recuperação no meio do contexto, e a análise longitudinal de exames é um problema de série temporal — não um problema de prompt longo.

O Gemini está em conformidade com a HIPAA para documentos médicos? A implantação no Vertex AI com um BAA do Google, sim. O aplicativo Gemini de consumidor, não.

Como o OCR do Wizey se diferencia da visão nativa do Gemini? O Wizey extrai para um esquema estruturado e validado — cada marcador com unidade e valores de referência — antes de raciocinar. O Gemini lê em um único passo generativo, sem artefato intermediário.

Quando o Gemini realmente ajuda em questões de saúde? Tradução, explicação, resumo, esboço de perguntas. É uma excelente ferramenta de leitura e escrita; a inferência numérica especializada sobre digitalizações bagunçadas não é o seu forte.

Conclusão

O Gemini é o modelo multimodal mais flexível disponível para consumidores hoje e, para muitas tarefas de leitura do dia a dia, é uma boa escolha. Para a tarefa específica de transformar um PDF de exames do mundo real — digitalizado, fotografado, enviado por fax, às vezes escrito à mão — em uma interpretação estruturada e confiável, a especialização ainda vence a flexibilidade.

É esse o nicho para o qual o Wizey foi construído: um pipeline de OCR médico que sobrevive a entradas bagunçadas, um esquema estruturado que sobrevive à análise longitudinal e uma camada de raciocínio ancorada em protocolos clínicos validados, e não na probabilidade da prosa. Se você quer o argumento mais aprofundado sobre onde os LLMs generalistas se encaixam e onde falham na medicina, o artigo-pilar Wizey vs ChatGPT é o complemento deste aqui.

Fontes