Como Rodar OCR e Extração de Notas Fiscais Localmente com Qwen2.5-VL, Docling e Python

A automação de processos financeiros exige a conversão confiável de notas fiscais digitalizadas, DANFEs e PDFs complexos em dados estruturados, superando as limitações dos motores OCR tradicionais baseados em regex ou coordenadas estáticas que falham ao interpretar layouts tabulares densos e documentos rotacionados. O objetivo desta arquitetura local é substituir pipelines frágeis por um fluxo determinístico em Python capaz de ler pixels e camadas vetoriais, extraindo cabeçalhos fiscais, impostos retidos e itens tabulares diretamente para esquemas JSON validados sem envio de dados confidenciais para APIs externas.

PRIMEIRA FERRAMENTA: Qwen2.5-VL-7B-Instruct

O modelo multimodal Qwen2.5-VL-7B-Instruct, desenvolvido pela Alibaba com arquitetura de Resolução Dinâmica nativa e codificação posicional M-RoPE, processa imagens de documentos em alta resolução sem distorcer proporções ou perder legibilidade em fontes pequenas de notas fiscais. Para rodar este modelo localmente em precisão BF16 através das bibliotecas transformers e qwen-vl-utils exige-se uma GPU dedicada com pelo menos 16 gigabytes de memória VRAM e 32 gigabytes de memória RAM no sistema, enquanto versões quantizadas em AWQ ou GGUF de 4 bits operam confortavelmente em placas com 8 a 12 gigabytes de VRAM. Na prática financeira, o modelo substitui motores OCR legados ao compreender semanticamente a relação espacial entre colunas de CFOP, NCM, alíquotas de ICMS e valores unitários, retornando objetos JSON estruturados mesmo em faturas escaneadas com ruído visual ou carimbos sobrepostos.

PROMPT EXATO: Extrator Fiscal Multimodal Qwen2.5-VL

"[PAPEL] Você é um motor de visão computacional especializado em auditoria contábil e extração de dados estruturados de notas fiscais brasileiras e faturas comerciais. [CONTEXTO] A entrada consiste na imagem de alta resolução de um documento fiscal contendo dados cadastrais do emissor e do tomador, grade detalhada de produtos ou serviços com tributação e quadro de totais financeiros. [RESTRIÇÕES] Retorne estritamente um objeto JSON válido sem marcadores de markdown, explicações ou texto adicional antes ou depois das chaves. Atribua o valor null para qualquer campo ausente ou ilegível no documento e nunca infira ou calcule valores numéricos inexistentes. [VARIÁVEIS] Tensor de imagem processado pelo AutoProcessor do Qwen2.5-VL com parâmetros min_pixels definidos em 200704 e max_pixels em 1003520. [OUTPUT] Objeto JSON contendo as chaves emitente_cnpj, destinatario_cnpj, numero_nota, serie, data_emissao, chave_acesso, itens como array de objetos com codigo, descricao, ncm, cfop, quantidade, valor_unitario, valor_total, aliquota_icms e o objeto totais com base_calculo_icms, valor_icms, valor_frete e valor_liquido_nota."

SEGUNDA FERRAMENTA: IBM Docling

A biblioteca Docling, mantida pela IBM Research e instalada via pip install docling em ambientes Python 3.10 ou superiores, realiza o parsing avançado de documentos PDF nativos, digitalizados e imagens utilizando modelos especializados de análise de layout como o DocLayNet e o TableFormer. Em termos de desempenho e volumetria operacional, o Docling processa dezenas de páginas por minuto em servidores locais com CPU multi-core ou aceleração CUDA sem incorrer em custos variáveis por página cobrados por serviços proprietários como AWS Textract ou Azure Document Intelligence. Seu diferencial técnico na automação financeira reside na capacidade de reconstruir tabelas complexas com células mescladas e múltiplas linhas por item, exportando a hierarquia completa do documento em formato DoclingDocument, Markdown ou JSON com coordenadas exatas de caixas delimitadoras ou acoplando o Qwen2.5-VL nativamente através da classe VlmPipeline para leitura híbrida.

PROMPT EXATO: Orquestração de Layout Tabular no Docling

"[PAPEL] Você é um especialista em engenharia de dados documentais configurando o pipeline de ingestão do IBM Docling para parsing de demonstrações financeiras e notas fiscais. [CONTEXTO] O diretório de entrada contém arquivos PDF multipágina e imagens TIFF ou PNG com tabelas de faturamento desalinhadas, cabeçalhos repetidos entre quebras de página e observações fiscais no rodapé. [RESTRIÇÕES] Habilite o modo TableFormerMode.ACCURATE nas opções de pipeline, mantenha a extração de coordenadas de bounding box ativa e proíba a fusão de colunas numéricas adjacentes durante a serialização. [VARIÁVEIS] Objeto PdfPipelineOptions configurado com do_table_structure igual a True, do_ocr igual a True e instância de DocumentConverter vinculada ao formato InputFormat.PDF. [OUTPUT] Estrutura de dados serializada via export_to_dict contendo a árvore de elementos textuais, metadados de página e matrizes tabulares convertidas em DataFrames pandas limpos."

TERCEIRA FERRAMENTA: Servidor vLLM com Integração Python Assíncrona

O servidor de inferência vLLM executa o Qwen2.5-VL em produção local expondo um endpoint HTTP compatível com a especificação OpenAI na porta 8000, utilizando gerenciamento de memória PagedAttention para maximizar o throughput de tokens visuais e textuais simultâneos. Em comparação com a execução direta via scripts sequenciais em PyTorch, a arquitetura cliente-servidor com vLLM reduz a latência por documento em mais de sessenta por cento ao agrupar requisições concorrentes em lotes dinâmicos na GPU e manter os pesos do modelo residentes na VRAM. Aplicado à esteira financeira em Python, um worker assíncrono construído com asyncio, httpx e Pydantic valida os payloads retornados pelo servidor local contra esquemas rigorosos de tipagem, garantindo que apenas registros com soma matemática consistente entre itens e totais sigam para o banco de dados ERP ou sistema de contas a pagar.

PROMPT EXATO: Worker Python de Validação Financeira com vLLM

"[PAPEL] Você é um engenheiro de software sênior implementando um microserviço assíncrono em Python para processamento em lote de documentos fiscais contra um servidor vLLM local. [CONTEXTO] O script monitora um diretório de fila local, converte documentos processados pelo Docling ou imagens em strings Base64 e envia requisições POST concorrentes para o modelo Qwen2.5-VL hospedado em localhost na porta 8000. [RESTRIÇÕES] Utilize semáforos asyncio para limitar a concorrência conforme a capacidade da GPU, aplique timeout de cento e vinte segundos por requisição, valide a resposta com modelos Pydantic v2 e mova arquivos com falha de validação de esquema para uma pasta de quarentena. [VARIÁVEIS] Endpoint VLLM_API_URL definido como http://localhost:8000/v1/chat/completions, parâmetro temperature configurado em 0.0 e limite de max_tokens em 4096. [OUTPUT] Código Python modular utilizando httpx.AsyncClient e BaseModel do Pydantic para ingestão paralela, validação de integridade numérica dos campos extraídos e persistência em arquivos JSON auditáveis."

A integração entre o pré-processamento estrutural do Docling, a compreensão visual do Qwen2.5-VL e a inferência de alta vazão via vLLM consolida uma arquitetura soberana para extração de documentos financeiros em Python. Ao ajustar a resolução máxima de pixels conforme a densidade tipográfica de cada layout fiscal e manter a temperatura de amostragem zerada, equipes de engenharia eliminam alucinações numéricas, zeram custos recorrentes com APIs de terceiros e alcançam precisão determinística em fluxos críticos de auditoria e escrituração contábil.