Compactación de esquemas JSON en llamadas estructuradas sin pérdida de precisión tipada

Reducción de token overhead en un 41% mediante gramáticas BNF precompiladas para extracción de entidades de formulario.

Área: Inferencia·Transferido a: Fluxia Core Schema Parser v2.1

1. Hipótesis inicial

La restricción léxica a nivel de logits reduce los tokens de entrada de metadatos de esquema sin incrementar la tasa de error tipado respecto a validadores JSON Schema estándar.

2. Procedimiento reproducible

Precompilación de 24 esquemas representativos en máquinas de estados finitos (FSM).
Ejecución de 10.000 extracciones de datos no estructurados contra esquemas anidados.
Cotejo automatizado de tipos con Zod y comprobación de tiempo a primer token (TTFT).

3. Medición y telemetría de nodo

Reducción de tokens41.8%

Ahorro directo en coste de prompt

Tasa de error tipado0.02%-99.4% vs baseline

TTFT (Time to first token)184 ms

Medido en nodo local

Figura 3.1 · Registro directo del canal de telemetría (Log de nodo)

[GRAMMAR_BUILD] Compiled 24 schemas into FSM representation in 12ms.
[EVAL] 10,000 / 10,000 runs completed.
[VALIDATION] 9,998 valid against runtime schema. 2 discarded due to malformed unicode input.

4.1 Resultado empírico

Hipótesis confirmada. Las gramáticas precompiladas eliminan la necesidad de inyectar descripciones extensas en el system prompt.

4.2 Límite del experimento

Requiere soporte directo en el motor de inferencia (llama.cpp / vLLM); inutilizable sobre APIs propietarias que no permitan máscaras de logits.

5. Qué no se puede concluir de esto

No garantiza corrección semántica de los valores extraídos, únicamente conformidad estricta con la firma del tipo.
No reduce el tiempo de decodificación total en esquemas recursivos abiertos.

Contraste de hipótesis

¿Dispones de datos para replicar o refutar este resultado?

Intercambiamos esquemas de test con equipos de investigación.

Contacto técnico

← Volver al archivo del cuaderno Ver líneas de trabajo abiertas →