🎙️

ORION SE

Consola de Control y Benchmarking de Voz

⚡ Presets de Modelos:

🧠 LLM:

🗣️ TTS (Habla):

👂 STT (Oído):

LLM: openai/gpt-5.4-mini · TTS: cartesia/sonic-3 (es-CO) · STT: deepgram/nova-3 · VAD: fixed 0.4s

⚡

Totalizador del Pipeline de Voz en Tiempo Real

Ruta crítica acumulada: STT (Oído) ➔ Endpointing (VAD) ➔ LLM (Razonamiento) ➔ TTS (Voz) = TTFA Total

Target ≤ 500 ms (ÓPTIMO) Esperando llamada...

👂 STT (Escucha) ~120 ms Deepgram Nova-3

➔

⏱️ Endpointing (VAD) ~400 ms Silero / TurnDet

➔

🧠 LLM (First Token) ~342 ms GPT-5.4-mini

➔

🗣️ TTS (First Byte) ~255 ms Cartesia Sonic-3

➔

🎯 TTFA Total Estimado ~434 ms Meta: ≤ 500 ms

0 ms Meta SIP: 400 ms Meta WebRTC: 500 ms 800 ms

🖥️

LiveKit Local

Docker Self-Hosted (:7880) · Plugins BYOK

desconectado

⏱️ Métricas Último Turno (Local)

TTFA Total -- ms Meta: ≤ 500 ms

Endpointing -- ms Silero VAD Local

LLM TTFT -- ms GPT-5.4-mini

TTS TTFB -- ms Cartesia Sonic-3

💬 Transcripción en Vivo (Local) Self-Host Worker

Pulsa "Hablar con Local" para iniciar la llamada.

☁️

LiveKit Cloud

US East B Gateway · Inference API

desconectado

⏱️ Métricas Último Turno (Cloud)

TTFA Total -- ms Meta: ≤ 500 ms

Endpointing -- ms Inference TurnDetector

LLM TTFT -- ms GPT-5.4-mini

TTS TTFB -- ms Cartesia Sonic-3

💬 Transcripción en Vivo (Cloud) LiveKit Cloud Inference

Pulsa "Hablar con Cloud" para iniciar la llamada.

🔮

Gemini 3.8 Live

Speech-to-Speech · Self-Host (:7880) · un solo modelo

desconectado

⏱️ Métricas Último Turno (S2S)

TTFA Total -- ms fin de habla → 1er audio · Meta: ≤ 500 ms

TTFT del modelo -- ms desde inicio de respuesta · no comparable

Audio in -- tok $3,00 / M tokens

Audio out -- tok $12,00 / M tokens

💬 Transcripción en Vivo (S2S) gemini-3.8-live · transcripción del proveedor

Pulsa "Hablar con Gemini" para iniciar la llamada.

🧠 Configuración y Selección de Modelos

Selecciona los modelos de LLM, Síntesis (TTS), Reconocimiento (STT) y VAD evaluados en los benchmarks.

🤖

Modelo de Lenguaje (LLM)

Razonamiento, contexto y selección de tools

Modelo Activo:

TTFT Promedio: 342.4 ms

Velocidad Generación: 33.6 tokens/s

Soporte Tools / JSON: Nativo y Estricto

🗣️

Síntesis de Voz (TTS)

Latencia al primer byte (TTFB) y naturalidad de pronunciación

Proveedor y Modelo:

Voz / ID de Locutor:

TTFB Promedio: 255.7 ms

Calidad Fonética: Colombiano Natural (es-CO)

👂

Reconocimiento de Voz (STT)

Transcripción en streaming en tiempo real

Modelo STT:

Latencia Streaming: ~120 ms

Precisión Idioma: 98.4% Word Error Rate

🎙️

Endpointing & Detección de Turnos

Balance entre corte rápido y evitar falsas interrupciones

Estrategia de Endpointing:

Retardo Fin de Voz: 400 ms

Interrupción (Barge-in): Habilitada

⚡ Banco de Pruebas de Latencia (USA East)

Medición de latencia end-to-end desde la VPS de producción (Ashburn, VA) hacia LiveKit Cloud US East B.

Resultados Empíricos de Modelos en Servidor USA:

Componente	Modelo / Proveedor	TTFT / TTFB	Velocidad / Datos	Estado
LLM Ganador	`openai/gpt-5.4-mini`	342.4 ms	33.6 tok/s	Ganador
LLM Ultraligero	`openai/gpt-5.4-nano`	361.7 ms	34.4 tok/s	Rápido
LLM Alternativo	`openai/gpt-4.1-mini`	465.6 ms	32.9 tok/s	+120 ms
TTS Ganador (es-CO)	`cartesia/sonic-3`	255.7 ms	Voz Sofia (Natural)	Ganador
TTS Flash	`elevenlabs/eleven_flash_v2_5`	231.9 ms	Ultra-rápido	Excelente
STT Principal	`deepgram/nova-3`	~120 ms	Español Latino	Óptimo

⚙️ Configuración del Agente y Tenant

Editor del prompt del sistema y parámetros de voz de demo.yaml.

System Prompt (Personalidad y Reglas de Negocio):

Voz Predeterminada:

Transporte de Modelos:

Modo de Endpointing:

Generación Preventiva (Preemptive):

🛠️ Catálogo de Herramientas (Tools)

Verificación de conectividad con el SaaS vertical de salones (demo-saas).

GET

listServices

Server Tool · Prefetch

Lista los servicios disponibles del salón (corte, tinte, manicure...). Se precarga al abrir la llamada.

GET

getAvailability

Server Tool

Consulta disponibilidad horaria de un servicio específico para una fecha.

RPC

highlightService

Client Tool

Resalta visualmente un servicio en la pantalla del usuario vía WebRTC RPC.

Resultado de la prueba:

🖥️ Estado del Servidor VPS y Rendimiento de Hardware

Servidor: Cargando... · OS: Linux · Uptime: --

Auto-refrescar (5s)

🧠

Carga de CPU -- Cores

-- %

Load Avg: -- / -- / --

💾

Memoria RAM Total: -- MB

-- %

Usada: -- MB · Libre: -- MB

💽

Almacenamiento en Disco Total: -- GB

-- %

Usado: -- GB · Libre: -- GB

⚡

Velocidad del Disco (I/O) Benchmark Secuencial

Escritura (Write): -- MB/s

Lectura (Read): -- MB/s

🐳 Contenedores Docker en el Host

0 contenedores

Contenedor	Imagen	Estado	Puertos Mapeados	Condición
Cargando contenedores...