Custo de inferência

Inferência barata começa com uma carga limitada

Use o menor modelo que conclua a tarefa com confiança e controle saída, tentativas e concorrência.

Métodos de recarga planejados: Alipay e USDT. A cobrança ainda não está habilitada.

Alavancas reais

  • Modelo
  • Prompt
  • Máximo de saída
  • Cache
  • Retentativas
  • Lotes quando fizer sentido

Não olhe só a tarifa

Um modelo mais barato pode custar mais se falhar ou exigir muita correção.

Perguntas frequentes

Qual métrica usar?

Custo por resultado aceito, junto de latência e taxa de erro.

Conteúdo relacionado