推論コスト

安い推論は処理範囲を限定することから始まる

タスクを安定して完了できる最小モデルを選び、出力、再試行、同時実行を制限してください。

予定している入金方法:Alipay、USDT。決済機能はまだ有効ではありません。

主なコスト要因

  • モデル
  • プロンプト長
  • 最大出力
  • キャッシュ
  • 再試行
  • バッチ処理

単価だけで決めない

失敗や人手修正が増えるモデルは、最終的に高くなることがあります。

よくある質問

何を指標にすべきですか?

合格結果あたりのコスト、レイテンシ、失敗率を併せて見ます。

関連情報