OpenAI互換LLM APIのストリーミング

ストリーミング応答は途中で終わる可能性がある

クライアント切断やネットワーク障害に備え、本文やツール引数の部分状態を扱える設計にしてください。

予定している入金方法：Alipay、USDT。決済機能はまだ有効ではありません。

処理すべきケース

公開カタログでストリーミング対応が示されたモデルだけを使い、診断用に非ストリーミング経路も残してください。

すべてのモデルがストリーミング対応ですか？

いいえ。公開カタログの機能表示を確認してください。

部分出力を保存すべきですか？

製品要件によります。監査が必要な処理では、未完了応答として明確に区別してください。