Gunakan beberapa lapisan
- Anggaran proyek
- Anggaran API key
- RPM
- TPM
- Concurrency
- Batas loop aplikasi
Pengalaman pengguna
Saat limit tercapai, tampilkan alasan dan waktu retry bila relevan. Jangan diam-diam mengganti ke model yang belum diuji.
Pertanyaan umum
Apakah RPM cukup untuk AI agent?
Tidak. Gabungkan RPM dengan TPM, concurrency, anggaran, dan batas iterasi.
Di mana limit sebaiknya dipasang?
Pasang batas umum di proyek dan batas lebih ketat di setiap key sesuai tujuannya.