Inferensi terkelola

Inferensi LLM tanpa mengoperasikan GPU sendiri

Gateway menangani autentikasi, akses model, dan metering. Aplikasi Anda tetap bertanggung jawab atas validasi dan otorisasi.

Metode isi saldo yang direncanakan: Alipay dan USDT. Modul penerimaan pembayaran belum diaktifkan.

Yang ditangani layanan

  • Autentikasi
  • Akses model terkonfigurasi
  • Metering
  • Limit
  • Metadata publik

Yang ditangani aplikasi

  • Validasi input-output
  • Otorisasi bisnis
  • Retry
  • Minimisasi data
  • Pengalaman error

Pertanyaan umum

Apakah saya bisa memakai SDK OpenAI?

Ya, untuk subset Chat Completions yang telah diverifikasi. Atur base URL, API key, dan model; parameter yang tidak didukung akan ditolak dengan jelas.

Apakah semua model mendukung streaming dan tool calling?

Kemampuan seperti function calling dan streaming bervariasi untuk setiap model. Anda dapat melihat spesifikasi terbaru di katalog aktif kami.

Sumber terkait