Memperbaiki latensi OpenRouter dengan Cloudflare Worker (region pinning)

Tulisan ini ringkasan masalah yang pernah kualami: placeholder AI kadang gagal, ternyata bukan karena rate limit semata, melainkan routing region Worker yang tidak selaras dengan kebijakan model.

Setelah melihat log, pola kegagalan muncul saat Worker diposisikan di region yang tidak didukung penuh oleh jalur ke penyedia tertentu. Model lain tetap jalan — jadi awalnya membingungkan.

Masalah routing

Smart Placement membantu latensi global, tapi untuk API yang sensitif terhadap region, perilaku otomatis bisa mengubah jalur tanpa kamu sadari. Di tim kecil, gejala ini terlihat seperti “kadang jalan, kadang tidak”.

Perbaikan

Solusi praktisnya: membatasi atau mem-pin region deployment Worker agar jalur ke OpenRouter dan model upstream konsisten. Setelah itu, rasio error turun drastis.

• Worker tetap sebagai lapisan API
• OpenRouter sebagai router model
• Hanya strategi placement yang diubah

Kesimpulan

Infrastruktur yang “pintar” belum tentu cocok untuk semua beban kerja. Untuk produk yang bergantung pada AI upstream, prediktabilitas sering mengalahkan optimasi otomatis sepenuhnya.