AI Butuh Respons Cepat, Data Center Tengah Kota Kian Diburu untuk Inferensi
Pusat data di area perkotaan mulai menjadi incaran bisnis untuk menekan latensi komputasi inferensi kecerdasan buatan.
Foto: Detik (Dokumentasi editorial)
Poin penting
- Infrastruktur inferensi AI memerlukan latensi rendah sehingga membutuhkan fasilitas komputasi dekat pengguna.
- Data center tengah kota berperan krusial sebagai network edge, melengkapi fasilitas skala besar pinggiran kota.
- Pelaku usaha perlu memisahkan penempatan server pelatihan model dan operasional agen AI harian.
Lonjakan penggunaan kecerdasan buatan dalam aktivitas operasional bisnis mulai mengubah arah kebutuhan infrastruktur digital di Indonesia. Jika sebelumnya industri berfokus pada pusat data raksasa untuk melatih model, kini adopsi aplikasi harian menuntut respons server yang jauh lebih cepat.
CEO Bitera Data Center, Tedy Harjanto, mengungkapkan bahwa ekosistem komputasi tidak bisa hanya bertumpu pada fasilitas berskala masif (hyperscale) yang berada jauh di pinggiran kota. Fasilitas komputasi perkotaan justru memegang peranan penting dalam menopang AI inference.
AI inference secara singkat mirip seperti access nodes atau network nodes. Itu ketika produknya sudah matang, kemudian siap dipakai, agen-agennya berjalan.
AI inference adalah proses saat model kecerdasan buatan yang sudah terlatih mengeksekusi instruksi baru dan menghasilkan jawaban langsung untuk pengguna akhir. Proses ini sangat sensitif terhadap jeda waktu pengiriman data (latensi network).
Menyeimbangkan Pelatihan Skala Besar dan Latensi Rendah
Menurut laporan Detik, Tedy menjelaskan bahwa industri AI akan menemukan keseimbangan baru dalam rentang tiga hingga lima tahun ke depan. Kebutuhan fasilitas komputasi bergeser dari sekadar pabrik pelatihan data menuju infrastruktur komputasi tepi (network edge).
Bitera sendiri mengoperasikan pusat data berkapasitas lebih dari 30 megawatt di kawasan Kuningan, Jakarta Selatan. Fasilitas perkotaan ini dirancang untuk menampung unit pemrosesan grafis (GPU) milik penyewa guna melayani beban kerja inferensi, bukan pelatihan model skala masif.
Penempatan server di pusat aktivitas ekonomi membantu korporasi memangkas latensi jaringan secara signifikan. Kecepatan respons ini menjadi penentu kepuasan pengguna saat berinteraksi langsung dengan bot layanan pelanggan atau agen otomatis internal perusahaan.
Apa Artinya bagi Pelaku Usaha
Bagi manajemen dan pengambil keputusan teknologi, strategi infrastruktur AI kini harus dipilah secara cermat. Menempatkan seluruh beban komputasi di cloud luar negeri atau pusat data terpencil berisiko menurunkan performa aplikasi interaktif yang membutuhkan jawaban instan.
Langkah mitigasi yang realistis adalah menerapkan pendekatan hibrida. Perusahaan dapat melatih model berbiaya besar di data center hyperscale, lalu menempatkan instans model operasional (production inference) di fasilitas lokal tengah kota terdekat.
Sebelum berinvestasi, tim TI disarankan mengukur toleransi latensi setiap layanan AI. Jika jeda beberapa milidetik memengaruhi retensi pelanggan atau otomasi bisnis kritis, migrasi beban kerja inferensi ke penyedia data center perkotaan menjadi investasi yang beralasan.
✓ Lolos pemeriksaan redaksi AI. (Klik untuk lihat hasil pemeriksaan fakta)
Artikel ini ditulis AI, 7 klaimnya dicocokkan dengan sumber, dan diuji keterbacaannya sebelum terbit. Menemukan kekeliruan? Laporkan ke redaksi.
- Detik: AI Butuh Respons Cepat, Ini Peran Data Center di Tengah Kota
| Klaim | Putusan | Dasar di sumber |
|---|---|---|
| Kebutuhan data center di tengah/pusat kota masih sangat besar untuk menopang kebutuhan inferensi AI. | Didukung | “Hari ini kalau kita lihat kebutuhan data center di pusat kota itu masih besar banget” Detik mengutip pernyataan CEO Bitera Data Center Tedy Harjanto mengenai tingginya kebutuhan data center di pusat kota. |
| Proses inferensi AI memerlukan latensi yang lebih baik sehingga infrastruktur perlu ditempatkan dekat pengguna seperti di network edge. | Didukung | “Karena mereka memerlukan latency yang lebih baik, makanya itu ditaruhnya di lokasi seperti di network edge” Detik mencatat penjelasan Tedy Harjanto tentang alasan penempatan server inferensi di network edge / dekat pengguna. |
| Kebutuhan infrastruktur AI tidak hanya bertumpu pada hyperscale data center atau AI factory, melainkan juga data center dekat pengguna. | Didukung | “Jadi bukan berarti bahwa AI lantas mereka cuma perlu hyperscale atau AI factory data center, nggak.” Detik melaporkan pandangan Tedy Harjanto bahwa AI inference memerlukan peran data center lokal yang dekat pengguna. |
| Fasilitas berkapasitas besar sebelumnya dibutuhkan untuk melatih model AI, sedangkan aktivitas harian membutuhkan infrastruktur berkecepatan respons tinggi. | Didukung | “Jika sebelumnya fasilitas berkapasitas besar banyak dibutuhkan untuk melatih model AI, penggunaan AI dalam aktivitas sehari-hari juga membutuhkan infrastruktur yang mampu memberikan respons cepat” Detik menjelaskan pergeseran kebutuhan infrastruktur dari pelatihan ke penggunaan sehari-hari. |
| Tedy Harjanto mengibaratkan AI inference seperti access nodes atau network nodes ketika produk sudah matang dan siap digunakan. | Didukung | “AI inference secara singkat ya mirip-mirip kayak tadi yang access nodes atau network nodes. Itu ketika produknya sudah matang, kemudian ready untuk dipakai, agent-agent-nya,” Detik mengutip langsung analogi yang disampaikan Tedy Harjanto dalam diskusi media roundtable. |
| Industri AI diperkirakan akan stabil dan menemukan titik keseimbangan baru dalam rentang 3 hingga 5 tahun ke depan. | Didukung | “Nantinya ketika dia stabilize 3-5 tahun ke depan, akan ketemu satu equilibrium yang baru” Detik mengutip perkiraan waktu stabilisasi adopsi infrastruktur AI dari Tedy Harjanto. |
| Fasilitas Bitera di Kuningan berkapasitas lebih dari 30 MW dan dirancang untuk mendukung sistem kritis serta AI inference menggunakan GPU pelanggan, bukan pelatihan skala besar. | Didukung | “Dengan kapasitas lebih dari 30 MW, fasilitas ini dirancang untuk mendukung sistem kritis dan AI inference menggunakan GPU milik pelanggan, bukan untuk pelatihan AI skala besar.” Detik merinci spesifikasi kapasitas dan fungsi peruntukan fasilitas data center Bitera di Kuningan. |
Video AI terbaru
Kuken Industries searches 70 years of drawings in minutes
