Chip AI OpenAI Jalapeño Kalahkan Nvidia Blackwell

OpenAI menggebrak industri chip AI dengan memamerkan performa Jalapeño, chip inference khusus yang diklaim melampaui prosesor andalkan Nvidia dalam hal kecepatan dan efisiensi energi. Chip yang dikembangkan bersama Broadcom ini pertama kali diperkenalkan pada Juni lalu, dan kini hasil benchmark resminya dipresentasikan di konferensi Hot Chips pada Selasa pekan ini, menunjukkan pencapaian yang mengejutkan banyak pihak di industri.

Unggul di Benchmark InferenceX, Kalahkan Nvidia Blackwell

Dalam pengujian menggunakan platform benchmark InferenceX dari SemiAnalysis, Jalapeño menunjukkan performa yang mengesankan saat diadu dengan chip-chip terbaik Nvidia saat ini, termasuk GB200 dan GB300 dari generasi Blackwell. Menurut data yang dirilis OpenAI, chip buatan mereka mampu menghasilkan 1,5 hingga 1,9 kali lebih banyak pekerjaan AI per watt dibandingkan sistem pembanding. Tak hanya itu, latensi end-to-end — waktu yang dibutuhkan untuk menghasilkan respons lengkap — juga turun drastis hingga 1,7 sampai 3,6 kali lipat saat menjalankan berbagai model besar seperti DeepSeek R1, Kimi K2.5, dan GPT-OSS 120B.

Richard Ho, Vice President Hardware OpenAI, menjelaskan bahwa Jalapeño menawarkan “yang terbaik dari dua dunia” dengan menggabungkan throughput tinggi dan latensi rendah — dua aspek yang biasanya harus dikorbankan salah satunya dalam sistem AI konvensional. “Hasil ini menunjukkan kemajuan performa yang sangat signifikan dibandingkan state-of-the-art saat ini,” ujarnya dalam sesi briefing dengan media. Keunggulan ini memungkinkan pengguna mendapatkan respons lebih cepat, agen AI yang lebih responsif, dan akses yang lebih andal seiring meningkatnya permintaan.

Chip Generalis untuk Inference, Bukan Khusus Model OpenAI

Menariknya, meski dikembangkan oleh OpenAI, Jalapeño ternyata dirancang sebagai chip generalis untuk beban kerja inference AI secara umum — bukan hanya dioptimalkan untuk model-model OpenAI sendiri seperti yang banyak diduga. Chip ini terbukti mampu menjalankan berbagai model open-source dengan performa tinggi. Sebagai contoh, DeepSeek R1 dapat diproses pada kecepatan 700 token per detik per pengguna, sementara Kimi K2.5 dan GPT-OSS 120B mencapai 1.400 token per detik per pengguna menggunakan teknik Single Token Prediction. Bahkan sebagai lelucon, OpenAI menunjukkan kepada SemiAnalysis bahwa chip ini bisa menjalankan game Doom yang di-port hanya dengan bantuan prompt Codex.

Pencapaian ini semakin mengesankan mengingat siklus pengembangannya yang luar biasa singkat. Desain Jalapeño dimulai pada pertengahan 2024, dan dalam waktu sekitar 16 bulan — dari perekrutan tim hingga tape-out manufaktur — chip ini berhasil diselesaikan. Kecepatan luar biasa ini menunjukkan bahwa klaim penggunaan AI untuk mempercepat desain chip memang terbukti nyata, dan tim OpenAI mampu mengambil keputusan desain yang pragmatis dengan eksekusi yang solid.

Arsitektur Rack-Scale dengan Performa Exaflops

OpenAI merancang Jalapeño untuk penerapan skala rak (rack-scale) dengan konfigurasi 128 chip akselerator per rak, mirip dengan pendekatan Nvidia NVL72 dan AMD Helios. Setiap chip tunggal memiliki konsumsi daya puncak 700 watt dan dilengkapi memori HBM4 sebesar 216 GB dengan bandwidth mencapai 15,4 TB per detik. Ketika digabungkan dalam satu rak penuh, sistem ini menghasilkan kemampuan komputasi hingga 1,7 exaflops untuk operasi 4-bit, total memori 27,5 TB, dan bandwidth memori mendekati 2 petabyte per detik.

Keunggulan arsitektur Jalapeño terletak pada pendekatan co-design perangkat keras dan perangkat lunak yang meminimalkan penundaan pergerakan data. Sistem ini menyimpan KV cache secara lokal selama fase prefill dan komunikasi, yang menghilangkan bottleneck umum dalam proses inference. Desain ini juga meniadakan kebutuhan akan teknik speculative decoding atau disaggregasi prefill-decode yang biasanya diperlukan sistem lain. “Kami merancang Jalapeño untuk meminimalkan pergerakan data dan penundaan komunikasi,” jelas OpenAI dalam blog post resmi mereka, menambahkan bahwa model state dapat ditempatkan secara eksplisit dan tetap lokal sambil sistem mengaktifkan kombinasi yang tepat dari komputasi, memori, dan networking untuk setiap fase inference.

Penerapan Bertahap Mulai Akhir 2026

OpenAI berencana memulai penerapan Jalapeño dalam volume kecil pada akhir tahun 2026 ini, dengan peningkatan volume signifikan diharapkan terjadi sepanjang 2027. Meski begitu, Ho menegaskan bahwa OpenAI tidak berniat menggantikan seluruh lineup chip mereka dengan Jalapeño, dan akan tetap mempertahankan kemitraan dengan Nvidia sebagai bagian dari strategi komputasi mereka. “Strategi komputasi kami secara keseluruhan mencakup mitra-mitra yang sangat baik seperti Nvidia,” katanya, sembari mengonfirmasi bahwa OpenAI akan terus mengembangkan generasi kedua dan ketiga dari chip Jalapeño.

Perlu dicatat bahwa saat Jalapeño mencapai penerapan penuh pada 2027, kompetisi mungkin sudah bergerak maju — chip generasi Nvidia Vera Rubin misalnya, belum termasuk dalam perbandingan benchmark kali ini. Namun demikian, pencapaian generasi pertama Jalapeño yang sudah mampu mengalahkan Blackwell menunjukkan bahwa OpenAI telah berhasil membuktikan diri sebagai pemain serius dalam persaingan chip AI, melawan raksasa-raksasa seperti Nvidia, AMD, dan Google dengan pendekatan full-stack yang terintegrasi dari model hingga silicon.