Pertarungan seratus model di bidang AI sedang berlangsung, tetapi prospek bisnis masih tidak jelas

Bulan lalu, dunia AI diguncang oleh "Pertarungan Hewan". Di satu sisi ada model Llama dari Meta, yang sangat populer di kalangan pengembang karena sifatnya yang open source. Setelah mempelajari Llama, perusahaan Jepang NEC dengan cepat mengembangkan versi bahasa Jepang dari ChatGPT. Di sisi lain ada model besar bernama Falcon, yang setelah diluncurkan pada bulan Mei, berhasil mengalahkan Llama dan menduduki puncak daftar LLM open source.

Menariknya, Falcon tidak berasal dari perusahaan teknologi, melainkan dikembangkan oleh Institut Penelitian Inovasi Teknologi Abu Dhabi di UEA. Pejabat UEA menyatakan bahwa mereka terlibat dalam bidang ini untuk "mengguncang pemain utama". Sehari setelah peluncuran versi Falcon 180B, Menteri AI UEA terpilih sebagai salah satu dari "100 orang paling berpengaruh di bidang AI" menurut majalah Time.

Saat ini, bidang AI telah memasuki tahap persaingan ketat, di mana negara dan perusahaan yang memiliki kekuatan sedang mengembangkan model besar mereka sendiri. Hanya di kawasan Teluk, Arab Saudi baru saja membeli lebih dari 3000 chip H100 untuk pelatihan LLM bagi universitas domestiknya.

Seorang investor pernah mengeluh di media sosial: "Dulu meremehkan inovasi model bisnis internet, merasa tidak ada hambatan. Tidak menyangka usaha startup model besar teknologi keras, tetap saja adalah pertempuran seratus model..."

Mengapa teknologi keras yang dikenal memiliki hambatan tinggi kini menjadi perlombaan yang bisa diikuti semua orang?

Transformer Mengubah Aturan Permainan

Perusahaan rintisan di berbagai negara, raksasa teknologi, dan taipan minyak dapat mengejar impian model besar berkat makalah "Attention Is All You Need" yang diterbitkan oleh Google pada tahun 2017. Makalah ini memperkenalkan algoritma Transformer, yang menjadi pemicu gelombang AI saat ini. Saat ini, berbagai model besar, terlepas dari kewarganegaraannya, termasuk seri GPT yang menggemparkan dunia, dibangun di atas dasar Transformer.

Sebelumnya, "mengajarkan mesin untuk membaca" telah diakui sebagai tantangan akademis. Berbeda dengan pengenalan gambar, saat membaca, manusia tidak hanya fokus pada kata atau kalimat saat ini, tetapi juga menggabungkan pemahaman konteks. Input dari jaringan saraf awal saling independen, sehingga sulit untuk memahami teks panjang bahkan sebuah artikel utuh, oleh karena itu muncul masalah seperti menerjemahkan "开水间" menjadi "open water room".

Pada tahun 2014, setelah bekerja di Google, ilmuwan komputer Ilya Sutskever( yang beralih ke OpenAI mencapai terobosan pertama. Dia menggunakan jaringan saraf berulang)RNN( untuk memproses bahasa alami, yang membuat kinerja Google Translate jauh lebih unggul dibandingkan pesaing. RNN mengusulkan "desain sirkular", yang memungkinkan setiap neuron menerima input dari momen saat ini maupun dari momen sebelumnya, sehingga memiliki kemampuan "mengaitkan konteks".

Kemunculan RNN telah membangkitkan semangat penelitian di kalangan akademisi, penulis makalah Transformer Noam Shazeer juga pernah terpesona. Namun, para pengembang segera menemukan bahwa RNN memiliki kekurangan serius: algoritma ini menggunakan perhitungan berurutan, meskipun dapat menyelesaikan masalah konteks, tetapi efisiensi operasinya rendah dan sulit untuk menangani banyak parameter.

Desain RNN yang rumit membuat Shazelle merasa jengkel. Sejak tahun 2015, ia dan tujuh rekan seide mengembangkan alternatif untuk RNN, yang akhirnya menghasilkan Transformer. Dibandingkan dengan RNN, Transformer memiliki dua inovasi besar: pertama, menggunakan pengkodean posisi menggantikan desain sirkuler, mewujudkan perhitungan paralel, secara signifikan meningkatkan efisiensi pelatihan, dan membawa AI ke era model besar; kedua, lebih lanjut meningkatkan kemampuan pemahaman konteks.

Transformer secara efektif menyelesaikan berbagai kekurangan dan secara bertahap menjadi solusi utama dalam NLP) pemrosesan bahasa alami (. Bahkan Ilya pun meninggalkan RNN yang ia ciptakan dan beralih ke kubu Transformer. Bisa dikatakan, Transformer adalah nenek moyang semua model besar saat ini, mengubah model besar dari penelitian teoretis menjadi masalah rekayasa murni.

Pada tahun 2019, OpenAI mengembangkan GPT-2 berdasarkan Transformer, yang mengejutkan dunia akademis. Google segera meluncurkan model AI yang lebih kuat, Meena. Dibandingkan dengan GPT-2, Meena tidak mengalami inovasi algoritma, hanya menambah 8,5 kali parameter pelatihan dan 14 kali daya komputasi. Penulis Transformer, Ashish Vaswani, sangat terkejut dengan "penumpukan kekerasan" ini dan menulis memo "Meena Menelan Dunia."

Setelah munculnya Transformer, laju inovasi algoritma dasar di kalangan akademis telah melambat secara signifikan. Faktor-faktor rekayasa seperti rekayasa data, skala komputasi, dan arsitektur model semakin menjadi kunci dalam kompetisi AI. Selama perusahaan teknologi memiliki kemampuan teknis tertentu, mereka dapat mengembangkan model besar.

Ilmuwan komputer Andrew Ng mengungkapkan dalam pidatonya di Universitas Stanford: "AI adalah kumpulan alat, termasuk pembelajaran terawasi, pembelajaran tidak terawasi, pembelajaran penguatan, serta kecerdasan buatan generatif yang ada sekarang. Semua ini adalah teknologi umum, mirip dengan listrik dan internet sebagai teknologi umum lainnya."

OpenAI memang masih menjadi acuan di bidang LLM, tetapi lembaga analisis semikonduktor Semi Analysis percaya bahwa daya saing GPT-4 berasal dari solusi teknik — jika sumbernya dibuka, pesaing mana pun dapat dengan cepat menyalinnya. Analis tersebut memperkirakan, mungkin tidak lama lagi, perusahaan teknologi besar lainnya juga dapat mengembangkan model besar yang sebanding dengan kinerja GPT-4.

Di mana parit pertahanan dibangun?

Saat ini, "Perang Model Besar" tidak lagi sekadar kiasan, tetapi kenyataan. Menurut laporan, hingga Juli tahun ini, jumlah model besar di Tiongkok telah mencapai 130, melampaui 114 di Amerika Serikat, berbagai mitos dan legenda hampir tidak cukup untuk digunakan oleh perusahaan teknologi domestik dalam penamaan.

Selain Tiongkok dan Amerika Serikat, negara-negara kaya lainnya juga telah secara awal mencapai "satu negara satu model": Jepang, Uni Emirat Arab, serta Bhashini yang dipimpin pemerintah India, dan HyperClova X yang dikembangkan oleh perusahaan internet Korea Selatan, Naver. Pemandangan ini seolah-olah mengembalikan kita ke era gelembung internet, di mana berbagai pihak berlomba-lomba membakar uang untuk masuk.

Seperti yang disebutkan sebelumnya, Transformer menjadikan model besar sebagai masalah rekayasa murni, asalkan ada dana dan perangkat keras, yang tersisa hanyalah penyetelan parameter. Namun, penurunan ambang masuk tidak berarti setiap orang dapat menjadi raksasa di era AI.

Kasus klasik yang disebutkan di awal, "Perang Hewan", adalah contoh yang tepat: Meskipun Falcon telah melampaui Llama dalam peringkat, sulit untuk mengatakan seberapa besar dampaknya terhadap Meta. Seperti yang kita ketahui, perusahaan membuka hasil penelitian mereka, tidak hanya untuk berbagi manfaat teknologi, tetapi juga berharap untuk menarik kecerdasan sosial. Dengan berbagai pihak terus menggunakan dan memperbaiki Llama, Meta dapat menerapkan hasil tersebut ke dalam produk mereka sendiri.

Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah keunggulan kompetitif inti. Meta telah menetapkan jalur sumber terbuka sejak mendirikan laboratorium AI pada tahun 2015; Zuckerberg, yang memulai dengan media sosial, lebih memahami pentingnya "memelihara hubungan dengan masyarakat."

Misalnya pada bulan Oktober, Meta secara khusus mengadakan acara "Insentif Kreator AI": pengembang yang menggunakan Llama 2 untuk menyelesaikan masalah sosial seperti pendidikan dan lingkungan, memiliki kesempatan untuk mendapatkan dana sebesar 500.000 dolar. Saat ini, seri Llama dari Meta telah menjadi tolok ukur untuk LLM sumber terbuka.

Hingga awal Oktober, dari 10 besar peringkat LLM open source di suatu platform terkenal, 8 di antaranya dikembangkan berdasarkan Llama 2, yang semuanya menggunakan protokol open source-nya. Hanya di platform tersebut, LLM yang menggunakan protokol open source Llama 2 telah melebihi 1500.

Meningkatkan kinerja tentu saja memungkinkan, tetapi saat ini sebagian besar LLM dan GPT-4 masih memiliki kesenjangan yang jelas. Misalnya baru-baru ini, GPT-4 meraih skor 4,41 dan menduduki puncak daftar tes AgentBench. AgentBench diluncurkan oleh Universitas Tsinghua dan beberapa universitas terkenal di Amerika untuk mengevaluasi kemampuan penalaran dan pengambilan keputusan LLM dalam lingkungan generasi terbuka multidimensi.

Hasil pengujian menunjukkan, peringkat kedua Claude hanya mendapatkan 2,77 poin, selisihnya masih cukup besar. Adapun LLM open-source yang memiliki gaung besar, sebagian besar skor berkisar di sekitar 1 poin, belum mencapai seperempat dari GPT-4. Perlu diketahui, GPT-4 dirilis pada bulan Maret tahun ini, ini adalah hasil setelah rekan-rekan global mengejar selama lebih dari setengah tahun.

Perbedaan ini disebabkan oleh tim ilmuwan tingkat tinggi dari OpenAI dan pengalaman yang terakumulasi dari penelitian LLM yang berlangsung lama, yang membuatnya tetap berada di posisi terdepan. Dengan kata lain, kemampuan inti dari model besar tidak terletak pada parameter, tetapi pada pembangunan ekosistem ) sumber terbuka ( atau kemampuan penalaran murni ) tertutup (.

Dengan semakin aktifnya komunitas open source, kinerja berbagai LLM mungkin akan menyatu, karena semua orang menggunakan arsitektur model dan dataset yang serupa. Tantangan lain yang lebih nyata adalah: selain Midjourney, sepertinya tidak ada model besar lain yang dapat menghasilkan keuntungan.

Mencari Titik Pijakan Nilai

Pada bulan Agustus tahun ini, sebuah artikel berjudul "OpenAI mungkin akan bangkrut pada akhir 2024" menarik perhatian. Inti artikel tersebut hampir dapat diringkas dalam satu kalimat: Kecepatan pengeluaran OpenAI terlalu cepat.

Dalam artikel tersebut disebutkan bahwa sejak pengembangan ChatGPT, kerugian OpenAI telah berkembang pesat, dengan kerugian sekitar 540 juta dolar AS pada tahun 2022, dan hanya dapat bertahan berkat investasi dari Microsoft. Meskipun judul artikel ini terkesan mencolok, ia juga mengungkapkan banyak keadaan penyedia model besar: ketidakseimbangan serius antara biaya dan pendapatan.

Biaya yang terlalu tinggi menyebabkan saat ini hanya Nvidia yang benar-benar menghasilkan uang besar dari AI, paling banyak diikuti oleh Broadcom. Menurut estimasi perusahaan konsultan Omdia, Nvidia menjual lebih dari 300.000 chip H100 pada kuartal kedua tahun ini. Ini adalah chip AI yang efisien, dan perusahaan teknologi serta lembaga penelitian di seluruh dunia berlomba-lomba untuk membelinya. Jika 300.000 chip H100 tersebut ditumpuk satu sama lain, beratnya setara dengan 4,5 pesawat Boeing 747.

Kinerja Nvidia melonjak, dengan pendapatan tumbuh 854% dibandingkan tahun lalu, membuat Wall Street ternganga. Perlu dicatat bahwa harga H100 di pasar sekunder telah melonjak menjadi 40.000-50.000 dolar AS, sementara biaya materialnya hanya sekitar 3.000 dolar AS.

Biaya daya komputasi yang tinggi telah menjadi hambatan bagi perkembangan industri hingga tingkat tertentu. Sequoia Capital pernah memperkirakan: perusahaan teknologi global diperkirakan akan menghabiskan 200 miliar dolar AS setiap tahun untuk pembangunan infrastruktur model besar; dibandingkan dengan itu, model besar hanya dapat menghasilkan pendapatan maksimum 75 miliar dolar AS setiap tahun, sehingga terdapat kekurangan setidaknya 125 miliar dolar AS.

Selain itu, kecuali beberapa pengecualian seperti Midjourney, sebagian besar perusahaan perangkat lunak belum menemukan model profitabilitas meskipun telah mengeluarkan biaya besar. Bahkan, pemimpin industri seperti Microsoft dan Adobe juga menghadapi tantangan.

Alat generasi kode AI GitHub Copilot yang dikembangkan melalui kerja sama Microsoft dan OpenAI, meskipun memungut biaya 10 dolar per bulan, tetapi karena biaya fasilitas, Microsoft malah mengalami kerugian 20 dolar per bulan, pengguna berat bahkan dapat membuat Microsoft mengalami kerugian 80 dolar per bulan. Dari sini bisa disimpulkan, bahwa harga 30 dolar untuk Microsoft 365 Copilot mungkin akan mengalami kerugian yang lebih besar.

Sama halnya, Adobe yang baru saja meluncurkan alat Firefly AI juga dengan cepat meluncurkan sistem poin pendukung, untuk mencegah pengguna menggunakan secara berlebihan yang dapat menyebabkan kerugian bagi perusahaan. Begitu pengguna melebihi poin yang dialokasikan setiap bulan, Adobe akan mengurangi kecepatan layanan.

Perlu dicatat bahwa Microsoft dan Adobe adalah raksasa perangkat lunak dengan skenario bisnis yang jelas dan memiliki banyak pengguna berbayar. Sementara itu, sebagian besar model besar yang memiliki banyak parameter, masih memiliki aplikasi utama dalam obrolan.

Tidak dapat disangkal, jika tidak ada OpenAI dan ChatGPT yang muncul, revolusi AI ini mungkin tidak akan terjadi; namun saat ini, nilai yang dihasilkan oleh pelatihan model besar masih diragukan. Dengan meningkatnya persaingan yang homogen dan semakin banyaknya model sumber terbuka, penyedia model besar murni mungkin menghadapi tantangan yang lebih besar.

Keberhasilan iPhone 4 bukan terletak pada prosesor A4 yang menggunakan proses 45nm, melainkan pada kemampuannya menjalankan aplikasi seperti Plant vs Zombie dan Angry Birds.