AI Generatif
Bagaimana cara kerja sistem AI generatif yang kuat seperti ChatGPT, dan apa yang membuatnya berbeda dari jenis kecerdasan buatan lainnya?
Keterangan:
Apa yang dimaksud orang ketika mereka mengatakan "AI generatif," dan mengapa sistem ini tampaknya menemukan jalan mereka ke hampir setiap aplikasi yang bisa dibayangkan? Pakar MIT AI membantu memecah seluk beluk teknologi yang semakin populer dan ada di mana-mana ini.
Kredit:
Gambar: Jose-Luis Olivares, MIT
Pemindaian cepat dari berita utama membuatnya tampak seperti kecerdasan buatan generatif ada di mana-mana akhir-akhir ini. Faktanya, beberapa berita utama itu mungkin sebenarnya telah ditulis oleh AI generatif, seperti ChatGPT OpenAI, chatbot yang telah menunjukkan kemampuan luar biasa untuk menghasilkan teks yang tampaknya telah ditulis oleh manusia.
Tapi apa yang sebenarnya orang maksud ketika mereka mengatakan "generatif AI?"
Sebelum ledakan AI generatif beberapa tahun terakhir, ketika orang-orang berbicara tentang AI, biasanya mereka berbicara tentang model pembelajaran mesin yang dapat belajar membuat prediksi berdasarkan data. Misalnya, model seperti itu dilatih, menggunakan jutaan contoh, untuk memprediksi apakah sinar-X tertentu menunjukkan tanda-tanda tumor atau jika peminjam tertentu cenderung gagal membayar pinjaman.
AI generatif dapat dianggap sebagai model pembelajaran mesin yang dilatih untuk membuat data baru, daripada membuat prediksi tentang kumpulan data tertentu. Sistem AI generatif adalah sistem yang belajar menghasilkan lebih banyak objek yang terlihat seperti data yang dilatihnya.
"Ketika berbicara tentang mesin sebenarnya yang mendasari AI generatif dan jenis AI lainnya, perbedaannya bisa sedikit kabur. Seringkali, algoritma yang sama dapat digunakan untuk keduanya,” kata Phillip Isola, seorang profesor teknik elektro dan ilmu komputer di MIT, dan anggota Laboratorium Ilmu Komputer dan Kecerdasan Buatan (CSAIL).
Dan terlepas dari hype yang datang dengan rilis ChatGPT dan rekan-rekannya, teknologi itu sendiri bukanlah merek baru. Model pembelajaran mesin yang kuat ini memanfaatkan penelitian dan kemajuan komputasi yang kembali lebih dari 50 tahun.
Peningkatan kompleksitas
Contoh awal dari AI generatif adalah model yang jauh lebih sederhana yang dikenal sebagai rantai Markov. Teknik ini dinamai Andrey Markov, seorang matematikawan Rusia yang pada tahun 1906 memperkenalkan metode statistik ini untuk memodelkan perilaku proses acak. Dalam pembelajaran mesin, model Markov telah lama digunakan untuk tugas prediksi kata berikutnya, seperti fungsi pelengkapan otomatis dalam program email.
Dalam prediksi teks, model Markov menghasilkan kata berikutnya dalam sebuah kalimat dengan melihat kata sebelumnya atau beberapa kata sebelumnya. Tetapi karena model sederhana ini hanya dapat melihat ke belakang sejauh itu, mereka tidak pandai menghasilkan teks yang masuk akal, kata Tommi Jaakkola, Profesor Thomas Siebel Teknik Elektro dan Ilmu Komputer di MIT, yang juga anggota CSAIL dan Institut Data, Sistem, dan Masyarakat (IDSS).
"Kami menghasilkan banyak hal sebelum dekade terakhir, tetapi perbedaan utama di sini adalah dalam hal kompleksitas objek yang dapat kami hasilkan dan skala di mana kami dapat melatih model-model ini," jelasnya.
Hanya beberapa tahun yang lalu, para peneliti cenderung fokus untuk menemukan algoritma pembelajaran mesin yang memanfaatkan kumpulan data tertentu dengan sebaik-baiknya. Tetapi fokus itu telah sedikit bergeser, dan banyak peneliti sekarang menggunakan kumpulan data yang lebih besar, mungkin dengan ratusan juta atau bahkan miliaran titik data, untuk melatih model yang dapat mencapai hasil yang mengesankan.
Model dasar yang mendasari ChatGPT dan sistem serupa bekerja dengan cara yang hampir sama seperti model Markov. Tetapi satu perbedaan besar adalah bahwa ChatGPT jauh lebih besar dan lebih kompleks, dengan miliaran parameter. Dan itu telah dilatih pada sejumlah besar data - dalam kasus ini, banyak teks yang tersedia untuk umum di internet.
Dalam kumpulan teks yang sangat besar ini, kata-kata dan kalimat muncul dalam urutan dengan dependensi tertentu. Kekambuhan ini membantu model memahami cara memotong teks menjadi potongan statistik yang memiliki beberapa prediktabilitas. Itu mempelajari pola blok teks ini dan menggunakan pengetahuan ini untuk mengusulkan apa yang mungkin terjadi selanjutnya.
Arsitektur yang lebih kuat
Sementara kumpulan data yang lebih besar adalah salah satu katalis yang menyebabkan ledakan AI generatif, berbagai kemajuan penelitian utama juga mengarah pada arsitektur pembelajaran mendalam yang lebih kompleks.
Pada tahun 2014, arsitektur pembelajaran mesin yang dikenal sebagai jaringan permusuhan generatif (GAN) diusulkan oleh para peneliti di Universitas Montreal. GAN menggunakan dua model yang bekerja bersama-sama: Satu belajar untuk menghasilkan output target (seperti gambar) dan yang lainnya belajar untuk membedakan data yang sebenarnya dari output generator. Generator mencoba untuk menipu diskriminator, dan dalam prosesnya belajar untuk membuat output yang lebih realistis. Generator gambar StyleGAN didasarkan pada jenis model ini.
Model difusi diperkenalkan setahun kemudian oleh para peneliti di Universitas Stanford dan Universitas California di Berkeley. Dengan secara berulang menyempurnakan output mereka, model-model ini belajar untuk menghasilkan sampel data baru yang menyerupai sampel dalam kumpulan data pelatihan, dan telah digunakan untuk membuat gambar yang tampak realistis. Model difusi adalah jantung dari sistem generasi text-to-image Stable Diffusion.
Pada tahun 2017, para peneliti di Google memperkenalkan arsitektur transformator, yang telah digunakan untuk mengembangkan model bahasa besar, seperti yang mendukung ChatGPT. Dalam pemrosesan bahasa alami, transformator mengkodekan setiap kata dalam kumpulan teks sebagai token dan kemudian menghasilkan peta perhatian, yang menangkap hubungan setiap token dengan semua token lainnya. Peta perhatian ini membantu transformator memahami konteks saat menghasilkan teks baru.
Ini hanya beberapa dari banyak pendekatan yang dapat digunakan untuk AI generatif.
Berbagai aplikasi
Apa yang dimiliki semua pendekatan ini adalah bahwa mereka mengubah input menjadi satu set token, yang merupakan representasi numerik dari potongan data. Selama data Anda dapat dikonversi menjadi standar ini, format token, maka secara teori, Anda dapat menerapkan metode ini untuk menghasilkan data baru yang terlihat serupa.
"Jarak tempuh Anda mungkin bervariasi, tergantung pada seberapa bising data Anda dan seberapa sulitnya untuk diekstraksi, tetapi itu benar-benar semakin dekat dengan cara CPU tujuan umum dapat mengambil jenis data apa pun dan mulai memprosesnya dengan cara yang terpadu," kata Isola.
Ini membuka sejumlah besar aplikasi untuk AI generatif.
Misalnya, kelompok Isola menggunakan AI generatif untuk membuat data gambar sintetis yang dapat digunakan untuk melatih sistem cerdas lain, seperti dengan mengajarkan model visi komputer cara mengenali objek.
Kelompok Jaakkola menggunakan AI generatif untuk merancang struktur protein baru atau struktur kristal valid yang menentukan bahan baru. Dengan cara yang sama model generatif mempelajari ketergantungan bahasa, jika ditunjukkan struktur kristal sebagai gantinya, ia dapat mempelajari hubungan yang membuat struktur stabil dan dapat direalisasikan, jelasnya.
Tetapi sementara model generatif dapat mencapai hasil yang luar biasa, mereka bukan pilihan terbaik untuk semua jenis data. Untuk tugas yang melibatkan pembuatan prediksi pada data terstruktur, seperti data tabel dalam spreadsheet, model AI generatif cenderung diungguli dengan metode pembelajaran mesin tradisional, kata Devavrat Shah, Profesor Andrew dan Erna Viterbi di Teknik Elektro dan Ilmu Komputer di MIT dan anggota IDSS dan Laboratorium untuk Sistem Informasi dan Keputusan.
“Nilai tertinggi yang mereka miliki, dalam pikiran saya, adalah menjadi antarmuka yang hebat untuk mesin yang ramah manusia. Sebelumnya, manusia harus berbicara dengan mesin dalam bahasa mesin untuk membuat sesuatu terjadi. Sekarang, antarmuka ini telah menemukan cara untuk berbicara dengan manusia dan mesin," kata Shah.
Mengibarkan bendera merah
Chatbot AI generatif sekarang digunakan di pusat panggilan untuk mengajukan pertanyaan dari pelanggan manusia, tetapi aplikasi ini menggarisbawahi satu potensi bendera merah dalam menerapkan model-model ini - perpindahan pekerja.
Selain itu, AI generatif dapat mewarisi dan memperbanyak bias yang ada dalam data pelatihan, atau memperkuat ujaran kebencian dan pernyataan palsu. Model memiliki kapasitas untuk menjiplak, dan dapat menghasilkan konten yang terlihat seperti diproduksi oleh pencipta manusia tertentu, meningkatkan potensi masalah hak cipta.
Di sisi lain, Shah mengusulkan bahwa AI generatif dapat memberdayakan seniman, yang dapat menggunakan alat generatif untuk membantu mereka membuat konten kreatif yang mungkin tidak mereka miliki untuk diproduksi.
Di masa depan, dia melihat AI generatif mengubah ekonomi dalam banyak disiplin ilmu.
Salah satu arah masa depan yang menjanjikan yang dilihat Isola untuk AI generatif adalah penggunaannya untuk fabrikasi. Alih-alih memiliki model yang membuat gambar kursi, mungkin itu bisa menghasilkan rencana untuk kursi yang bisa diproduksi.
Dia juga melihat penggunaan di masa depan untuk sistem AI generatif dalam mengembangkan agen AI yang lebih cerdas secara umum.
“Ada perbedaan dalam cara kerja model ini dan cara kami berpikir otak manusia bekerja, tetapi saya pikir ada juga kesamaan. Kami memiliki kemampuan untuk berpikir dan bermimpi di kepala kami, untuk menghasilkan ide atau rencana yang menarik, dan saya pikir AI generatif adalah salah satu alat yang akan memberdayakan agen untuk melakukan itu juga, ”kata Isola.
Tidak ada komentar:
Posting Komentar