Menyelaraskan model bahasa agar mengikuti instruksi

Kami telah melatih model bahasa yang jauh lebih baik dalam mengikuti niat pengguna dibandingkan dengan GPT‑3, sekaligus membuatnya lebih akurat dan lebih tidak toksik, menggunakan teknik yang dikembangkan lewat riset penyelarasan kami. Model-model InstructGPT ini, yang dilatih dengan melibatkan peran manusia, kini diterapkan sebagai model bahasa default di API kami.

API OpenAI didukung oleh model bahasa GPT‑3⁠ yang dapat diarahkan untuk melakukan tugas bahasa alami menggunakan prompt teks yang dirancang dengan cermat. Namun, model ini juga dapat menghasilkan keluaran yang keliru, toksik, atau mencerminkan sentimen yang membahayakan. Hal ini sebagian disebabkan karena GPT‑3 dilatih untuk memprediksi kata berikutnya pada kumpulan data teks internet yang masif, dan bukan untuk secara aman melaksanakan tugas bahasa yang diinginkan pengguna. Dengan kata lain, model-model ini tidak diselaraskan dengan penggunanya.

Untuk membuat model kami lebih aman, lebih bermanfaat, dan lebih selaras, kami menggunakan teknik yang sudah ada yang disebut pembelajaran penguatan dari umpan balik manusia (RLHF)⁠. Pada prompt yang diserahkan oleh pelanggan kami ke API, pelabel kami memberikan demonstrasi perilaku model yang diinginkan, serta memberi peringkat pada beberapa keluaran dari model kami. Kemudian kami menggunakan data ini untuk menyempurnakan GPT‑3.

Model InstructGPT yang dihasilkan jauh lebih baik dalam mengikuti instruksi dibandingkan GPT‑3. Mereka juga lebih jarang mengarang fakta dan menunjukkan sedikit penurunan dalam pembuatan keluaran yang toksik. Pelabel kami lebih menyukai keluaran dari model 1.3B InstructGPT dibandingkan dengan keluaran dari model 175B GPT‑3 , meskipun memiliki lebih dari 100x lebih sedikit parameter. Di sisi lain, kami juga membuktikan bahwa kami tidak perlu mengorbankan kemampuan GPT‑3, sebagaimana terukur dari kinerja model kami pada evaluasi NLP akademis.

Model InstructGPT ini, yang telah diuji dalam fase beta di API selama lebih dari setahun, sekarang telah menjadi model bahasa default yang tersedia di API kami.^B Kami yakin melakukan fine-tuning model bahasa dengan melibatkan manusia adalah alat yang ampuh untuk meningkatkan keamanan dan keandalannya, dan kami akan terus mengembangkan metode ini.

Ini adalah riset penyelarasan kami yang pertama dan telah kami lakukan⁠ selama beberapa⁠ tahun⁠,^{1, 2, 3} sudah diterapkan pada produk kami. Pekerjaan kami juga berkaitan dengan riset terbaru yang melakukan fine-tuning model bahasa agar dapat mengikuti instruksi menggunakan kumpulan data NLP akademis, terutama FLAN⁴ dan T0.⁵ Motivasi utama di balik pekerjaan kami adalah untuk meningkatkan manfaat dan kebenaran, sekaligus memitigasi dampak buruk dan bias pada model bahasa.^{6, 7, 8, 9, 10} Beberapa riset kami sebelumnya⁠ ke arah ini menemukan bahwa kami dapat mengurangi keluaran berbahaya dengan melakukan fine-tuning pada kumpulan data kecil yang dikurasi dari demonstrasi manusia.¹¹ Riset lain berfokus pada penyaringan kumpulan data pra-pelatihan,¹² token kontrol khusus keselamatan,^{13, 14} atau mengatur generasi model.^{15, 16} Kami sedang mengeksplorasi ide-ide ini dan lainnya dalam riset penyelarasan yang sedang berlangsung.

Kami pertama-tama mengevaluasi seberapa baik keluaran InstructGPT mengikuti instruksi pengguna, yaitu dengan meminta pelabel membandingkan keluarannya dengan keluaran dari GPT‑3. Kami menemukan bahwa model InstructGPT secara signifikan lebih disukai untuk prompt yang diserahkan ke kedua model (InstructGPT dan GPT‑3) di API. Hal ini tetap berlaku ketika kami menambahkan prefiks pada prompt GPT‑3 sehingga model memasuki "mode mengikuti instruksi."

Untuk mengukur keamanan model kami, kami terutama menggunakan serangkaian metrik yang sudah ada pada kumpulan data yang tersedia untuk publik. Dibandingkan dengan GPT‑3, InstructGPT menghasilkan lebih sedikit informasi palsu yang meniru (menurut TruthfulQA¹⁷) dan tingkat toksisitasnya lebih rendah (menurut RealToxicityPrompts)¹⁸). Kami juga melaksanakan evaluasi berbasis manusia terhadap distribusi prompt di API kami. Kami menemukan bahwa InstructGPT lebih jarang mengalami (“halusinasi”) dan menghasilkan keluaran yang lebih pas.^C

Terakhir, kami dapati bahwa preferensi terhadap keluaran InstructGPT lebih tinggi dibandingkan dengan keluaran dari FLAN⁴ dan T0⁵ dalam distribusi pelanggan kami. Hal ini mengindikasikan bahwa data yang digunakan untuk melatih FLAN dan T0, yang sebagian besar berupa tugas-tugas NLP akademis, tidak sepenuhnya mewakili bagaimana model bahasa yang telah diterapkan digunakan dalam praktiknya.

Untuk melatih model InstructGPT, teknik utama kami adalah pembelajaran penguatan dengan masukan manusia (RLHF)⁠, metode yang kami bantu kembangkan dalam riset penyelarasan sebelumnya. Teknik ini menggunakan preferensi manusia sebagai sinyal imbalan untuk melakukan penyempurnaan model kami. Hal ini penting karena masalah keamanan dan penyelarasan yang ingin kami selesaikan bersifat kompleks dan subjektif, serta tidak sepenuhnya tercakup oleh metrik otomatis sederhana.

Langkah pertama kami adalah mengumpulkan kumpulan data demonstrasi buatan manusia dari prompt yang diserahkan ke API kami. Data ini kemudian kami gunakan untuk melatih model dasar pembelajaran terawasi kami. Selanjutnya, kami mengumpulkan kumpulan data perbandingan berlabel manusia antara dua keluaran model pada kumpulan prompt API yang lebih besar. Kemudian, kami melatih model penghargaan (RM) pada kumpulan data ini untuk memprediksi keluaran mana yang lebih disukai oleh pelabel kami. Terakhir, kami menggunakan RM ini sebagai fungsi penghargaan dan melakukan fine-tuning kebijakan GPT‑3 kami untuk memaksimalkan penghargaan ini dengan menggunakan algoritma PPO⁠.

Salah satu cara memahami proses ini adalah bahwa proses ini "membuka" kemampuan yang sebenarnya sudah dimiliki GPT‑3, tetapi sulit untuk dimanfaatkan hanya melalui rekayasa prompt. Ini karena prosedur pelatihan kami memiliki kemampuan terbatas dalam mengajarkan kapabilitas baru dibandingkan dengan apa yang dipelajari selama pra-pelatihan, mengingat hanya menggunakan kurang dari 2% daya komputasi dan data dibandingkan dengan pra-pelatihan model.

Keterbatasan dari pendekatan ini adalah timbulnya “biaya penyelarasan”: menyelaraskan model hanya pada tugas pelanggan dapat menurunkan kinerja model pada beberapa tugas NLP akademik lainnya. Hal ini tidak diharapkan karena jika teknik penyelarasan kami membuat model menjadi lebih buruk dalam tugas yang penting bagi pengguna, mereka akan cenderung tidak diterapkan dalam praktiknya. Kami menemukan perubahan algoritmik sederhana yang meminimalkan beban penyelarasan ini: selama fine-tuning RL, kami mencampurkan sebagian kecil dari data asli yang digunakan untuk melatih GPT‑3 dan melatihnya menggunakan maksimalisasi kemungkinan log normal.^D Ini secara kasar mempertahankan kinerja dalam aspek keamanan dan preferensi manusia, sambil mengurangi penurunan kinerja dalam tugas akademik, dan dalam beberapa kasus bahkan melampaui tolok ukur GPT‑3.

Prosedur kami menyelaraskan perilaku model dengan preferensi pelabel, yang secara langsung menghasilkan data untuk melatih model, serta peneliti kami yang memberikan panduan kepada pemberi label melalui instruksi tertulis, masukan langsung pada contoh spesifik, serta percakapan informal. Hal ini juga dipengaruhi oleh pelanggan kami dan preferensi yang tersirat dalam kebijakan API kami. Kami memilih pelabel yang menunjukkan kinerja baik dalam tes penyaringan untuk menilai kemampuan dalam mengidentifikasi dan merespons prompt sensitif. Namun, berbagai sumber pengaruh pada data ini tidak menjamin bahwa model kami selaras dengan preferensi kelompok yang lebih luas.

Kami menjalankan dua eksperimen untuk menyelidiki hal ini. Pertama, kami mengevaluasi GPT‑3 dan InstructGPT menggunakan pelabel independen^E yang tidak terlibat dalam pembuatan data pelatihan. Kami menemukan bahwa pemberi label ini lebih menyukai keluaran dari model InstructGPT pada tingkat yang hampir sama dengan pemberi label pelatihan kami. Kedua, kami melatih model penghargaan menggunakan data dari sebagian pelabel kami, dan menemukan bahwa mereka dapat menggeneralisasi dengan baik dalam memprediksi preferensi subset pelabel yang berbeda. Hal ini menunjukkan bahwa model kami tidak hanya mengalami overfitting terhadap preferensi pelabel pelatihan kami. Namun, diperlukan lebih banyak upaya untuk mempelajari bagaimana model ini berkinerja pada kelompok pengguna yang lebih luas, dan bagaimana mereka bereaksi terhadap masukan di mana manusia memiliki perbedaan pendapat mengenai perilaku yang diinginkan.

Walaupun telah mencapai kemajuan signifikan, model InstructGPT kami masih jauh dari sepenuhnya selaras atau aman. Model-model ini masih dapat menghasilkan keluaran yang merusak atau bias, mengarang fakta, serta menghasilkan konten seksual dan kekerasan tanpa prompt eksplisit. Namun, keamanan sistem pembelajaran mesin tidak hanya bergantung pada perilaku model yang mendasarinya, tetapi juga pada bagaimana model tersebut diterapkan. Dalam rangka menjaga keamanan API, kami akan terus melakukan peninjauan terhadap aplikasi potensial⁠(terbuka di jendela baru) sebelum resmi diluncurkan, menyediakan fitur penyaringan konten untuk mendeteksi keluaran yang tidak aman, serta memantau segala bentuk penyalahgunaan.

Efek samping dari melatih model kami agar mengikuti instruksi pengguna adalah bahwa model mungkin menjadi lebih rentan terhadap penyalahgunaan jika diarahkan untuk menghasilkan keluaran yang tidak aman. Untuk mengatasi masalah ini, model kami harus mampu menolak instruksi tertentu. Mewujudkan hal ini secara konsisten dan dapat diandalkan merupakan tantangan riset yang penting, dan kami sangat antusias untuk mengatasinya.

Selain itu, dalam banyak kasus, penyelarasan dengan preferensi rata-rata pelabel mungkin tidak ideal. Misalnya, ketika menghasilkan teks yang secara tidak proporsional memengaruhi kelompok minoritas, preferensi kelompok tersebut harus diberikan bobot lebih tinggi. Saat ini, InstructGPT dilatih untuk mengikuti instruksi dalam bahasa Inggris. Oleh karena itu, model ini cenderung bias terhadap nilai-nilai budaya penutur bahasa Inggris. Kami tengah melakukan riset untuk memahami perbedaan dan ketidaksepakatan preferensi di antara para pelabel, dengan tujuan agar kami dapat menyesuaikan model kami dengan nilai-nilai dari segmen populasi yang lebih spesifik. Secara lebih umum, menyelaraskan keluaran model dengan nilai-nilai individu tertentu pilihan sulit yang berimplikasi sosial, dan pada akhirnya, kita harus menetapkan proses yang bertanggung jawab dan inklusif untuk membuat keputusan ini.

Ini adalah aplikasi pertama dari riset penyelarasan pada produk kami. Hasilnya menunjukkan bahwa semua teknik ini efektif dalam meningkatkan penyelarasan sistem AI serbaguna secara signifikan dengan niat manusia. Namun, ini baru permulaan. Kami akan terus mendorong pengembangan teknik ini demi meningkatkan penyelarasan model, baik yang saat ini maupun di masa depan, untuk menciptakan alat bahasa yang aman dan bermanfaat bagi umat manusia.

Jika Anda tertarik dengan arah riset ini, kami sedang merekrut⁠(terbuka di jendela baru)!