Apa Itu RLHF? Cara AI Belajar Jadi “Manusiawi”, Bukan Cuma Pintar

RLHF adalah salah satu teknik yang digunakan untuk membantu AI menghasilkan respons yang lebih sesuai dengan preferensi dan instruksi manusia. Teknik ini menjadi penting karena model AI yang mampu menghasilkan jawaban belum tentu tahu apakah jawaban tersebut benar-benar membantu, relevan, sopan, atau aman bagi pengguna.

Bayangkan kita ingin menjelaskan kepada sebuah program bahwa satu jawaban terdengar lebih membantu daripada jawaban lainnya. Kita mungkin bisa menulis aturan untuk sebagian kondisi, tetapi akan jauh lebih sulit jika harus mendefinisikan secara matematis hal-hal seperti “sopan”, “membantu”, atau bahkan “lucu”. Manusia dapat menilai perbedaan tersebut dengan relatif mudah berdasarkan konteks.

Lalu, bagaimana penilaian manusia tersebut bisa digunakan dalam proses pelatihan AI?

Di situlah Reinforcement Learning from Human Feedback (RLHF) berperan. Secara sederhana, manusia memberikan penilaian atau preferensi terhadap keluaran model. Informasi tersebut kemudian digunakan sebagai sinyal untuk mengarahkan perilaku model agar lebih sesuai dengan tujuan yang diinginkan.

Apa Itu RLHF dan Masalah Apa yang Diselesaikannya?

RLHF adalah singkatan dari Reinforcement Learning from Human Feedback, yaitu pendekatan pelatihan yang menggabungkan pembelajaran penguatan dengan feedback atau preferensi manusia. Tujuannya bukan sekadar membuat model mampu menghasilkan keluaran, tetapi membantu mengarahkan perilakunya agar lebih sesuai dengan apa yang dianggap manusia sebagai respons yang diinginkan.

Konsep ini menjadi lebih mudah dipahami jika kita membedakan antara kemampuan menghasilkan jawaban dan kemampuan mengikuti keinginan manusia. Sebuah model bahasa dapat mempelajari pola bahasa dari data dalam jumlah besar dan menghasilkan kalimat yang terlihat masuk akal. Namun, kemampuan tersebut belum otomatis membuatnya tahu respons mana yang paling membantu dalam suatu situasi.

Misalnya, pengguna memberikan sebuah pertanyaan yang membutuhkan penjelasan sederhana. Model mungkin menghasilkan dua jawaban yang sama-sama masuk akal. Salah satunya langsung menjawab pertanyaan dengan bahasa yang jelas, sedangkan lainnya terlalu panjang, keluar dari konteks, atau menggunakan bahasa yang sulit dipahami.

Manusia dapat membandingkan kedua jawaban tersebut dan mengatakan bahwa jawaban pertama lebih baik. Penilaian semacam inilah yang menjadi bagian penting dari RLHF.

Dalam prosesnya, preferensi manusia dikumpulkan dalam bentuk data yang kemudian digunakan untuk melatih reward model. Reward model berfungsi memperkirakan keluaran mana yang lebih sesuai dengan preferensi yang telah dipelajari. Model utama kemudian dapat dioptimalkan berdasarkan sinyal tersebut.

Karena itu, RLHF bukan model AI baru dan bukan pula pengganti proses pre-training. RLHF lebih tepat dipahami sebagai salah satu pendekatan post-training dan alignment yang dapat digunakan untuk mengarahkan perilaku model yang sudah memiliki kemampuan dasar.

Konsep ini sangat berkaitan dengan Large Language Model (LLM). LLM terlebih dahulu memperoleh kemampuan bahasa melalui proses pelatihan skala besar, kemudian teknik seperti RLHF dapat digunakan untuk membantu menyelaraskan perilakunya dengan instruksi dan preferensi manusia.

Dengan kata lain, RLHF mencoba menjawab persoalan yang sederhana tetapi sulit secara teknis: bagaimana membuat AI tidak hanya mampu menghasilkan jawaban, tetapi juga lebih memahami seperti apa jawaban yang diinginkan manusia?

Kenapa AI Tidak Cukup Hanya Dilatih dengan Data?

Model AI membutuhkan data untuk mempelajari pola. Dalam kasus model bahasa, proses pre-training memungkinkan model mempelajari hubungan antara kata, kalimat, dan berbagai pola bahasa dari data dalam jumlah besar. Hasilnya adalah model yang memiliki kemampuan untuk menghasilkan teks berdasarkan pola yang telah dipelajarinya.

Namun, kemampuan menghasilkan teks belum sama dengan kemampuan memberikan respons yang sesuai dengan kebutuhan manusia. Model dapat menghasilkan kalimat yang secara bahasa terlihat baik, tetapi belum tentu memberikan jawaban yang paling relevan, jelas, atau sesuai dengan instruksi pengguna.

Bayangkan seseorang meminta AI menjelaskan sebuah istilah teknis kepada anak sekolah. Ada banyak jawaban yang secara faktual dapat diterima. Namun, manusia mungkin lebih memilih jawaban yang menggunakan bahasa sederhana, langsung pada inti persoalan, dan tidak dipenuhi istilah teknis yang tidak diperlukan.

Preferensi seperti ini sulit ditentukan hanya dengan memberikan lebih banyak teks kepada model. Persoalannya bukan semata-mata apakah model mengetahui informasi, tetapi bagaimana model memilih bentuk respons yang sesuai dengan tujuan manusia.

Dari “Bisa Menjawab” Menjadi “Bisa Mengikuti Instruksi”

Inilah salah satu perbedaan penting antara kemampuan dasar model dan alignment. Model yang telah melalui pre-training memiliki kemampuan untuk menghasilkan keluaran berdasarkan pola yang dipelajarinya. Sementara itu, proses alignment berusaha mengarahkan perilaku model agar lebih sesuai dengan tujuan, instruksi, dan preferensi yang diharapkan.

Contohnya, ketika pengguna meminta jawaban singkat, model idealnya tidak memberikan penjelasan yang sangat panjang. Ketika pengguna meminta penjelasan untuk pemula, model sebaiknya menyesuaikan tingkat bahasa. Ketika sebuah permintaan berpotensi menghasilkan keluaran berbahaya, sistem juga perlu memiliki mekanisme untuk menangani permintaan tersebut secara tepat.

Masalahnya, aturan untuk semua kemungkinan situasi tersebut akan sangat sulit ditulis satu per satu. Bahasa manusia terlalu kompleks dan konteks penggunaan dapat berubah.

Feedback manusia menawarkan pendekatan yang berbeda. Daripada mendefinisikan seluruh aturan secara manual, manusia dapat menunjukkan respons mana yang lebih disukai ketika dihadapkan pada beberapa pilihan. Preferensi tersebut kemudian dapat diubah menjadi data pelatihan yang digunakan dalam proses alignment.

RLHF merupakan salah satu pendekatan yang dikembangkan untuk melakukan proses tersebut. Secara umum, alurnya dimulai dari model yang sudah memiliki kemampuan dasar, kemudian manusia memberikan contoh dan preferensi, lalu model dioptimalkan berdasarkan sinyal yang dihasilkan dari preferensi tersebut.

Untuk memahami prosesnya, kita perlu melihat tiga tahap utama RLHF: Supervised Fine-Tuning, pelatihan Reward Model, dan Reinforcement Learning.

Bagaimana RLHF Bekerja?

Secara sederhana, RLHF bekerja dengan menggunakan penilaian manusia untuk mengarahkan perilaku model. Dalam pendekatan RLHF klasik yang digunakan pada pengembangan model seperti InstructGPT, prosesnya dapat dipahami melalui tiga tahap utama: Supervised Fine-Tuning (SFT), pelatihan Reward Model, dan optimasi model menggunakan Reinforcement Learning.

Bayangkan prosesnya seperti seorang siswa yang sedang belajar menulis. Pertama, siswa diberikan contoh tulisan yang baik. Setelah itu, seorang juri membandingkan beberapa hasil tulisan dan menentukan mana yang lebih baik. Terakhir, siswa berlatih kembali berdasarkan sistem penilaian tersebut agar hasil tulisannya semakin sesuai dengan kriteria yang diinginkan.

1. Supervised Fine-Tuning: Memberikan Contoh Jawaban yang Baik

Tahap pertama dimulai dari model yang sebelumnya telah melalui pre-training. Model tersebut kemudian dilatih menggunakan contoh instruksi dan respons yang berkualitas, yang disiapkan atau dikurasi oleh manusia.

Misalnya, manusia memberikan instruksi seperti “Jelaskan apa itu fotosintesis untuk siswa sekolah dasar”, kemudian menyediakan contoh jawaban yang dianggap baik. Model mempelajari hubungan antara instruksi dan respons tersebut.

Proses ini disebut Supervised Fine-Tuning (SFT). Tujuannya adalah memberikan titik awal yang lebih terarah sebelum model memasuki tahap optimasi berbasis feedback.

2. Reward Model: Mengajarkan AI Menjadi “Juri”

Setelah model memiliki kemampuan mengikuti contoh instruksi, manusia dapat memberikan beberapa alternatif respons untuk instruksi yang sama. Penilai kemudian membandingkan respons tersebut dan menentukan urutan berdasarkan preferensi mereka.

Misalnya, terdapat tiga jawaban untuk satu pertanyaan. Penilai dapat menganggap jawaban pertama paling membantu, jawaban kedua cukup baik, dan jawaban ketiga kurang sesuai. Data preferensi seperti ini kemudian digunakan untuk melatih Reward Model.

Reward Model bukan manusia dan bukan pula ukuran objektif tentang kebenaran. Ia merupakan model yang dilatih untuk memperkirakan respons mana yang kemungkinan akan mendapatkan penilaian lebih tinggi berdasarkan pola preferensi yang telah dikumpulkan.

Dengan cara sederhana, kita dapat menganggapnya sebagai “juri otomatis”. Juri tersebut tidak mengetahui semua hal yang benar atau salah, tetapi belajar memperkirakan respons mana yang lebih sesuai dengan pola penilaian manusia yang menjadi data pelatihannya.

3. Reinforcement Learning: Mengoptimalkan Model Berdasarkan Reward

Pada tahap berikutnya, model utama dioptimalkan menggunakan sinyal dari Reward Model. Model menghasilkan respons, kemudian respons tersebut dinilai oleh Reward Model. Sinyal reward tersebut digunakan dalam proses optimasi agar model semakin cenderung menghasilkan keluaran yang mendapatkan reward lebih tinggi.

Dalam pendekatan RLHF klasik, salah satu algoritma yang digunakan untuk tahap ini adalah Proximal Policy Optimization (PPO). Secara intuitif, PPO dapat dipahami sebagai mekanisme optimasi yang membantu memperbarui perilaku model secara bertahap berdasarkan reward, tanpa membuat perubahan kebijakan model menjadi terlalu besar dalam satu langkah.

Prosesnya dapat digambarkan secara sederhana sebagai:

1. Model menghasilkan respons.
2. Reward Model memberikan perkiraan nilai berdasarkan preferensi yang telah dipelajari.
3. Sinyal reward digunakan untuk mengoptimalkan model.
4. Model diperbarui agar lebih cenderung menghasilkan respons dengan reward yang lebih tinggi.

Dengan demikian, tiga tahap tersebut memiliki fungsi yang berbeda. SFT memberikan contoh perilaku, Reward Model mempelajari preferensi manusia, sedangkan Reinforcement Learning mengoptimalkan perilaku model berdasarkan reward.

Yang perlu diingat, RLHF bukan proses yang membuat AI memahami nilai manusia secara sempurna. Model belajar dari sinyal yang tersedia. Jika data preferensi memiliki keterbatasan atau reward yang digunakan tidak merepresentasikan tujuan sebenarnya, hasil akhirnya juga dapat memiliki keterbatasan.

Apa yang Berubah Setelah RLHF?

Salah satu contoh penting untuk memahami dampak RLHF dapat dilihat dari penelitian Training language models to follow instructions with human feedback yang memperkenalkan pendekatan InstructGPT. Penelitian tersebut membandingkan model yang telah diselaraskan dengan feedback manusia dengan model GPT-3 yang menjadi dasarnya.

Hasil penelitian menunjukkan bahwa model InstructGPT yang jauh lebih kecil dapat lebih disukai oleh penilai manusia dibandingkan GPT-3 yang memiliki ukuran jauh lebih besar ketika digunakan untuk mengikuti instruksi. Salah satu perbandingan yang diuji adalah model InstructGPT 1.3 miliar parameter dengan GPT-3 175 miliar parameter.

Temuan tersebut memberikan pelajaran penting: ukuran model bukan satu-satunya faktor yang menentukan bagaimana sebuah model dirasakan oleh pengguna. Proses penyelarasan dapat mengubah perilaku model sehingga responsnya lebih sesuai dengan instruksi dan preferensi yang menjadi sasaran pelatihan.

Lebih Disukai Bukan Berarti Lebih Pintar dalam Semua Hal

Perbandingan tersebut tidak berarti model yang lebih kecil otomatis memiliki kemampuan pengetahuan atau penalaran yang lebih baik dalam seluruh tugas. “Lebih disukai” dalam penelitian tersebut merujuk pada penilaian manusia terhadap keluaran model dalam konteks evaluasi yang dilakukan.

Perbedaan ini penting karena sebuah model dapat memiliki kemampuan dasar yang sangat besar, tetapi belum tentu memberikan respons yang paling sesuai dengan kebutuhan pengguna. Sebaliknya, model yang telah melalui proses alignment dapat lebih baik dalam mengikuti bentuk instruksi atau preferensi tertentu.

Dengan kata lain, RLHF tidak sekadar mengejar kemampuan model untuk menghasilkan bahasa. Teknik ini berusaha mengarahkan bagaimana kemampuan tersebut digunakan ketika berinteraksi dengan manusia.

Dari Kemampuan Bahasa ke Perilaku yang Diinginkan

Model bahasa yang telah melalui pre-training memperoleh kemampuan dari pola yang dipelajari dalam data. Namun, manusia memiliki preferensi mengenai bagaimana kemampuan tersebut seharusnya digunakan. Respons yang terlalu panjang, tidak menjawab pertanyaan, atau tidak mengikuti instruksi dapat dianggap kurang berguna meskipun secara tata bahasa terlihat baik.

RLHF memberikan mekanisme untuk memasukkan sebagian preferensi tersebut ke dalam proses optimasi model. Hasil akhirnya diharapkan lebih selaras dengan tujuan yang ditentukan melalui data demonstrasi dan penilaian manusia.

Contoh InstructGPT juga menunjukkan mengapa pembahasan tentang AI tidak cukup hanya melihat jumlah parameter atau ukuran model. Pelatihan, data, evaluasi, dan alignment turut menentukan bagaimana sebuah model berperilaku ketika digunakan.

Apakah RLHF Membuat AI Lebih Aman?

RLHF dapat membantu mengarahkan perilaku AI agar lebih sesuai dengan preferensi dan tujuan manusia, termasuk dalam hal bagaimana model merespons permintaan yang sensitif atau berpotensi menghasilkan keluaran berbahaya. Namun, RLHF tidak boleh dipahami sebagai jaminan bahwa sebuah AI otomatis aman, bebas bias, atau selalu memberikan respons yang benar.

Dalam penelitian InstructGPT, model yang dilatih dengan human feedback menunjukkan peningkatan pada beberapa evaluasi truthfulness dan pengurangan keluaran yang bersifat toksik dibandingkan model GPT-3 dasar. Temuan tersebut menjadi salah satu bukti bahwa feedback manusia dapat membantu mengarahkan perilaku model. 1

RLHF Membantu Mengarahkan Perilaku Model

Bayangkan sebuah model memiliki banyak kemungkinan cara untuk menjawab pertanyaan. Secara statistik, beberapa jawaban mungkin sama-sama masuk akal. Namun, manusia dapat memiliki preferensi terhadap jawaban yang lebih jelas, relevan, sopan, atau sesuai dengan konteks.

Melalui data demonstrasi dan preferensi manusia, proses RLHF memberikan sinyal tambahan mengenai perilaku yang diharapkan. Model kemudian dioptimalkan agar lebih sering menghasilkan respons yang mendapatkan penilaian positif berdasarkan sinyal tersebut.

Karena itu, alignment bukan berarti membuat AI memiliki moral atau nilai manusia secara harfiah. Alignment lebih tepat dipahami sebagai usaha untuk membuat perilaku model lebih sesuai dengan tujuan, instruksi, dan preferensi yang ditentukan dalam proses pelatihan.

RLHF Tidak Otomatis Menghilangkan Bias

Feedback manusia sendiri dapat memiliki bias. Selain itu, preferensi yang digunakan dalam pelatihan tidak selalu mewakili seluruh manusia atau seluruh situasi yang mungkin dihadapi model.

Penelitian InstructGPT sendiri menunjukkan bahwa peningkatan pada beberapa aspek keselamatan tidak berarti semua bentuk bias hilang. Dalam evaluasi tertentu, model yang telah diselaraskan tidak menunjukkan penurunan bias yang konsisten dibandingkan GPT-3. 2

Artinya, kualitas hasil alignment sangat bergantung pada bagaimana tujuan ditentukan, siapa yang memberikan penilaian, bagaimana data preferensi dikumpulkan, serta bagaimana model dan reward dievaluasi.

Reward Tinggi Tidak Sama dengan Jawaban yang Selalu Benar

Ini merupakan batasan penting dalam memahami RLHF. Reward Model bukan hakim yang mengetahui kebenaran secara objektif. Reward Model mempelajari pola preferensi dari data yang diberikan kepadanya.

Jika model utama terlalu fokus mengoptimalkan sinyal reward, terdapat kemungkinan muncul perilaku yang memenuhi ukuran atau proxy tertentu tanpa benar-benar memenuhi tujuan yang dimaksud. Fenomena seperti ini dikenal sebagai reward hacking atau eksploitasi terhadap kelemahan sinyal reward. Penelitian terbaru mengenai alignment juga terus mengkaji risiko tersebut pada model berukuran besar. 3

Karena itu, RLHF sebaiknya dipandang sebagai salah satu alat untuk alignment, bukan solusi tunggal untuk seluruh persoalan keamanan dan etika AI.

Keterbatasan RLHF yang Perlu Dipahami

Meskipun RLHF dapat membantu menyelaraskan perilaku model dengan preferensi manusia, teknik ini memiliki sejumlah keterbatasan. Feedback manusia bukan sumber kebenaran yang sempurna, proses pengumpulan datanya membutuhkan sumber daya, dan reward yang digunakan untuk mengoptimalkan model hanya merupakan representasi tertentu dari tujuan yang ingin dicapai.

Feedback Manusia Bisa Mengandung Bias

Reward Model belajar dari data preferensi yang diberikan manusia. Jika para penilai memiliki perbedaan pandangan, bias, atau pemahaman yang tidak konsisten terhadap suatu instruksi, karakteristik tersebut dapat memengaruhi data yang digunakan dalam proses pelatihan.

Masalahnya menjadi lebih kompleks ketika model digunakan oleh orang dari latar belakang, bahasa, dan konteks budaya yang berbeda. Respons yang dianggap paling sesuai oleh satu kelompok belum tentu selalu dianggap sama oleh kelompok lainnya.

Karena itu, proses alignment membutuhkan desain evaluasi yang hati-hati. Siapa yang memberikan feedback, bagaimana instruksi penilaian dibuat, dan bagaimana perbedaan penilaian ditangani dapat memengaruhi hasil akhir.

Pengumpulan Feedback Membutuhkan Biaya dan Tenaga

RLHF membutuhkan manusia untuk membuat demonstrasi, membandingkan respons, atau memberikan penilaian terhadap keluaran model. Pada skala besar, proses tersebut dapat membutuhkan banyak waktu, tenaga kerja, dan infrastruktur untuk mengelola data anotasi.

Ini membuat RLHF lebih kompleks dibandingkan sekadar melatih model menggunakan data teks yang tersedia. Kualitas feedback juga perlu dikontrol karena data preferensi yang buruk dapat mengurangi kualitas sinyal yang digunakan selama proses alignment.

Reward Model Hanya Mewakili Preferensi yang Dipelajarinya

Reward Model bukan representasi sempurna dari nilai manusia. Model tersebut belajar memperkirakan preferensi berdasarkan data yang tersedia. Artinya, reward yang tinggi tidak selalu berarti respons tersebut secara objektif paling benar atau paling baik dalam setiap situasi.

Misalnya, sebuah respons mungkin terlihat meyakinkan dan mendapatkan penilaian positif, tetapi tetap mengandung informasi yang keliru. Ini menunjukkan bahwa preferensi manusia dan kebenaran faktual merupakan dua hal yang berbeda.

Model Bisa Mengoptimalkan Proxy, Bukan Tujuan Sebenarnya

Dalam proses optimasi, reward berfungsi sebagai sinyal atau proxy untuk tujuan yang ingin dicapai. Masalah dapat muncul ketika model menemukan pola yang meningkatkan reward tanpa benar-benar memenuhi tujuan yang dimaksud.

Fenomena semacam ini sering dibahas dalam konteks reward hacking. Model dapat menemukan cara untuk memperoleh reward berdasarkan kelemahan ukuran yang digunakan, meskipun perilakunya tidak sepenuhnya sesuai dengan tujuan awal.

Inilah salah satu alasan mengapa alignment tidak dapat diselesaikan hanya dengan membuat reward model dan kemudian menganggap hasilnya sebagai standar objektif. Sistem tetap membutuhkan evaluasi, pengujian, dan mekanisme keselamatan lainnya.

RLHF Bukan Solusi Akhir untuk Alignment

RLHF merupakan salah satu pendekatan penting dalam perkembangan alignment AI, tetapi penelitian mengenai cara menyelaraskan model terus berkembang. Peneliti mengeksplorasi berbagai pendekatan untuk meningkatkan kualitas feedback, mengurangi biaya anotasi manusia, dan membuat proses alignment lebih robust terhadap situasi yang belum pernah ditemui selama pelatihan.

Karena itu, lebih tepat melihat RLHF sebagai salah satu tahap penting dalam sejarah pengembangan AI yang selaras dengan manusia, bukan sebagai teknik final yang telah menyelesaikan seluruh persoalan keamanan dan etika AI.

Bagaimana Alignment AI Berkembang Setelah RLHF?

RLHF bukanlah akhir dari penelitian tentang bagaimana perilaku AI dapat diselaraskan dengan tujuan manusia. Seiring berkembangnya model AI, peneliti juga mengeksplorasi berbagai metode lain untuk memperoleh feedback, meningkatkan kualitas alignment, dan mengurangi sebagian keterbatasan yang muncul ketika seluruh proses penilaian dilakukan oleh manusia.

RLAIF: Ketika AI Membantu Memberikan Feedback

Salah satu pendekatan yang berkembang adalah RLAIF atau Reinforcement Learning from AI Feedback. Konsep dasarnya mirip dengan RLHF, tetapi sebagian proses pemberian feedback dapat dilakukan atau dibantu oleh model AI lain.

Pendekatan ini menarik karena proses penilaian tidak selalu harus sepenuhnya bergantung pada anotator manusia. Namun, penggunaan AI sebagai pemberi feedback juga menghadirkan pertanyaan baru: apakah model pemberi penilaian tersebut memiliki bias atau kelemahan yang kemudian ikut memengaruhi model yang sedang dilatih?

Constitutional AI: Menggunakan Prinsip sebagai Panduan

Constitutional AI merupakan pendekatan yang menggunakan seperangkat prinsip sebagai panduan untuk membantu mengarahkan perilaku model. Dalam penelitian Anthropic, pendekatan tersebut digunakan bersama proses AI feedback untuk membantu proses alignment.

Gagasan ini menunjukkan bahwa perkembangan alignment tidak hanya berfokus pada cara memberikan reward yang lebih baik, tetapi juga pada bagaimana tujuan dan prinsip yang digunakan untuk menilai perilaku AI ditentukan.

RLHF Tetap Penting dalam Sejarah Alignment

Munculnya berbagai pendekatan baru tidak membuat RLHF menjadi tidak relevan. Sebaliknya, RLHF menjadi salah satu tonggak penting dalam perkembangan metode post-training dan alignment model bahasa.

Perkembangan tersebut juga menunjukkan bahwa alignment merupakan persoalan yang terus diteliti. Tidak ada satu metode yang secara otomatis dapat menentukan semua perilaku yang ideal untuk setiap pengguna, situasi, dan konteks.

Karena itu, memahami RLHF tetap penting. Teknik ini membantu menjelaskan bagaimana model yang awalnya hanya mempelajari pola dari data dapat diarahkan lebih lanjut menggunakan preferensi manusia.

Apa Hubungan RLHF dengan LLM?

RLHF memiliki hubungan erat dengan Large Language Model (LLM), terutama dalam proses mengarahkan perilaku model setelah model memperoleh kemampuan dasar dari tahap pelatihan sebelumnya. Namun, keduanya bukanlah hal yang sama.

LLM adalah jenis model AI yang dirancang untuk memahami dan menghasilkan bahasa. Sementara itu, RLHF merupakan salah satu pendekatan yang dapat digunakan untuk melakukan post-training atau alignment terhadap model yang sudah memiliki kemampuan dasar.

Dari Pre-training hingga RLHF

Secara sederhana, perjalanan sebuah model bahasa dapat digambarkan melalui beberapa tahap:

1. Pre-training: model mempelajari pola bahasa dari data dalam skala besar.
2. Supervised Fine-Tuning: model diberikan contoh instruksi dan respons yang dianggap berkualitas.
3. Pengumpulan preferensi manusia: manusia membandingkan atau menilai berbagai keluaran model.
4. Reward Model: data preferensi digunakan untuk melatih model yang memperkirakan respons yang lebih disukai.
5. Reinforcement Learning: model utama dioptimalkan berdasarkan sinyal reward tersebut.

Urutan ini merupakan gambaran dari pendekatan RLHF klasik dan tidak berarti semua LLM modern dilatih dengan proses yang persis sama. Teknik post-training terus berkembang dan dapat menggunakan metode yang berbeda.

RLHF Bukan “Otak” Baru untuk LLM

Penting untuk membedakan antara kemampuan dasar model dan proses penyelarasan perilakunya. RLHF tidak menambahkan sebuah “otak” baru ke dalam LLM. Sebaliknya, teknik ini digunakan untuk mengubah parameter atau perilaku model berdasarkan sinyal yang diperoleh dari proses feedback.

Analogi sederhananya adalah seseorang yang sudah memiliki kemampuan bahasa kemudian mengikuti pelatihan tambahan. Pelatihan tersebut bukan menciptakan kemampuan bahasanya dari awal, tetapi membantu orang tersebut memahami bagaimana kemampuan itu sebaiknya digunakan dalam situasi tertentu.

Hal serupa berlaku pada model bahasa. Pre-training membangun kemampuan dasar, sedangkan proses alignment seperti RLHF dapat membantu mengarahkan bagaimana kemampuan tersebut digunakan ketika model berinteraksi dengan pengguna.

Kenapa Hubungan Ini Penting?

Memahami hubungan antara LLM dan RLHF membantu kita membaca perkembangan AI secara lebih akurat. Ketika sebuah model disebut telah melalui proses alignment, hal tersebut tidak berarti model tersebut memperoleh semua pengetahuan baru melalui RLHF.

RLHF terutama berkaitan dengan perilaku dan preferensi. Pengetahuan dan kemampuan dasar model berasal dari berbagai tahap pelatihan, sementara alignment merupakan proses lanjutan untuk membantu model menghasilkan perilaku yang lebih sesuai dengan tujuan yang ditentukan.

Dengan demikian, RLHF dapat ditempatkan sebagai salah satu bagian dari perjalanan pengembangan model bahasa: bukan sebagai pengganti LLM, melainkan sebagai salah satu pendekatan untuk menyelaraskan model tersebut dengan feedback manusia.

Kesimpulan

RLHF atau Reinforcement Learning from Human Feedback merupakan salah satu pendekatan yang digunakan untuk membantu menyelaraskan perilaku AI dengan preferensi dan instruksi manusia. Gagasan utamanya sederhana: manusia memberikan feedback terhadap keluaran model, kemudian informasi tersebut digunakan sebagai sinyal untuk mengarahkan proses pelatihan lebih lanjut.

Dalam pendekatan RLHF klasik, prosesnya dapat dipahami melalui tiga tahap utama. Model terlebih dahulu mendapatkan contoh melalui Supervised Fine-Tuning, kemudian data preferensi manusia digunakan untuk melatih Reward Model, dan akhirnya model utama dioptimalkan menggunakan reinforcement learning berdasarkan sinyal reward tersebut.

Pendekatan ini membantu menjembatani perbedaan antara model yang mampu menghasilkan jawaban dan model yang berusaha menghasilkan respons yang lebih sesuai dengan kebutuhan manusia. Penelitian InstructGPT menjadi salah satu contoh penting yang menunjukkan bagaimana human feedback dapat mengubah perilaku model dalam mengikuti instruksi.

Namun, RLHF bukan solusi sempurna. Feedback manusia dapat mengandung bias, Reward Model hanya merupakan perkiraan terhadap preferensi yang dipelajarinya, dan proses optimasi dapat menghadapi persoalan seperti reward hacking. Karena itu, alignment AI tetap membutuhkan evaluasi dan penelitian lebih lanjut.

Perkembangan seperti RLAIF dan Constitutional AI juga menunjukkan bahwa metode alignment terus berevolusi. RLHF tetap penting untuk dipahami karena memberikan gambaran mengenai bagaimana manusia dapat ikut mengarahkan perilaku model AI setelah model memperoleh kemampuan dasarnya melalui proses pelatihan.

Pada akhirnya, model AI yang semakin besar dan pintar bukan satu-satunya bagian penting dalam pengembangan AI. Pertanyaan lain yang tidak kalah penting adalah bagaimana kemampuan tersebut diarahkan agar berguna dan sesuai dengan tujuan manusia. RLHF merupakan salah satu jawaban penting yang telah dikembangkan untuk persoalan tersebut.