Apa Itu RAG AI? Kenapa Beberapa Chatbot Bisa Mencari di Web

RAG AI mungkin terdengar seperti istilah teknis yang hanya digunakan oleh pengembang. Padahal, konsep ini sangat dekat dengan pengalaman kita saat menggunakan chatbot.

Pernah bertanya kepada chatbot tentang berita yang baru terjadi, harga terbaru, atau informasi dari sebuah situs web, lalu mendapatkan jawaban yang berbeda dengan chatbot lain?

Perbedaannya tidak selalu karena model AI yang digunakan berbeda. Salah satu faktor pentingnya adalah apakah sistem tersebut memiliki kemampuan untuk mengambil informasi dari sumber eksternal sebelum menghasilkan jawaban.

Di sinilah konsep RAG AI menjadi penting.

Secara sederhana, RAG memungkinkan sebuah sistem AI mengambil informasi yang relevan dari sumber tertentu, lalu memberikan informasi tersebut kepada model sebelum model menyusun jawabannya. Sumbernya bisa berupa dokumen perusahaan, database, basis pengetahuan, maupun pencarian di web.

Karena itu, chatbot yang menggunakan sistem retrieval dapat memiliki akses terhadap informasi yang tidak hanya bergantung pada pengetahuan yang tersimpan dalam proses pelatihan model.

Konsep ini juga berkaitan erat dengan cara kerja Large Language Model (LLM) sebagai mesin yang memahami pertanyaan dan menghasilkan jawaban.

Apa Itu RAG AI?

RAG AI adalah pendekatan yang menggabungkan kemampuan retrieval atau pengambilan informasi dengan generation atau pembuatan jawaban oleh model AI.

RAG merupakan singkatan dari Retrieval-Augmented Generation. Dalam pendekatan ini, model AI tidak hanya mengandalkan pengetahuan yang diperoleh ketika dilatih, tetapi juga dapat menerima informasi tambahan dari sumber eksternal yang relevan dengan pertanyaan pengguna.

Bayangkan sebuah chatbot ditanya, “Apa aturan terbaru perusahaan tentang cuti karyawan?” Jika model hanya mengandalkan pengetahuan dari proses pelatihannya, ia belum tentu mengetahui dokumen kebijakan perusahaan yang baru saja diperbarui.

Dengan sistem RAG, pertanyaan tersebut dapat digunakan untuk mencari dokumen kebijakan yang relevan. Informasi yang ditemukan kemudian diberikan kepada model sebagai konteks tambahan untuk menyusun jawaban.

Jadi, RAG bukan sekadar “AI yang lebih pintar”. RAG lebih tepat dipahami sebagai arsitektur atau pola sistem yang membuat model AI dapat menggunakan informasi eksternal ketika menjawab pertanyaan.

Formulasi RAG yang kemudian menjadi salah satu rujukan penting dalam perkembangan teknologi ini diperkenalkan dalam penelitian tahun 2020 berjudul Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Penelitian tersebut menggabungkan memori parametrik dari model dengan memori non-parametrik berupa indeks informasi eksternal.

Gambaran sederhananya adalah seperti ini:

• Tanpa retrieval: model menjawab berdasarkan pengetahuan yang sudah tersedia di dalam model.
• Dengan retrieval: sistem mencari informasi yang relevan terlebih dahulu, kemudian model menggunakan informasi tersebut untuk membantu menghasilkan jawaban.

Karena mekanisme inilah, RAG dapat digunakan untuk membuat AI bekerja dengan informasi yang lebih spesifik, lebih baru, atau berasal dari sumber yang tidak menjadi bagian dari data pelatihan model.

Kenapa Ada RAG AI yang Bisa Mencari Informasi Terkini?

Salah satu hal yang sering membuat pengguna bingung adalah mengapa ada chatbot yang bisa menjawab pertanyaan tentang informasi terbaru, sementara chatbot lain justru mengatakan bahwa pengetahuannya terbatas.

Jawabannya tidak selalu terletak pada “seberapa pintar” model AI tersebut. Perbedaan pentingnya bisa berada pada akses terhadap informasi eksternal.

Model bahasa pada dasarnya menghasilkan jawaban berdasarkan pola dan pengetahuan yang telah dipelajarinya. Namun, ketika sebuah sistem dilengkapi mekanisme retrieval, sistem tersebut dapat mencari informasi yang relevan dari sumber di luar model sebelum menghasilkan jawaban.

Misalnya, seseorang bertanya:

“Apa berita terbaru tentang perkembangan AI hari ini?”

Chatbot yang hanya mengandalkan pengetahuan internal model tidak memiliki mekanisme untuk mengetahui peristiwa yang baru terjadi setelah data pelatihannya tersedia. Sebaliknya, sistem yang memiliki kemampuan pencarian dapat mengambil informasi terbaru dari sumber eksternal, lalu menggunakan informasi tersebut sebagai konteks untuk menyusun jawaban.

Dalam konteks RAG, sumber eksternal tersebut tidak harus berupa internet. Sistem dapat mengambil informasi dari berbagai sumber, seperti dokumen, basis pengetahuan, database, atau indeks pencarian yang telah disiapkan sebelumnya.

Karena itu, istilah retrieval sebenarnya lebih luas daripada sekadar “mencari di Google”. Web search dapat menjadi salah satu mekanisme retrieval, tetapi RAG juga dapat bekerja dengan sumber informasi yang jauh lebih terbatas dan terkontrol.

RAG seperti Ujian Open-Book vs Closed-Book

Cara paling mudah memahami RAG adalah membandingkannya dengan dua jenis ujian: closed-book dan open-book.

Pada ujian closed-book, peserta harus menjawab berdasarkan apa yang sudah dipelajari dan diingat. Ia tidak diperbolehkan membuka buku atau catatan selama ujian berlangsung.

Model AI yang tidak menggunakan retrieval dapat dianalogikan seperti peserta ujian tersebut. Model memiliki pengetahuan yang diperoleh dari proses pelatihan, tetapi tidak otomatis dapat membuka sumber eksternal ketika mendapatkan pertanyaan baru.

Sementara itu, RAG lebih mirip ujian open-book.

Sebelum memberikan jawaban, sistem dapat mencari bagian buku, dokumen, atau sumber informasi yang berkaitan dengan pertanyaan. Informasi yang ditemukan kemudian diberikan kepada model sebagai konteks tambahan.

Perbedaannya dapat digambarkan secara sederhana:

• Closed-book: pertanyaan → model → jawaban.
• Open-book dengan retrieval: pertanyaan → mencari informasi relevan → model membaca konteks → jawaban.

Analogi ini bukan berarti model benar-benar “mengingat” buku yang dibuka. Informasi yang ditemukan melalui retrieval biasanya hanya digunakan sebagai konteks untuk membantu model menjawab pertanyaan tertentu.

Di sinilah salah satu kekuatan utama RAG muncul: pengetahuan eksternal dapat diperbarui tanpa harus melatih ulang model bahasa dari awal.

Misalnya, sebuah perusahaan memiliki ribuan dokumen internal dan kebijakannya berubah setiap beberapa bulan. Daripada memasukkan seluruh perubahan tersebut melalui proses pelatihan ulang model, sistem RAG dapat mengambil dokumen terbaru ketika pengguna mengajukan pertanyaan.

Namun, kemampuan tersebut tetap bergantung pada kualitas sistem retrieval. Jika sistem mengambil dokumen yang salah, sudah kedaluwarsa, atau tidak relevan, model juga dapat menghasilkan jawaban yang keliru.

Bagaimana Cara Kerja RAG AI?

Secara sederhana, RAG AI bekerja dengan memisahkan proses mencari informasi dan proses menghasilkan jawaban. Sistem terlebih dahulu mencari informasi yang dianggap relevan, kemudian memberikan informasi tersebut kepada model AI untuk membantu menyusun respons.

Proses ini umumnya dapat dipahami melalui tiga tahap utama: Retrieve, Augment, dan Generate.

1. Retrieve: Mencari Informasi yang Relevan

Tahap pertama adalah retrieve, yaitu mengambil informasi yang berkaitan dengan pertanyaan pengguna.

Ketika pengguna mengirim pertanyaan, sistem dapat mengubah pertanyaan tersebut menjadi bentuk yang lebih mudah digunakan untuk pencarian. Pada sistem berbasis pencarian semantik, misalnya, teks dapat direpresentasikan sebagai embedding untuk menemukan informasi yang memiliki makna serupa.

Informasi yang ditemukan kemudian dipilih berdasarkan tingkat relevansinya. Sumbernya bisa berupa dokumen internal, basis pengetahuan, database, indeks pencarian, atau sumber web.

Contohnya, pengguna bertanya, “Apa kebijakan perusahaan mengenai cuti tahunan?” Sistem RAG dapat mencari dokumen perusahaan yang memuat aturan cuti, kemudian mengambil bagian yang paling relevan dengan pertanyaan tersebut.

2. Augment: Menambahkan Informasi ke Konteks

Setelah informasi ditemukan, sistem masuk ke tahap augment.

Pada tahap ini, informasi hasil pencarian digabungkan dengan pertanyaan pengguna sebagai konteks tambahan untuk model. Tujuannya agar model tidak hanya melihat pertanyaan, tetapi juga memiliki bahan referensi yang relevan ketika menyusun jawaban.

Secara sederhana, alurnya dapat dibayangkan seperti:

Pertanyaan pengguna + informasi yang ditemukan = konteks untuk model AI

Di sinilah pemilihan informasi menjadi penting. Sistem tidak harus memasukkan seluruh isi database atau semua dokumen ke dalam prompt. Biasanya, sistem mengambil bagian yang paling relevan agar model mendapatkan konteks yang cukup tanpa dibebani informasi yang tidak diperlukan.

3. Generate: Menghasilkan Jawaban

Tahap terakhir adalah generate, yaitu ketika model AI menggunakan pertanyaan dan konteks yang telah diberikan untuk menghasilkan jawaban.

Model kemudian memproses informasi tersebut dan menyusun respons dalam bahasa yang dapat dipahami pengguna. Pada sistem yang dirancang dengan baik, jawaban juga dapat dilengkapi dengan sumber atau kutipan sehingga pengguna dapat memeriksa informasi yang menjadi dasar respons.

Dengan demikian, alur dasar RAG AI dapat diringkas menjadi:

1. Retrieve: sistem mencari informasi yang relevan.
2. Augment: informasi tersebut ditambahkan sebagai konteks.
3. Generate: model AI menghasilkan jawaban berdasarkan pertanyaan dan konteks.

Yang perlu dipahami, RAG bukan berarti model AI secara otomatis mengetahui bahwa semua informasi yang ditemukan benar. Model tetap bergantung pada kualitas sumber dan hasil retrieval yang diberikan kepadanya.

Jika sistem mengambil sumber yang tidak relevan atau informasi yang keliru, jawaban akhirnya juga berisiko menjadi keliru. Karena itu, kualitas retrieval merupakan salah satu bagian penting dalam membangun sistem RAG yang dapat diandalkan.

Dari Mana RAG AI Mengambil Informasi?

Salah satu hal menarik dari RAG AI adalah sumber informasi yang digunakan tidak harus berasal dari satu tempat. Sistem dapat dirancang untuk mengambil data dari berbagai sumber, tergantung kebutuhan dan tujuan penggunaannya.

Untuk chatbot perusahaan, misalnya, sumbernya mungkin berupa dokumen internal. Sementara untuk chatbot yang harus menjawab pertanyaan tentang informasi terbaru, sistem dapat menggunakan mesin pencarian atau sumber web.

Beberapa sumber yang umum digunakan dalam sistem retrieval antara lain sebagai berikut.

Vector Database

Vector database digunakan untuk menyimpan representasi data dalam bentuk vektor atau embedding. Dengan pendekatan ini, sistem dapat mencari informasi berdasarkan kemiripan makna, bukan hanya mencocokkan kata yang persis sama.

Misalnya, pengguna mencari informasi dengan kalimat “aturan mengambil cuti tahunan”, sementara dokumen menggunakan istilah “ketentuan hak cuti karyawan”. Pencarian berbasis semantik dapat membantu menemukan dokumen yang memiliki makna berkaitan meskipun susunan katanya berbeda.

Vector database karena itu sering menjadi salah satu komponen dalam sistem RAG yang bekerja dengan koleksi dokumen berukuran besar.

Dokumen Internal

RAG juga dapat digunakan untuk mengambil informasi dari dokumen yang dimiliki organisasi. Dokumen tersebut dapat berupa panduan kerja, kebijakan perusahaan, laporan, manual produk, atau basis pengetahuan internal.

Keuntungannya, perusahaan tidak harus melatih ulang model AI hanya agar model dapat menggunakan informasi tersebut. Dokumen dapat diproses dan diindeks sehingga sistem dapat mengambil bagian yang relevan ketika dibutuhkan.

Model AI kemudian menerima potongan informasi tersebut sebagai konteks untuk menjawab pertanyaan pengguna.

Search Engine dan Web

Sumber lainnya adalah web. Sistem retrieval dapat menggunakan mekanisme pencarian untuk menemukan halaman atau informasi yang relevan dengan pertanyaan pengguna.

Inilah yang membuat pengalaman menggunakan beberapa chatbot terasa berbeda. Ketika pengguna bertanya tentang berita, perkembangan teknologi, atau peristiwa yang baru terjadi, sistem dapat melakukan pencarian terlebih dahulu sebelum menghasilkan jawaban.

Namun, penting untuk membedakan antara RAG sebagai arsitektur dan fitur web search. Tidak setiap fitur pencarian web pada chatbot harus memiliki implementasi RAG yang sama. Web search dapat menjadi salah satu mekanisme retrieval dalam sistem yang menggunakan pendekatan retrieval-augmented.

Database Terstruktur

RAG juga dapat mengambil informasi dari database terstruktur. Contohnya adalah database yang menyimpan data produk, inventaris, transaksi, pelanggan, atau informasi operasional lainnya.

Dalam skenario seperti ini, sistem dapat mengambil data yang relevan terlebih dahulu sebelum model menghasilkan jawaban dalam bahasa alami.

Misalnya, seorang pengguna bertanya, “Berapa jumlah stok produk A saat ini?” Sistem dapat mengambil data stok dari sumber yang terhubung, kemudian model menyajikan hasilnya dalam bentuk jawaban yang mudah dipahami.

Jadi, RAG AI bukan terbatas pada kemampuan membaca dokumen. Konsep utamanya adalah memberikan informasi eksternal yang relevan kepada model sebelum jawaban dibuat.

Semakin tepat sumber yang dipilih dan semakin baik proses retrieval dilakukan, semakin besar peluang model mendapatkan konteks yang tepat untuk menjawab pertanyaan.

Kenapa RAG AI Penting untuk AI?

RAG menjadi penting karena model AI tidak selalu memiliki akses langsung terhadap informasi yang paling baru, paling spesifik, atau bersifat privat. Retrieval memberikan cara untuk memasukkan informasi tersebut ke dalam proses pembuatan jawaban tanpa harus selalu melatih ulang model.

Informasi Bisa Lebih Terkini

Pengetahuan yang digunakan model berasal dari proses pelatihan yang dilakukan pada waktu tertentu. Karena itu, model tidak otomatis mengetahui setiap peristiwa yang terjadi setelah periode data tersebut.

Dengan mekanisme retrieval, sistem dapat mengambil informasi terbaru dari sumber yang tersedia. Dalam sistem yang menggunakan pencarian web, misalnya, pertanyaan pengguna dapat memicu proses pencarian sebelum model menghasilkan jawaban.

Hal ini berguna untuk pertanyaan yang sifatnya dinamis, seperti perkembangan teknologi, berita, perubahan kebijakan, atau informasi produk yang dapat berubah dari waktu ke waktu.

Data yang Lebih Spesifik

RAG juga berguna ketika model perlu menjawab berdasarkan kumpulan informasi tertentu.

Bayangkan sebuah perusahaan memiliki ratusan dokumen yang berisi prosedur operasional. Model AI umum tidak otomatis mengetahui isi dokumen tersebut. Dengan retrieval, sistem dapat mencari dokumen yang relevan ketika karyawan mengajukan pertanyaan.

Dengan demikian, AI dapat bekerja dengan knowledge base yang lebih spesifik terhadap kebutuhan organisasi.

Data Privat Tanpa Harus Melatih Ulang Model

Keunggulan lain adalah kemampuan menghubungkan model dengan sumber informasi yang tidak tersedia secara umum.

Contohnya adalah dokumen internal perusahaan, panduan kerja, laporan proyek, dokumentasi produk, atau basis pengetahuan organisasi. Sistem dapat mengambil informasi yang diperlukan ketika pertanyaan diajukan, kemudian menggunakannya sebagai konteks untuk menghasilkan jawaban.

Pendekatan ini berbeda dengan memasukkan pengetahuan tersebut secara permanen ke dalam parameter model melalui proses pelatihan. RAG pada dasarnya memisahkan model yang menghasilkan jawaban dari sumber pengetahuan yang digunakan sebagai referensi.

Jawaban Bisa Lebih Mudah Ditelusuri

Sistem RAG juga dapat dirancang untuk menyertakan sumber yang digunakan dalam proses menjawab. Misalnya, chatbot dapat menampilkan dokumen, halaman, atau bagian sumber yang menjadi dasar respons.

Fitur seperti ini penting terutama ketika AI digunakan untuk pekerjaan yang membutuhkan verifikasi. Pengguna tidak hanya mendapatkan jawaban, tetapi juga memiliki kesempatan untuk memeriksa informasi yang mendasarinya.

Namun, keberadaan sumber tidak otomatis menjamin jawaban selalu benar. Sumber yang tidak akurat, sudah kedaluwarsa, atau tidak relevan tetap dapat menghasilkan respons yang salah.

Karena itu, manfaat utama RAG bukan membuat AI menjadi selalu benar, melainkan memberikan model akses terhadap konteks eksternal yang relevan sehingga jawabannya dapat lebih ter-grounding pada sumber tertentu.

Apakah RAG Bisa Menghilangkan Halusinasi AI?

Salah satu alasan RAG banyak digunakan adalah karena pendekatan ini dapat membantu mengurangi risiko halusinasi AI. Namun, RAG tidak membuat model otomatis selalu benar.

Halusinasi terjadi ketika model menghasilkan informasi yang terdengar meyakinkan, tetapi sebenarnya tidak didukung oleh fakta atau sumber yang benar. Dengan RAG, model dapat diberikan informasi eksternal yang relevan sebagai dasar sebelum menyusun jawaban.

Contohnya, sebuah perusahaan memiliki dokumen resmi mengenai kebijakan cuti. Ketika karyawan bertanya tentang jumlah hari cuti, sistem RAG dapat mengambil bagian dokumen yang membahas aturan tersebut dan memasukkannya ke dalam konteks model.

Model kemudian memiliki referensi yang lebih spesifik daripada sekadar mengandalkan pengetahuan umum yang diperoleh selama proses pelatihan.

RAG Tetap Bisa Menghasilkan Jawaban yang Salah

Meski demikian, retrieval bukan jaminan bahwa jawaban AI selalu akurat.

Kesalahan dapat terjadi apabila sistem mengambil dokumen yang tidak relevan, menggunakan sumber yang sudah kedaluwarsa, atau gagal menemukan informasi yang sebenarnya dibutuhkan.

Model juga masih dapat salah memahami konteks atau menarik kesimpulan yang tidak didukung oleh sumber yang diberikan.

Karena itu, kualitas sistem RAG bergantung pada beberapa komponen sekaligus, mulai dari kualitas sumber data, proses pencarian, pemilihan informasi, hingga kemampuan model dalam menggunakan konteks tersebut.

RAG Membantu Grounding, Bukan Menghapus Halusinasi

Istilah yang lebih tepat adalah grounding. Sistem RAG dapat membantu mengarahkan jawaban model agar lebih berlandaskan pada informasi yang diambil dari sumber tertentu.

Jika sistem juga menampilkan kutipan atau referensi, pengguna dapat memeriksa kembali apakah jawaban yang diberikan memang sesuai dengan sumbernya.

Inilah mengapa RAG sangat berguna untuk aplikasi yang membutuhkan informasi spesifik. Namun, pengguna tetap perlu melakukan verifikasi, terutama ketika informasi yang diberikan berkaitan dengan keputusan penting.

Jadi, jika ada yang mengatakan bahwa RAG dapat “menghilangkan halusinasi AI”, pernyataan tersebut terlalu mutlak. RAG dapat mengurangi risiko dan meningkatkan grounding, tetapi tidak menghilangkan kemungkinan model menghasilkan jawaban yang salah.

Apa Hubungan RAG AI dengan LLM?

Untuk memahami hubungan antara RAG AI dan LLM, kita perlu membedakan antara model yang menghasilkan jawaban dan sistem yang menyediakan informasi tambahan.

LLM atau Large Language Model berperan sebagai mesin yang memahami bahasa dan menghasilkan respons. Sementara itu, RAG menyediakan mekanisme agar model tersebut dapat menggunakan informasi dari sumber eksternal ketika dibutuhkan.

Karena itu, RAG bukan model AI yang berdiri sendiri seperti sebuah LLM. RAG lebih tepat dipahami sebagai pendekatan untuk menghubungkan model bahasa dengan sumber pengetahuan eksternal.

LLM Menjadi Mesin Penghasil Jawaban

Dalam sistem RAG, LLM tetap menjadi komponen yang menghasilkan jawaban akhir.

Misalnya, pengguna bertanya tentang isi sebuah dokumen. Sistem terlebih dahulu mencari bagian dokumen yang relevan. Setelah informasi tersebut ditemukan, potongan informasi itu diberikan kepada LLM bersama dengan pertanyaan pengguna.

LLM kemudian menggunakan konteks tersebut untuk memahami pertanyaan dan menyusun jawaban dalam bahasa alami.

RAG Menambahkan Sumber Pengetahuan

Peran RAG berada pada proses sebelum atau di sekitar pembuatan jawaban tersebut. Sistem mencari informasi yang relevan dari sumber eksternal, kemudian memasukkannya ke dalam konteks yang dapat diproses model.

Dengan cara ini, pengetahuan yang digunakan untuk menjawab pertanyaan tidak harus seluruhnya tersimpan di dalam parameter LLM.

Inilah alasan RAG sering digunakan ketika sebuah aplikasi AI harus bekerja dengan informasi khusus, seperti dokumentasi perusahaan, katalog produk, arsip, kebijakan internal, atau sumber informasi yang terus diperbarui.

RAG dan LLM Saling Melengkapi

Hubungan keduanya dapat disederhanakan seperti sebuah perpustakaan.

• LLM berperan seperti orang yang mampu membaca dan menjelaskan informasi.
• Retrieval berperan seperti pustakawan yang mencari buku atau halaman yang relevan.
• RAG mengatur proses agar informasi yang ditemukan dapat digunakan oleh LLM untuk menjawab pertanyaan.

Jadi, ketika sebuah chatbot dapat menjawab berdasarkan dokumen atau informasi terbaru, kemampuan tersebut tidak selalu berarti model bahasanya telah “belajar” semua informasi tersebut secara permanen.

Bisa saja model yang sama digunakan dengan sumber eksternal yang berbeda, sehingga menghasilkan aplikasi AI dengan kemampuan pengetahuan yang berbeda pula.

Apa Hubungan RAG AI dengan Context Window?

RAG AI dan context window memiliki hubungan yang sangat erat karena informasi yang ditemukan melalui retrieval pada akhirnya harus diberikan kepada model sebagai konteks.

RAG memang dapat mengambil informasi dari sumber eksternal, tetapi bukan berarti model dapat memasukkan seluruh isi sumber tersebut tanpa batas. Informasi yang akan digunakan tetap perlu masuk ke dalam ruang konteks yang dapat diproses model.

Retrieval Memilih Informasi yang Dibutuhkan

Bayangkan sebuah perusahaan memiliki 10.000 dokumen. Ketika pengguna bertanya tentang aturan cuti, sistem tidak perlu memberikan seluruh isi 10.000 dokumen kepada model.

Sistem retrieval justru berusaha menemukan bagian yang paling relevan, kemudian mengambil potongan informasi tersebut untuk diberikan kepada model.

Pendekatan ini membuat proses lebih efisien karena model mendapatkan konteks yang berhubungan langsung dengan pertanyaan pengguna.

Context Window Menentukan Seberapa Banyak Konteks yang Bisa Diproses

Informasi hasil retrieval tetap harus masuk ke dalam context window model. Context window dapat dipahami sebagai kapasitas konteks yang dapat dipertimbangkan model dalam satu proses.

Karena itu, semakin banyak informasi yang dimasukkan ke dalam konteks, semakin penting cara sistem memilih dan mengaturnya. Dokumen yang terlalu panjang atau terlalu banyak informasi yang tidak relevan dapat membuat proses menjadi kurang efisien dan dapat memengaruhi kualitas respons.

Untuk memahami lebih jauh bagaimana batas konteks memengaruhi chatbot dan percakapan panjang, baca juga artikel Context Window AI di BERITANDA.ID.

RAG dan Context Window Bukan Hal yang Sama

Keduanya memiliki fungsi berbeda.

• RAG berfungsi membantu sistem menemukan dan menyediakan informasi eksternal yang relevan.
• Context window menentukan kapasitas konteks yang dapat diproses model dalam satu interaksi.

Sederhananya, RAG dapat diibaratkan sebagai pustakawan yang mencari halaman buku yang dibutuhkan, sedangkan context window adalah ruang di meja tempat halaman tersebut dapat dibaca.

Jika pustakawan membawa terlalu banyak halaman, meja akan menjadi penuh. Karena itu, sistem RAG yang baik tidak hanya membutuhkan kemampuan mencari informasi, tetapi juga strategi untuk memilih konteks yang benar-benar diperlukan.

Apakah NotebookLM Menggunakan Konsep RAG?

Salah satu contoh yang mudah digunakan untuk memahami konsep retrieval adalah NotebookLM. Aplikasi ini memungkinkan pengguna memberikan sumber seperti dokumen, PDF, halaman web, atau materi lainnya untuk kemudian digunakan sebagai dasar dalam berinteraksi dengan AI.

Dalam penggunaan berbasis sumber, NotebookLM dapat memberikan jawaban yang berlandaskan pada materi yang tersedia di dalam notebook. Artinya, AI tidak hanya mengandalkan pengetahuan umum model, tetapi dapat menggunakan sumber yang diberikan pengguna sebagai konteks.

Inilah yang membuat pengalaman NotebookLM memiliki kemiripan dengan prinsip RAG AI: sistem mengambil informasi dari kumpulan sumber yang tersedia, kemudian informasi tersebut digunakan untuk membantu model menghasilkan jawaban.

NotebookLM Bukan Sekadar Chatbot Biasa

Bayangkan Anda memiliki puluhan dokumen penelitian tentang satu topik. Daripada membaca semuanya satu per satu, Anda dapat memasukkan dokumen tersebut ke dalam sebuah notebook dan mengajukan pertanyaan berdasarkan materi yang tersedia.

Sistem kemudian dapat menemukan informasi yang berkaitan dengan pertanyaan dan menggunakannya sebagai dasar respons. Inilah pola yang membuat konsep retrieval terasa lebih konkret bagi pengguna umum.

Namun, perlu diperhatikan bahwa implementasi teknis sebuah produk seperti NotebookLM tidak harus identik dengan arsitektur RAG yang digunakan oleh pengembang ketika membangun aplikasi sendiri.

Istilah yang lebih tepat adalah bahwa NotebookLM menerapkan konsep grounding berbasis sumber yang memiliki kemiripan dengan pola retrieval-augmented. Detail arsitektur internal sebuah produk dapat berbeda dan dapat berubah seiring perkembangan teknologinya.

Kapan Pendekatan Seperti Ini Berguna?

Pendekatan berbasis sumber sangat berguna ketika informasi yang ingin digunakan sudah tersedia dalam bentuk dokumen tertentu.

• Riset: memahami banyak dokumen tanpa harus membaca semuanya dari awal.
• Belajar: mengajukan pertanyaan berdasarkan materi kuliah atau buku yang tersedia.
• Dokumentasi: mencari informasi tertentu dari kumpulan dokumen.
• Pekerjaan: memahami laporan, panduan, atau materi internal.

Untuk pembahasan lebih lengkap mengenai penggunaan NotebookLM untuk riset dan belajar, Anda juga dapat membaca Cara Pakai NotebookLM di BERITANDA.ID.

Hal pentingnya adalah memahami prinsip di balik teknologi tersebut: AI dapat menghasilkan jawaban dengan memanfaatkan informasi dari sumber yang diberikan atau ditemukan, bukan hanya mengandalkan pengetahuan yang tersimpan di dalam model.

RAG AI vs Fine-Tuning: Apa Bedanya?

RAG AI dan fine-tuning sama-sama dapat digunakan untuk menyesuaikan AI dengan kebutuhan tertentu, tetapi keduanya bekerja dengan cara yang berbeda.

Perbedaan paling sederhananya adalah: RAG menambahkan informasi dari sumber eksternal ketika model digunakan, sedangkan fine-tuning mengubah parameter model melalui proses pelatihan tambahan.

RAG Menghubungkan Model dengan Sumber Informasi

Pada RAG, informasi tambahan biasanya disimpan atau tersedia pada sumber eksternal. Ketika pengguna mengajukan pertanyaan, sistem mengambil informasi yang relevan dan memasukkannya ke dalam konteks model.

Jika sebuah dokumen diperbarui, sistem dapat menggunakan versi informasi yang baru setelah sumber tersebut diperbarui dan diindeks sesuai mekanisme yang digunakan.

Pendekatan ini cocok ketika masalah utamanya adalah bagaimana membuat AI dapat mengakses informasi tertentu.

Fine-Tuning Melatih Model Lebih Lanjut

Fine-tuning bekerja dengan memberikan data pelatihan tambahan kepada model untuk menyesuaikan perilaku atau kemampuannya terhadap kebutuhan tertentu.

Contohnya, fine-tuning dapat digunakan untuk membuat model lebih konsisten dalam mengikuti format tertentu atau menangani pola tugas yang spesifik.

Namun, fine-tuning bukan berarti model menjadi database yang selalu dapat digunakan untuk menyimpan informasi terbaru. Jika informasi yang dibutuhkan sering berubah, pendekatan retrieval biasanya lebih sesuai untuk menyediakan data terkini.

Kapan Menggunakan RAG dan Kapan Fine-Tuning?

Pemilihan pendekatan bergantung pada masalah yang ingin diselesaikan.

Kebutuhan	Pendekatan yang Cocok
Menggunakan dokumen perusahaan	RAG
Mengakses informasi yang sering diperbarui	RAG
Mengubah gaya atau pola respons model	Fine-tuning
Mengajarkan format tugas tertentu	Fine-tuning
Menggabungkan pengetahuan eksternal dengan model	RAG

Dalam praktiknya, keduanya juga tidak selalu harus dipilih secara eksklusif. Sebuah aplikasi dapat menggunakan fine-tuning untuk menyesuaikan perilaku model sekaligus menggunakan RAG untuk menyediakan informasi eksternal yang dibutuhkan saat menjawab.

Jadi, pertanyaan yang tepat bukan sekadar “mana yang lebih bagus?”, tetapi masalah apa yang ingin diselesaikan oleh sistem AI tersebut?

Contoh RAG AI dalam Kehidupan Sehari-hari

Setelah memahami cara kerjanya, konsep RAG AI sebenarnya cukup mudah ditemukan dalam berbagai aplikasi. Intinya sama: sistem mengambil informasi yang relevan dari sumber tertentu, lalu memberikan informasi tersebut kepada model untuk membantu menghasilkan jawaban.

Chatbot Customer Service

Perusahaan dapat menggunakan RAG untuk membuat chatbot yang mampu menjawab pertanyaan berdasarkan informasi produk, kebijakan layanan, atau dokumentasi perusahaan.

Misalnya, pelanggan bertanya tentang prosedur pengembalian barang. Sistem dapat mencari kebijakan retur yang sesuai, kemudian menggunakan informasi tersebut untuk menyusun jawaban.

Ketika kebijakan diperbarui, sumber informasi dapat diperbarui tanpa harus memasukkan seluruh kebijakan tersebut ke dalam proses pelatihan ulang model.

AI untuk Dokumen Perusahaan

RAG juga dapat digunakan sebagai antarmuka percakapan untuk kumpulan dokumen internal.

Karyawan dapat bertanya tentang prosedur operasional, panduan kerja, atau kebijakan tertentu. Sistem kemudian mencari bagian dokumen yang relevan dan menggunakannya sebagai konteks jawaban.

Model AI dalam skenario ini berfungsi sebagai pengolah dan penyaji informasi, sementara dokumen perusahaan menjadi salah satu sumber pengetahuannya.

AI untuk Riset dan Belajar

Dalam kegiatan belajar atau riset, retrieval dapat membantu pengguna bekerja dengan kumpulan sumber yang cukup besar.

Misalnya, seseorang memiliki beberapa artikel ilmiah dan ingin mengetahui bagaimana setiap sumber membahas suatu konsep. Sistem dapat mengambil bagian yang relevan dari dokumen tersebut dan membantu merangkum atau membandingkannya.

Pendekatan berbasis sumber seperti ini juga membantu pengguna membedakan antara jawaban yang berasal dari materi yang tersedia dan pengetahuan umum model.

Chatbot dengan Informasi Web

Contoh lainnya adalah chatbot yang memiliki kemampuan mencari informasi di web.

Ketika pengguna menanyakan sesuatu yang sifatnya dinamis, sistem dapat melakukan pencarian, mengambil informasi yang relevan, kemudian memberikan hasil tersebut kepada model untuk disusun menjadi jawaban yang lebih mudah dipahami.

Inilah alasan pengalaman menggunakan chatbot dengan kemampuan pencarian web dapat terasa berbeda dibandingkan chatbot yang hanya menjawab berdasarkan pengetahuan internal model.

Asisten Internal untuk Data Operasional

Perusahaan juga dapat menghubungkan sistem AI dengan sumber data operasional tertentu. Misalnya, karyawan bertanya mengenai status inventaris atau informasi produk.

Sistem dapat mengambil data yang diperlukan dari sumber terhubung, lalu model mengubah hasil tersebut menjadi jawaban dalam bahasa alami.

Dalam semua contoh tersebut, prinsip dasarnya tetap sama: temukan informasi yang relevan, berikan informasi tersebut sebagai konteks, lalu gunakan model AI untuk menghasilkan jawaban.

Karena itu, RAG bukan hanya teknologi untuk chatbot. Pendekatan ini dapat menjadi bagian dari berbagai aplikasi AI yang membutuhkan akses terhadap informasi eksternal dan spesifik.

Akhir Kata …

RAG AI adalah pendekatan yang memungkinkan model AI menggunakan informasi dari sumber eksternal sebelum menghasilkan jawaban. Sumber tersebut dapat berupa dokumen, database, basis pengetahuan, maupun informasi dari web.

Konsepnya dapat dipahami dengan analogi ujian open-book. Jika model tanpa retrieval harus mengandalkan pengetahuan yang sudah dimilikinya, sistem dengan RAG dapat mencari informasi yang relevan terlebih dahulu, kemudian memberikan informasi tersebut kepada model sebagai konteks.

Proses dasarnya terdiri dari tiga tahap:

1. Retrieve: mencari informasi yang relevan dari sumber tertentu.
2. Augment: menambahkan informasi yang ditemukan ke dalam konteks.
3. Generate: menggunakan model AI untuk menghasilkan jawaban berdasarkan pertanyaan dan konteks tersebut.

Pendekatan ini membuat AI lebih mudah digunakan dengan informasi yang spesifik atau terus diperbarui tanpa harus selalu melakukan pelatihan ulang terhadap model. RAG juga dapat membantu meningkatkan grounding dan mengurangi risiko halusinasi, meskipun tidak menjamin bahwa setiap jawaban akan selalu benar.

Hal yang tidak kalah penting adalah memahami bahwa RAG bukan pengganti LLM. RAG dan LLM memiliki peran berbeda. Retrieval membantu menemukan informasi, sedangkan LLM memproses konteks dan menghasilkan jawaban.

Jadi, ketika sebuah chatbot dapat “mencari di web”, membaca dokumen perusahaan, atau menjawab pertanyaan berdasarkan sumber tertentu, kemampuan tersebut dapat berasal dari sistem retrieval yang terhubung dengan model AI.

Pada akhirnya, kekuatan sebuah sistem RAG AI tidak hanya ditentukan oleh model yang digunakan. Kualitas sumber data, mekanisme retrieval, pemilihan konteks, dan cara model menggunakan informasi tersebut sama-sama menentukan kualitas jawaban.