Apa Itu Diffusion Model? Cara AI Mengubah Noise Jadi Gambar

Diffusion Model adalah salah satu teknologi penting di balik perkembangan AI generatif yang mampu membuat gambar dari perintah teks. Cara kerjanya terdengar sederhana, tetapi sebenarnya melibatkan proses matematis dan komputasi yang cukup kompleks.

Bayangkan Anda memiliki sebuah foto yang awalnya terlihat jelas. Kemudian, sedikit demi sedikit foto tersebut diberi bintik-bintik acak atau noise sampai bentuk aslinya hampir tidak bisa dikenali. Yang tersisa pada akhirnya hanya kumpulan pola acak seperti layar televisi yang kehilangan sinyal.

Sekarang bayangkan ada seseorang yang dilatih untuk melakukan hal sebaliknya.

Ia melihat gambar yang penuh noise, kemudian belajar mengurangi sebagian noise tersebut. Setelah itu, ia mengulang prosesnya berkali-kali sampai bentuk gambar mulai terlihat. Dari sesuatu yang awalnya tampak seperti kekacauan, perlahan muncul objek, warna, tekstur, dan detail yang masuk akal.

Kurang lebih seperti itulah prinsip dasar Diffusion Model.

Dalam proses menghasilkan gambar, model memulai dari noise dan secara bertahap melakukan denoising hingga menghasilkan gambar yang sesuai dengan kondisi atau instruksi yang diberikan. Jika pengguna memberikan prompt seperti “sebuah rumah kayu di tepi danau saat matahari terbenam”, proses tersebut diarahkan agar hasil akhirnya memiliki karakteristik yang sesuai dengan deskripsi tersebut.

Teknologi ini menjadi salah satu pendekatan penting dalam perkembangan AI generatif untuk gambar dan kemudian berkembang ke berbagai kebutuhan lain, termasuk pengeditan gambar serta generasi video.

Apa Itu Diffusion Model?

Diffusion Model adalah jenis model generatif yang mempelajari cara menghasilkan data dengan membalik proses penambahan noise secara bertahap. Pada data gambar, proses tersebut dapat dipahami sebagai mengubah gambar menjadi semakin berisik, lalu mempelajari cara melakukan proses sebaliknya untuk membentuk gambar kembali.

Dalam penerapannya, model tidak sekadar mengambil sebuah gambar yang sudah ada lalu membersihkannya. Model dilatih menggunakan banyak contoh untuk mempelajari pola visual dan bagaimana proses denoising dapat menghasilkan data yang masuk akal.

Ketika digunakan untuk membuat gambar baru, proses dapat dimulai dari noise acak. Model kemudian melakukan sejumlah langkah untuk mengurangi noise tersebut sambil mempertimbangkan kondisi yang diberikan, misalnya deskripsi teks dari pengguna.

Hasil akhirnya bukan sekadar gambar yang “dibersihkan”, tetapi gambar baru yang dihasilkan berdasarkan pola yang telah dipelajari model.

Itulah mengapa istilah diffusion sangat penting dalam memahami teknologi ini. Model belajar dari proses yang menyerupai penyebaran atau penambahan noise, kemudian menggunakan proses kebalikannya untuk melakukan generasi.

Dengan memahami konsep sederhana noise → denoising → gambar, kita sudah memiliki dasar untuk memahami bagaimana banyak teknologi AI generatif modern dapat menghasilkan visual dari sebuah perintah.

Bagaimana Diffusion Model Mengubah Noise Menjadi Gambar?

Cara kerja Diffusion Model dapat dipahami melalui dua proses utama, yaitu forward diffusion dan reverse diffusion. Proses pertama digunakan untuk menambahkan noise pada data, sedangkan proses kedua digunakan untuk mempelajari cara menghilangkan noise tersebut.

Jika disederhanakan, alurnya seperti ini:

Gambar asli → noise bertahap → noise acak → denoising bertahap → gambar baru

Kedua proses tersebut memiliki fungsi berbeda dalam pembentukan kemampuan model.

Forward Diffusion: Gambar Diberi Noise Secara Bertahap

Pada proses forward diffusion, gambar asli secara bertahap diberi noise dalam sejumlah langkah. Setiap langkah membuat gambar semakin sulit dikenali.

Pada tahap awal, perubahan mungkin hampir tidak terlihat. Setelah beberapa langkah, detail gambar mulai tertutup oleh noise. Jika proses diteruskan, informasi visual asli semakin sulit dikenali hingga data mendekati distribusi noise acak.

Proses ini dilakukan secara terkontrol selama pelatihan. Tujuannya bukan sekadar merusak gambar, tetapi menyediakan proses yang kemudian dapat dipelajari model untuk dibalik.

Reverse Diffusion: Noise Diubah Menjadi Gambar

Bagian yang membuat teknologi ini menarik adalah reverse diffusion. Model belajar melakukan proses kebalikan dari penambahan noise tersebut.

Saat menghasilkan gambar baru, sistem dapat memulai dari noise acak. Model kemudian memperkirakan bagaimana noise tersebut harus dikurangi pada setiap langkah.

Pada awal proses, hasilnya masih terlihat seperti kumpulan pola acak. Setelah beberapa langkah denoising, struktur mulai terbentuk. Bentuk objek, komposisi, warna, dan detail visual kemudian semakin jelas.

Proses ini terus berlangsung sampai diperoleh hasil akhir yang sesuai dengan kondisi yang diberikan kepada model.

Di Mana Peran Prompt Teks?

Jika diffusion model digunakan untuk text-to-image, proses denoising dapat diarahkan menggunakan informasi dari prompt pengguna.

Misalnya, pengguna memasukkan prompt:

“Seekor kucing oranye duduk di dekat jendela saat hujan.”

Model menggunakan informasi dari prompt tersebut untuk membantu menentukan karakteristik gambar yang dihasilkan selama proses generasi. Dengan demikian, proses denoising tidak hanya menghasilkan gambar secara acak, tetapi diarahkan menuju hasil yang sesuai dengan kondisi yang diberikan.

Semakin jauh proses bergerak dari noise menuju gambar yang terbentuk, struktur visual yang dihasilkan menjadi semakin jelas. Inilah yang membuat diffusion model dapat mengubah instruksi abstrak menjadi visual yang dapat dikenali.

Jadi, model bukan “menggambar” gambar seperti manusia menggunakan kuas. Ia melakukan serangkaian langkah prediksi untuk mengubah representasi yang penuh noise menjadi hasil visual yang koheren.

Kenapa Diffusion Model Memulai dari Noise?

Jika tujuan akhirnya adalah membuat gambar, mungkin muncul pertanyaan sederhana: mengapa Diffusion Model justru memulai dari noise acak? Mengapa tidak langsung membuat gambar dari awal?

Jawabannya berkaitan dengan cara model mempelajari proses generasi. Dengan memulai dari kondisi yang sangat sederhana dan acak, model dapat melakukan proses perubahan secara bertahap hingga membentuk data yang memiliki struktur.

Noise Menjadi Titik Awal yang Sederhana

Noise dapat dibayangkan sebagai kanvas yang belum memiliki bentuk tertentu. Tidak ada objek yang harus dipertahankan dan tidak ada komposisi gambar tertentu yang harus diikuti sejak awal.

Model kemudian belajar bagaimana mengubah kondisi tersebut sedikit demi sedikit menjadi representasi yang semakin terstruktur.

Dalam proses generasi gambar, setiap langkah denoising dapat menghasilkan perubahan kecil. Struktur kasar mulai terbentuk, kemudian detail visual berkembang seiring proses berjalan.

Dari Acak Menjadi Terarah

Noise memang bersifat acak, tetapi hasil akhirnya tidak harus acak. Model menggunakan pola yang telah dipelajari selama training untuk menentukan bagaimana proses denoising dilakukan.

Ketika terdapat kondisi tambahan seperti prompt teks, informasi tersebut membantu mengarahkan proses menuju jenis gambar tertentu.

Misalnya, dua proses generasi dapat dimulai dari noise yang berbeda. Jika keduanya diberikan prompt tentang “rumah kayu di tengah hutan”, masing-masing dapat menghasilkan gambar yang berbeda, tetapi keduanya tetap diarahkan menuju konsep visual yang sama.

Inilah salah satu alasan mengapa generasi gambar AI dapat menghasilkan banyak variasi dari satu deskripsi.

Bukan Sekadar Menghapus Bintik-Bintik

Penting untuk memahami bahwa denoising pada Diffusion Model bukan seperti menggunakan fitur pengurang noise pada aplikasi pengedit foto.

Jika aplikasi pengedit foto mengurangi noise dari gambar yang sudah tersedia, diffusion model menggunakan proses denoising sebagai bagian dari pembuatan data baru. Model tidak sedang mencari kembali foto asli yang pernah dilihatnya, tetapi menghasilkan sampel baru berdasarkan pola yang dipelajarinya.

Karena itu, hasil akhir dapat memiliki komposisi, objek, warna, dan detail yang tidak sama persis dengan gambar tertentu dari data pelatihan.

Sederhananya, noise menyediakan titik awal, sedangkan model menentukan bagaimana titik awal tersebut secara bertahap berubah menjadi sesuatu yang bermakna.

Apa Itu Latent Space dalam Diffusion Model?

Pada penjelasan sebelumnya, kita menggunakan analogi gambar yang diberi noise lalu dibersihkan kembali. Namun, Diffusion Model modern tidak selalu melakukan seluruh proses tersebut langsung pada setiap piksel gambar.

Salah satu pendekatan penting adalah Latent Diffusion Model. Alih-alih melakukan proses diffusion pada gambar beresolusi penuh, sistem terlebih dahulu mengubah gambar menjadi representasi yang lebih ringkas yang disebut latent space.

Latent Space Adalah Representasi yang Lebih Ringkas

Latent space dapat dibayangkan seperti versi ringkas dari sebuah gambar. Informasi penting mengenai bentuk, warna, struktur, dan karakteristik visual tetap direpresentasikan, tetapi tidak harus disimpan dalam bentuk seluruh piksel gambar secara langsung.

Bayangkan sebuah foto berukuran sangat besar. Daripada membawa seluruh foto tersebut ketika melakukan perjalanan, Anda membuat representasi yang jauh lebih ringkas tetapi tetap mempertahankan informasi penting yang diperlukan untuk mengenali isi foto.

Dalam pendekatan latent diffusion, proses denoising dilakukan pada representasi tersebut. Setelah proses generasi selesai, representasi hasilnya kemudian dikonversi kembali menjadi gambar yang dapat dilihat.

Kenapa Menggunakan Latent Space?

Alasan utamanya adalah efisiensi komputasi.

Gambar beresolusi tinggi memiliki jumlah piksel yang sangat besar. Jika proses diffusion dilakukan langsung pada ruang piksel, kebutuhan komputasinya dapat menjadi sangat tinggi.

Dengan bekerja pada representasi yang lebih kecil, proses generasi dapat dilakukan dengan sumber daya yang lebih efisien. Pendekatan ini menjadi salah satu dasar penting dalam perkembangan sistem seperti Stable Diffusion.

Namun, efisiensi bukan berarti informasi visual begitu saja dibuang. Sistem menggunakan encoder dan decoder untuk mengubah gambar ke representasi laten dan mengubah hasil representasi tersebut kembali menjadi gambar.

Gambaran Sederhana Latent Diffusion

Jika diffusion pada ruang piksel dapat digambarkan sebagai:

Gambar → Noise → Denoising → Gambar

Maka pendekatan latent diffusion secara sederhana dapat digambarkan sebagai:

Gambar → Latent Space → Noise → Denoising → Latent Space → Gambar

Urutan sebenarnya dalam sistem modern dapat memiliki komponen dan tahapan yang lebih kompleks, tetapi gambaran tersebut cukup untuk memahami ide utamanya.

Jadi, ketika mendengar istilah latent space dalam pembahasan AI generatif, bayangkan sebuah ruang representasi yang lebih ringkas tempat model dapat memproses informasi sebelum hasil akhirnya dikembalikan menjadi gambar.

Bagaimana Diffusion Model Memahami Prompt Teks?

Kalau Diffusion Model dimulai dari noise acak, lalu bagaimana model bisa mengetahui bahwa pengguna menginginkan kucing, rumah, manusia, atau pemandangan tertentu?

Jawabannya adalah conditioning. Pada sistem text-to-image, prompt pengguna diubah menjadi representasi yang dapat digunakan model sebagai informasi pengarah selama proses generasi.

Prompt Menjadi Petunjuk bagi Proses Denoising

Ketika pengguna menulis prompt, misalnya “seekor kucing oranye tidur di atas sofa”, teks tersebut tidak langsung berubah menjadi gambar.

Sistem terlebih dahulu memproses teks menjadi representasi yang dapat digunakan sebagai kondisi atau conditioning. Informasi tersebut kemudian membantu model menentukan bagaimana proses denoising sebaiknya diarahkan.

Dengan kata lain, prompt berfungsi seperti petunjuk bagi model tentang karakteristik visual yang diharapkan.

Dari Kata-Kata Menjadi Konsep Visual

Model yang digunakan untuk text-to-image telah dilatih untuk mempelajari hubungan antara bahasa dan pola visual. Karena itu, kata atau frasa dalam prompt dapat membantu mengarahkan hasil menuju konsep tertentu.

Misalnya, prompt yang menyebut “hutan berkabut saat pagi hari” memberikan informasi mengenai objek, lingkungan, dan suasana yang diharapkan. Informasi tersebut kemudian digunakan selama proses generasi untuk membantu membentuk gambar.

Namun, hubungan antara teks dan gambar bukanlah proses menerjemahkan setiap kata menjadi satu objek secara langsung. Model memanfaatkan representasi dan pola yang dipelajarinya untuk menghasilkan keseluruhan komposisi.

Mengapa Prompt yang Sama Bisa Menghasilkan Gambar Berbeda?

Prompt yang sama tidak selalu menghasilkan gambar yang identik. Salah satu alasannya adalah proses generasi dapat menggunakan kondisi awal yang berbeda, termasuk noise awal yang berbeda.

Akibatnya, model dapat menghasilkan variasi komposisi, bentuk, warna, atau detail meskipun instruksi teksnya sama.

Hal ini juga menjelaskan mengapa Diffusion Model dapat menghasilkan banyak kemungkinan visual dari satu deskripsi. Prompt memberikan arah, sedangkan proses generasi menentukan bagaimana arah tersebut diwujudkan menjadi gambar.

Jadi, hubungan sederhananya adalah:

Prompt → conditioning → proses denoising → gambar

Semakin baik model memahami hubungan antara bahasa dan visual, semakin besar kemampuannya untuk menghasilkan gambar yang sesuai dengan maksud pengguna. Meski begitu, hasil generasi tetap dapat berbeda dari interpretasi yang diharapkan.

Diffusion Model vs GAN: Apa Bedanya?

Sebelum Diffusion Model menjadi salah satu pendekatan utama dalam AI generatif, Generative Adversarial Network atau GAN lebih dahulu populer untuk menghasilkan gambar.

Keduanya sama-sama dapat digunakan untuk membuat data baru yang menyerupai data yang dipelajari saat training. Namun, cara keduanya menghasilkan data sangat berbeda.

Bagaimana GAN Menghasilkan Gambar?

GAN menggunakan dua jaringan saraf yang memiliki peran berbeda, yaitu generator dan discriminator.

Generator bertugas membuat data baru, misalnya gambar palsu. Sementara itu, discriminator bertugas membedakan apakah data yang diberikan merupakan data asli atau hasil buatan generator.

Kedua jaringan tersebut kemudian dilatih dalam proses yang saling berkompetisi. Generator berusaha membuat hasil yang semakin meyakinkan, sedangkan discriminator berusaha semakin baik dalam mendeteksi hasil buatan.

Analogi sederhananya seperti pemalsu uang dan pemeriksa uang. Pemalsu terus berusaha membuat uang palsu yang semakin sulit dibedakan, sementara pemeriksa terus belajar menemukan perbedaannya.

Bagaimana Diffusion Berbeda dari GAN?

Diffusion Model menggunakan pendekatan yang berbeda. Model tidak membuat gambar melalui pertandingan antara generator dan discriminator, tetapi mempelajari proses denoising secara bertahap.

Jika GAN dapat dianalogikan sebagai dua pihak yang terus berkompetisi, diffusion lebih mirip seorang seniman yang belajar memperbaiki gambar sedikit demi sedikit dari kondisi yang penuh noise.

Aspek	Diffusion Model	GAN
Prinsip utama	Denoising bertahap	Generator dan discriminator saling berkompetisi
Proses generasi	Dari noise menuju data	Generator menghasilkan data secara langsung
Training	Mempelajari proses denoising	Melatih dua jaringan secara adversarial
Keberagaman hasil	Dapat menghasilkan variasi yang luas	Dapat menghadapi masalah mode collapse
Sampling	Secara tradisional membutuhkan beberapa langkah	Dapat menghasilkan sampel dalam satu proses forward

Kenapa Diffusion Menjadi Sangat Populer?

Salah satu alasan pentingnya adalah kualitas dan keberagaman hasil yang dapat dicapai. Penelitian pada diffusion model menunjukkan bahwa pendekatan ini mampu menghasilkan kualitas sampel yang sangat kompetitif dan memiliki kemampuan menangkap variasi data dengan baik.

Di sisi lain, GAN dikenal memiliki tantangan dalam proses training. Salah satu masalah yang sering dibahas adalah mode collapse, yaitu kondisi ketika generator cenderung menghasilkan variasi data yang terlalu terbatas.

Diffusion juga menawarkan fleksibilitas dalam mengarahkan proses generasi menggunakan berbagai bentuk conditioning. Hal ini menjadi penting dalam perkembangan sistem text-to-image yang memungkinkan pengguna mengarahkan hasil melalui bahasa alami.

Namun, diffusion bukan berarti unggul dalam setiap aspek. Salah satu kelemahannya adalah proses sampling yang secara tradisional membutuhkan banyak langkah denoising, sehingga generasi dapat membutuhkan waktu dan komputasi lebih besar dibanding pendekatan yang menghasilkan sampel secara langsung.

Jadi, lebih tepat mengatakan bahwa Diffusion Model menjadi sangat dominan karena menawarkan kombinasi kualitas, keberagaman, dan fleksibilitas yang sangat kuat, bukan karena GAN tiba-tiba menjadi teknologi yang tidak berguna.

Kenapa Diffusion Model Menjadi Populer?

Popularitas Diffusion Model tidak muncul secara tiba-tiba. Perkembangannya merupakan hasil dari beberapa penelitian yang menunjukkan bahwa pendekatan denoising dapat menghasilkan data sintetis dengan kualitas yang sangat tinggi.

Salah satu tonggak pentingnya adalah publikasi Denoising Diffusion Probabilistic Models atau DDPM pada 2020. Penelitian tersebut menunjukkan bahwa diffusion probabilistic models dapat menghasilkan gambar dengan kualitas yang sangat baik dan kemudian menjadi salah satu fondasi penting bagi perkembangan diffusion model modern.

DDPM dan Titik Balik Penelitian

Sebelum DDPM, diffusion probabilistic models sebenarnya bukan konsep yang sama sekali baru. Namun, penelitian DDPM menunjukkan pendekatan yang praktis dan efektif untuk menghasilkan data melalui proses denoising bertahap.

Hasil penelitian tersebut kemudian mendorong semakin banyak penelitian untuk mengembangkan kualitas, efisiensi, dan kemampuan pengendalian diffusion model.

Dari sinilah perkembangan diffusion bergerak semakin cepat, termasuk menuju model yang dapat menerima kondisi seperti teks, gambar, atau informasi lainnya sebagai panduan dalam proses generasi.

Dari Diffusion ke Latent Diffusion

Salah satu perkembangan penting berikutnya adalah penggunaan latent space. Dengan memindahkan proses diffusion ke representasi laten yang lebih ringkas, kebutuhan komputasi dapat dikurangi dibandingkan melakukan seluruh proses langsung pada ruang piksel.

Pendekatan Latent Diffusion Model kemudian menjadi fondasi penting bagi berbagai sistem generasi gambar modern, termasuk teknologi yang dikenal luas melalui Stable Diffusion.

Text-to-Image Membuat Diffusion Semakin Dikenal

Perkembangan berikutnya adalah kemampuan menggabungkan diffusion dengan informasi teks. Pengguna tidak lagi harus memberikan gambar sebagai titik awal. Cukup dengan menulis deskripsi, sistem dapat menggunakan teks tersebut sebagai kondisi untuk mengarahkan proses generasi.

Perubahan ini membuat teknologi generatif jauh lebih mudah digunakan oleh masyarakat umum. Pengguna dapat memberikan instruksi seperti “kota futuristik di malam hari dengan suasana hujan” dan mendapatkan visual yang dihasilkan berdasarkan deskripsi tersebut.

Berbagai perkembangan tersebut membuat diffusion menjadi salah satu pendekatan yang sangat berpengaruh dalam generasi gambar modern dan kemudian meluas ke berbagai bentuk media lainnya.

Jadi, popularitas Diffusion Model bukan hanya karena kemampuannya menghasilkan gambar yang menarik. Di baliknya terdapat rangkaian perkembangan penelitian yang membuat proses generasi semakin berkualitas, fleksibel, dan dapat dikendalikan.

Apa Hubungan Diffusion Model dengan LLM?

Setelah memahami cara kerja Diffusion Model, muncul pertanyaan menarik: jika LLM juga merupakan teknologi AI generatif, mengapa cara kerjanya berbeda ketika menghasilkan teks?

Jawabannya adalah karena teks dan gambar memiliki karakteristik data yang berbeda. Karena itu, model yang dirancang untuk menghasilkan keduanya dapat menggunakan pendekatan dan arsitektur yang berbeda pula.

LLM seperti yang dibahas dalam artikel Large Language Model (LLM) dirancang terutama untuk memahami dan menghasilkan data berbasis bahasa. Teks biasanya direpresentasikan sebagai rangkaian token yang kemudian diproses model untuk menghasilkan token berikutnya.

LLM Bekerja dengan Data Sekuensial

Dalam penggunaan generatif, LLM pada umumnya menghasilkan teks dengan memprediksi token berikutnya berdasarkan konteks yang tersedia.

Misalnya, ketika seseorang menulis kalimat “Hari ini cuaca di kota itu sangat”, model akan memperkirakan token berikutnya berdasarkan pola bahasa dan konteks yang telah diproses.

Proses tersebut dilakukan berulang hingga terbentuk kalimat, paragraf, atau dokumen yang lebih panjang.

Karena teks memiliki struktur sekuensial, pendekatan seperti ini sangat cocok untuk tugas yang berkaitan dengan bahasa.

Diffusion Bekerja dengan Proses Denoising

Diffusion Model menggunakan pendekatan yang berbeda. Alih-alih menghasilkan gambar dengan memprediksi satu piksel atau satu bagian gambar secara berurutan seperti token teks, model melakukan proses denoising secara bertahap pada representasi data.

Dalam sistem generasi gambar, model dapat memulai dari noise kemudian memperbaiki representasi tersebut melalui sejumlah langkah hingga terbentuk gambar yang koheren.

Karena gambar memiliki struktur spasial yang berbeda dari teks, pendekatan ini dapat digunakan untuk menangani karakteristik visual tersebut.

Bukan Berarti Salah Satunya Lebih Canggih

Perbedaan ini tidak berarti Diffusion Model lebih canggih daripada LLM, atau sebaliknya.

Keduanya dirancang untuk menangani jenis data dan tugas yang memiliki karakteristik berbeda. LLM sangat kuat untuk memahami dan menghasilkan bahasa, sedangkan diffusion sangat dikenal dalam generasi data seperti gambar.

Dalam sistem AI modern, keduanya bahkan dapat digunakan bersama. Sebuah aplikasi dapat menggunakan model bahasa untuk memahami instruksi pengguna, kemudian menggunakan model generatif visual untuk menghasilkan gambar berdasarkan instruksi tersebut.

Jadi, jika AI dapat membuat artikel dan pada saat yang sama menghasilkan gambar berdasarkan deskripsi, bukan berarti satu model harus melakukan seluruh pekerjaan tersebut dengan mekanisme yang sama.

Perbedaan arsitektur justru menunjukkan bahwa AI generatif dapat menggunakan pendekatan yang berbeda untuk jenis data dan tugas yang berbeda.

Apakah Semua AI Pembuat Gambar Menggunakan Diffusion Model?

Jawabannya adalah tidak selalu. Meskipun Diffusion Model menjadi salah satu pendekatan yang sangat berpengaruh dalam generasi gambar modern, tidak semua produk AI pembuat gambar harus menggunakan arsitektur yang sama.

Hal ini penting karena nama produk dan jenis arsitektur model merupakan dua hal yang berbeda. Sebuah produk AI dapat menggunakan satu atau beberapa model dengan teknologi yang berbeda, dan arsitekturnya juga dapat berubah seiring perkembangan produknya.

Stable Diffusion dan Latent Diffusion

Stable Diffusion merupakan contoh yang erat kaitannya dengan pendekatan latent diffusion. Proses diffusion dilakukan pada representasi laten yang lebih ringkas, kemudian hasilnya dikonversi kembali menjadi gambar.

Konsep inilah yang membantu menjelaskan mengapa latent space menjadi bagian penting dalam perkembangan generasi gambar berbasis diffusion.

DALL-E dan Perkembangan Model Generatif

DALL-E juga menunjukkan bahwa teknologi generasi gambar berkembang melalui beberapa pendekatan dan versi model. DALL-E generasi awal menggunakan pendekatan yang berbeda dari diffusion, sementara DALL-E 2 memperkenalkan pipeline yang menggunakan diffusion untuk menghasilkan gambar berdasarkan representasi visual yang dikondisikan oleh teks.

Karena itu, kurang tepat jika semua versi DALL-E secara sederhana disebut sebagai satu jenis model yang sama.

Bagaimana dengan Midjourney?

Midjourney dikenal sebagai salah satu layanan generasi gambar berbasis AI. Namun, detail arsitektur internal model komersial seperti ini tidak selalu dipublikasikan secara lengkap.

Karena itu, kita tidak sebaiknya menyimpulkan bahwa setiap versi Midjourney pasti menggunakan arsitektur diffusion hanya berdasarkan hasil gambarnya.

Yang lebih penting untuk dipahami adalah bahwa Diffusion Model merupakan salah satu pendekatan utama dalam perkembangan AI generatif visual, bukan istilah yang dapat digunakan sebagai sinonim untuk semua generator gambar AI.

Dengan membedakan antara produk dan arsitektur model, kita dapat memahami perkembangan AI generatif dengan lebih akurat dan tidak mudah menyamakan semua teknologi hanya karena hasil akhirnya sama-sama berupa gambar.

Apa Saja yang Bisa Dilakukan Diffusion Model?

Kemampuan Diffusion Model tidak berhenti pada membuat gambar dari teks. Prinsip denoising yang sama dapat digunakan untuk berbagai tugas generatif dan pengeditan media.

Text-to-Image

Penggunaan yang paling mudah dikenali adalah text-to-image. Pengguna memberikan deskripsi melalui prompt, kemudian sistem menghasilkan gambar berdasarkan kondisi tersebut.

Contohnya, pengguna dapat meminta ilustrasi kota futuristik, pemandangan alam, karakter fiksi, atau konsep desain produk. Model menggunakan informasi dari prompt untuk mengarahkan proses generasi dari noise menuju gambar.

Image-to-Image

Diffusion juga dapat digunakan untuk membuat variasi baru berdasarkan gambar yang sudah tersedia. Pada pendekatan image-to-image, gambar sumber dapat digunakan sebagai kondisi untuk mengarahkan proses generasi.

Hasilnya dapat mempertahankan sebagian struktur atau komposisi gambar awal, tetapi mengubah gaya, detail, atau karakteristik visual tertentu sesuai instruksi.

Inpainting

Inpainting digunakan ketika pengguna ingin mengganti atau mengisi bagian tertentu dari gambar.

Misalnya, sebuah foto memiliki objek yang ingin dihapus. Area tersebut dapat ditentukan sebagai bagian yang perlu digenerasikan ulang, kemudian model membuat isi baru yang berusaha menyesuaikan dengan bagian gambar di sekitarnya.

Outpainting

Kebalikan dari inpainting adalah outpainting, yaitu memperluas area gambar melampaui batas aslinya.

Misalnya, sebuah foto hanya menampilkan seseorang dari jarak dekat. Sistem dapat digunakan untuk memperluas kanvas dan menghasilkan bagian lingkungan yang sebelumnya tidak terdapat dalam gambar.

Generasi Video

Prinsip diffusion juga telah diperluas ke generasi video. Bedanya, sistem tidak hanya perlu menghasilkan gambar yang terlihat masuk akal, tetapi juga harus mempertahankan hubungan antarframe agar gerakan dan objek terlihat lebih konsisten.

Karena video memiliki dimensi waktu, model harus mempertimbangkan informasi temporal selain karakteristik visual setiap frame.

Perkembangan ini menunjukkan bahwa konsep diffusion tidak terbatas pada gambar statis. Prinsip dasarnya dapat dikembangkan untuk berbagai jenis data dan tugas generatif, selama arsitektur dan proses training dirancang sesuai karakteristik data yang ingin dihasilkan.

Fine-Tuning untuk Kebutuhan Tertentu

Model diffusion yang sudah dilatih juga dapat disesuaikan untuk kebutuhan tertentu melalui berbagai teknik fine-tuning atau adaptasi.

Contohnya adalah membuat model lebih sesuai untuk gaya visual tertentu, karakter yang konsisten, jenis objek tertentu, atau kebutuhan industri yang spesifik.

Namun, hasil fine-tuning tetap bergantung pada kualitas dataset, metode adaptasi, dan karakteristik model dasar yang digunakan.

Apa Kelebihan dan Kekurangan Diffusion Model?

Meskipun Diffusion Model menjadi salah satu pendekatan penting dalam AI generatif, teknologi ini bukan berarti tanpa kekurangan. Memahami kedua sisinya membantu kita melihat diffusion secara lebih realistis.

Kelebihan Diffusion Model

• Kualitas gambar tinggi: diffusion dapat menghasilkan visual dengan detail dan struktur yang sangat kompleks.
• Hasil lebih beragam: proses generasi dari noise memungkinkan model menghasilkan banyak variasi dari instruksi yang sama.
• Fleksibel: proses generasi dapat diarahkan menggunakan berbagai bentuk conditioning, termasuk teks dan gambar.
• Mendukung pengeditan: teknik seperti inpainting dan outpainting memungkinkan pengguna mengubah atau memperluas gambar.
• Dapat dikembangkan ke berbagai media: prinsip diffusion tidak terbatas pada gambar, tetapi juga dapat diterapkan pada jenis data lain dengan desain model yang sesuai.

Kekurangan Diffusion Model

• Proses generasi dapat membutuhkan banyak langkah: diffusion secara tradisional menghasilkan data melalui serangkaian proses denoising, sehingga sampling dapat membutuhkan waktu dan komputasi yang cukup besar.
• Kebutuhan komputasi: training dan penggunaan model berukuran besar dapat membutuhkan perangkat keras dan sumber daya komputasi yang tinggi.
• Hasil tidak selalu sesuai prompt: model dapat salah memahami hubungan antara teks dan visual, terutama ketika instruksi sangat kompleks.
• Kualitas bergantung pada model dan data: kemampuan model dipengaruhi oleh arsitektur, dataset training, metode conditioning, serta teknik generasi yang digunakan.
• Detail tertentu masih dapat bermasalah: meskipun kualitas generasi semakin baik, elemen kompleks seperti teks dalam gambar, jumlah objek, atau hubungan spasial tertentu masih dapat menghasilkan kesalahan.

Berbagai penelitian dan teknik baru terus dikembangkan untuk mengurangi biaya sampling dan meningkatkan kualitas maupun kemampuan pengendalian. Karena itu, kelemahan yang terlihat pada satu generasi model belum tentu berlaku dengan tingkat yang sama pada model generasi berikutnya.

Dengan kata lain, Diffusion Model memiliki kombinasi kekuatan dan keterbatasan yang perlu dipahami sebelum kita menganggapnya sebagai solusi untuk semua kebutuhan generatif.

Kesimpulan

Diffusion Model adalah salah satu pendekatan penting dalam AI generatif yang bekerja dengan prinsip sederhana: memulai dari kondisi yang penuh noise, kemudian melakukan denoising secara bertahap hingga menghasilkan data yang koheren.

Dalam proses pembelajarannya, gambar dapat diberi noise secara bertahap melalui forward diffusion. Model kemudian belajar proses kebalikannya, yaitu reverse diffusion, untuk mengurangi noise dan menghasilkan data baru.

Pada generasi gambar berbasis teks, prompt digunakan sebagai kondisi yang membantu mengarahkan proses tersebut. Sementara pada pendekatan latent diffusion, proses diffusion dilakukan pada representasi laten yang lebih ringkas sehingga dapat meningkatkan efisiensi dibandingkan bekerja langsung pada ruang piksel.

Perkembangan diffusion juga tidak terjadi dalam ruang hampa. Dibandingkan GAN, pendekatan ini menawarkan kombinasi kualitas dan keberagaman hasil yang sangat kuat, meskipun tetap memiliki tantangan seperti kebutuhan komputasi dan proses sampling yang secara tradisional membutuhkan beberapa langkah.

Jika dibandingkan dengan LLM, perbedaannya bukan soal model mana yang lebih canggih. Keduanya dirancang untuk karakteristik data dan tugas yang berbeda. LLM berfokus pada pemrosesan bahasa, sedangkan diffusion banyak digunakan untuk menghasilkan dan memanipulasi data seperti gambar.

Pemahaman ini membantu kita melihat AI generatif secara lebih utuh. Ketika sebuah AI dapat menghasilkan teks, gambar, atau video, tidak berarti semua kemampuan tersebut harus berasal dari satu jenis model. Berbagai arsitektur dapat bekerja dengan mekanisme berbeda untuk menyelesaikan tugas yang berbeda pula.

Pada akhirnya, cara paling mudah mengingat Diffusion Model adalah melalui satu gambaran sederhana: AI memulai dari kekacauan berupa noise, kemudian secara bertahap mengurangi kekacauan tersebut sampai terbentuk sesuatu yang bermakna.

Itulah salah satu ide dasar yang membantu menjelaskan bagaimana AI modern dapat mengubah perintah sederhana menjadi gambar yang kompleks.