Fine-Tuning LLM Tanpa GPU Sendiri: Cerita di Balik HellanodikAI
Bagaimana saya fine-tune Llama 3 8B jadi HellanodikAI hanya dengan GPU gratis dari Kaggle dari eksperimen LoRA, quantization ke GGUF, sampai menulis lisensi custom untuk model open-source.
Beberapa minggu terakhir saya menghabiskan waktu untuk hal baru: fine-tuning LLM dari nol, tanpa GPU sendiri. Hasilnya adalah HellanodikAI — model Llama 3 8B yang saya latih ulang untuk eksplorasi domain hukum Indonesia, dilatih sepenuhnya di GPU gratis Kaggle (T4).
Tulisan ini adalah catatan proses: apa yang saya coba, apa yang berhasil, dan apa yang masih perlu diperbaiki.
Kenapa "HellanodikAI"?
Namanya diambil dari Hellanodikai — para hakim di Olimpiade Yunani kuno yang bertugas menjaga aturan dan keadilan pertandingan. Cocok untuk proyek yang menyentuh domain hukum.
Base Model
Saya pakai GoToCompany/llama3-8b-cpt-sahabatai-v1-instruct sebagai base — varian Llama 3 8B yang sudah di-continued pretrain untuk Bahasa Indonesia oleh tim Sahabat-AI (GoTo). Ini pilihan yang masuk akal dibanding fine-tune dari Llama 3 base langsung, karena pemahaman konteks Bahasa Indonesia-nya sudah lebih baik dari awal.
Setup Fine-Tuning
Karena laptop saya cuma Ryzen 3 3200G tanpa GPU dedicated, semua training dilakukan di Kaggle free-tier T4 GPU, menggunakan Unsloth untuk mempercepat proses (klaimnya 2x lebih cepat dari training standar) dan Hugging Face TRL (SFTTrainer) untuk supervised fine-tuning.
Metode fine-tuning-nya LoRA (Low-Rank Adaptation), bukan full fine-tuning — jauh lebih ringan secara memori dan waktu:
| Parameter | Nilai |
|---|---|
| Rank (r) | 16 |
| Alpha | 32 |
| Dropout | 0.05 |
| Target modules | q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj |
Target modules-nya mencakup seluruh linear layer (attention + MLP), bukan cuma attention saja — supaya adaptasi ke domain baru lebih menyeluruh.
Hasil Training
Training selesai dalam ~56 menit (12 epoch, 60 step). Training loss turun sampai 0.02 di akhir.
Catatan jujur: dengan hanya 60 step dibagi 12 epoch, dataset yang saya pakai memang masih kecil. Loss serendah itu di dataset kecil biasanya artinya model lebih menghafal pola data training, bukan benar-benar menguasai domain hukum secara luas. Ini bukan model yang siap dipakai untuk konsultasi hukum sungguhan — statusnya masih proof-of-concept untuk belajar pipeline fine-tuning end-to-end.
Dari Adapter ke GGUF
Setelah training, adapter LoRA (~168MB) saya merge ke base model lalu quantize ke format GGUF (Q4_K_M) supaya bisa dijalankan lokal lewat llama.cpp, Ollama, atau LM Studio — tanpa perlu GPU sama sekali saat inference.
ollama run hf.co/icaluwu/Llama-HellanodikAI-8B:Q4_K_M
Lisensi
Karena model ini turunan dari Llama 3 (via Sahabat-AI), saya tetap terikat Llama 3 Community License dari Meta. Di atas itu, saya menambahkan lapisan lisensi sendiri — CC BY-NC 4.0 dengan syarat tambahan: gratis untuk riset/akademik dengan atribusi, sementara penggunaan komersial perlu izin tertulis lebih dulu.
Coba Sendiri
Model dan source code-nya open di:
- 🤗 Hugging Face: icaluwu/Llama-HellanodikAI-8B
- 💻 GitHub: icaluwu/HellanodikAI
Kalau ada yang punya saran soal cara memperbesar dataset training atau teknik fine-tuning lain yang lebih efisien di resource terbatas, saya sangat terbuka untuk diskusi.