Austin, Evan (2026) ANALISIS PERBANDINGAN METODE ZERO-SHOT DAN FEW-SHOT PROMPTING DALAM PEMBUATAN CHATBOT CUSTOMER SERVICE BERBASIS LLM UNTUK WEBSITE PROFIL PERUSAHAAN PT. SAMUDRA TEKNIK SEJAHTERA. S1 thesis, UNIVERSITAS ATMA JAYA YOGYAKARTA.
221712040_Bab 0.pdf
File Pdf (844kB)
221712040_Bab 1.pdf
File Pdf (862kB)
221712040_Bab 2.pdf
File Pdf (928kB)
221712040_Bab 3.pdf
Restricted to Registered users only
File Pdf (1MB)
221712040_Bab 4.pdf
Restricted to Registered users only
File Pdf (3MB)
221712040_Bab 5.pdf
File Pdf (834kB)
Abstract
Perkembangan teknologi kecerdasan buatan, khususnya Large Language Model (LLM), telah mendorong
kebutuhan otomatisasi layanan pelanggan pada platform digital. Penelitian ini bertujuan menganalisis
perbandingan efektivitas metode Zero-shot Prompting dan Few-shot Prompting dalam pengembangan
chatbot customer service berbasis LLM pada website profil perusahaan PT. Samudra Teknik Sejahtera.
Metodologi penelitian mencakup pengumpulan data melalui wawancara dengan tim CS dan dokumentasi
internal perusahaan, dilanjutkan dengan tahap data cleaning, konfigurasi knowledge base yang dibuat
identik pada kedua metode, serta evaluasi performa komparatif menggunakan model meta-llama/llama-4-
scout-17b-16e-instruct melalui Groq API dengan arsitektur RAG. Pengujian dilakukan terhadap 5 case yang
mewakili lima kategori pertanyaan, dinilai langsung oleh expert customer service perusahaan menggunakan
skala Ya/Tidak pada lima metrik: akurasi, konsistensi, robustness, penanganan pertanyaan repetitif, dan
kemampuan penalaran. Hasil evaluasi menunjukkan Few-shot Prompting memperoleh skor rata-rata 88%,
sedikit lebih unggul dibandingkan Zero-shot Prompting yang memperoleh 84%, dengan keunggulan yang
tidak merata di seluruh metrik: Few-shot unggul pada konsistensi dan robustness, Zero-shot unggul pada
penalaran, sementara akurasi dan penanganan pertanyaan repetitif setara pada kedua metode. Penelitian
ini juga menemukan bahwa Few-shot Prompting memerlukan token lebih besar dan waktu kurasi contoh
percakapan yang lebih panjang dibandingkan Zero-shot. Penelitian ini menyimpulkan bahwa pemilihan
metode prompting untuk implementasi chatbot customer service sebaiknya mempertimbangkan konteks
penggunaan: Few-shot Prompting lebih sesuai ketika konsistensi format jawaban dan kepatuhan terhadap
detail spesifik perusahaan menjadi prioritas, sedangkan Zero-shot Prompting tetap menjadi pilihan yang
rasional ketika efisiensi biaya token dan kecepatan implementasi lebih diutamakan.
| Item Type: | Thesis (S1) |
|---|---|
| Uncontrolled Keywords: | Large Language Model; Chatbot Customer service; Zero-shot Prompting; Few-shot Prompting; Retrieval-Augmented Generation |
| Subjects: | Sistem Informasi |
| Divisions: | Fakultas Teknologi Industri > Sistem Informasi |
| Date Deposited: | 09 Nov 2026 01:43 |
| Last Modified: | 09 Nov 2026 01:43 |
| URI: | https://repository.uajy.ac.id/id/eprint/38116 |
