Tingginya tingkat kegagalan proyek perangkat lunak menegaskan pentingnya inovasi dalam analisis kebutuhan, karena metode tradisional yang manual memakan cukup banyak waktu dan rentan kesalahan akibat ambiguitas bahasa alami serta perbedaan interpretasi manusia. Pembangunan model klasifikasi kebutuhan perangkat lunak berbasis deep learning dan membandingkan kinerjanya dengan baseline Large Language Model (LLM) GPT-4o, dengan fokus pada pembuatan dataset dan akurasi klasifikasi kalimat terstruktur perlu dilakukan untuk mengatasi permasalah tersebut.
Proses pembangunan meliputi preprocessing minimalis agar konteks linguistik tetap terjaga, serta augmentasi data menggunakan back translation untuk menyeimbangkan distribusi kelas. Evaluasi dilakukan pada LLM GPT-4o dengan few-shot prompting n-way k-shot dan pelatihan model Distil BERT, BERT Base, dan BERT Large dengan berbagai learning rate untuk menemukan konfigurasi terbaik dalam klasifikasi 12 kelas (FR dan 11 sub kategori NFR).
Hasil menunjukkan bahwa penambahan contoh (k-shot) dan teknik balancing meningkatkan akurasi dan f1-score, terutama pada kelas minoritas. Namun performa pendekatan prompting tidak memiliki kekuatan dibandingkan fine-tuning model. Learning rate optimal berbeda per model: 5e-5 untuk Distil BERT dan BERT Base, serta 1e-5 untuk BERT Large. Model BERT Base dengan balancing (BB_BLN) memberikan performa terbaik secara keseluruhan, Distil BERT lebih efisien dan stabil, sementara BERT Large unggul pada data kompleks. Teknik balancing terbukti signifikan meningkatkan performa klasifikasi.