Ancaman serangan digital yang terus meningkat di Indonesia, khususnya pada sektor pemerintahan sehingga menyoroti pentingnya sistem deteksi dini terhadap serangan digital, termasuk yang disisipkan melalui dokumen digital seperti file PDF. File PDF sering dimanfaatkan oleh pelaku kejahatan digital sebagai media penyebaran malware karena fleksibilitasnya dalam menyisipkan elemen-elemen aktif seperti JavaScript, embedded files, dan URI. Sayangnya, metode deteksi tradisional berbasis tanda tangan (signature-based) memiliki keterbatasan, terutama dalam mendeteksi jenis malware baru yang bersifat polymorphic dan evasive. Oleh karena itu, diperlukan pendekatan berbasis machine learning yang mampu mempelajari pola anomali secara adaptif. Penelitian ini difokuskan pada pengembangan dan evaluasi algoritma Support Vector Machine (SVM) untuk mendeteksi malware dalam file PDF, serta membandingkan kinerjanya dengan algoritma Random Forest.
Penelitian dilakukan dengan menggunakan dataset Evasive-PDFMal2022, yang terdiri dari 18.126 file PDF (9.063 malicious dan 9.063 benign). Tahapan penelitian dimulai dari studi literatur, pengumpulan dan analisis dataset, hingga preprocessing data menggunakan teknik normalisasi, encoding atribut kategorikal, serta pembagian data menjadi training dan testing set. Dua model klasifikasi kemudian dikembangkan, masing-masing menggunakan algoritma SVM dan Random Forest. Model dievaluasi menggunakan metrik accuracy, precision, recall, F1-score, dan AUC (Area Under Curve) untuk mengukur performa dalam membedakan file benign dan malicious. Proses implementasi dilakukan menggunakan RapidMiner dengan optimasi parameter melalui metode Grid Search dan Cross-Validation untuk meningkatkan akurasi dan menghindari overfitting.
Hasil evaluasi menunjukkan bahwa model SVM mampu mencapai akurasi sebesar 99,34% dengan nilai F1-Score yang seimbang antara kelas benign dan malicious. Sementara itu, model Random Forest menunjukkan performa lebih tinggi dengan accuracy 99,83% dan nilai precision, recall, serta F1-score yang konsisten di atas 99,8% untuk kedua kelas. Perbandingan performa menunjukkan bahwa meskipun SVM cukup andal, Random Forest memiliki keunggulan dalam stabilitas dan akurasi deteksi. Penelitian ini menyimpulkan bahwa metode machine learning, khususnya SVM dan Random Forest, sangat potensial untuk diterapkan dalam sistem deteksi malware pada file PDF, dan dapat menjadi solusi alternatif terhadap keterbatasan metode deteksi konvensional.