Pengenalan wajah dan pengenalan ekspresi wajah merupakan salah satu
tantangan di bidang penglihatan komputer. Kombinasi pengenalan wajah dan
pengenalan ekspresi wajah menjadi tantangan lain karena harus dilakukan pelatihan
untuk mengenali wajah dan ekspresi wajah. Sehingga, wajah orang tersebut bisa
dikenali beserta dengan ekspresinya. Di dalam penelitian ini, pre-trained model,
MobileNet, MobileNetV2, dan VGG-16 diterapkan dan dilatih menggunakan
transfer learning dengan fine-tuning untuk pengenalan wajah dan pengenalan
ekspresi wajah. Deteksi dan pelurusan wajah digunakan untuk mendeteksi dan
meluruskan wajah dalam gambar, sementara model-model tersebut digunakan
untuk mengenali wajah dan ekspresinya. Georgia Tech Face Database, AT&T Face
Database, dan FEI Face Database digunakan untuk pengenalan wajah dan RAF-DB
dengan tujuh ekspresi, seperti marah, sedih, netral, bahagia, terkejut, jijik, dan takut,
digunakan untuk pengenalan ekspresi wajah. Hasilnya menunjukkan bahwa
MobileNet mencapai kinerja yang lebih tinggi pada RAF-DB dengan akurasi
sebesar 84,52%. MobileNet dapat mencapai akurasi 100% pada tiga dataset
pengenalan wajah, Georgia Tech Face Database, AT&T Face Database, dan FEI
Face Database, sedangkan MobileNetV2 dan VGG-16 mencapai 100% pada
Georgia Tech dan AT&T Face Database. Sementara untuk dataset RAF-DB dan
FEI Face Database, MobileNetV2 masing-masing mencapai 83,83% dan 99,52%,
sedangkan VGG-16 masing-masing mencapai 83,74% dan 96,19%.