Penggunaan bahasa isyarat sebagai media komunikasi utama bagi penyandang tunarungu menghadirkan tantangan tersendiri dalam integrasi teknologi pengenalan gerakan. Salah satu permasalahan utama adalah bagaimana mengenali gesture secara real-time dengan akurasi tinggi dalam kondisi lingkungan yang bervariasi. Berdasarkan hal tersebut, penelitian ini dilakukan untuk merancang dan mengembangkan sistem pengenalan huruf dan kata dalam American Sign Language (ASL) secara real-time menggunakan pendekatan deep learning.
Penelitian ini menggunakan dua dataset, yaitu ASL alfabet dan WLASL (Word-Level ASL). Proses dimulai dari ekstraksi pose dan hand landmark menggunakan MediaPipe, dilanjutkan dengan preprocessing dan augmentasi data untuk meningkatkan variasi data pelatihan. Model Feedforward Neural Network (FNN) digunakan untuk mengenali huruf, sedangkan model Bidirecitional Long Short-Term Memory (BiLSTM) dengan mekanisme Attention digunakan untuk mengenali gesture kata berbasis urutan. Evaluasi dilakukan dengan metrik akurasi, Precision, Recall, F1-Score, serta K-Fold Cross-Validation.
Hasil pelatihan model menunjukkan bahwa sistem mampu mengenali huruf dengan akurasi 99%, Precision 99%, Recall 99%, F1-Score 99% dan gesture kata dengan akurasi 78%, Precision 82%, Recall 80%, F1-Score 79%. Penggunaan mekanisme Attention terbukti meningkatkan performa BiLSTM dalam membedakan gesture kata. Sistem mampu berjalan secara real-time dengan kecepatan 15–20 FPS dan CPU usage 70% pada laptop kelas menengah. Temuan ini menunjukkan potensi pengembangan sistem pengenal bahasa isyarat yang efisien dan adaptif.