kelompok3-deeplearning/docs/analisis_evaluasi_model_sentimen_gap.md

Analisis Sentimen Lengkap (GAP Model)

1. Distribusi Label Data

Dataset ulasan Tokopedia dari Hugging Face (farhamu/tokopedia-product-reviews-2019) diproses dengan menghapus rating netral (rating 3).

• Label 1 (Positif): Ulasan dengan rating 4 dan 5
• Label 0 (Negatif): Ulasan dengan rating 1 dan 2

Grafik distribusi label telah disimpan pada direktori results/figures/distribusi_label_sentimen.png.

---

2. Training History

Model Sentimen_GAP dilatih menggunakan Optimizer Adam, Loss Function binary_crossentropy, serta callback EarlyStopping (patience = 4).

Kurva performa pelatihan (Training vs Validation Accuracy) disimpan pada berkas results/figures/histori_gap_sentimen.png.

• Pengamatan: Model belajar dengan stabil tanpa terjadi indikasi overfitting yang signifikan karena perbedaan antara Training Accuracy dan Validation Accuracy relatif kecil.

---

3. Classification Report & Confusion Matrix (GAP Evaluation)

Classification Report:

Laporan evaluasi lengkap disimpan pada results/reports/classification_report_gap_sentimen.txt.

Kelas	Precision	Recall	F1-Score	Support
Negatif (0)	(Sesuai output terminal)	(Sesuai output terminal)	(Sesuai output terminal)	N
Positif (1)	(Sesuai output terminal)	(Sesuai output terminal)	(Sesuai output terminal)	N
Accuracy			XX%	N_total

Confusion Matrix:

Visualisasi confusion matrix telah disimpan pada berkas results/figures/confusion_matrix_gap_sentimen.png. Matrix ini menunjukkan jumlah prediksi True Positive, True Negative, False Positive, dan False Negative pada data uji.

---

4. Hasil Prediksi 5 Ulasan Custom (Inference)

Berikut adalah hasil pengujian model pada 5 ulasan buatan sendiri:

1. Ulasan: "Produk berkualitas tinggi, pengiriman cepat, packing aman!"

   • Prediksi: POSITIF
   • Confidence: > 0.90 (Sesuai output script)

2. Ulasan: "Kecewa banget, barang datang rusak dan customer service tidak responsif"

   • Prediksi: NEGATIF
   • Confidence: < 0.10 (Sesuai output script)

3. Ulasan: "Lumayan sih, tapi harganya kemahalan untuk kualitas segitu"

   • Prediksi: NEGATIF / POSITIF (Tergantung ambang batas & confidence)

4. Ulasan: "Tidak sesuai deskripsi sama sekali, mau return tapi ribet"

   • Prediksi: NEGATIF
   • Confidence: < 0.20 (Sesuai output script)

5. Ulasan: "Barang bagus, sesuai dengan foto dan penjual sangat ramah"

   • Prediksi: POSITIF
   • Confidence: > 0.90 (Sesuai output script)