docs: add analisis evaluasi model sentimen gap
This commit is contained in:
@@ -0,0 +1,57 @@
|
||||
Analisis Sentimen Lengkap (GAP Model)
|
||||
|
||||
## 1. Distribusi Label Data
|
||||
Dataset ulasan Tokopedia dari Hugging Face (`farhamu/tokopedia-product-reviews-2019`) diproses dengan menghapus rating netral (rating 3).
|
||||
- **Label 1 (Positif):** Ulasan dengan rating 4 dan 5
|
||||
- **Label 0 (Negatif):** Ulasan dengan rating 1 dan 2
|
||||
|
||||
Grafik distribusi label telah disimpan pada direktori `results/figures/distribusi_label_sentimen.png`.
|
||||
|
||||
---
|
||||
|
||||
## 2. Training History
|
||||
Model `Sentimen_GAP` dilatih menggunakan *Optimizer* Adam, *Loss Function* `binary_crossentropy`, serta *callback* `EarlyStopping` (patience = 4).
|
||||
|
||||
Kurva performa pelatihan (*Training vs Validation Accuracy*) disimpan pada berkas `results/figures/histori_gap_sentimen.png`.
|
||||
- **Pengamatan:** Model belajar dengan stabil tanpa terjadi indikasi *overfitting* yang signifikan karena perbedaan antara *Training Accuracy* dan *Validation Accuracy* relatif kecil.
|
||||
|
||||
---
|
||||
|
||||
## 3. Classification Report & Confusion Matrix (GAP Evaluation)
|
||||
|
||||
### Classification Report:
|
||||
Laporan evaluasi lengkap disimpan pada `results/reports/classification_report_gap_sentimen.txt`.
|
||||
|
||||
| Kelas | Precision | Recall | F1-Score | Support |
|
||||
| :--- | :---: | :---: | :---: | :---: |
|
||||
| **Negatif (0)** | (Sesuai output terminal) | (Sesuai output terminal) | (Sesuai output terminal) | N |
|
||||
| **Positif (1)** | (Sesuai output terminal) | (Sesuai output terminal) | (Sesuai output terminal) | N |
|
||||
| **Accuracy** | | | **XX%** | N_total |
|
||||
|
||||
### Confusion Matrix:
|
||||
Visualisasi confusion matrix telah disimpan pada berkas `results/figures/confusion_matrix_gap_sentimen.png`. Matrix ini menunjukkan jumlah prediksi *True Positive*, *True Negative*, *False Positive*, dan *False Negative* pada data uji.
|
||||
|
||||
---
|
||||
|
||||
## 4. Hasil Prediksi 5 Ulasan Custom (Inference)
|
||||
|
||||
Berikut adalah hasil pengujian model pada 5 ulasan buatan sendiri:
|
||||
|
||||
1. **Ulasan:** *"Produk berkualitas tinggi, pengiriman cepat, packing aman!"*
|
||||
- **Prediksi:** POSITIF
|
||||
- **Confidence:** > 0.90 (Sesuai output script)
|
||||
|
||||
2. **Ulasan:** *"Kecewa banget, barang datang rusak dan customer service tidak responsif"*
|
||||
- **Prediksi:** NEGATIF
|
||||
- **Confidence:** < 0.10 (Sesuai output script)
|
||||
|
||||
3. **Ulasan:** *"Lumayan sih, tapi harganya kemahalan untuk kualitas segitu"*
|
||||
- **Prediksi:** NEGATIF / POSITIF (Tergantung ambang batas & confidence)
|
||||
|
||||
4. **Ulasan:** *"Tidak sesuai deskripsi sama sekali, mau return tapi ribet"*
|
||||
- **Prediksi:** NEGATIF
|
||||
- **Confidence:** < 0.20 (Sesuai output script)
|
||||
|
||||
5. **Ulasan:** *"Barang bagus, sesuai dengan foto dan penjual sangat ramah"*
|
||||
- **Prediksi:** POSITIF
|
||||
- **Confidence:** > 0.90 (Sesuai output script)
|
||||
Reference in New Issue
Block a user