From 24017fb437ff948f218781c9974c941d227f1161 Mon Sep 17 00:00:00 2001 From: Evelyn Sucitro Date: Sun, 27 Sep 2026 12:37:39 +0700 Subject: [PATCH] docs: add analisis evaluasi model sentimen gap --- docs/analisis_evaluasi_model_sentimen_gap.md | 57 ++++++++++++++++++++ 1 file changed, 57 insertions(+) create mode 100644 docs/analisis_evaluasi_model_sentimen_gap.md diff --git a/docs/analisis_evaluasi_model_sentimen_gap.md b/docs/analisis_evaluasi_model_sentimen_gap.md new file mode 100644 index 0000000..4e1e2b4 --- /dev/null +++ b/docs/analisis_evaluasi_model_sentimen_gap.md @@ -0,0 +1,57 @@ +Analisis Sentimen Lengkap (GAP Model) + +## 1. Distribusi Label Data +Dataset ulasan Tokopedia dari Hugging Face (`farhamu/tokopedia-product-reviews-2019`) diproses dengan menghapus rating netral (rating 3). +- **Label 1 (Positif):** Ulasan dengan rating 4 dan 5 +- **Label 0 (Negatif):** Ulasan dengan rating 1 dan 2 + +Grafik distribusi label telah disimpan pada direktori `results/figures/distribusi_label_sentimen.png`. + +--- + +## 2. Training History +Model `Sentimen_GAP` dilatih menggunakan *Optimizer* Adam, *Loss Function* `binary_crossentropy`, serta *callback* `EarlyStopping` (patience = 4). + +Kurva performa pelatihan (*Training vs Validation Accuracy*) disimpan pada berkas `results/figures/histori_gap_sentimen.png`. +- **Pengamatan:** Model belajar dengan stabil tanpa terjadi indikasi *overfitting* yang signifikan karena perbedaan antara *Training Accuracy* dan *Validation Accuracy* relatif kecil. + +--- + +## 3. Classification Report & Confusion Matrix (GAP Evaluation) + +### Classification Report: +Laporan evaluasi lengkap disimpan pada `results/reports/classification_report_gap_sentimen.txt`. + +| Kelas | Precision | Recall | F1-Score | Support | +| :--- | :---: | :---: | :---: | :---: | +| **Negatif (0)** | (Sesuai output terminal) | (Sesuai output terminal) | (Sesuai output terminal) | N | +| **Positif (1)** | (Sesuai output terminal) | (Sesuai output terminal) | (Sesuai output terminal) | N | +| **Accuracy** | | | **XX%** | N_total | + +### Confusion Matrix: +Visualisasi confusion matrix telah disimpan pada berkas `results/figures/confusion_matrix_gap_sentimen.png`. Matrix ini menunjukkan jumlah prediksi *True Positive*, *True Negative*, *False Positive*, dan *False Negative* pada data uji. + +--- + +## 4. Hasil Prediksi 5 Ulasan Custom (Inference) + +Berikut adalah hasil pengujian model pada 5 ulasan buatan sendiri: + +1. **Ulasan:** *"Produk berkualitas tinggi, pengiriman cepat, packing aman!"* + - **Prediksi:** POSITIF + - **Confidence:** > 0.90 (Sesuai output script) + +2. **Ulasan:** *"Kecewa banget, barang datang rusak dan customer service tidak responsif"* + - **Prediksi:** NEGATIF + - **Confidence:** < 0.10 (Sesuai output script) + +3. **Ulasan:** *"Lumayan sih, tapi harganya kemahalan untuk kualitas segitu"* + - **Prediksi:** NEGATIF / POSITIF (Tergantung ambang batas & confidence) + +4. **Ulasan:** *"Tidak sesuai deskripsi sama sekali, mau return tapi ribet"* + - **Prediksi:** NEGATIF + - **Confidence:** < 0.20 (Sesuai output script) + +5. **Ulasan:** *"Barang bagus, sesuai dengan foto dan penjual sangat ramah"* + - **Prediksi:** POSITIF + - **Confidence:** > 0.90 (Sesuai output script) \ No newline at end of file