Tugas P-10: RAG Part 1 (Lab 1-3)

2026-11-02 15:32:35 +07:00
commit 3872cf11a3
19 changed files with 830 additions and 0 deletions
@@ -0,0 +1,15 @@
+# Kesimpulan Lab 3
+
+**Tabel hasil** (15 pertanyaan uji, 3 dokumen, overlap 15%)
+
+| Ukuran chunk | Jumlah chunk | Hit@1 | Hit@3 | Hit@5 | MRR |
+|---|---|---|---|---|---|
+| 500  | 25 | 0,60 | 1,00 | 1,00 | 0,77 |
+| 1000 | 13 | 0,33 | 0,80 | 0,87 | 0,55 |
+| 1500 | 10 | 0,47 | 0,53 | 0,73 | 0,54 |
+
+**Kesimpulan:**
+1. Ukuran chunk yang paling baik adalah 500 karakter karena Hit@3 = 1,00 dan MRR = 0,77 paling tinggi; semua pertanyaan terjawab dalam top-3.
+2. Pertanyaan yang gagal masuk top-5: pada ukuran 1000 ada 2 ("Berapa karakter minimal kata sandi akun kampus?" dan "Apakah boleh memakai laptop untuk bermain game saat kuliah berlangsung?"); pada ukuran 1500 ada 4 (SKS maksimum untuk IPS di atas 3,00; lama cuti akademik; batas waktu lapor insiden; dan "berhenti kuliah sementara waktu"). Pada ukuran 500 tidak ada yang gagal.
+3. Dugaan penyebab: (a) chunk terlalu besar sehingga relevansi mengabur: rata-rata chunk memuat 1,9 pasal pada ukuran 500, 3,5 pasal pada 1000, dan 4,6 pasal pada 1500. Frasa "minimal 12 karakter" berada di chunk 1000 yang memuat 4 pasal (peminjaman perangkat, kata sandi, autentikasi dua faktor), dan "paling banyak dua semester" berada di chunk 1500 yang memuat 7 pasal (penilaian sampai kelulusan). (b) Pertanyaan parafrase tidak dekat dengan istilah dokumen: "laptop untuk bermain game" vs "perangkat elektronik untuk kegiatan di luar pembelajaran".
+4. Keterbatasan evaluasi: pencocokan kata kunci kasar (chunk bisa memuat kata kunci tanpa benar-benar menjawab); hanya 15 pertanyaan pada 3 dokumen pendek (koleksi 1500 hanya 10 chunk, sehingga top-5 sudah separuh koleksi); dan urutan 1000 vs 1500 tidak konsisten (Hit@1 1500 = 0,47 > 1000 = 0,33), jadi tidak bisa disimpulkan bahwa makin besar chunk selalu makin buruk.