16 lines
1.7 KiB
Markdown
16 lines
1.7 KiB
Markdown
# Kesimpulan Lab 3
|
|
|
|
**Tabel hasil** (15 pertanyaan uji, 3 dokumen, overlap 15%)
|
|
|
|
| Ukuran chunk | Jumlah chunk | Hit@1 | Hit@3 | Hit@5 | MRR |
|
|
|---|---|---|---|---|---|
|
|
| 500 | 25 | 0,60 | 1,00 | 1,00 | 0,77 |
|
|
| 1000 | 13 | 0,33 | 0,80 | 0,87 | 0,55 |
|
|
| 1500 | 10 | 0,47 | 0,53 | 0,73 | 0,54 |
|
|
|
|
**Kesimpulan:**
|
|
1. Ukuran chunk yang paling baik adalah 500 karakter karena Hit@3 = 1,00 dan MRR = 0,77 paling tinggi; semua pertanyaan terjawab dalam top-3.
|
|
2. Pertanyaan yang gagal masuk top-5: pada ukuran 1000 ada 2 ("Berapa karakter minimal kata sandi akun kampus?" dan "Apakah boleh memakai laptop untuk bermain game saat kuliah berlangsung?"); pada ukuran 1500 ada 4 (SKS maksimum untuk IPS di atas 3,00; lama cuti akademik; batas waktu lapor insiden; dan "berhenti kuliah sementara waktu"). Pada ukuran 500 tidak ada yang gagal.
|
|
3. Dugaan penyebab: (a) chunk terlalu besar sehingga relevansi mengabur: rata-rata chunk memuat 1,9 pasal pada ukuran 500, 3,5 pasal pada 1000, dan 4,6 pasal pada 1500. Frasa "minimal 12 karakter" berada di chunk 1000 yang memuat 4 pasal (peminjaman perangkat, kata sandi, autentikasi dua faktor), dan "paling banyak dua semester" berada di chunk 1500 yang memuat 7 pasal (penilaian sampai kelulusan). (b) Pertanyaan parafrase tidak dekat dengan istilah dokumen: "laptop untuk bermain game" vs "perangkat elektronik untuk kegiatan di luar pembelajaran".
|
|
4. Keterbatasan evaluasi: pencocokan kata kunci kasar (chunk bisa memuat kata kunci tanpa benar-benar menjawab); hanya 15 pertanyaan pada 3 dokumen pendek (koleksi 1500 hanya 10 chunk, sehingga top-5 sudah separuh koleksi); dan urutan 1000 vs 1500 tidak konsisten (Hit@1 1500 = 0,47 > 1000 = 0,33), jadi tidak bisa disimpulkan bahwa makin besar chunk selalu makin buruk.
|