Kesimpulan Lab 3

Tabel hasil (15 pertanyaan uji, 3 dokumen, overlap 15%)

Ukuran chunk	Jumlah chunk	Hit@1	Hit@3	Hit@5	MRR
500	25	0,60	1,00	1,00	0,77
1000	13	0,33	0,80	0,87	0,55
1500	10	0,47	0,53	0,73	0,54

Kesimpulan:

Ukuran chunk yang paling baik adalah 500 karakter karena Hit@3 = 1,00 dan MRR = 0,77 paling tinggi; semua pertanyaan terjawab dalam top-3.
Pertanyaan yang gagal masuk top-5: pada ukuran 1000 ada 2 ("Berapa karakter minimal kata sandi akun kampus?" dan "Apakah boleh memakai laptop untuk bermain game saat kuliah berlangsung?"); pada ukuran 1500 ada 4 (SKS maksimum untuk IPS di atas 3,00; lama cuti akademik; batas waktu lapor insiden; dan "berhenti kuliah sementara waktu"). Pada ukuran 500 tidak ada yang gagal.
Dugaan penyebab: (a) chunk terlalu besar sehingga relevansi mengabur: rata-rata chunk memuat 1,9 pasal pada ukuran 500, 3,5 pasal pada 1000, dan 4,6 pasal pada 1500. Frasa "minimal 12 karakter" berada di chunk 1000 yang memuat 4 pasal (peminjaman perangkat, kata sandi, autentikasi dua faktor), dan "paling banyak dua semester" berada di chunk 1500 yang memuat 7 pasal (penilaian sampai kelulusan). (b) Pertanyaan parafrase tidak dekat dengan istilah dokumen: "laptop untuk bermain game" vs "perangkat elektronik untuk kegiatan di luar pembelajaran".
Keterbatasan evaluasi: pencocokan kata kunci kasar (chunk bisa memuat kata kunci tanpa benar-benar menjawab); hanya 15 pertanyaan pada 3 dokumen pendek (koleksi 1500 hanya 10 chunk, sehingga top-5 sudah separuh koleksi); dan urutan 1000 vs 1500 tidak konsisten (Hit@1 1500 = 0,47 > 1000 = 0,33), jadi tidak bisa disimpulkan bahwa makin besar chunk selalu makin buruk.