"""Lab 2 - Bangun indeks & cari (25 menit).

1. Letakkan 2-3 PDF di folder dokumen/, jalankan indeks, pastikan tiap file melaporkan jumlah chunk.
2. Ajukan 5 pertanyaan dengan query(); periksa apakah chunk teratas benar-benar relevan.
3. Ajukan 2 pertanyaan berparafrase; apakah pencarian semantik tetap menemukannya?
"""
import io
import os
import sys
from contextlib import redirect_stdout

sys.path.insert(0, os.path.dirname(os.path.abspath(__file__)))
from laporan_utils import Laporan
from rag_utils import bangun_indeks, cocok, query

BASE = os.path.dirname(os.path.abspath(__file__))
UKURAN, OVERLAP = 1000, 0.15

# kw = kata kunci yang HARUS ada di chunk teratas agar dianggap relevan
PERTANYAAN = [
    {"q": "Siapa yang memperkenalkan RAG dan pada tahun berapa?", "kw": ["Lewis", "2020"]},
    {"q": "Berapa dimensi embedding yang dihasilkan model MiniLM?", "kw": ["384"]},
    {"q": "Apa itu overfitting dan apa cirinya?", "kw": ["overfitting", "data latih"]},
    {"q": "Undang-undang apa yang mengatur pelindungan data pribadi di Indonesia?", "kw": ["27 Tahun 2022"]},
    {"q": "Bagaimana cara memitigasi prompt injection?", "kw": ["memisahkan instruksi"]},
]
PARAFRASE = [
    {"q": "Bagaimana mencegah model bahasa mengarang jawaban yang keliru?", "kw": ["halusinasi"],
     "catatan": "Teks memakai kata 'halusinasi'; pertanyaan memakai 'mengarang jawaban yang keliru'."},
    {"q": "Kapan sebuah model dianggap terlalu menghafal data latihan?", "kw": ["overfitting"],
     "catatan": "Teks memakai 'overfitting' dan 'data latih'; pertanyaan memakai 'menghafal' dan 'data latihan'."},
]


def ringkas(t, n=150):
    t = " ".join(t.split())
    return t if len(t) <= n else t[:n] + "..."


def jalankan(indeks, daftar, k=3):
    hasil = []
    for s in daftar:
        atas = query(indeks, s["q"], k)
        rel = [cocok(a["teks"], s["kw"]) for a in atas]
        hasil.append((s, atas, rel))
    return hasil


def main():
    # ---- Langkah 1
    print("=== Langkah 1: membangun indeks ===")
    buf = io.StringIO()
    with redirect_stdout(buf):
        idx = bangun_indeks(ukuran=UKURAN, overlap=OVERLAP, backend="auto")
    log_indeks = buf.getvalue()
    print(log_indeks)
    idx_leksikal = bangun_indeks(ukuran=UKURAN, overlap=OVERLAP, backend="tfidf", verbose=False)
    per_file = {}
    for m in idx.meta:
        per_file[m["file"]] = per_file.get(m["file"], 0) + 1

    # ---- Langkah 2
    print("=== Langkah 2: 5 pertanyaan ===")
    h2 = jalankan(idx, PERTANYAAN)
    for s, atas, rel in h2:
        print(f"\nQ: {s['q']}  (kata kunci: {s['kw']})")
        for r, (a, ok) in enumerate(zip(atas, rel), 1):
            print(f"  #{r} skor={a['skor']:.3f} {a['file']}#{a['no']} relevan={ok} | {ringkas(a['teks'])}")
    n_top1 = sum(rel[0] for _, _, rel in h2)
    n_top3 = sum(any(rel) for _, _, rel in h2)

    # ---- Langkah 3
    print("\n=== Langkah 3: parafrase ===")
    sem = jalankan(idx, PARAFRASE)
    lek = jalankan(idx_leksikal, PARAFRASE)
    for (s, a1, r1), (_, a2, r2) in zip(sem, lek):
        print(f"\nQ: {s['q']}")
        print(f"  {idx.backend}: top1 relevan={r1[0]} top3 relevan={any(r1)} | {a1[0]['file']}#{a1[0]['no']}")
        print(f"  tfidf : top1 relevan={r2[0]} top3 relevan={any(r2)} | {a2[0]['file']}#{a2[0]['no']}")

    # ---- Kesimpulan dari angka
    sem_top3 = sum(any(r) for _, _, r in sem)
    lek_top3 = sum(any(r) for _, _, r in lek)
    sem_top1 = sum(r[0] for _, _, r in sem)
    lek_top1 = sum(r[0] for _, _, r in lek)
    kes = (f"Pada 5 pertanyaan langsung, chunk peringkat 1 relevan pada {n_top1}/5 pertanyaan dan salah satu dari "
           f"3 chunk teratas relevan pada {n_top3}/5 pertanyaan. Pada 2 pertanyaan parafrase, backend "
           f"'{idx.backend}' menemukan chunk relevan di peringkat 1 pada {sem_top1}/2 dan di 3 teratas pada "
           f"{sem_top3}/2, sedangkan pembanding TF-IDF (kecocokan bentuk kata) {lek_top1}/2 dan {lek_top3}/2. ")
    gagal_top1 = [s["q"] for s, atas, rel in h2 if not rel[0]]
    if gagal_top1:
        kes += ("Pertanyaan yang chunk peringkat 1-nya belum relevan: " + "; ".join(f'"{q}"' for q in gagal_top1) +
                ". Penyebab yang paling mungkin: kalimat jawaban terbelah di batas chunk sehingga kata kuncinya "
                "terpisah, sementara chunk di sebelahnya memuat topik yang mirip. ")
    if sem_top1 == lek_top1 and sem_top3 == lek_top3:
        kes += ("Pada dua parafrase ini, semantik dan TF-IDF memberi hasil yang sama, jadi tes ini belum bisa "
                "membedakan keduanya: pertanyaan masih berbagi akar kata dengan teks (model, jawaban, data latih) "
                "dan TF-IDF n-gram karakter menangkap variasi bentuk kata. ")
    if idx.backend == "lsa":
        kes += ("Catatan: backend LSA hanya semantik ringan (hubungan antar kata dipelajari dari korpus yang kecil), "
                "sehingga parafrase yang benar-benar tidak berbagi kata akan sulit. Untuk hasil lebih kuat, pasang "
                "sentence-transformers; kode ini otomatis memakainya.")
    print("\nKesimpulan:", kes)

    # ---- Laporan PDF
    L = Laporan(os.path.join(BASE, "Lab2_Indeks_dan_Pencarian.pdf"), "Lab 2 - Bangun Indeks & Cari",
                f"ukuran chunk {UKURAN}, overlap {int(OVERLAP * 100)}%, backend: {idx.backend}")
    L.h1("Langkah 1. Membangun indeks")
    L.p("Tiga PDF diletakkan di folder dokumen/. Setiap file melaporkan jumlah chunk-nya:")
    L.tabel([["File", "Jumlah chunk"]] + [[f, n] for f, n in per_file.items()] + [["Total", len(idx.chunks)]],
            [9 * 28.35, 4 * 28.35])
    L.kode(log_indeks.rstrip())
    L.h1("Langkah 2. Lima pertanyaan dan pemeriksaan chunk teratas")
    L.p("Sebuah chunk dianggap relevan bila memuat semua kata kunci jawaban. Tabel menunjukkan 3 chunk teratas.")
    for s, atas, rel in h2:
        L.h2(s["q"])
        L.tabel([["Peringkat", "Skor", "Sumber", "Relevan?", "Cuplikan"]] +
                [[r, f"{a['skor']:.3f}", f"{a['file']} #{a['no']}", "ya" if ok else "tidak", ringkas(a["teks"], 140)]
                 for r, (a, ok) in enumerate(zip(atas, rel), 1)],
                [1.6 * 28.35, 1.3 * 28.35, 3.8 * 28.35, 1.6 * 28.35, 8.7 * 28.35])
    L.p(f"Ringkasan: chunk peringkat 1 relevan pada {n_top1}/5 pertanyaan; ada chunk relevan di 3 teratas pada {n_top3}/5.")
    L.h1("Langkah 3. Pertanyaan berparafrase")
    L.p("Dua pertanyaan memakai kata yang berbeda dari teks dokumen. Dibandingkan: pencarian semantik "
        f"({idx.backend}) vs TF-IDF.")
    baris = [["Pertanyaan", "Catatan", f"{idx.backend}: top1 / top3", "TF-IDF: top1 / top3"]]
    for (s, a1, r1), (_, a2, r2) in zip(sem, lek):
        baris.append([s["q"], s["catatan"], f"{'ya' if r1[0] else 'tidak'} / {'ya' if any(r1) else 'tidak'}",
                      f"{'ya' if r2[0] else 'tidak'} / {'ya' if any(r2) else 'tidak'}"])
    L.tabel(baris, [5 * 28.35, 6 * 28.35, 3 * 28.35, 3 * 28.35])
    for (s, a1, r1), _ in zip(sem, lek):
        L.p(f"Chunk teratas untuk \"{s['q']}\": {a1[0]['file']} #{a1[0]['no']} (skor {a1[0]['skor']:.3f})")
        L.kode(ringkas(a1[0]["teks"], 400))
    L.h1("Kesimpulan")
    L.p(kes)
    L.halaman_baru()
    L.h1("Lampiran: kode lab2_indeks_cari.py")
    L.kode(open(__file__, encoding="utf-8").read())
    L.simpan()
    print("\nLaporan: Lab2_Indeks_dan_Pencarian.pdf")


if __name__ == "__main__":
    main()