Skor relevansi anatara query dan dokumen, dengan membuat perangkingkangan.

- Exact Top K
 Mengambil sebanyak k dokumen yang teratas berdasarkan relevansi (cosine similarity)
- Inexact Top K
 Index Elimination  hanya mempertimbangkan dokumen yang dianggap sudah mendekati
relevansi (dengan idf). Kalau idf=0 maka dokumen tidak bisa dianggap dokumen unik. 
melakukan eliminasi terhadpa dokumne dokume yang tidak relevan
 Champion List  dihitung nilai index,

 Kriteria bagi Search Engine

 Seberapa cepat SE bisa melalkukan indexing (jumlah dokumen/ dan berapa rata-rata ikuran
dokumen yang bisa di proses)
 Seberapa cepat bisa melakukan pencarian, kalu document banyak bakal lebih sulit. Latency
(sebreapa cepat device menemukan data yang kita kehendaki di decice)
 Seberapa ekspresif SE memahami bahasa query  perlu bahasa query yang mendekati
bahasa yang digunakan sehari-hari. Kompleks makin bagus.
 User Interface  teratata dan mudah digunakan
 Gratis atau berbayar  kalau berbayar user akan enggan unk menggunakan

Masalah kriteria tidak hanya bisa diukur (measurable). Namun, kalau berkaitan dengan kepuasan
pengguna (happiness)

 Kriteria kepuasan pengguna

 Maalsah : Siapa pengguna yang akan dibuat puas?  tergantung pada setting (spesifik
marketplace search engine)
 Web engine  apakah SE bisa memenuhi apa yang dicari pengguna
 E-commerce  pemggyna puas maka SE nya bagus, waktu lama belanja makin Agustu
 Mengukur kepuasan pengguna
 Enterpreise
 Mengavaluasi Sistem IR
 Disesuaikan dengan kebuthan pengguna, tidak berdasarkan
 Benchmark
Apakah suatu dokumen disebut relevan atau tidak
 TREC membhasah test bed TKI besar selama tahiuan
 Dengan pakar manusia menilai kedekaran tiap query dengan untuk detiap dokumen:
RELEVAN atau TIDAK RELEVAN (benchmark). Masallah, pakar sebagai manusia bisa berbeda-
beda. Ada standar yang jelas.
 Kriteria Evaluasi Mavhine Learning
 Cofudion Matrix  melakukan prediksi terhadap hasil yang sesungguhnya, kalo sesuai maka
modelnya bagus
 Prediksi positf tapi sebenernya negatif maka false positif
True negatif  proedisi bener sebenrenya bener
 Contoh Coffusion Matrix
Mendiagnosa kehamilan, True negatif  Laki-laki hamil, ga mungkin
Laki-laki ga hamil , bener  False Positif
Wanita hamil, di prediksi ga hamil  false negatif
Wanita hamil , di prediksi hamil true positif

Prediksi – ssbenernya Mesin pencari – dicek apakah relevan apa engga

Retrieve – Rekeven (T Positif)
Not Retrieve- Relevan (False Negatif)
Retrieve – Ga relevan (False Positif)
Not Retrieve – Ga relevan (True Negatif)
 Seberapa Bagus Hasil Pencarian Dokumen

 Prcision  possi dari dokumen yang diambil yang relevan dengan kebutuhan informasi
pengguan
 Recall  Posi dari dokumen

 Akurasi

Mengukur ketepatan klasifikasi

 Kenapa ga akurasi aja?
 Bagaimana menggunakan SE yang akurant 99.999% dengan biaya rendah. Kalau ga ada
collectionnya alias not found itu bisa 99.99%, makanya ga Cuma pake akurasi
 Precision, Recall, dan Akurasi
 Menggabungkan F-Measure (F1-Score)
Dengan menggunaakan rata-rtaa harmonik secra terimbnag

Menentukan penimbang dengan F1-Score  ketika nilai F measure β=1

 Mengevaluasi hasil teranking

 Mengembalikan sejumlah hasil deg berbagai perilaku
 Dengan melihat kurva
 11 titik precision interpolated  dilakukan interpolasinya
 Evaluasi: precision pada k
 Precision pada k : precision dari hasil top k
 Average Prcision