评价指标是衡量检索系统性能和检索效果的标准。根据兰卡斯特(F.W.Lancaster)的阐述,判定一个检索系统的优劣,主要从质量、费用和时间三方面来衡量。
质量标准主要通过查全率与查准率进行评价,费用标准即检索费用是指用户为检索课题所投入的费用,时间标准是指花费时间,包括检索准备时间、检索过程时间及获取原文时间等。
克兰弗登(Cranfield)在分析用户基本要求的基础上,提出了6 项检索系统性能的评价指标,它们是收录范围、查全率、查准率、响应时间、用户负担和输出形式。随着网络信息检索系统和搜索引擎等的快速发展,关于评价指标体系的研究不断有新的观点出现。对于用户而言,实际检索时最关心的是查全率、查准率和响应时间。
查全率和查准率是判定检索效果的主要指标。查全率和查准率结合起来,描述了检索成功率。
评价信息检索系统的检索效果的主要指标是查全率和查准率。与之对应的,评价信息检索系统的检索误差的主要指标是漏检率和误检率。误差越大,效率越低,检索系统的性能就越低;误差越小,效率越高,检索系统的性能就越高。由此可见,产生漏检和误检的原因是影响信息检索系统效果的主要因素。
检索系统的响应时间是指从发出检索提问到获得检索结果平均消耗的时间。主要包括:
① 用户请求到服务器的传送时间;
② 服务器处理请求的时间;
③ 服务器的答复到用户端的传送时间;
④ 用户端计算机处理服务器传来信息的时间。
收录范围是指一个系统收录的文献是否齐全,包括专业范围、语种、年份与文献类型等,这是提高查全率的前提和基础。用户负担是指用户为检索课题所投入的费用。检索效果的输出形式,是指用户获得的文献信息类型(题录、文摘还是全文)以及获得方式(脱机打印、联机打印、下载、E-mail)等。