0 引言

随着信息技术的迅猛发展, 各种信息查询在人们的生活中占据了重要地位, 已经成为互联网在日常生活中的重要应用之一.中国互联网络信息中心第37次发布的调查报告显示, 截至2016年6月, 我国搜索引擎用户达7.10亿, 年增长率约为3.1%^[1], 其中涉农的用户占比31.7%, 规模达2.25亿, 显示出农业搜索快速增长的势头.搜索引擎成为除即时通信应用之外使用率最高的互联网应用.近几年中, 中国网民的规模持续扩大, 而搜索引擎作为基础应用, 其用户规模也持续增加, 同时, 搜索引擎的功能逐渐完善并各具特色, 发展也更加多元化.

农业信息化是我国信息化的重要领域之一.信息作为现代农业发展的核心要素, 贯穿农业生产全过程, 在知识传播、技术咨询、决策支持等方面起着关键作用.目前, 面向农业的信息服务资源建设得到突飞猛进的发展, 农业搜索服务于农业专业需求的特定人群, 其社区化特点明显, 特定人群的价值决定了农业搜索的价值.目前, 国内外在农业领域的搜索研究, 主要集中在垂直搜索引擎^[2-3], 它具备“专、精、深”的特点^[4], 但是农业搜索不仅需要“专、精、深”, 更需要“记忆模型”, 记住用户的查询偏好, 让用户更快捷地找到信息, 直达全面、系统的结果.国外现有的农业搜索引擎主要有agnic (http://www.agnic.org/)、agrisearch (http://www.agrisearch.org/)、agriscape (http://agriscape.com/)等.当前, 国内专注农业领域的搜索发展迅速, 典型的系统有中国农业科学院农业信息研究所的“SDD农搜”^[5], “搜农”(http://www.sounong.net/), cast(http://www.cast.net.cn/)等, 但是这些搜索系统功能相对单一, 缺少个性化查询功能, 查询的结果缺少系统的知识水平的抽取.

食品安全是农业领域的重要问题之一, 关系到国计民生, 但是相关的信息和知识查询缺乏相关的专业查询系统.文献[6]提出了基于本体的农业信息服务个性化推荐框架, 但是缺少系统实现; 文献[7]研究了基于本体学习的食品安全网络舆情信息的构建技术, 文献[8]介绍了本体学习的相关技术.

本文在食品安全智能化、知识化和个性化搜索需求背景下, 以提供更加精确和更加贴近用户要求的搜索结果为目的, 提供智能化、知识化和个性化农业综合信息查询.本文利用元搜索引擎和机器学习排序技术, 设计了农业领域面向食品安全的个性化搜索排序系统(Personalized Re-ranking Of food Safety Knowledge system, 简称PROSK), PROSK系统从多个搜索引擎获取基础的查询结果, 根据用户的查询历史和日志, 生成用户轮廓, 结合用户轮廓和知识本体, 对结果进行集成和自适应排序, 满足不同用户查询结果的个性化和查询结果的知识化、系统化.个性化服务针对用户的不同提供的信息也是不相同的, 它通过挖掘用户浏览行为, 找到用户感兴趣的知识.

本文的第1节首先介绍基础知识和相关技术; 第2节介绍了系统的排序原理和过程; 第3节介绍了系统的实现及查询; 最后, 第4节对本文进行了总结和展望.

1 本体与元搜索集成 1.1 本体知识

本体是指一种“形式化的, 对于共享概念体系的明确而又详细的说明”, 是一种数据和知识集成的重要技术^[8-10].本体提供特定领域中存在着的对象类型或概念及其属性和相互关系, 它是对特定领域之中相关概念及其相互关系的形式化表达, 用于描述对象类型、属性以及关系类型所构成的世界.

本体可以用五元组$O=\langle C, R, H, rel, A\rangle $形式化表达, 其中, $C$为概念集; $R$为关系集合; $H$表示概念层次, 即概念之间的分类关系; $rel$为概念间的非分类关系, $A$表示本体公理^[11].

本体的核心在于它能够对领域内的概念以及概念之间的关系进行定义, 具有良好的概念层次、表达特点, 能够在概念间建立丰富的语义联系, 便于实现知识整合.本文使用本体进行食品安全领域的知识建模和搜索知识集成共享, 属于领域本体^{[8, 10]}.

食品安全本体集成框架(Food Safety Onlology Integration Framework)可以表示为三元组$F_s =\langle G, S, M\rangle $, 其中, $G$为全局本体, $S$为局部本体, $M$为$G$和$S$之间的映射.

1.2 元搜索集成

搜索引擎一般分为独立搜索和元搜素(Meta-search)^[12].独立搜索引擎基于Robot技术, 它使用Robot程序从网络中发现信息并且建立索引数据库.搜索时, 它首先检索索引数据库, 得到数据库中的相关内容, 最后根据内容搜索到相应的信息或链接站点并提供给用户.

相对于独立搜索的元搜索技术, 根据用户的搜索需求, 将查询提交给多个独立型搜索引擎, 从多个搜索引擎的搜索结果, 并对多个引擎返回的结果集中处理, 最后将处理后的搜索结果返回给用户^[13-14].元搜索引擎(Meta Search Engine, MSE)从多个搜索引擎得到查询结果, 由于不同搜索引擎结果不尽一致且排序标准不统一, 因此如何根据用户的特点对结果重新排序成为一个重要的研究课题.元搜索引擎的关键是对查询结果的集成和排序.即指对其调用的多个成员搜索引擎所返回的结果集成、去重等, 然后按照一定的准则排序, 将排序结果按一定顺序展现给用户的过程^[13].如何对元搜索引擎的结果进行个性化的排序对用户排序结果的满意度至关重要.

定义1   元搜索查询(Meta Search Engine Query)是一个四元组, MSEQ=$\langle E, Q, T, C\rangle $, 其中, $E$是元搜索引擎集合, $Q$为查询集合, $T$是排序方法, $C$是查询结果的选择标准.

给定$E=\{E_1, E_2, \cdots, E_m \}$, 对于查询$q\in Q$, 搜索引擎$E_i (1\le i\le m)$产生的原始结果, 为$R_m (q)=\{d_i^1, d_i^2 , \cdots, d_i^k \}$, 则MSEQ的查询结果集合为$R(q)=\bigcup\nolimits_{i=1}^m {R_m (q)} -\bigcup\nolimits_j {\neg C} $, 其中$R(q)$中的结果去除掉了多个搜索引擎不满足条件$C$的结果.

PROSK系统采用元搜索技术, 从多个综合搜索引擎获取相关结果, 并对结果集成和排序, 原因在于一方面现有的独立搜索系统功能比较完善, 具有互补优势, 可以很好地利用现有的独立搜索引擎, 避免系统从头做的巨大代价; 另一方面, 可以博采多个独立搜索引擎结果, 并对多个独立搜索引擎结果进行高效集成和智能排序. PROSK系统如图 1所示.

2 PROSK系统的个性化排序 2.1 个性化查询

个性化查询服务是一种有效的信息服务方式, 这种服务方式的实现主要是根据用户的需求特征, 通过对信息进行收集、整理、分类、分析, 向用户提供最可能需要的信息, 以满足用户对信息的需求^[15-16].个性化查询服务也是未来搜索引擎发展的一个重要内容, 它面向不同的用户查询, 返回个性化的搜索信息并对结果的重要性根据个人偏好进行排序. PROSK系统的个性化查询主要体现在对查询结果的排序方面.

定义2   基于元搜索的个性化查询可以表示为一个五元组: $\langle E, Q, T, C, P\rangle $, 其中$E$是元搜索引擎集合, $Q$为查询集合, $T$是排序方法, $C$是查询结果的选择标准, $P$为查询的用户轮廓.

2.2 排序学习及Ranking SVM原理

基于学习的排序技术运用了机器学习的概念, 能够利用特征集合产生训练模型, 并根据模型自动学习对结果进行自适应排序.排序学习算法数据由三部分构成:查询、与该查询相对应的文档特征序列, 以及由人工标注的查询与文档之间的相关度^[17].

现有的排序学习算法根据训练样例的不同分为三类: Pointwise、Listwise和Pairwise方法^[18]. Pointwise方法假设相关度是查询无关的(Query Independent), 查询和样本对存在一个相关的排序分值, 该方法将排序问题转化为多类分类问题或回归问题, 例如McRank^[19]. Listwise方法利用目标函数直接对文档的排序结果进行优化, 利如ListNet^[20]. Pairwise方法利用有序数据之间的二元偏序关系将排序问题转化为二元分类学习问题, 常见的有RankNet^[21], RankBoost^[22], Ranking SVM^[23]等.

鉴于Pointwise方法的假设局限性和Listwise优化困难, 以及Pairwise方法直观和高效, 用户的点击选择反映了用户对查询结果的偏好, 这些点击数据能很方便地形成成对的排序关系, 因此, PROSK系统采用了基于Pairwise的排序技术.

Pairwise的排序可以用$L(f({\bf x}_q, {\bf x}), {\bf y}^q)={\rm {\bf I}}(f({\bf x}_q, {\bf x}_i )\ge f({\bf x}_q, {\bf x}_j ))$表示.给定查询$q$, ${\rm {\bf I}}$为标识函数, 如果对象${\rm {\bf x}}_i $比对象${\rm {\bf x}}_j $更接近, 则为+1, 否则为--1. Ranking SVM是由T. Joachims提出的基于支持向量机SVM的排序学习算法^[23], 该方法将排序问题转化为监督学习的分类问题, 通过用对机器学习中的支持向量机进行训练^[18]获得模型. Ranking SVM的基本原理是使用训练所得的分类模型对所有偏序对进行分类, 得到数据集的一个偏序关系, 根据偏序关系实现查询结果的排序.

定义3   样本参考关系:给定样本的输入空间$X\subseteq {\rm {\bf R}}^n$, 其中$n$为特征数量. $Y=\{r_1, r_2, \cdots, r_k \}$是由标签表示的rank值空间, 其中$k$代表rank值个数.如果rank值之间存在一个偏序关系$r_1 \prec r_2 \prec \cdots \prec r_q $, 则存在一个函数$f\in F$, 使得两个样本${\bf x}_i, {\bf x}_j $之间的参考关系可以由公式(1) 表示.

$\begin{equation} \label{eq1} {\rm {\bf x}}_i \prec {\rm {\bf x}}_j \Leftrightarrow f({\rm {\bf x}}_i )＜ f({\rm {\bf x}}_j ). \end{equation}$

(1)

假设样本集合$S=\{({\rm {\bf x}}_i, y_i )\}_{i=1}^t \subseteq X\times Y$, 即$S$来自样本空间$X\times Y$. SVM的目标是从$F$中求解最优的函数$f$, 以便使样本所对应的rank值的代价函数最小化.

假设$f$是公式(2) 形式表示的线性函数, Herbrich^[24]将上述问题归结为对成对样本进行分类的问题.

$\begin{equation} \label{eq2} f_{\bf w}({\rm {\bf x}}_i)=\langle {\rm {\bf w}}, {\rm {\bf x}}\rangle, \end{equation}$

(2)

其中, ${\rm {\bf w}}$表示权重向量, $\langle\cdot, \cdot\rangle$表示内积.将公式(1) 和公式(2) 相减, 得到以下公式.

$\begin{equation} \label{eq3} {\rm {\bf x}}_i \prec {\rm {\bf x}}_j \Leftrightarrow \langle {\rm {\bf w}}, {\rm {\bf x}}_i -{\rm {\bf x}}_j \rangle >0, \end{equation}$

(3)

其中, ${\rm {\bf x}}_i, {\rm {\bf x}}_j $之间的关系${\rm {\bf x}}_i \prec {\rm {\bf x}}_j $可以表示成向量${\rm {\bf x}}_i -{\rm {\bf x}}_j $的形式.据此, 可以根据任意两个样本之间的关系构造出新的样本向量和新的标签, 对数据集所有样本实现配对.给定两个样本${\rm {\bf x}}^1$和${\rm {\bf x}}^2$, 则${\rm {\bf y}}^1$和${\rm {\bf y}}^2$分别表示两个样本相应的rank值, 可得

$\begin{equation} \label{eq4} ({\rm {\bf x}}^1-{\rm {\bf x}}^2, z), \end{equation}$

(4)

其中

$z = \left\{ {\begin{array}{*{20}{c}} { - 1,{{\bf{y}}^1} \prec {{\bf{y}}^2},}\\ { + 1,\;\;{{\bf{y}}^2} \prec {{\bf{y}}^1}.} \end{array}} \right.$

由给定训练数据集$S$, 根据公式(4) 创建新的数据集合$S'$, 则$S'$包含$l$个标签向量, 即$S'=\{{\rm {\bf x}}_i^1 -{\rm {\bf x}}_i^2, z_i \}_{i=1}^l $.把集合中$z$所对应的向量${\rm {\bf x}}^1-{\rm {\bf x}}^2$作为类标记, 如果两者是顺序对, 则标号$z$为$+1$, 若是逆序对, 则标号$z$为$-1$.获得了标签数据$S'$之后, 可以采用监督学习SVM模型.

给定查询${\bf q}$, 因此上述排序问题转化为公式(5) 的优化目标, 可以形式化为QP问题^[18]:

$\begin{equation} \mathop {\min }\limits_{\rm {\bf w}} M({\rm {\bf w}})=\frac{1}{2}\left\| {\rm {\bf w}} \right\|^2+C\sum\limits_{i=1}^l {\xi _i }, \end{equation}$

(5)

使得对任意$(d_i, d_j)\in r^{\ast}$, 满足${\rm {\bf w}}({\bf q}, d_i )\ge {\rm {\bf w}}({\bf q}, d_j )+1-\xi _{i, j} $, 其中$r^*$为查询$\bf q$的目标排序结果, $z_i \langle {\rm {\bf w}}, {\rm {\bf x}}_i^1 -{\rm {\bf x}}_i^2 \rangle \ge 1-\xi _i$, $\xi _i \ge 0$, $i=1, \cdot \cdot \cdot, l$, $l$表示$S$中有序对的个数, $\xi $为松弛因子, $C>0$为惩罚参数.对同一训练集合, 顺序对和逆序对是关于坐标原点对称的, 因此$S'$上构造的偏序关系只需选取顺序对求解^[23].

通过拉格朗日对偶和二次规划问题求解^[18], 可以计算出公式(5) 中最优解$\alpha $和最优权向量${\rm {\bf w}}$.给定新样本${\rm {\bf q}}$, Ranking SVM算法的排序函数的计算序列可以通过公式(6) 进行^[18].

$\begin{equation} \label{eq6} f(s)=\langle {\rm {\bf w}}, {\rm {\bf q}}\rangle =\sum\limits_{i=1}^l {\alpha \langle {\rm {\bf x}}_i^1 -{\rm {\bf x}}_i^{2}, {\rm {\bf q}}\rangle }. \end{equation}$

(6)

2.3 PROSK系统的结果集成

PROSK系统通过集成多个搜索引擎的结果, 集成过程采用全局为中心的(Global Centric)领域本体来完成.由食品安全本体集成框架$F_s =\langle G, S, M\rangle $, 把各个搜索引擎结果映射到一致的语义空间, $G$采用E-R关系模型, $S$采用关系数据库存储.其中映射$M$是框架的核心, $M$通过形式为$\langle C, V, sound\rangle $的一组对应关系表表示, 其中, $C$为概念集合, $V$为查询, $sound$表示语义模型和局部模型之间语义的完备性^[25].

2.4 PROSK系统的排序过程

对于用户的查询输入$Q$, PROSK系统首先返回多个搜索引擎的 $n$ 个结果$R=\{r_1, r_2, \cdots , r_n\}$, 并记录查询和用户的点击序列, 用于创建用户的轮廓 (Profile).假设用户在查询结果上的点击序列 $T=\{r_i, r_{i+1}, \cdots , r_{i+m}\}$.用户对查询结果的点击, 表明用户比较关注相关的内容, 把相关的内容作为刻画用户特征的数据集. PROSK系统使用点击序列在结果集合$R$上构造偏序集合.对于任意 $r'\in T$ 和 $r”\in R-T$, 可以得出 $r'\succ r”$, 因此, 对于集合 $T$ 和 $R$ 可以构造偏序集合 $P=\{r'\succ r”\vert r'\in T, r”\in R-T\}$.

系统记录用户的点击序列, 并构造偏序集$P$.根据偏序集合$P$, 可以构造支持向量机的训练集, 如果 $r_i \succ r_j$, 则标号为+1, 否则为--1.训练Ranking SVM模型$M$. PROSK系统对用户的相同查询结果的排序作为使用模型$M$的预测过程.对用户再次查询$Q$, 使用学习到的模型$M$对查询结果$R$进行新的偏序关系预测, 获得新的偏序$P'$, 进而计算出新的查询结果的序列关系.

3 系统实现 3.1 查询处理流程

PROSK系统的查询处理流程分为在线计算和离线计算两个步骤, 如图 2所示.系统的离线数据采用MySQL数据库进行存储.

在线计算步骤, 主要完成了集成$m$个搜索引擎$E_i (1\le i\le m)$的查询结果, 记录用户的点击记录情况, 并从本体库中检索和查询相关的概念.离线计算步骤, 主要完成两方面的工作: 1.对查询结果的页面数据进行解析, 提取页面的内容, 对页面的中文分词, 建立页面文档模型; 2.使用获得的Ranking SVM模型, 根据用户的点击数据, 预测用户查询结果的顺序.

3.2 系统数据分析流程

PROSK系统通过多个搜索引擎返回结果的URL获取Web页面数据, 对Web页面数据采用Gson和HtmlParser分别对URL、标题和网页内容作解析, 获取基本的数据内容.对于中文页面数据, 系统采用ICTCLAS 2016^[26]系统完成中文分词、词性标注和命名实体识别等工作, ICTCLAS具有较高的正确率和速度.

由于ICTCLAS可以完成对词性标注, 系统使用农业名词等具有明确意义的词进行建模, 因此对于页面中词的权重, 采用TF因子模型: $TF_t=|C_t|/\sum\nolimits_{t_i \in D} \vert C_{t_i } \vert, $其中, $\vert C_t \vert$为词$t$在页面中出现的次数, $\sum\nolimits_{t_i \in D} {\vert C_{t_i } \vert }$是文档中所有词出现次数的总和.

3.3 用户查询

目前, PROSK系统集成了百度(http://www.baidu.com/)、好搜(http://www.haosou.com/)和有道搜索(http://www.youdao.com/)三个典型的搜索引擎首页返回的相关查询结果, 后台记录用户的点击情况, 系统查询页面如图 3所示.系统根据输入查询“安全溯源系统”, 查询结果如图 3(a)所示, 根据用户的点击, 系统对查询结果新的自适应排序结果如图 3(b)所示.

3.4 查询性能

系统采用Java实现, 测试的运行环境为Win7, CPU为i5-3210M, JVM内存512 MB, Ranking SVM实现采用SVM$^{rank}$版本1.00^[27], 参数使用默认设置.

系统的查询性能分为在线计算和离线查询的响应时间.在线查询的响应时间主要是根据用户的偏好轮廓进行个性化的预测时间及排序开销; 离线的响应时间包括从多个搜索引擎对查询结果集成、Ranking SVM训练及预测时间.离线的Web页面数20万条. 表 1是使用系统对5个典型查询进行5次查询的平均时间开销, 时间单位为毫秒.

通过性能测试, 可以看出系统的主要时间开销在离线计算阶段页面的解析和建模方面, 平均为8$\sim $9 s左右, 因为查询系统的查询需要在线获取多个引擎返回的结果, 并对结果页面进行数据解析.后期的工作将在该方面进行性能优化, 采用后台进程对页面进行分析, 以缩短离线的查询时间. Ranking SVM的训练时间和预测时间都在毫秒级, 能够满足查询的需求.

4 结论

本文研究了农业信息领域中的食品安全领域的个性化搜索PROSK系统, 该系统采用元搜索技术集成多个搜索引擎的相关结果, 通过结合本体库和机器学习的排序算法, 实现了查询食品安全领域相关知识的个性化自适应排序.鉴于系统的数据规模和离线处理时间较长的问题, 未来的工作是把系统移植到分布式spark计算平台上, 优化离线分析与处理, 实现对海量食品安全数据的智能化查询和管理, 对结果的质量评测将作为未来的主要工作.