中文分词笔记之三：示例代码及测试结果_中文分词结果在线测试

示例代码：

 /**
 *g为邻接表
 *i为当前节点
 */
	Iterator<CnToken> it1 = g.getPrev(i);//得到一级前驱词集合
	double maxProb = Double.NEGATIVE_INFINITY;
	int maxPrev1 = -1;
	int maxPrev2 = -1;
	
	while(it1.hasNext()) {
    		CnToken t1 = it1.next();
    		Iterator<CnToken> it2 = g.getPrev(t1.start);//得到一级前驱词对应的二级前驱词集合
    		while(it2.hasNext()){
    			CnToken t2 = it1.next();
    		
    			int bigramFreq=getBigramFreq(t1,t2);//从二元词典找二元频率
    			double biProb = lambda1*t1.freq + lambda2*(bigramFreq/t2.freq);//平滑后的二元概率
	    		double nodeProb = prob[t2.start]+(Math.log(biProb));//二元模型
	    	
	      		if (nodeProb > maxProb)//概率最大的算作最佳前趋
	      		 {
	      			maxPrev1 = t1.start;
	      			maxPrev2 = t2.start;
	      			maxProb = nodeProb;
	      		}
    		}
 	}
	prob[i] = maxProb;

示例结果：

text:end start:8 end:9 cost:0.0
data = 天:WordId:Freq[28:502][19:84]
data = 天下:WordId:Freq[25:0][11:0][19:21]
data = 下:WordId:Freq[20:1][11:951][19:0][29:0][28:16][40:332]
data = 的:WordId:Freq[36:54477]
data = 事:WordId:Freq[19:233][42:1][40:0]
data = 事情:WordId:Freq[19:95]
data = 情:WordId:Freq[20:7][19:101]
data = 天:WordId:Freq[28:502][19:84]
data = 天下:WordId:Freq[25:0][11:0][19:21]
data = 下:WordId:Freq[20:1][11:951][19:0][29:0][28:16][40:332]
data = 管:WordId:Freq[21:0][7:0][20:5][40:87][28:0][27:0][42:0]
天下  的  事情  天下  管