站内搜索（主要技术点：Luncene.Net搜索引擎核心,Log4Net:日志,定时框架：quartz.Net,Jquery,Json,AJAX）

站内搜索（主要技术点：Luncene.Net搜索引擎核心,Log4Net:日志,定时框架：quartz.Net,Jquery,Json,AJAX）
1. 和用“select*from t where body like %计算机%”的区别：
（1） 效率。Like会造成全表扫描。
（2） Like无法实现“怎样学编程”“匹配”“怎样学习编程”.

为什么不用discuz的搜索,因为discuz的就是用like实现.
蜘蛛,spider 爬网站.
百度蜘蛛工作图详情介绍：
http://baike.baidu.com/view/1847001.htm

爬网站的过程：
1,发现网站.百度把CSDN当成关键网站,顺着已知的网站链接找到新的网站或者新的页面.
SEO(搜 索引擎优化)的第一个手段：建外链（外部链接）.新网站吸引蜘蛛。对于非新网站,搜索引擎考虑一个“权重”,重点考察外链数量.权重越高搜索结果越靠 前,”权重”的一个重要因素就是“外链”数量，外链质量（外链网站的PR值,PageRank,决定一个网站的质量的值，PR值越高网站越重要，原创创建 时间等等）,Alexa排名（全球网站排名）.

ＳＥＯ目的：让搜索引擎更多的收录网站的页面，让被收录页面的权重更靠前，让更多的人能过通过搜索引擎进入这个网站．
２，抓取网页．蜘蛛会定时抓取网站的内容，发现网站内容变化，发现新增内容就反映到搜索引擎中．
Robots.txt是公约,搜索引擎都建议遵守,相当于一个指路牌:想让那些搜索引擎搜索,想让那些页面搜索.

关于搜索:
有一定访问量得互联网站都有站内搜索功能,比如Verycd,优酷.豆瓣.cnblogs,mop,淘宝,大众点评网等.
为什么不用数据库全文检索?
数据库全文检索很傻瓜化，和普通SQL一样。数据全文检索灵活性不强,而且需要数据库开启全文检索功能才行,对于一些数据库管理权不在自己手里的应用（比如虚拟主机）来说不方便。

为什么不用百度,google的站内搜索(site:www.xxx.com):受限于人,会被K；索引不及时,不全面,不精准；用户体验差.

Log4Net
Log4Net 是用来记录日志的，可以将程序运行过程中的信息输出到一些地方（文件,数据库,EventLog等）,日志就是程序的黑匣子,可以通过日志查看系统的运行 过程,从而发现系统的问题.日志的作用：将运行过程的步骤,成功失败记录下来，将关键性的数据记录下载分析系统问题所在.Log4J.

Log4Net 详细介绍
http://www.cnblogs.com/dragon/archive/2005/03/24/124254.html

配置Log4Net环境
新建一个WebApplication，添加一个“应用程序配置文件”（App.config）
添加对log4net.dll的引用
在Web.Config （或App.Config）添加配置，见备注
初始化：在程序最开始加入log4net.Config.XmlConfigurator.Configure();
在 要打印日志的地方LogManager.GetLogger(typeof(Program)).Debug("信息"); 。通过LogManager.GetLogger传递要记录的日志类类名获得这个类的ILog（这样在日志文件中就能看到这条日志是哪个类输出的了），然 后调用Debug方法输出消息。因为一个类内部不止一个地方要打印日志，所以一般把ILog声明为一个static字段。
输出错误信息用ILog.Error方法，第二个参数可以传递Exception对象。log.Error("***错误"+ex)，log.Error("***错误",ex)
测试代码：见附件。

在VS2010中的控制台项目引用Log4Net的时候要将项目的“目标框架”改为非“Client Profile”
1、Log4Net配置

<configuration>
  <configSections>
    <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net"/>
  </configSections>
  <log4net>
    <!-- Define some output appenders -->
    <appender name="RollingLogFileAppender" type="log4net.Appender.RollingFileAppender">
      <file value="test.txt"/>
      <appendToFile value="true"/>
      <maxSizeRollBackups value="10"/>
      <maximumFileSize value="1024KB"/>
      <rollingStyle value="Size"/>
      <staticLogFileName value="true"/>
      <layout type="log4net.Layout.PatternLayout">
        <conversionPattern value="%date [%thread] %-5level %logger - %message%newline"/>
      </layout>
    </appender>
    <root>
      <level value="DEBUG"/>
      <appender-ref ref="RollingLogFileAppender"/>
    </root>
  </log4net>
</configuration>

建议用法：建立一静态字段存起来：

private static ILog logger = LogManager.GetLogger(typeof(text_Default));

然后就可以哪儿里用到，就调用:
  logger.Debug("信息");

Log4Net相关概念
Appender:可以将日志输出到不同的地方，不用的输出目标对应不同的.
Appender:RolingFileAppender（滚动文件）,AdoNetAppender（数据库）,SmtpAppender(邮件)等.
Level(级别)标识这条日志信息的重要级别.
None>Fatal>Error>Warn>Debug>info>all，设定一个Level,那么低于这个Level的日志是不会被写到Appender中的.

Lucene.Net简介
Lucene.Net是由Java版本的Luncene移植过来的,所有的类，方法都几乎和Luncene一模一样,因此使用时参考Lucene即可.
Lucene.Net 只是一个全文检索开发包,不是以个成型的搜索引擎,它的功能就是：把数据扔给Lucene.Net，查询数据的时候从Lucene.Net查询数据,可以 看做是提供了全文检索功能的一个数据库.Lucene.net不管文本数据怎么来的.用户可以基于Lucene.net开发满足自己需求的搜索引 擎.Lucene.net只能对文本信息进行检索.如果不是文本信息,要转换为文本信息.比如要检索Excel文件,就要用NPOL把Excel读取成字 符串,然后把字符串扔给Lucene.Net.Lucene.Net会把扔给它的文本切词保存,加快检索速度.

分词
分词是核心的算法,搜索引擎内部保存的就是一个个的词“（Word）”英文分词很简单，按照空格分隔就可以,中文则麻烦,把“北京，Hi欢迎你们大家”拆成“北京 Hi 欢迎 你们 大家”.
“the”,”, ”,”和”，“啊”，“的”等
参与分词的无意义的单词（noise word）。
Lucene.net中不同的分词算法就是不用的类,所有分词算法类都从Analyer类继承,不同的分词算法有不同的优缺点。
内置的StandardAnalyzer是将英文按照空格,标点符号等进行分词,将中文按照单个字进行分词，一个汉字算一个词.
演示：

Analyzer analyzer = new StandardAnalyzer();
        TokenStream tokenStream = analyzer.TokenStream("", new StringReader(TextBox1.Text));
        Lucene.Net.Analysis.Token token = null;
        while ((token = tokenStream.Next()) != null)
        {
            Console.WriteLine(token.TermText());
           // TextBox2.Text = token.TermText() + "<br/>";
            Response.Write(token.TermText()+"<br/>");

效果：

 

二元分词算法，每两个汉字算一个单词,“欢迎你们大家”会分词为“欢迎 迎你 你们 们大 大家”,网上找到的一个二元分词算法CJKAnalyzer。面试的时候能说出不同的分词算法的差异。

基于一个词库进行分词,可以提高分词的成功率,有庖丁解牛,盘古分词等,效率低。

盘古分词算法使用：
 具体用法参考《PanguMannual.pdf》
 打 开PanGu4Lucene\WebDemo\Bin，将Dictionaries添加到项目根路径（改名为Dict），添加对PanGu.dll（同目 录下不要有Pangu.xml，那个默认的配置文件的选项对于分词结果有很多无用信息）、PanGu.Lucene.Analyzer.dll的引用
 把上节代码的Analyzer用PanGuAnalyzer代替
 运行报错？通用技巧：把Dict目录下的文件“复制到输出目录”设定为“如果较新则复制”。
 （*）Dictionaries下几个txt文件简介
 词库的编辑，使用DictManage.exe，对单词编辑的时候要先查找。工作的项目中要将行业单词添加到词库中，比如餐饮搜索、租房搜索、视频搜索等。
 出现Dict路径的问题，没有找到配置文件，默认就是Dict目录，设定Pangu.xml的复制到输出设置为“如果较新则复制”即可。或者词典目录就命名为Dict，不要配置文件。