dySE：一个Java搜索引擎的实现，第1部分 - 网络爬虫 - 编程入门网

Spider 是整个搜索引擎的基础，为后续的操作提供原始网页资料，所以了解 Spider 的编写以及网页库的组成结构为后续预处理模块打下基础。同时 Spider 稍加修改之后也可以单独用于某类具体信息的搜集，比如某个网站的图片爬取等 。

后续内容

在本系列的第 2 部分中，您将了解到爬虫获取的网页库如何被预处理模块逐 步提取内容信息，通过分词并建成倒排索引；而在第 3 部分中，您将了解到， 如何编写网页来提供查询服务，并且如何显示的返回的结果和完成快照的功能。

凌众科技专业提供服务器租用、服务器托管、企业邮局、虚拟主机等服务，公司网站：http://www.lingzhong.cn 为了给广大客户了解更多的技术信息，本技术文章收集来源于网络,凌众科技尊重文章作者的版权，如果有涉及你的版权有必要删除你的文章，请和我们联系。以上信息与文章正文是不可分割的一部分,如果您要转载本文章,请保留以上信息，谢谢!