网络爬虫，是一种按照一定的规则，自动地抓取万维息的程序或者脚本。当你需要大量的网络数据的时候，比如需要做一些数据分析，需要学习一些基于内容处理的算法的时候，爬虫程序就可以来为你抓取网站上的数据，人工一个页面一个页面的查找复制肯定不是办法，这个时候就需要编写爬虫来自动的为你去抓取网页数据。这篇博客将会讲述网页爬虫的设计。
前些天有一个需求就是从大众点评网站上抓取一点店铺数据作为推荐算法学习的数据，需要设计一个爬虫来为我获取这些店铺数据。根据要求，这个爬虫要在一个大众点评的根据地标进行店铺分类的页面获取地标的url，之后根据这些url抓取店铺的列表，之后根据列表来获取店铺的详情。
一般网页爬虫系统架构主要需要考虑以下方面
调度端：用来启动爬虫或者监控爬虫状态 URL管理器：用来存放和管理需要获取信息的链接，为网页下载器提供这些信息 网页下载器：下载网页的源代码以供分析 网页解析器：解析下载过后的源代码，分析出来相应的信息 日志系统：网页解析器拿到相关数据后即为这个链接解析成功，存放到日志系统中，日志系统与URL管理器进行通讯来剔除不需要的URL 下载本文
