去廖雪峰那里去看吧

他写的python的教程很不错

在我看了几本书里面，还是觉得廖雪峰写得最好

我学习python主要有两个方面：

第一个是基础，那么这个教程很好的就是廖雪峰的python教程，由浅入深非常好理解；

第二个是爬虫，爬虫零零碎碎从网页学习了一些进阶的东西，最后在博客http://wwwcnblogscom/nima/p/5337858html里面学习到了很多东西，当然你要有足够的自信才能学会这个上面的东西，这里已经很深奥了

如果觉得还不够的话，那么就去学习python的数据结构吧，保证舒服

第三个你就去我的博客园里面看吧，反正我的也是主攻python，写的乱七八糟的东西很多

http://wwwcnblogscom/TTyb/

爬虫一般是指网络资源的抓取，由于Python的脚本特性，易于配置对字符的处理非常灵活，Python有丰富的网络抓取模块，因此两者经常联系在一起Python就被叫作爬虫。爬虫可以抓取某个网站或者某个应用的内容提取有用的价值信息。还可以模拟用户在浏览器或者app应用上的操作行为，实现程序自动化。

Python为什么叫爬虫？

Python作为一门编程语言而言纯粹的自由软件，以简洁清晰的语法和强制使用空白符进行语句缩进的特点从而深受程序员的喜爱。用不同编程语言完成一个任务：c语言一共要写1000行代码；java要写100行；Python则只需要写20行的代码。若使用Python来完成编程任务编写代码量更少，代码简洁简短且可读性更强，一个团队进行开发的时候编写代码效率会更快，开发效率高让工作变得更加高效。

Python非常适合开发网络爬虫的编程语言，相比于其他静态编程语言，Python抓取网页文档的接口更简洁;相比于其他动态脚本语言，Python的urllib2包提供了较为完整的访问网页文档的API。Python中有优秀的第三方包可以高效实现网页抓取，并可用极短的代码完成网页的标签过滤功能。

Python爬虫的构架组成：

爬虫构架

1、URL管理器：管理待爬取的url集合和已爬取的url集合，传送待爬取的url给网页下载器；

2、网页下载器：爬取url对应的网页，存储成字符串，传送给网页解析器；

3、网页解析器：解析出有价值的数据，存储下来，同时补充url到URL管理器。

Python的工作流程则：

Python爬虫通过URL管理器，判断是否有待爬URL，如果有待爬URL，通过调度器进行传递给下载器，下载URL内容，并通过调度器传送给解析器，解析URL内容，并将价值数据和新URL列表通过调度器传递给应用程序，并输出价值信息的过程。

Python是一门非常适合开发网络爬虫的编程语言，提供了如urllib、re、json、pyquery等模块，同时又有很多成型框架，如Scrapy框架、PySpider爬虫系统等。代码十分的简洁方便，是新手学习网络爬虫首选编程语言。爬虫是指网络资源的抓取，因为Python的脚本特性，Python易于配置，对字符的处理也非常灵活，加上Python有丰富的网络抓取模块，所以两者经常联系在一起，Python语言更适合新手学习。

Python网络爬虫是使用Python编写的一种网络数据采集工具。Python提供了丰富的库和模块，使得编写网络爬虫变得简单和高效。通过编写Python程序，可以模拟人类在浏览器中访问网页的行为，自动抓取网页上的数据。Python网络爬虫可以通过发送HTTP请求获取网页内容，然后使用解析库对网页进行解析，提取所需的数据。Python网络爬虫可以用于各种应用场景，如搜索引擎的网页索引、数据采集、舆情监控等。八爪鱼采集器是一款功能全面、操作简单、适用范围广泛的互联网数据采集器。如果您需要采集数据，八爪鱼采集器可以为您提供智能识别和灵活的自定义采集规则设置，帮助您快速获取所需的数据。了解更多八爪鱼采集器的功能与合作案例，请前往官网了解更多详情

Python爬虫，全称Python网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或脚本，主要用于抓取证券交易数据、天气数据、网站用户数据和数据等，Python为支持网络爬虫正常功能实现，内置了大量的库，主要有几种类型。下面本篇文章就来给大家介绍。

一、Python爬虫网络库

Python爬虫网络库主要包括：urllib、requests、grab、pycurl、urllib3、httplib2、RoboBrowser、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq以及aiohttp等。

二、Python网络爬虫框架

Python网络爬虫框架主要包括：grab、scrapy、pyspider、cola、portia、restkit以及demiurge等。

三、HTML/XML解析器

●lxml：C语言编写高效HTML/ XML处理库。支持XPath。

●cssselect：解析DOM树和CSS选择器。

●pyquery：解析DOM树和jQuery选择器。

●BeautifulSoup：低效HTML/ XML处理库，纯Python实现。

●html5lib：根据WHATWG规范生成HTML/ XML文档的DOM。该规范被用在现在所有的浏览器上。

●feedparser：解析RSS/ATOM feeds。

●MarkupSafe：为XML/HTML/XHTML提供了安全转义的字符串。

●xmltodict：一个可以让你在处理XML时感觉像在处理JSON一样的Python模块。

●xhtml2pdf：将HTML/CSS转换为PDF。

●untangle：轻松实现将XML文件转换为Python对象。

四、文本处理

用于解析和操作简单文本的库。

●difflib：（Python标准库）帮助进行差异化比较。

●Levenshtein：快速计算Levenshtein距离和字符串相似度。

●fuzzywuzzy：模糊字符串匹配。

●esmre：正则表达式加速器。

●ftfy：自动整理Unicode文本，减少碎片化。

五、特定格式文件处理

解析和处理特定文本格式的库。

●tablib：一个把数据导出为XLS、CSV、JSON、YAML等格式的模块。

●textract：从各种文件中提取文本，比如 Word、PowerPoint、PDF等。

●messytables：解析混乱的表格数据的工具。

●rows：一个常用数据接口，支持的格式很多（目前支持CSV，HTML，XLS，TXT：将来还会提供更多！）。

六、自然语言处理

●NLTK：编写Python程序来处理人类语言数据的最好平台；

●Pattern：Python的网络挖掘模块；

●TextBlob：为深入自然语言处理任务提供了一致的API。是基于NLTK以及Pattern的巨人之肩上发展的；

●jieba：中文分词工具；

●SnowNLP：中文文本处理库；

●loso：另一个中文分词库；

●genius：基于条件随机域的中文分词；

●langidpy：独立的语言识别系统；

●Korean：一个韩文形态库；

●pymorphy2：俄语形态分析器(词性标注+词形变化引擎)；

●PyPLN：用Python编写的分布式自然语言处理通道。这个项目的目标是创建一种简单的方法使用NLTK通过网络接口处理大语言库。

七、浏览器自动化与仿真

●selenium：自动化真正的浏览器(Chrome浏览器，火狐浏览器，Opera浏览器，IE浏览器)；

●Ghostpy：对PyQt的webkit的封装(需要PyQT)；

●Spynner：对PyQt的webkit的封装(需要PyQT)；

●Splinter：通用API浏览器模拟器(selenium web驱动，Django客户端，Zope)。

八、多重处理

●threading：Python标准库的线程运行。对于I/O密集型任务很有效。对于CPU绑定的任务没用，因为python GIL；

●multiprocessing：标准的Python库运行多进程；

●celery：基于分布式消息传递的异步任务队列/作业队列；

●concurrent-futures：concurrent-futures 模块为调用异步执行提供了一个高层次的接口。

九、异步网络编程库

●asyncio：(在Python 34 +版本以上的 Python标准库)异步I/O，时间循环，协同程序和任务；

●Twisted：基于事件驱动的网络引擎框架；

●Tornado：一个网络框架和异步网络库；

●pulsar：Python事件驱动的并发框架；

●diesel：Python的基于绿色事件的I/O框架；

●gevent：一个使用greenlet 的基于协程的Python网络库；

●eventlet：有WSGI支持的异步框架；

●Tomorrow：异步代码的奇妙的修饰语法。

十、队列

●celery：基于分布式消息传递的异步任务队列/作业队列；

●huey：小型多线程任务队列；

●RQ：基于Redis的轻量级任务队列管理器；

●simpleq：一个简单的，可无限扩展，基于Amazon SQS的队列；

●python-gearman：Gearman的Python API。

十一、云计算

picloud：云端执行Python代码；

dominoupcom：云端执行R，Python和matlab代码。

十二、电子邮件

●flanker：电子邮件地址和Mime解析库；

●Talon：Mailgun库用于提取消息的报价和签名。

十三、网址和网络地址操作

●furl：一个小的Python库，使得操纵URL简单化；

●purl：一个简单的不可改变的URL以及一个干净的用于调试和操作的API；

●urllibparse：用于打破统一资源定位器(URL)的字符串在组件之间的隔断，为了结合组件到一个URL字符串，并将“相对URL”转化为一个绝对URL，称之为“基本URL”；

●tldextract：从URL的注册域和子域中准确分离TLD，使用公共后缀列表；

●etaddr：用于显示和操纵网络地址的Python库。

十四、网页内容提取

●ewspaper：用Python进行新闻提取、文章提取和内容策展；

●html2text：将HTML转为Markdown格式文本；

●python-goose：HTML内容、文章提取器；

●lassie：人性化的网页内容检索工具；

●micawber：一个从网址中提取丰富内容的小库；

●sumy：一个自动汇总文本文件和HTML网页的模块；

●Haul：一个可扩展的图像爬虫；

●python-readability：arc90 readability工具的快速Python接口；

●scrapely：从HTML网页中提取结构化数据的库；

●youtube-dl：一个从YouTube下载视频的小命令行程序；

●you-get：Python3的YouTube、优酷/ Niconico视频下载器；

●WikiTeam：下载和保存wikis的工具。

十五、WebSocket

●Crossbar：开源的应用消息传递路由器；

●AutobahnPython：提供了WebSocket协议和WAMP协议的Python实现并且开源；

●WebSocket-for-Python：Python 2和3以及PyPy的WebSocket客户端和服务器库。

十六、DNS解析

●dnsyo：在全球超过1500个的DNS服务器上检查你的DNS；

●pycares：c-ares的接口。

十七、计算机视觉

●OpenCV：开源计算机视觉库；

●SimpleCV：用于照相机、图像处理、特征提取、格式转换的简介，可读性强的接口；

●mahotas：快速计算机图像处理算法，完全基于 numpy 的数组作为它的数据类型。

十八、代理服务器

●shadowsocks：一个快速隧道代理，可帮你穿透防火墙；

●tproxy：tproxy是一个简单的TCP路由代理，基于Gevent，用Python进行配置。

十九、其他Python工具列表

●awesome-python

●pycrumbs

●python-github-projects

●python_reference

●pythonidae

Python爬虫即使用Python程序开发的网络爬虫（网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。其实通俗的讲就是通过程序去获取 web 页面上自己想要的数据，也就是自动抓取数据。

网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。

网络搜索引擎等站点通过爬虫软件更新自身的网站内容或其对其他网站的索引。网络爬虫可以将自己所访问的页面保存下来，以便搜索引擎事后生成索引供用户搜索。

爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫需要考虑到规划、负载，还需要讲“礼貌”。 不愿意被爬虫访问、被爬虫主人知晓的公开站点可以使用robotstxt文件之类的方法避免访问。这个文件可以要求机器人只对网站的一部分进行索引，或完全不作处理。

互联网上的页面极多，即使是最大的爬虫系统也无法做出完整的索引。因此在公元2000年之前的万维网出现初期，搜索引擎经常找不到多少相关结果。现在的搜索引擎在这方面已经进步很多，能够即刻给出高质量结果。

爬虫还可以验证超链接和HTML代码，用于网络抓取。

Python 爬虫

Python 爬虫架构

Python 爬虫架构主要由五个部分组成，分别是调度器、URL 管理器、网页下载器、网页解析器、应用程序（爬取的有价值数据）。

调度器：相当于一台电脑的 CPU，主要负责调度 URL 管理器、下载器、解析器之间的协调工作。

URL 管理器：包括待爬取的 URL 地址和已爬取的 URL 地址，防止重复抓取 URL 和循环抓取 URL，实现 URL 管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。

网页下载器：通过传入一个 URL 地址来下载网页，将网页转换成一个字符串，网页下载器有 urllib2（Python 官方基础模块）包括需要登录、代理、和 cookie，requests(第三方包)

网页解析器：将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据 DOM 树的解析方式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过模糊匹配的方式来提取有价值的信息，当文档比较复杂的时候，该方法提取数据的时候就会非常的困难）、htmlparser（Python 自带的）、beautifulsoup（第三方插件，可以使用 Python 自带的 htmlparser 进行解析，也可以使用 lxml 进行解析，相对于其他几种来说要强大一些）、lxml（第三方插件，可以解析 xml 和 HTML），htmlparser 和 beautifulsoup 以及 lxml 都是以 DOM 树的方式进行解析的。

应用程序：就是从网页中提取的有用数据组成的一个应用。

爬虫可以做什么？

你可以用爬虫爬，爬取视频等等你想要爬取的数据，只要你能通过浏览器访问的数据都可以通过爬虫获取。

爬虫的本质是什么？

模拟浏览器打开网页，获取网页中我们想要的那部分数据

浏览器打开网页的过程：

当你在浏览器中输入地址后，经过 DNS 服务器找到服务器主机，向服务器发送一个请求，服务器经过解析后发送给用户浏览器结果，包括 html,js,css 等文件内容，浏览器解析出来最后呈现给用户在浏览器上看到的结果

所以用户看到的浏览器的结果就是由 HTML 代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤 html 代码，从中获取我们想要资源。