Python爬虫，全称Python网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或脚本，主要用于抓取证券交易数据、天气数据、网站用户数据和图片数据等，Python为支持网络爬虫正常功能实现，内置了大量的库，主要有几种类型。下面本篇文章就来给大家介绍。
一、Python爬虫网络库
Python爬虫网络库主要包括：urllib、requests、grab、pycurl、urllib3、：云端执行R，Python和matlab代码。
十二、电子邮件
●flanker：电子邮件地址和Mime解析库；
●Talon：Mailgun库用于提取消息的报价和签名。
十三、网址和网络地址操作
●furl：一个小的Python库，使得操纵URL简单化；
●purl：一个简单的不可改变的URL以及一个干净的用于调试和操作的API；
●urllib.parse：用于打破统一资源定位器(URL)的字符串在组件之间的隔断，为了结合组件到一个URL字符串，并将“相对URL”转化为一个绝对URL，称之为“基本URL”；
●tldextract：从URL的注册域和子域中准确分离TLD，使用公***后缀列表；
●etaddr：用于显示和操纵网络地址的Python库。
十四、网页内容提取
●ewspaper：用Python进行新闻提取、文章提取和内容策展；
●html2text：将HTML转为Markdown格式文本；
●python-goose：HTML内容、文章提取器；
●lassie：人性化的网页内容检索工具；
●micawber：一个从网址中提取丰富内容的小库；
●sumy：一个自动汇总文本文件和HTML网页的模块；
●Haul：一个可扩展的图像爬虫；
●python-readability：arc90 readability工具的快速Python接口；
●scrapely：从HTML网页中提取结构化数据的库；
●youtube-dl：一个从YouTube下载视频的小命令行程序；
●you-get：Python3的YouTube、优酷/ Niconico视频下载器；
●WikiTeam：下载和保存wikis的工具。
十五、WebSocket
●Crossbar：开源的应用消息传递路由器；
●AutobahnPython：提供了WebSocket协议和WAMP协议的Python实现并且开源；
●WebSocket-for-Python：Python 2和3以及PyPy的WebSocket客户端和服务器库。
十六、DNS解析
●dnsyo：在全球超过1500个的DNS服务器上检查你的DNS；
●pycares：c-ares的接口。
十七、计算机视觉
●OpenCV：开源计算机视觉库；
●SimpleCV：用于照相机、图像处理、特征提取、格式转换的简介，可读性强的接口；
●mahotas：快速计算机图像处理算法，完全基于 numpy 的数组作为它的数据类型。
十八、代理服务器
●shadowsocks：一个快速隧道代理，可帮你穿透防火墙；
●tproxy：tproxy是一个简单的TCP路由代理，基于Gevent，用Python进行配置。
十九、其他Python工具列表
●awesome-python
●pycrumbs
●python-github-projects
●python_reference
●pythonidae