pyspider爬虫框架源码阅读

pyspider爬虫框架源码阅读主要使用的组件tornado一个异步可并发的网络库有4个部分组成 Web Framework，RequestHandler HTTP的客户端和服务端 HTTPServer AsyncHTTPClient 一个异步的网络库 IOLoop IOStream 一个协程库 tornado.gen flask用于搭建web server phantomjs用于爬取js页