明党参

注册

 

发新话题 回复该主题

使用python的scrapy框架简单的 [复制链接]

1#
一、配置scrapy环境1.配置相应模块

如果没有配置过scrapy环境的一般需要安装lxml、PyOpenssl、Twisted、Pywin32、scrapy这几样模块,都可以pipinstall*方式安装,如pipinstalllxml。

2.**测试是否安装成功**

直接在cmd输入scrapy,出现版本号就说明安装成功

二、爬虫项目

下面就直接开始爬取

1.创建项目scrapystartprojectdouban_book

这个就是创建好的scrapy文件

2.创建爬虫scrapygenspiderdouban_book_spiderbook.douban.
分享 转发
TOP
发新话题 回复该主题