1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
| 是什么? 是一个scrapy的调试工具, 用它来进行调试xpath, 在scrapy shell中测试的是对的, 到代码中肯定是对的
ipython : pip install ipython
使用方式 : scrapy shell url
一般情况下, 在终端的任何位置, 都可以输入这个指令, 正确执行, 如果有二班情况, 你可以建一个工程, 配置好之后, 在工程里面scrapy shell url 进去
在里面可以直接使用response
response.xpath 得到一个列表, 里面都是selector对象
ret[0].extract === ret.extract()[0] === ret.extract_first()
如果xpath写错了, extract_first会返回None, 前面连个会抛出异常
scrapy里面不仅集成了xpath, 还集成了bs, 也可以使用选择器查找元素
response.css(选择器)
获取文本内容
ret = response.css('#content-left > div h2::text')
获取属性
ret = response.css('#content-left > div img::attr(src)')
item对象
这个对象在使用的时候和字典的用法一模一样
item['name'] = xxx
item['age'] = xxx
可以将对象快速的转化为字典
d = dict(item)
|
