当前位置:   article > 正文

python淘宝爬虫基于requests抓取淘宝商品数据_python 抓取淘宝 返回ordinal0 [0x002c7413+2389011]

python 抓取淘宝 返回ordinal0 [0x002c7413+2389011]

在学校蹭过python的课,觉得python异常强大,趁寒假有时间,瞎搞一下,希望能和大伙一起探讨学习。废话不多说了,直接正题。

requests 是Python的http库,可以完成绝大部分与http应用相关的工作,当然对一些常规的数据抓取还是很方便。 
详细看手册: 
http://docs.python-requests.org/zh_CN/latest/user/quickstart.html

比如这两行代码 
url=”www.baidu.com” 
resp = requests.get(url)

requests的 get 返回值是一个 Response 对象,这个对象有很多属性text、encoding、status_code、links等,(具体用help查看啦0.0),这个对象的text属性即(resp.text)包含了相应的HTML文本,我们想要爬的数据就是在这里啦,encoding是显示resp.text的编码,也可以修改编码。

requests传递 URL 参数也是非常方便的,普及一下URL参数,是指:来定位网络上信息资源的地址,比如 
https://s.taobao.com/search?q=python 是淘宝搜索python 
https://s.taobao.com/search?q=java 就是淘宝搜索java 
大家对比一下不同之处就是改变了url参数,我们可以用字典来提供这些URL参数,详细看手册!!!

接下来的例子功能是:淘宝搜索python,把1到100页商品信息的名称、单价、地址保存到taobao_test.txt文件中 
准备工作: 
1、python开发环境 
2、re库 
3、requests库

  1. #coding=utf-8
  2. import re
  3. import requests
  4. url = 'https://s.taobao.com/search'
  5. payload = {'q': 'python','s': '1','ie':'utf8'} #字典传递url参数
  6. file = open('taobao_test.txt','w',encoding='utf-8')
  7. for k in range(0,100): #100次,就是100个页的商品数据
  8. payload ['s'] = 44*k+1 #此处改变的url参数为s,s为1时第一页,s为45是第二页,89时第三页以此类推
  9. resp = requests.get(url, params = payload)
  10. print(resp.url) #打印访问的网址
  11. resp.encoding = 'utf-8' #设置编码
  12. title = re.findall(r'"raw_title":"([^"]+)"',resp.text,re.I) #正则保存所有raw_title的内容,这个是书名,下面是价格,地址
  13. price = re.findall(r'"view_price":"([^"]+)"',resp.text,re.I)
  14. loc = re.findall(r'"item_loc":"([^"]+)"',resp.text,re.I)
  15. x = len(title) #每一页商品的数量
  16. for i in range(0,x) : #把列表的数据保存到文件中
  17. file.write(str(k*44+i+1)+'书名:'+title[i]+'\n'+'价格:'+price[i]+'\n'+'地址:'+loc[i]+'\n\n')
  18. file.close()
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24

txt文件内容

代码比较短,证明requests模块的方便,代码可能有点臃肿,txt文件结果没问题

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小蓝xlanll/article/detail/705213
推荐阅读
相关标签
  

闽ICP备14008679号