0%

[Python]运用requests库进行简单的爬取

学习了requests的基本方法后,我很想练练手,嘿嘿,马上就来试试看,来写个超级无敌hin简单的小爬虫吧~

单个抓取的小爬虫

我常常在网上看到很多很好看的图片,我一般都是“右键-另存为”;可是呀,几十张还好,如果是几百张,几千张,我该怎么办呢??

之前的我,这个时候一般就会去找别人打包好的压缩图包,可是他们又是怎么获取的呢??肯定不会是“右键-另存为”这样一张张地操作啦~(可能有些人还真是这样做的)

开始学习爬虫之后,就可以用爬虫来抓取图片啦!一开始,先来学抓取单张图片吧~

  1. 先导入 requests 与 os
1
2
import requests
import os
  1. 设置图片存取路径

    先提供一个url吧!

    1
    2
    3
    url = ""   #双引号里填写你要抓取的图片地址~
    root = "E://pics//"
    path = root + url.split('/')[-1]

    root当然是设置存放图片的文件夹的路径啦~

    那么path是什么呢? 嘿嘿,别急,听我说,url.split('/')[-1]这个小伙伴都看出来了吧?作用就是切取图片的原名称咯~ 文件夹路径加上原名称,自然就是按原名称存放图片到我们设定的文件夹里啦~ 当然,root是可变的名称你也可以照你喜欢的来o(*  ̄▽ ̄*)ブ

编写异常处理的代码

这个无论什么时候都十分重要!!!

1
2
3
4
5
6
7
8
9
10
11
12
13
try:
if not os.path.exists(root):
os.mkdir(root)
if not os.path.exists(path):
r = requests.get(url)
with open(path,'wb') as f:
f.write(r.content)
f.close
print("文件保存成功")
else:
print("文件已经存在")
except:
print("爬取失败")

尾巴

把以上的代码按次序组合起来,就是单张图片抓取的小爬虫啦!

当然,你可以把它写成函数,然后通过循环不断调用,只不过每一次都需要你提交一份url啦……

虽然看起来还很蠢笨,不过,通过它,我大概了解到了抓取图片的机制啦,那你呢?不要吐槽那只小爬虫啦,快快理解它才是最重要的,对不对??

我好菜啊……就先写到这里…つ﹏⊂ 再见~

------ 本文结束 ------