Xthon's Blog

0%

[Python]运用requests库进行简单的爬取

发表于 更新于 分类于 ， 阅读次数： 评论数：
本文字数: 565 字 | 阅读时长 ≈ 2 分钟

学习了requests的基本方法后，我很想练练手，嘿嘿，马上就来试试看，来写个超级无敌hin简单的小爬虫吧~

单个抓取的小爬虫

我常常在网上看到很多很好看的图片，我一般都是“右键-另存为”；可是呀，几十张还好，如果是几百张，几千张，我该怎么办呢？？

之前的我，这个时候一般就会去找别人打包好的压缩图包，可是他们又是怎么获取的呢？？肯定不会是“右键-另存为”这样一张张地操作啦~（可能有些人还真是这样做的）

开始学习爬虫之后，就可以用爬虫来抓取图片啦！一开始，先来学抓取单张图片吧～

  1. 先导入 requests 与 os
1
2
import requests
import os

  1. 设置图片存取路径

    先提供一个url吧！

    1
    2
    3
    url = ""   #双引号里填写你要抓取的图片地址~
    root = "E://pics//"
    path = root + url.split('/')[-1]

    root当然是设置存放图片的文件夹的路径啦~

    那么path是什么呢？ 嘿嘿，别急，听我说，url.split('/')[-1]这个小伙伴都看出来了吧？作用就是切取图片的原名称咯~ 文件夹路径加上原名称，自然就是按原名称存放图片到我们设定的文件夹里啦~ 当然，root是可变的名称你也可以照你喜欢的来o(* ￣▽￣*)ブ

编写异常处理的代码

这个无论什么时候都十分重要！！！

1
2
3
4
5
6
7
8
9
10
11
12
13
try:
    if not os.path.exists(root):
        os.mkdir(root)
    if not os.path.exists(path):
        r = requests.get(url)
        with open(path,'wb') as f:
            f.write(r.content)
            f.close
            print("文件保存成功")
    else:
        print("文件已经存在")
except:
    print("爬取失败")

尾巴

把以上的代码按次序组合起来，就是单张图片抓取的小爬虫啦！

当然，你可以把它写成函数，然后通过循环不断调用，只不过每一次都需要你提交一份url啦……

虽然看起来还很蠢笨，不过，通过它，我大概了解到了抓取图片的机制啦，那你呢？不要吐槽那只小爬虫啦，快快理解它才是最重要的，对不对？？

我好菜啊……就先写到这里…つ﹏⊂ 再见～

------ 本文结束 ------