首页分享 python批量爬取猫咪图片

python批量爬取猫咪图片

来源：萌宠菠菠乐园时间：2024-11-01 03:43

不多说直接上代码

首先需要安装需要的库，安装命令如下

pip install BeautifulSoup

pip install requests

pip install urllib

pip install lxmlfrom bs4 import BeautifulSoup # 贵族名宠网页爬虫

import requests import urllib.request # 网址 url = 'http://www.hengdadog.com/sale-1.html' def allpage(): # 获得所有网页 all_url = [] for i in range(1, 8): #循环翻页次数 each_url = url.replace(url[-6], str(i)) # 替换 all_url.append(each_url) return (all_url) # 返回地址列表 if __name__ == '__main__': img_url = allpage() # 调用函数 for url in img_url: # 获得网页源代码 print(url) requ = requests.get(url) req = requ.text.encode(requ.encoding).decode() html = BeautifulSoup(req, 'lxml') t = 0 # 选择目标url img_urls = html.find_all('img') for k in img_urls: img = k.get('src') # 图片 print(img) name = str(k.get('alt')) # 名字，这里的强制类型转换很重要 type(name) # 先本地新建一下文件夹，保存图片并且命名 path = 'F:CAT' # 路径 file_name = path + name + '.jpg' imgs = requests.get(img) # 存储入文件 try: urllib.request.urlretrieve(img, file_name) # 打开图片地址，下载图片保存在本
except: print("error")

运行效果：

上面代码有不少缺陷，比如需要手动创建目录以及判断目录是否存在，下载没有提示，于是做了些优化：

from bs4 import BeautifulSoup # 贵族名宠网页爬虫 import requests import urllib.request import os # 网址 url = 'http://www.hengdadog.com/sale-1.html' if os.path.exists('F:CAT'):#判断目录是否存在，存在则跳过，不存在则创建 pass else: os.mkdir('F:CAT') def allpage(): # 获得所有网页 all_url = [] for i in range(1, 10): #循环翻页次数 each_url = url.replace(url[-6], str(i)) # 替换 all_url.append(each_url) return (all_url) # 返回地址列表 if __name__ == '__main__': img_url = allpage() # 调用函数 for url in img_url: # 获得网页源代码 print(url) requ = requests.get(url) req = requ.text.encode(requ.encoding).decode() html = BeautifulSoup(req, 'lxml') t = 0 # 选择目标url img_urls = html.find_all('img') for k in img_urls: img = k.get('src') # 图片 print(img) name = str(k.get('alt')) # 名字，这里的强制类型转换很重要 type(name) # 保存图片并且命名 path = 'F:CAT' # 路径 file_name = path + name + '.jpg' imgs = requests.get(img) # 存储入文件 try: urllib.request.urlretrieve(img, file_name) # 打开图片地址，下载图片保存在本地， print('正在下载图片到F:CAT目录······') except: print("error")

打包成EXE文件：

进入文件目录输入如下命令

pyinstaller -F get_cat.py