首页 网维知识库 利用python爬虫爬取网站音乐遇到的坑

利用python爬虫爬取网站音乐遇到的坑

前言 最近我想在网站上下载几首音乐放到我的u盘里听,但是上网上一找,各大音乐网站下载歌曲(尤其是好听的歌曲)都需要vip。 对于像我这样的穷人来说,肯定是不会花几十块钱去下载几首音…

前言

最近我想在网站上下载几首音乐放到我的u盘里听,但是上网上一找,各大音乐网站下载歌曲(尤其是好听的歌曲)都需要vip。

利用python爬虫爬取网站音乐遇到的坑插图

对于像我这样的穷人来说,肯定是不会花几十块钱去下载几首音乐啦,而且作为程序员,充钱去下载音乐那也是不可能的,于是我花了一天时间,上网找了各种资料来学习一下怎样才能不花钱白嫖到网站上的音乐。

当然,方法还是有很多种的,最后我还是选择了一种最简单,最方便的一种方法: python爬虫。下面,我就跟大家分享一下我在用python爬虫时遇到的坑。

下面,我以爬取某易云音乐为例,介绍一下我时如何学习python爬虫的:

思路:

  • 音乐从哪里来?—网站的服务器里 
  • 怎么从网址里得到音乐?—向网站发起网络请求
  • 删选音乐文件
  • 下载音乐文件

具体实现

1.引入发送网络请求的第三方库

import requests # 发送网络请求的第三方库

安装方法

pip install requests

2.引入数据解析第三方库

from lxml import etree # 数据解析第三方库

安装方法

pip install lxml

3.某易云音乐网站列表url为’https://music.163.com/#/discover/toplist?id=3778678′

url = 'https://music.163.com/#/discover/toplist?id=3778678'

4.发送请求获取页面数据

response = requests.get(url=url) # 请求页面数据

5.解析数据

html=etree.HTML(response.text) # 解析页面数据

6.获取所有歌曲标签集合( a标签 )

id_list = html.xpath('//a[contains(@href,"song?")]')  # 所有歌曲id集合
  1. 下载歌曲
base_url = 'http://music.163.com/song/media/outer/url?id=' # 下载音乐网址前缀
# 下载音乐url = 网址前缀 + 音乐id
for data in id_list:
    href = data.xpath('./@href')[0]
    music_id = href.split('=')[1] # 音乐id
    music_url = base_url + music_id # 下载音乐url
    music_name = data.xpath('./text()')[0] # 下载音乐名称
    music = requests.get(url = music_url)
    # 将下载的音乐以文件形式保存下来
    with open('./music/%s.mp3' % music_name, 'wb') as file:
         file.write(music.content)
         print('<%s>下载成功' % music_name)

遇到的坑

以上的方法我是从一个视频里学到的,那个视频是半年前出的,可能当时这种方法还好使,但是今天我在用这种方法下载音乐文件的时候突然就报错了。

首先,编辑器报错找不到 music_name 和 music_id ,我仔细一看,获取的id_list集合里(也就是标签集合里)的id根本不是id,是代码,估计在这里音乐网站也做了相应的反扒机制。

其次,我自己在网站里找到了一首音乐获取了它的id并把id赋值给music_id,结果当用外链下载音乐时报错460,显示网络拥挤,估计下载音乐的网址也不好使了。

base_url = 'http://music.163.com/song/media/outer/url?id='
music_id = '1804320463.mp3'
music_url = base_url + music_id
music = requests.get(url=music_url)
print(music.text)

{“msg”:”网络太拥挤,请稍候再试!”,”code”:-460,”message”:”网络太拥挤,请稍候再试!”}

最后,我打印出music_url,点击进去,还是可以听歌和下载的,不知道这是为什么了

base_url = 'http://music.163.com/song/media/outer/url?id='
music_id = '1804320463.mp3'
music_url = base_url + music_id
# music = requests.get(url=music_url)
print(music_url)

music.163.com/song/media/…

总结

现在的网站技术更新太快,很多网站都有了高级反爬机制,毕竟嘛,有些东西还是不能随随便便就给你的,我写这篇文章主要是跟大家分享一下我学习python爬虫时的一些经验,同时,我也想请教各位大神,像遇到了我这种问题了,我应该怎么办才能将这个网站的音乐文件爬到我的本地电脑里,还请各大神指点一二。

免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考,文章版权归原作者所有。如本文内容影响到您的合法权益(内容、图片等),请及时联系本站,我们会及时删除处理。

作者: 3182235786a

为您推荐

Windows系统怎么保持远程桌面长时间链接不会自动断开呢?

Windows系统怎么保持远程桌面长时间链接不会自动断开呢?

大家经常会遇到正在远程桌面连接如果不进行一些操作,过上个几分钟一会儿之后远程桌面连接就会需要登录,有时还是直接断开需要重...
Win11预览版 Builds 22572.100更新补丁KB5012817发布(附更新修复内容汇总)

Win11预览版 Builds 22572.100更新补丁KB5012817发布(附更新修复内容汇总)

据系统之家小编了解,微软公司于今日凌晨面向Windows预览频道发布了新的Win11 KB5012817补丁,内部版本2...
Win11预览版全新标签式文件资源管理器上手体验:快速切换窗口,还可以滚动标签

Win11预览版全新标签式文件资源管理器上手体验:快速切换窗口,还可以滚动标签

据 Windows Latest 报道,如果你是众多要求微软为文件资源管理器添加标签页的用户之一,现在终于等到了好消息。...
微软 Win11 22H2“太阳谷 2”重大版本将全面改造升级传统经典 UI

微软 Win11 22H2“太阳谷 2”重大版本将全面改造升级传统经典 UI

据 Windows Latest 报道,Windows 11 太阳谷 2 更新预计将对 UI 进行大修,并在 WinUI...
电脑升级win11后怎么退回win10?win11退回win10系统操作方法

电脑升级win11后怎么退回win10?win11退回win10系统操作方法

方法一 1.当我们升级win11后需要退回win10系统时,首先进入开始菜单页面,找到【设置】。 2.在设置的操作页面中...

发表回复

返回顶部