这是日常学python的第18篇原创文章


这次用python爬虫爬点好玩的东西


这两天看恰好有nba决赛,是球迷的你肯定不会错过的,更何况今年的西部决赛是火箭对战勇士,今年的火箭是很强的,因为没到关键时候总会有人站出来。当然,勇士也是挺强的,毕竟不能小看库里杜兰特等四大巨头。


东部的决赛我就不太知道了,一直以为是凯尔特人会苦战骑士,谁知道缺了两大主力的凯尔特人还是很强,而且还打了骑士2:0,看来这次的骑士会是凶多吉少了,不知道凯尔特人会不会成功复仇,让我们拭目以待吧!


有直播就肯定有评论,所以我想爬取下球迷评论,看看他们都在聊什么!


准备工作

需要用到的库:

    requests:用于网络请求

    jieba:用于分词

    wordcloud:制作词云图

    numpy:制作背景图片


词云背景图片:


上面的库都是可以直接用pip进行下载的,但是wordcloud会报错,报错如下:

我们需要去官网下载whl文件进行手动安装

官网:https://www.lfd.uci.edu/~gohlke/pythonlibs/


然后找到对应自己安装的python版本进行下载

最后在命令行下安装即可

pip install “文件路径+whl文件名”


接下来寻找目标网页


文字直播地址:https://www.zhibo8.cc/zhibo/nba/2018/0517123898.htm?redirect=zhibo


在这个网页通过抓包(按下f12)课知道下面这个链接是返回评论信息,而且是个json


链接为:https://cache.zhibo8.cc/json/2018/nba/0517123898_384.htm?key=0.6512348313080727


通过多次分析知道上面加粗的是直播间的信息,后面的下划线之后的是评论的页数,最后的key参数是个随机数,带不带上进行请求都没有关系


用代码来获取评论信息

def get_json(self, index):
       url = https://cache.zhibo8.cc/json/2018/nba/0517123898_%d.htm?key=0.1355540028791382' % index
       response = requests.get(url)
       if response.status_code == 200:
           for item in response.json():
               # 写入文件
               self.write_file(item[‘content’])
               self.num += 1
           return 1
       else:
           return 0


评论信息有了,接着弄张词云图

def get_wordcloud(self):
       with open(‘comments.txt’‘r’, encoding=‘utf-8’as comments:
           text = comments.read()  # 加载数据
           words = ‘ ‘.join(jieba.cut(text, cut_all=True))  # 采用结巴全分词模式
           image = np.array(Image.open(‘1.jpg’))  # 背景图片
           # 初始化词云
           wc = WordCloud(font_path=r’C:\Windows\Fonts\simkai.ttf’,
                          background_color=‘white’, mask=image,
                          max_font_size=100, max_words=2000)
           wc.generate(words)  # 生成词云
           wc.to_file(‘img.png’)  # 生成图片
           image_file = Image.open(‘img.png’)  # 打开图片
           image_file.show()


好了,代码完成,看下效果:

利用词云图一眼就可以看出球迷都在评论什么了,因为我爬取的是火箭主场对战勇士的第二场比赛,肯定讨论最多的就是勇士火箭了,紧接的就是杜兰特了,死亡之神,这场的杜兰特超神拿了38分还是输给了火箭,自然而然就是讨论他最多了。还有就是这场站出来的塔克,三分6中5,还破了个人季后赛的最高得分,讨论他也是很正常的事。还有一个很显眼的就是第三节,很多人都认为勇士是“勇三疯”,以为这场比赛勇士会在第三节爆发吧?其实这赛季的火箭第三节也是很强的,并不比勇士弱。


完整代码已经上传到我的github上了,如果需要的话可以自行查看,如果觉得程序不错的话希望可以给个star哈!

github:https://github.com/SergioJune/gongzhonghao_code


写在最后

如果这篇文章对你用的话,希望不要吝啬你的点赞哈!点赞和转发就是对我的最大支持,这样才有动力输出质量高的原创文章。


「球迷的话点个赞?我看看有多少个是球迷」


推荐文章:

<a href=”http://mp.weixin.qq.com/s?biz=MzU0NzY0NzQyNw==&mid=2247483774&idx=1&sn=769c06f2cf532b645d9cb9ba63b52b81&chksm=fb4a7bd2cc3df2c47851c244db40b5cddccf2e21381d7742e39b9db2bdee0f12b83f870814bf&scene=21#wechat_redirect” target=”_blank” _href=”http://mp.weixin.qq.com/s?__biz=MzU0NzY0NzQyNw==&mid=2247483774&idx=1&sn=769c06f2cf532b645d9cb9ba63b52b81&chksm=fb4a7bd2cc3df2c47851c244db40b5cddccf2e21381d7742e39b9db2bdee0f12b83f870814bf&scene=21#wechat_redirect" style=”word-break: normal !important;”>使用requests+BeautifulSoup的简单爬虫练习

python爬虫常用库之requests详解



日常学python

代码不止bug,还有美和乐趣