猫眼电影评论爬取异常问题解析 发表于 2019-05-15 | 分类于 python , 网络爬虫与数据分析 | 评论数: | 阅读次数: 背景前期以《流浪地球》为例,介绍了抓取猫眼电影评论和分析的爬虫,参考:获取猫眼电影的评论,通过猫眼的接口获取了全量的电影评论。 最近有人在github上提了两个issue,说无法获取评论信息了。 分析根据最开始的思路,猫眼获取电影评论的接口url如下: 1http://m.maoyan.com/re ... 阅读全文 »
获取爱奇艺用户评论分析我是唱作人到底谁最火 发表于 2019-05-12 | 更新于 2019-07-13 | 分类于 python , 网络爬虫与数据分析 | 评论数: | 阅读次数: 背景《我是唱作人》是爱奇艺自制的原创音乐节目,当前十分火爆,本周更是上半季的最后一集。我们可通过抓取人们观看节目并发表的评论,看看这节目以及最后决赛究竟如何。 评论抓取我们先访问爱奇艺的官网,找到对应的节目:https://www.iqiyi.com/a_19rrhuo9bd.html 会发现仅有节 ... 阅读全文 »
Mac下csv文件在excel中打开乱码问题 发表于 2019-05-12 | 分类于 操作系统 , mac | 评论数: | 阅读次数: 背景今天在爬虫抓取网页信息并写如为csv文件时,使用excel打开后,竟然中文部分都是乱码。 一般出现乱码问题都是文本编码不对的问题,修改成对应的编码即可。 操作系统:MAC 解决办法 方法一: 在windows环境下,可以只用使用notepad++或者系统自带的记事本打开,之后另外保存一份为AN ... 阅读全文 »
git ssh之Could not resolve hostname github.com问题 发表于 2019-05-10 | 分类于 git | 评论数: | 阅读次数: 背景今天在使用hexo提交github代码的时候,突然有了如下的报错: 123456ssh: Could not resolve hostname github.com: nodename nor servname provided, or not knownfatal: Could not rea ... 阅读全文 »
chromedriver之版本选择 发表于 2019-05-09 | 分类于 python , 网络爬虫与数据分析 | 评论数: | 阅读次数: 背景在跑一个以前的使用chromedriver的selenium程序的时候突然异常,报了如下的错: 12345678910111213141516171819Traceback (most recent call last): File "run.py", line 139, in <mod ... 阅读全文 »
项目实践——动态新闻标题热点挖掘 发表于 2019-05-06 | 更新于 2019-07-13 | 分类于 python , 用python玩转数据 | 评论数: | 阅读次数: 该系列为南京大学课程《用Python玩转数据》学习笔记,主要以思维导图的记录 8.2 动态新闻标题热点挖掘课件是通过正则获取新浪新闻热点标题并绘制词云,现通过抓取今日头条热点新闻进行挖掘 获取热点新闻 通过chrome访问https://www.toutiao.com/ch/news_hot/,在 ... 阅读全文 »
项目实践——线性回归分析入门之波士顿房价预测 发表于 2019-05-05 | 更新于 2019-05-10 | 分类于 python , 用python玩转数据 | 评论数: | 阅读次数: 该系列为南京大学课程《用Python玩转数据》学习笔记,主要以思维导图的记录 8.1 线性回归分析入门之波士顿房价预测获取数据 加载数据 123456from sklearn import datasetsimport pandas as pdboston = datasets.load_bosto ... 阅读全文 »
GUI与面向对象3 发表于 2019-05-03 | 更新于 2019-05-10 | 分类于 python , 用python玩转数据 | 评论数: | 阅读次数: 该系列为南京大学课程《用Python玩转数据》学习笔记,主要以思维导图的记录 7.8 综合应用 财经数据GUI项目my_finance.py 1234567891011121314151617181920212223242526272829303132333435363738# -*- coding ... 阅读全文 »
GUI与面向对象2 发表于 2019-05-02 | 分类于 python , 用python玩转数据 | 评论数: | 阅读次数: 该系列为南京大学课程《用Python玩转数据》学习笔记,主要以思维导图的记录 7.4 GUI的基本框架 7.5 GUI的常用组件 7.6 布局管理 7.7 其他GUI库 阅读全文 »
GUI与面向对象1 发表于 2019-04-30 | 分类于 python , 用python玩转数据 | 评论数: | 阅读次数: 该系列为南京大学课程《用Python玩转数据》学习笔记,主要以思维导图的记录 7.1 GUI与面向对象 7.2 抽象 7.3 继承 阅读全文 »