一个post网页爬取问题(爬取城市数据)

  统计/机器学习 数据预处理 开放问题    浏览次数:280        分享
0

网址是https://data.cnki.net/ValueSearch/Index?ky=%E4%BA%91%E6%B5%AE

想爬取各个城市的数据进行分析,但是提交post表单,也添加了headers,发送请求返回的status_code却是500,可能是学艺不精,请大佬们帮忙看看。

 

Ccky   2020-12-02 16:28



   1个回答 
0

这个可能是你的ip问题,我用的教育网ip是可以返回200的。

建议登录知网,然后使用cookie进行爬取。

SofaSofa数据科学社区DS面试题库 DS面经

eleve11   2020-12-08 18:05



  相关主题

%%timeit结果解释   1回答

训练集中重复的样本需要被删除吗?   3回答

为什么说非平衡(倾斜)的数据不好?   2回答

拟合数据的Z-score规范化怎么进行操作?   2回答

怎么对特征做标准化使得数值都是正数?   3回答

z-score标准化不适用于处理什么样的数据?   1回答

二值化和Onehot表示的特征哪一个较好?   1回答

dummy variable是n个还是n-1个   3回答

机器学习中的过采样和欠采样是什么意思?   2回答

机器学习中的维度灾难怎么防止和克服?   1回答

在训练前数据处理的时候,怎么剔除异常值?   2回答

什么时候需要对y或者特征进行对数变换?   1回答



回答问题时需要注意什么?

我们谢绝在回答前讲“生动”的故事。

我们谢绝“这么简单,你自己想”、“书上有的,你认真看”这类的回答;如果你认为对方的提问方式或者内容不妥,你可以直接忽略该问题,不用进行任何作答,甚至可以对该问题投反对票。

我们谢绝答非所问。

我们谢绝自己不会、硬要回答。

我们感激每一个用户在编写答案时的努力与付出!