IP访问频率限制是网页中最常用的反爬虫手段，当爬虫的IP被目标服务器ban掉之后，我们的爬虫代码是没办法继续正常执行的。解决这个问题的方法也很简单就是用网页代理，但是现在免费的网页代理不好找，收费的又太贵。可是日常又需要，我就想着通过爬取免费代...

问题来源 爬虫写完并不是一劳永逸的，因为原站的代码迭代，我们上次文章写的代码就变成了a pile of shit💩。生活不如意，十有八九，这并不是阻碍我们学习的绊脚石。我们出发点是学习，为了使这次对的代码具有一定的Robust(健壮性)，同样为了学习...

著名民谣(摇滚😖)歌手李志被官方以行为不端的理由封杀，作品遭到全网下架。虽然事情没有最终的结论，但是最近确实是没办法听到他的歌了。在网易云无聊的刷live视频，被逼哥震撼的现场所打动，从此被他真实的歌声吸引。作为程序员，典型的pushover...

问题来源 在爬取一个网站数据的时候,需要把每个页面的数据压缩为Json格式进行保存.我的做法是先将数据保存在dict内,再将dict插入到数组,最后通过json.dumps()将数据压缩为Json格式,具体数据流图如下: 详细代码: detail = [] for station in stations.fi...