在我们网上冲浪的时候验证码的存在就像是空气一般的存在，是根本无法避免的。对于完全不了解开发的同学，他们总会嫌弃验证码拖慢他们的工作效率。但是对于我们网站的建设者来说，验证码的存在就像是一道坚固的城墙，将一些恶意行为拒之门外。验证码的存在...

端午回了次外婆家，端午佳节嘛总是要回去看看。天天在宿舍宅着容易被人说死宅是不是？刚好有个小表弟要高考，让他也感受一下来自小表哥的关心。回去给他加加油，想法很不错叻，说走就走啊。 貌似小表弟并不需要我的打气，心态好得很叻，去他学校的时候还...

最近在学习Web框架，不管是学长还是老师都是推荐从Java的框架入手，Java找工作比较抢手。或许是对Java的不感兴趣，总是打不起学习的精神。浑浑噩噩到了大三意识到什么都不会总是不行，起码学个简单的框架先入入门。写点小项目也不至于毕业找工作简历过于苍...

最近一直在研究APP的爬虫实现。前面文章讲了虚拟机和Appium环境的搭建 和 SSL PINNING的解决方法 ，主要难点在于解决APP开启SSL Pinning导致抓包异常。现在环境搭建好了需要一个基础入门实例，我们就以最火的抖音为例子做一个演示例程。当然我们选择抖音并...

最近在研究抖音app的数据爬取，遇到了一个小小的问题。通过分析mitmproxy抓包返回的json数据发现，有的账号会显示UID，但是抖音号是“0”。按道理来说每个人都有唯一的抖音号。这是为什么呢？我首先想到的是查文档，看看API文档是如何定义的。你爬取别人的数...

动机 生活总是不尽人意，今天也是一样。总是从网上下载了许多好听的Live视频，真是太有感觉了好吧。但是我想听歌我不想看视频呐，一锁屏就暂停这怎么能忍？想想办法把视频中的音轨提取出来呗。搜索引擎启动：在线MP4提取MP3。一个小小的功能竟然许要下载...

著名民谣(摇滚😖)歌手李志被官方以行为不端的理由封杀，作品遭到全网下架。虽然事情没有最终的结论，但是最近确实是没办法听到他的歌了。在网易云无聊的刷live视频，被逼哥震撼的现场所打动，从此被他真实的歌声吸引。作为程序员，典型的pushover...

关于软件的介绍 Appium是一个开源的、跨平台的测试自动化工具，用于本地、混合和移动web和桌面应用程序，在模拟器(iOS)、仿真器(Android)和真实设备(iOS、Android、Windows、Mac)上进行测试。因为良好的支持库支持,你可以简单的在Java, Python,C#....等等...

问题来源 在爬取一个网站数据的时候,需要把每个页面的数据压缩为Json格式进行保存.我的做法是先将数据保存在dict内,再将dict插入到数组,最后通过json.dumps()将数据压缩为Json格式,具体数据流图如下: 详细代码: detail = [] for station in stations.fi...

项目灵感 最新想重温一下平凡的世界,然后网上虽然搜索到了资源,但是总感觉章节不全,然后我就找到了一个网站,网站很直接就叫平凡的世界,网站的内容很简单,就是平凡的世界的章节内容展示,全是静态页面,为什么不写个爬虫把文章全部保存下来呢?工作量似乎不大,...