本帖最后由 xmdhs 于 2020-11-6 00:23 编辑

模仿前人，时隔几个月后再次爬取一次看看论坛变化？

不过懒得写谁是这几个月内积分增长最多的之类的代码了，就是简单的重新爬取一般。

这次使用 Go 重写爬虫，占用内存大概是大大的降低了，不过 java 占用的 cpu 还是要稍稍少一些的。

爬取过程的一些信息

本次爬取是 11.2 0:00 左右开始爬取，11.5 19:37 左右结束，速度比上次快了很多呢。

爬取的账号有 有效账号/总爬取账号：3678119/3709552

基本都能覆盖到，不过因为操作失误，所以爬取的人数比预取的少一点点。

相关排名

为了避开相关的敏感词，和节约排版时间，所以这次直接丢到 gitee 上了，国内网站，速度应该还不错。

总积分

人气

金粒

金锭

绿宝石

下界之星

贡献

爱心

钻石

勋章数

精华数

设置的黑名单数

在线时间

回帖数

主题数

好友数

空间查看次数

分积总

一些统计

组人数统计（不精准）

或者 https://gitee.com/xmdhs/bbsrank/tree/master/mcbbs （按住 shift 滚动滚轮左右移动）

其中顺便再爬了另外两个 mc 的论坛，纯属测试爬虫，不过其中的一个没有爬完整就是。

说好的变化

9级增加 96 人 10级增加 17 人 8级增加 614 人

看来大家都有努力的在家抵御疫情嘛

上一次统计指路 https://www.mcbbs.net/thread-1029988-1-1.html

一些吐槽？

其实最开始是想顺便爬下隔壁某个八百万注册量的 mc 论坛的，不过服务器位于海外，爬取过程中经常联机超时，所以到现在才爬取到 2837121 个用户，这岂不是要 10 天才能爬完？所以就直接结束了。

有趣的是这个八百万注册量的论坛，虽然我只爬了两百来万，但是其中零在线时间的用户占比是 0.95811233039，可以说用户粘性非常低了。

对比 mcbbs，mcbbs 是 0.56074450011，高了一些。不过零回帖的比零发帖的要多，有点想不通。

开源

一如既往的开源，依然是 mit 协议。

https://github.com/xmdhs/creditget

这次大概是通用的，也就是你只需简单的修改配置文件，就能给其他的论坛弄一个排名什么的。不过如果没有开放 discuz api 就没辙了。

数据库懒得下载和上传所以这次就没有了，反正你也能爬不是吗。

竟然在超长排行中找到了我自己
太闲了

8级用户新增这么多，看来确实是待在家挺闲的

向大佬致敬~~~我看不懂..

居然在排行榜里找到我自己了

所以说很多都是木大大账号

三年了 从为了下载资源注册的账号到了总积分榜的前三十  时间过得真快啊

好友数霸榜竟然还是几年前的ghs广告机，觉了

人气奋斗好几年，一h回到解.放前

回来看看能不能找到自己

8级用户太多还真的是闲出来的啊←_←

讲解非常到位

好几个榜里看到自己了。

厉害，好详细的统计

时隔十多年了，有很多大佬出现在排行榜上

找不到自己555（太惨了

大佬厉害，8级的真多

大佬真的多

看看我什么时候能到积分第一名
对我来说回帖10w次只是时间问题
除非我爸妈又让我去上学
我16去工作完全可以用3年时间慢慢去水贴

看见我了

我的排名好像退不了不少

八级用户现在好多

今天也要元气满满的水贴呢哈哈哈哈哈

好家伙，加把劲说不定下次排名就能看到自己了（做梦

大佬牛逼

看这个升级人数- - 论坛升级真的好慢

在？空间查看数为什么比我多一倍@EmptyLava

找到了找到了700+还是可以的

xmdls还是稳坐第一！


9级10级增加好多！！我也要努力了

8级用户超多的说。都挺有空的

我好了  总积分进入top100莉

大佬，要不要再放github上一份?gitee不常用。

主题数飙升。

隔壁的确很有趣，特别是2020年4月以后

我下界之星比FHC多了，好耶
（昨天没看到帖子问了一圈谁又做了新统计一个回答的都没有全在抖机灵，太气了）

我居然上了5个榜

我直呼大佬nb！

本帖最后由 Chelover_C60 于 2020-11-7 20:16 编辑

如果不是因为买了一个钻石镐，我觉得我的金粒排名能再往上一点
挺长时间没混问答版了爱心排名仍然挺高是我没想到的


↓居然恢复了？

我居然在泥潭能排到前130，不简单啊ovo
但是距离xmdhs大佬和FHC等人还差好远呢……我觉得没希望了XD

技术大佬就是不一样

我总积分、人气、好友、爱心都上榜了耶
开心！

这位是，内部人员么

629 643
前两项排名……
我这不咋出现在论坛的人居然也能进前1000

继 续 努 力 ！

哎，仰望大佬。。。我只是个小萌新

爱心、钻石和在线时间里都没有我233

统计一下负数排行榜

之前貌似在哪看到了你这次统计的gitee信息
然后去看了下

我竟然挤到积分前200里去了，荣幸至极

这也太强了

期待(๑˙ー˙๑)

8级不值钱了

687        3171761        天空Craft        2992        387        2092        0        15        0        3        78        371        11        0        0        730        1540        117        20        29        Lv.8 考古家                 1604216116
找到了一个qaq