第三次MCBBS Wiki全体用户编辑数目统计！ - 矿工茶馆

QWERTY770

本帖最后由 QWERTY_52_38 于 2021-1-28 11:27 编辑

本次统计了603位用户的24708次编辑，统计范围为2020年4月10日20时48分至2021年1月28日10时40分的所有编辑！

本次统计使用了自制脚本，代码见下文！

看一下统计数据：

总编辑数前二十名：

条形图：

编辑积分前二十名：

条形图：

主页面前二十名：

条形图：

更多信息请见下方的原文档！

源代码：使用Python 3.8.5版本，需要安装requests,beautifulsoup4,openpyxl库。

__author__ = "QWERTY_52_38"
__version__ = "0.1"
import openpyxl
import bs4
import requests
from requests.exceptions import *
import typing
import json
not_success = True
user_list_html = ""
while not_success:
try:
user_list_html = requests.get("https://mcbbs-wiki.cn/index.php?title=%E7%89%B9%E6%AE%8A:%E7%94"
"%A8%E6%88%B7%E5%88%97%E8%A1%A8&offset=&limit=5000").text
not_success = False
except (ConnectionError, RequestException):
not_success = True
print("Successfully get HTML file.")
soup = bs4.BeautifulSoup(user_list_html, 'html.parser')
print("Successfully create soup object.")
user_name_li = [i.a.bdi.string for i in soup.find(id="mw-content-text").find_all("ul")[0].find_all("li")]
print("Successfully find all user_li.")
def get_table_from_user(user_str: str):
not_success = True
edit_html = ""
while not_success:
try:
edit_html = requests.get("https://mcbbs-wiki.cn/wiki/%E7%89%B9%E6%AE%8A:%E7%BC%96%E8%BE%91%E8%AE%A1%E6%95"
"%B0/" + user_str).text
not_success = False
except (ConnectionError, RequestException):
not_success = True
form = bs4.BeautifulSoup(edit_html, 'html.parser').find(id="editcount")
print(user_str + " : Successful!")
return form.table.find_all("tr")[1].find_all("td")[1].table
def get_edit(table) -> typing.List[int]:
trs = table.find_all("tr")
result = [0, 0, 0, 0, 0, 0, 0, 0, 0]
# all, main, template, category, help, file, talk, MCBBS_Wiki, edit score
if len(trs) == 1:
return result
result[0] = int(trs[0].find_all("th")[1].string.replace(",", ""))
result[-1] = int(table.parent.parent.b.string[7:].replace(",", ""))
for i in trs[1:]:
data_type = i.find_all("td")[0].string
data = int(i.find_all("td")[1].string.replace(",", ""))
if data_type == "（主）":
result[1] = data
elif data_type == "模板":
result[2] = data
elif data_type == "分类":
result[3] = data
elif data_type == "帮助":
result[4] = data
elif data_type == "文件":
result[5] = data
elif "讨论" in data_type:
result[6] += data
elif data_type == "MCBBS Wiki" or data_type == "MCBBS_Wiki":
result[7] = data
else:
pass
return result
def find_uid(user_str: str) -> int:
not_success = True
user_json = ""
while not_success:
try:
user_json = requests.get(
"https://mcbbs-wiki.cn/api.php?action=query&format=json&list=users&usprop=&ususers="
+ user_str).text
not_success = False
except (ConnectionError, RequestException):
not_success = True
return json.loads(user_json)["query"]["users"][0]["userid"]
user_edit_li = [[find_uid(i), i] + get_edit(get_table_from_user(i)) for i in user_name_li]
print("Successfully create user_edit_li.")
book = openpyxl.Workbook()
sheet = book.create_sheet('工作表名称', 0)
titles = ["UID", "用户名", "编辑总数", "（主）", "模板", "分类", "帮助", "文件", "讨论", "MCBBS Wiki", "编辑积分"]
for col in range(len(titles)):
sheet.cell(1, col + 1, value=titles[col])
print("Successfully write titles.")
for row in range(len(user_edit_li)):
for column in range(1, 12):
sheet.cell(row + 2, column, value=user_edit_li[row][column - 1])
print("Successfully write data.")
book.save('mcbbswiki-edit-20210128.xlsx')
print("End!")

复制代码

居仕

我排名可真高。

北极仙光

像我这种除了自己页面啥也不写的果然没上榜（
给自己写wiki写了1w2k多字节
我也是服了我自己了

QWERTY770

北极仙光发表于 2021-1-28 11:26
像我这种除了自己页面啥也不写的果然没上榜（
给自己写wiki写了1w2k多字节
我也是服了我自己了 ...

你编辑积分第39名

QWERTY770

居仕发表于 2021-1-28 11:25
我排名可真高。

是啊，你排到第6名了

不过离前五还差很远

Salt_lovely

这个嘛，推荐用NodeJS来搞，毕竟可以直接fetch+操作DOM树，可以省掉很多非核心代码

炫宙菌

暂时没有参与编辑的想法。写自己也太主观了。主要是我做的事一般显示不出来是我干的

𝔗𝔫𝔬ω

(这个Sharks是谁(

QWERTY770

Salt_lovely 发表于 2021-1-28 11:33
这个嘛，推荐用NodeJS来搞，毕竟可以直接fetch+操作DOM树，可以省掉很多非核心代码 ...

python写出来正好100行（用了几处user_name_li = [i.a.bdi.string for i in soup.find(id="mw-content-text").find_all("ul")[0].find_all("li")]这样的列表推导式减少行数）

不知道Node.js怎样

QWERTY770

🔥❄️ 发表于 2021-1-28 11:36
(这个Sharks是谁(

不太清楚

冰川橘子

作为好久不编辑的用户，我也没想到我能上榜

2.6854520010

争取让我的小号在这个寒假达到第六

bleake

电磁步兵好像改名了，变成了emoji

Jaks

自由李代数果然是个传说中的人物呀
楼上都是我的偶像，我向他们学习啦
希望有一天。。。萌新也能多一点技术

QWERTY770

自由李代数发表于 2021-1-28 12:25
争取让我的小号在这个寒假达到第六

这个任务不难完成

屑灬月

我好像把我的wiki号忘了。。。