GitHub黑市曝光,高档刷星6元一颗,最奇葩开源项目97%都是刷的
梦晨 克雷西 发自 凹非寺
量子位 | 公众号 QbitAI
在黑市买GitHub星星多少钱?
最贵的高达 6元一颗 。
有创业者Yassin Eldeeeb自掏腰包测试了一把。他足足花20欧元(约156人民币),只买到25颗“高级星星”。
没错,在黑市上刷GitHub星星也是分高低贵贱的。
高级的都是注册一年以上的账号来刷,昵称头像工作地点等个人资料非常自然绝不重样。
甚至至少还有一个对其他开源项目的贡献记录等,不但算法检测不出来,肉眼看也没毛病。
便宜的最低可做到0.4-0.88元一颗星星,这种就是最简单的新注册空号去刷了,默认头像,随机生成昵称的那种。
买了一个月以后发现都已经被平台封号处理,买到的星星也跟着消失了。
不过这种廉价服务最疯狂的地方在:失效了可以联系卖方,免费包重刷。
具体有多少人购买这种服务无从得知,不过Eldeeeb注意到他的账单编号是#57189,说明成交量绝对不在少数。
像这样的“黑市”刷星服务,最近被频频曝光,也在开发者社区成了话题热榜的常客。
大家的讨论中,有一个最奇葩的开源项目,被检测出有97%的星都是假的。
假星检测器
检测出这个奇葩项目的是另一位创业者Fraser Marlow,他偶然发现了GitHub黑市的存在。
同时他也注意到投资人越来越重视GitHub标星数,当作评估开源产品的指标了。
不过作为数据管道服务公司Dagster的增长主管,他不但没有给自己产品刷星——
反而与识别垃圾邮件的专家合作,收集数据并开发了一个假星检测器。
具体分为两种算法,简单算法只能检测出那些“一眼假”的。
比如大批账号都给相同的两个项目标星,没有贡献记录,除了头像和用户名不同其他一毛一样那种。
但对于开头提到的那种6元一星的高级账号,简单算法就无能为力了。
为此,Dagster还设计了一种更复杂的监督聚类算法。
原理也很简单,一批假账号会具有相似的特征,在可视化中可以聚集在一起。
而正常用户的特征应该相当独特,在统计上非常分散,不应该属于任何大的群体。
举个栗子来说,正常的GitHub账号不是每天都有活动记录,如果一群账号活跃的日期都重合,就表明它们很有可能是受同一个脚本控制的。
为验证算法可靠性,他们创建了一个靶子仓库,并真的去购买了刷星服务。
聚类算法在测试中表现非常好,接近100%的匹配率。
在更复杂的真实数据上,也达到了98%的精确度和85%的召回率。
接下来,团队在Github Archive公开数据集上综合使用两种算法测试。
一测不得了,造假最严重的okcash总标星759,简单算法只发现一个疑似假星,结合聚类算法直接蹦到97%,
由于计算成本较高,测试中只分析了2022年1月1日及之后获得的星星。
也就是说,还有很多2022年之前刷星的项目没有被揪出来。
与之相比,他们检测了自己的产品Dagster和几个同行,刷星率都比较低,看来数据管道这个行业还是比较健康的。
在这之后,他们与GitHub团队分享了这些发现,并把检测器也开源了。
曝光48小时之内,GitHub和刷星供应商都行动起来,他们测试用的“靶子仓库”中的假星都消失了。
据GitHub方面回应,其实多年以来一直都在积极打击刷星行为,但仍旧频发,根本管不住。
之前就有学术研究,通过数据分析找出63872个可疑账号,但其中只有不到5%被GitHub平台自己检测出并封号。
研究推测,刷星行业早在2018-2019年就获得了341万-437万美元的利润。
那么为什么会有人花大价钱买GitHub标星,真的能带来实际收益么?
投资人:我们就爱看星标
开源项目团队选择“刷星”的一个重要目的,就是吸引投资者的目光。
一家风险投资公司的合伙人Pratima Aiyagari 表示,做开源项目极大可能很久都赚不到钱。
既然收入情况没法拿来参考,那就要多看一看产品本身的状况了。
考察开源项目最准确的方式是查看代码,但这种方法复杂繁琐且专业性强,并没有成为投资者的首选方式。
于是投资者找出了替代方法——看星标——实际上,他们天生就会寻找快速增长的新账号。
除了绝对数量,风投公司Runa还专门设计了一种名为ROSS指数的指标,依据星标数年增长率对团队进行排名。
Runa的一名合伙人Konstantin Vinogradov说,ROSS指标已经成为了开源项目遵循的重要标准,排名靠前的开源项目中有三分之一都获得了融资。
不过伴随着“刷星”现象的出现,投资者对星标数的看法也开始弱化。
投资人Kevin Zhang说,星标数可能可以成为一块“敲门砖”,但不意味着投资者会因为星标数和项目团队“第二次见面”。
这也印证了学术界的看法——加州大学圣地亚哥分校助理教授Stuart Geiger表示,随着时间的推移,指标(星标数)可能会自行失效。
这就涉及到了两条社会科学定律——坎贝尔定律和古德哈特定律。
坎贝尔定律说,决策当中使用的一项指标越受重视,就越容易被操纵。
好比网络购物,实物我们看不见摸不着,自然就会参考其他买家的评价,于是“刷单”现象也就应运而生了。
古德哈特定律则认为,如果一项指标被人们刻意追逐,那就不(或不再)是一个好的指标。
但在没有更好的替代指标的情况下,就必须确保数据的真实度了,就好像在考试中要不遗余力地打击作弊一样。
不过,除了想吸引投资者的团队之外,还有许多个人开发者也会“刷星”。
目的和创业团队有异曲同工之处,只不过吸引的不是投资者而是HR,希望高星项目能在求职中为他们带来优势。
事实上,也的确有企业将GitHub信息作为评价求职者的指标,甚至有人凭借套壳项目就斩获了Google的offer。
除了选人,在技术选型时也是同样的道理——很多人(尤其非专业人士)会倾向于使用高星项目。
除了GitHub,还有综合型产品发布平台Product hunt,数据类产品平台kaggle,以及IT问答平台StackOverFlow等媒介也越来越多的受到投资人的关注。
不过如果不能建立有效的“防刷单”策略,可能最终也难逃换汤不换药的命运。
对于这种现象,有人总结是“Fake it till they make it.”——
如同“先上车后补票”一样,先假装自己已经成功,直到真的成功为止。
One More Thing
AI,特别是大模型的发展,让检测虚假账户越来越难了。
以前的造假可能只是刷刷星标和点赞,判断用户真伪的方式主要是看账户本身的特征。
但自从有了ChatGPT以后,还可以刷以假乱真而且不重样的评论。
如果一个账户命中了虚假账号的特征,但发布的回复却和真人毫无二致,该如何判断它的真伪?
参考链接:
[1]
https://www.wired.com/story/github-stars-black-market-coders-cheat/
[2]
https://news.ycombinator.com/item?id=37990338
[3]
https://dagster.io/blog/fake-stars
[4]
https://dl.acm.org/doi/10.1145/3427228.3427258
— 完 —
《2023年度十大前沿科技报告》案例征集
量子位智库《2023年度十大前沿科技报告》,启动案例征集。 诚邀顶级研究机构、一流投资大咖、前沿科技创新公司,参与共创,分享案例。
扫描图片二维码参与前沿科技案例征集。 了解更多细节可联系报告负责人:郑钰瑶(微信:CarolineZheng_,请备注企业+姓名)。
点这里 ???? 关注我,记得标星哦~