QbitAI量子位

文章数:2106 被阅读:26347066

账号入驻

480万美国学生被AI监控,每月审查百万社交媒体和邮件信息,敏感信息当即通知学校

2019-11-02
    阅读数:
郭一璞 发自 凹非寺
量子位 报道 | 公众号 QbitAI

前不久,几家国内企业用计算机视觉,或者脑机接口监控学生上课是否认真的消息刷了屏。

不过,把技术用在监控学生身上,可不是中国企业独一份的。

在美国,有一家名叫Gaggle的公司,正在用计算机视觉+人工双重审查的方法,监控学校里的学生们。

或许是盯着学生认真上课这件事在美国没什么市场,Gaggle的路线和中国公司们不一样,监控的是潜在的学生安全问题和不良行为,因为美国的校园枪击案很严重。

在美国,因为有了Gaggle公司这个系统,1400所学校的480万学生被监控,这家公司声称他们的系统已经挽救了数百人的生命。

Gaggle的监控方案

Gaggle的监控列表里,潜在的安全隐患包括自杀、校园枪击案、强奸猥亵、吸毒等。

在美国,自杀是少年儿童死亡的主要原因之一。Gaggle说,在2018~19学年度,他们的系统阻止了722名学生自杀。而这一数字背后,则是系统监控出来的52000次学生提及自杀,其中有6000次相当严重,系统立即通知了学校。

此外,校园枪击案也是一大监控重点。这个系统已经用在了去年发生校园枪击案的圣达菲(Santa Fe)高中,当时的事件导致8名学生和2名老师死亡。

而具体的监控方式,则是AI+人工。监控内容的入口并非国内常见的摄像头,而是网络邮件和社交媒体信息。

Gaggle的系统接入了接入Google G Suite(谷歌全家桶)和Microsoft 365(微软全家桶),邮件也会被监控,如果学生用学校的邮箱地址注册了Twitter,Facebook和Instagram,那么这些社交媒体账户也会被Gaggle看到。

而Gaggle看到之后,会用先AI后人工的方式来审查。

对于学生们发送内容的文字部分,会和关键词进行对比,而图片则重点判断它是否涉黄。

文字关键词分为三个类别,第一列主要是自杀自残行为的相关词汇,第二列则是伤害他人的词汇,第三列是其他词汇,包含涉黄涉毒等关键词。

来自BuzzFeed News

你会看到其中有包含Lesbian、Gay、Queer等LGBTQ类词汇,Gaggle给出的解释是监控歧视行为。

而机器检查是不一定准确的,因此后面还有第二道人工检查。Gaggle一共有150名人工审查人员,其中125人是“一级安全代表”,24人是“受过培训的专业安全人员”,材料会先给一级安全代表审查,之后交给受过培训的专业安全人员,这些人负责将监控到的危险行为通知学校。

一级安全代表的门槛很低,时薪10美元,是远程外包,不需要什么专业背景。不过工作很轻松,每周只要工作38个小时,这群人每月审核的信息数量超过100万条。

而受过培训的专业安全人员们,Gaggle称这些人拥有法律、心理、通信、卫生管理、教育等专业的学位。

根据监控结果,判断学生可能进行某种危险行为,根据以下规则来判断应该采取怎样的行动,是删帖,还是联系学校、学区或者学生。

审查出的结果中,最轻的是“违规”,就是触犯了上面的关键词,也能是误报;

再严重一级的是“可疑内容”,比如发色情图片,或者网络欺凌,这时学校管理员会收到警报;

最严重的则被称作“可能的学生状况(Possible Student Situation)”,Gaggle说这是对学生安全的直接威胁,比如学生“原创”的色情、暴力、自杀、强奸等内容,出现这种情况,Gaggle会直接把它传送到美国的国家失踪与被剥削儿童中心(National Center for Missing and Exploited Children),这是一个美国国会成立的组织,也是相关儿童失踪等信息的中心数据库。

不过,如果没有这么严重,Gaggle也会采取行动的。他们遵循美国法律中的“三振出局法”,也就是再一再二不再三,如果一个学生连说三遍“Fuck”,学校管理员就会收到警报,说脏话的学生账户权限就会被限制,学生只能去找老师承认错误,请求重新开放权限。

1400所学校在用

目前,Gaggle已经用在了1400所学校,共有480万学生被监控。

Gaggle是直接和美国的学区合作的,目前有17个学区直接合作,这些学区分布在加州、德州、田纳西州、印第安纳州、俄亥俄州、新泽西州、北卡罗来纳州等多个地方。

也就是说,如果学生不想被监控,但是自己所在的整个学区都在监控中,那很难找到一所不受监控的学校了。

不过,虽然是跟学区合作,费用却是要学校掏,Gaggle在一所学校收费超过6万美元。

引来非议

虽然是从学生安全出发的产品,但Gaggle还是受到了很多批评。

一名Gaggle监控之下的学生说,他现在对别人看自己的信息已经习以为常了。

也有人认为这种监控不合法,学生应该享有隐私权。

也有人质疑,担心Gaggle这家公司不会好好处理这些收集上来的信息,万一卖到别处去就麻烦了。

甚至,一位加州议会候选人还公开表示反对,说如果自己当选就终结掉这种“专横的政府行为”。

最后,你怎么看待这种用在学校的技术+人工监控方式?

大咖齐聚!量子位MEET大会报名开启

量子位 MEET 2020 智能未来大会启幕,将携手优秀AI企业、杰出科研人员呈现一场高质量行业峰会!VIP票即将售罄,快扫码报名吧~

榜单征集!三大奖项,锁定AI Top玩家

2019中国人工智能年度评选启幕,将评选领航企业、商业突破人物、最具创新力产品3大奖项,并于MEET 2020大会揭榜,欢迎优秀的AI公司扫码报名!

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !



最新有关QbitAI的文章

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: TI培训

北京市海淀区知春路23号集成电路设计园量子银座1305 电话:(010)82350740 邮编:100191

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2018 EEWORLD.com.cn, Inc. All rights reserved