澳洲联邦科学与工业研究组织（Commonwealth Scientific and Industrial Research Organisation，CSIRO）旗下研究机构Data61、澳洲网络安全合作研究中心（Australian CyberSecurity Cooperative Research Centre，CSCRC）和韩国成均馆大学（Sungkyunkwan University）的研究都强调了某些触发因素可能成为智能安全摄影机中的漏洞。
研究人员测试如何通过一个简单的物体（例如一件特定颜色的衣服）轻松地乘隙利用、绕过和渗透业界流行的物体侦测摄影机YOLO。在第一轮的测试中，研究人员使用了一个红色毛帽来说明如何将该帽当作“触发器”，进而让物体消失不见。研究人员实际展示了，YOLO摄影机在一开始还能侦测到物体，但是一戴上红毛帽后，就侦测不到他们了。
需对AI进行侦测所有不同场景的训练，否则有安全风险
在一项包含两个人穿着相同T恤但颜色不同的类似展示中，也产生了相似的结果。Data61网络安全研究科学家Sharif Abuadbba解释道，最有趣的是从中了解AI人工智能算法的潜在缺陷。
“尽管AI具备识别许多事物的有效性与能力，但它的问题在于它本质上是对立的”，他表示。“如果你正在编写一个简单的计算机程序，并将程序发送给旁边的其他人，他们可以对该程序代码运行许多功能测试和集成测试，并确切地看清楚该程序代码的运行方式。”
“但是通过AI……你只能从实用性的角度来测试该模型。例如，一种专门设计用来识别物体或对电子邮件进行分类（好或恶意电子邮件）的模型，因为它无异是个黑盒子，所以你的测试范围会受到限制。”他表示，如果该AI模型未进行可侦测所有不同场景的训练，那么就有可能构成安全风险。
Abuadbba指出：“如果你在进行监控，使用智能摄像机，并想让警报作响，但戴着红色毛帽的人却可能在不被发现的情况下走进、走出。”他继续指出，经由对可能会有漏洞该事实的认同，那么就可以当作一个警告：让用户认真考虑一下可被用来训练智能摄影机的资料。
Abuadbba表示：“如果你身处一个敏感性较高的组织里，那么你需要生成你自己信任的资料集，并进行监督式训练……另一个选项就是从你可采用这些模型之处进行选择。”
Twitter图片预览裁切工具会自动裁掉黑人脸孔
Twitter用户在发现该社交媒体平台的图片预览裁切工具偏向于白人脸孔而不是黑人脸孔后，他们最近也强调有类似的算法缺陷存在。一位白人用户Colin Madland在Twitter上披露视频会议软件Zoom中的种族偏见状况后，就发现了这个算法上的问题。
当Madland发布内置自己和他黑人同事的合照图片时，在Zoom线上会议上使用虚拟背景时，由于算法无法识别他黑人同事的脸，结果他同事整个头都被去掉，最后Twitter自动裁切成只有显示Madland的图像。
在回复这个问题的过程中，Twitter承诺将继续测试其算法是否存在偏见问题。Twitter首席技术官Parag Agrawal和数字长Dantley Davis在官方博客中写道：“尽管到目前为止，我们的分析结果并未发现有种族或性别偏见问题，但我们认识到，我们的自动裁剪照片机制会有造成他人伤害的潜在风险。”
“我们应在设计和制造该产品之初时，就应该先做好预期这种可能性的工作，”他们表示，“我们目前正在进行更多的分析，以进一步提升我们测试的严密性，我们承诺会分享我们的发现，并探索可将我们的分析加以开源的方式，以便让其他人可以帮助我们完美地完成该负的重责大任。”
（首图来源：pixabay）
相关文章
