小猪佩奇被恶搞成“邪典片” Youtube算法责任多大

­　　（原标题：How Peppa Pig became a video nightmare for children）

­　　6月28日消息，据国外媒体报道，很多视频平台上开始出现小猪佩奇喝漂白剂、米老鼠被车碾过的“儿童邪典片”，这对儿童百害而无一利。《卫报》日前分析了这些算法生成的视频带来的影响，以及平台采取技术手段的成效，和由此导致的深层次社会问题。

­　　以下是翻译内容：

­　　去年11月份，我在《纽约时报》上读到一篇文章，内容是关于那些通过YouTube分发给儿童的那些令人不安的视频。家长们表示，他们的孩子往往看到他们最喜欢的卡通形象会经受各种暴力和死亡：小猪佩奇在喝漂白剂，或者米老鼠被车碾过。很多Facebook的帖子、新闻组的帖子和其他报纸上都出现了很多关于不恰当内容的描述，而且还令人不安地描述了它们的影响。原本快乐和适应性良好的孩子变得害怕黑暗，容易哭闹，或者表现出暴力行为——也就是出现了所有的典型虐待症状。但是尽管有这些报道，YouTube和它的母公司谷歌并没有采取什么措施来解决这些问题。此外，似乎很少有人知道这些视频来自哪里，它们是如何制作的，甚至根本不知道它们为什么存在。

­　　我是一名作家和艺术家，专注于新技术所带来的广泛的文化和社会影响，这是我大部分的痴迷开始的原因:对某件事越来越好奇，并深入挖掘，着重关注隐藏在背后的基础和过程。这一方法曾让我调查英国的飞行系统或复杂的道路监控网络，而这一次，它让我进入了YouTube儿童视频中那些怪异、超现实、常常令人不安的部分。这些视频在几个层面上令人担忧。随着我花在上面的时间越来越多，让我更加不安的不仅仅是视频内容本身,而是系统本身的方式似乎在重现并加剧这种令人生厌的过度行为。系统对孩子们最排斥的恐惧进行预测，并将这些视频捆绑到推荐播放列表，盲目奖励这种视频的创作者，从而增加视频的观看浏览次数。

­　　对于成年人来说，很多视频的怪异之处似乎比它们所表现出来的暴力更令人不安。如果你不把自己沉浸在视频中，这部分就更难解释，也更难让人理解，但我几乎不会推荐你这样做。除了简单的抄袭和挑衅之外，还存在一整套荒谬的、由算法生成的内容;数以百万计的视频仅仅是为了吸引眼球和创造收入，内容都是根据儿歌、玩具评论和文化误解拼凑而成的。

­　　当我在网上写一篇关于这些视频的文章时，公众的反应很大程度上反映了我自己的感受。一方面，人们惊恐地发现这些视频的存在，另一方面，他们发现的这些视频的规模和奇怪程度完全让人感到不可思议。人们的感同身受使得这篇文章在网上被分享和阅读了数百万次，被世界各地的网站和报纸转载，甚至导致欧洲议会上提出相关问题。最终，YouTube开始做出回应，尽管它的努力和结果喜忧参半。

­　　YouTube最初的提议是限制针对儿童的令人不安内容的广告，但它的这项提议并未能将自己的平台纳入其中。据估计，每分钟有400个小时的类似内容被上传到YouTube网站。人工进行管理并不现实;相反，YouTube依靠观众的举报来推动官方措施。但是当第一批观看这些内容的人是小孩子，视频已经造成负面影响的话，这是不合适的。YouTube还将机器学习的技术万能药作为自己的首选解决方案，但在今年4月，它最终同意YouTube专门的儿童应用程序将完全转向“人工管理”，实际上也承认了这种方法行不通。

­　　因此，尽管许多视频已经从网站上删除，但无法计数的类似视频仍然存在。今年3月，美国科技杂志《连线》对一系列暴力栏目进行了梳理分类，并证实如果遵循YouTube自己的提议，从一段流行的儿童字母表视频，转到一段米妮老鼠用鼻烟壶的电影，中间只需要14步。很明显，如果没有真正意义的人工监督，在一个10亿浏览量的平台上仅仅禁止某些关键搜索词或者封禁账户，是永远也解决不了版权侵权、算法推荐和广告驱动的金钱激励所带来的错综复杂问题。

­　　无论这些视频是故意恶意的，是“仅仅”的简单浏览，还是复杂系统的突发效应，这都不是问题的关键。新情况是，如果我们选择看看它们的内容，那么我们就会发现整个暴力泛滥的视频系统是共通的。在我看来，显而易见的丑陋内容不仅仅局限于儿童内容，也不局限于YouTube。首先是算法治理系统如何在不断地重现和强化我们现有的偏见，而不是引导我们走向平等和赋权的晴朗高地，同时压制那些对系统最不了解的人，从而控制他们所处的系统。

­　　以YouTube的推荐系统为例，它并没有区分迪士尼电影和一个小公司所制作的劣质动画。从本质上讲，这种看似良性的“如果你喜欢那个，你就会喜欢这个”机制是在训练年幼的孩子——实际上是从出生开始——点击第一个出现的东西，而且不管其来源是什么。这与Facebook将虚假广告植入数百万心怀不满的用户的机制是一样的。观众根本不知道这些视频来自哪里，用户在充满不确定性的海洋中反复徘徊，这使得一个不透明的世界和不负责任的系统越来越多地控制我们日常生活的重要方面。

­　　我们已经看到，在美国法庭上，为提供量刑建议而设计的电脑程序更容易错误地将黑人被告贴上可能再次犯罪的标签——错误地将其标记为白人的两倍(45%对24%)。我们也已经看到，算法系统在考量有声望职位的候选对象时，男性比女性具有更多优势。我们也看到了投诉这些系统是多么的困难。当澳大利亚政府推出“机器人债务”(一种自动偿还债务的计划)时，它错误地、非法地惩罚了社会上最脆弱的群体，这些人没有办法获得支持或建议来挑战这一制度。

­　　自从我第一次关注YouTube平台上的怪异视频问题以来，几个月来，我遇到了一些来自该公司的人，以及其他陷入类似漩涡的平台的人。虽然他们当中的大多数都是善意的，但似乎很少有人能理解他们的系统给社会所带来的影响以及由之产生的更广泛的结构性问题。像大多数在大型科技公司工作的人一样，他们认为这些问题可以通过应用更多的技术来解决:通过更好的算法、更适度、更重的工程来解决问题。科技泡沫之外的许多人——尤其是西方和高收入阶层的人——对任何人首先会让他们的孩子使用YouTube感到震惊。但我们不会通过责备公司或敦促他们做得更好来解决这些问题，就像我们不会通过妖魔化快餐来解决肥胖危机，而是通过让人们摆脱贫困来解决问题一样。如果YouTube要解决孩子教育方面的问题，那么答案就是更多地为儿童保育和教育提供资金，而不是修复YouTube。

­　　YouTube上的孩子们，算法强化法庭审判中的被告，以及澳大利亚贫穷的债务人身上所发生的一切，最终会影响到我们所有人。我们所有的工作、生活保障系统和社会契约都容易受到自动化的影响——这并不意味着我们真的要被机器人取代，但是会被机器人摆布。总之，YouTube视频的怪异、Facebook和Twitter用户的极端主义、算法系统的潜在偏见:所有这些都与互联网本身有一个共同点，那就是没有人故意这样设计它们。如果我们愿意学习的话，这也许是我们可以从这些例子中学到的最奇怪、最有益的一课。（晗冰）