数字化工具常被称颂为透明、民主化的“颠覆者”(Disrupter)。两本新书主张，这种乐观的看法是错误的，就现在使用的算法来说，它们对边缘群体的人权构成了重大威胁。加州大学洛杉矶分校(University of California, Los Angeles)信息学研究助理教授萨菲娅•乌莫亚•诺布尔(Safiya Umoja Noble)在介绍她研究的主题的时候，讲述了促使她写作《压迫性算法》(Algorithms of Oppression)的一件事。2011年9月，诺布尔想了解她十岁出头的继女和来家里玩的侄女们会喜欢什么，为了找灵感，她在谷歌(Google)上搜索了关键词“黑人女孩”。她原本是想查黑人女孩这个群体可能感兴趣的东西；相反，搜索出的结果页面充斥着色情内容。诺布尔幽默地评论道：“按照搜索结果排名罗列出来的最佳信息，对我或者我爱的孩子们来说显然不是最佳信息。”
诺布尔承认，任何搜索结果很快都会变成历史：一年后她又搜索了这个关键词，发现色情内容得到了控制。但诺布尔主张，这种事情应该被视为系统性问题，而不是一次性的“小故障”。尽管诺布尔并未以提供种族主义内容或性别歧视内容为由状告谷歌，但她不肯苟同一种看法，即谷歌搜索结果反映其用户的民主倾向，尽管这种倾向可能令人遗憾。她质疑谷歌对其算法产生的结果存在失职。
就如诺布尔指出的那样，人们很容易忘记谷歌不是公共信息资源，而是一家跨国广告公司。尽管谷歌搜索机制的本质是对互联网用户的“引用”，但其专有的算法可能偏袒能够带来收入的客户的网页。同时，搜索引擎优化行业致力于操纵特定网页，将它们放入令人艳羡的首页结果中。因此，谷歌更像是一个“思想超市”，而不是被认为对民主至关重要的“市场”。就如在现实生活中的超市里，一些物品被摆在显眼的位置不一定是因为它们的品质和性价比，而是取决于零售商和生产商的商业利益和经济影响力。如果说只牵涉到烤豆子摆在哪里，这还是一种可以接受的安排：但如果，被摆放的是社会身份呢？
谷歌搜索的无处不在反映出其算法能非常准确和快速地找到我们想要的信息。但在《压迫性算法》中，我们进入的是这样一个信息超市，走进标着“黑人女孩”的这条通道，立刻进入眼帘的那一排“货架”上摆满了色情内容。在“教授”的货架上陈列着一排又一排的白人男性。黑人青少年男孩与“犯罪背景调查”产品摆在一起。一堆关于“黑人对白人犯罪”的白人至上主义“统计”掩盖了准确的政府数据源。
随着投入公共信息资源建设的经费持续削减，诺布尔敦促人们思考，我们越来越依赖广告公司“来查找有关民族、文化、思想和个人的信息”会带来什么影响。在大科技公司的主导地位使越来越多人呼吁“要引起关注和采取保护措施，以造福公众”，诺布尔的观点在这些呼声中显得别具一格。探讨有关谁是受益者的问题也是《自动化不平等》(Automating Inequality)一书的写作动机。纽约州立大学奥尔巴尼分校(University of Albany, SUNY)的政治科学助理教授弗吉尼娅•尤班克斯(Virginia Eubanks)通过三个有关美国公共服务机构使用自动化和算法的案例研究，揭示“始自19世纪20年代、以说教和惩罚为手段的贫穷管理策略得到（数字化）延续和扩张”。每一个政治人士、公务员和软件工程师都应该阅读《自动化不平等》这本书。尽管承认如今的技术较以前的系统有所改进，这本书揭露出一个骇人的事实–那些隐藏的价值观和双重标准很容易被嵌入自动化系统并因此得到助长。
印第安纳州的一个自动福利系统甚至将自身经常出现的错误归入“未能合作”一类，在3年中拒绝了100万份福利申请。错误地拒发食品券的比例从1.5%飙升至12.2%。同时，为了提高效率和减少欺诈，自动化系统取代了会运用同情心和智慧来帮助弱势群体应对贫困、疾病、失业和丧失亲友等复杂处境的社会工作者。
在洛杉矶，数万名无家可归者向一个168个组织都可调阅的数据库提供了个人隐私信息，以便算法能将他们分类并划分次序。这不是一桩划算的交换，因为超过5万名洛杉矶居民依然无家可归，但警方却可以不经授权调阅他们的个人信息。尤班克斯指出，洛杉矶的有房居民不仅享受着按揭贷款税收减免的福利，执法部门在未获授权的情况下也不能随意审查或调取他们的个人信息。相比之下，在什么情况下，同样寻求政府援助的无家可归者的个人信息就可以被“全盘调阅”？尤班克斯指出，只有在一个“把贫困和无家可归与犯罪行为画等号”的系统下这种事才说得通。
与此同时，匹兹堡的州级项目和机构的数据被纳入一个用于预测儿童有多大可能遭受父母虐待和疏忽的统计模型中。由于被标记为贫穷的父母和被标记为出现疏忽失职的父母高度重叠，导致该模型把“贫穷的父母与抚养不善混为一谈”，把那些为了家庭而向公共项目寻求援助的父母标记为对自己的孩子具有威胁性。尤班克斯的分析撕开了“客观”的表象。当穷人请求公共援助的时候，该模型就将这条信息添加进嫌疑统计库中。与此相对的是，中产阶级能够获得保姆、治疗师、私人药物与酒精康复中心的帮助，而不会被列入需要审查的统计库。那些因种族或阶级偏见或者个人仇怨而拨打的虐待热线电话被永久记录储存，而在该模型下极少的经过核实的数据记录了“人类社工、调查员和法官所做的决定，带有人性的一切痕迹”。
虽然这两本书从不同的角度批评了数字化工具，但它们有共同的主题。两本书的作者都强调，设计和使用数字化工具的人需要积极关注道德问题，并接受相关培训。诺布尔建议科技公司雇佣更多有人文学科教育背景的员工，不过，人们可能会觉得，领导层的多元化或许能更有效地解决这个问题。从逻辑上说，你并不一定必须身为一名黑人领袖，才能对非裔美国人在网络上的代表性投以足够的关注，在利益的权衡取舍中帮助他们争取–只是从心理上来讲可能性会很大。
总之，这两本书打破了“幻想”，就如尤班克斯指出的那样，这种幻想就是“一种模型或算法可以神奇地颠覆几个世纪建立起来的文化、政策与制度”。诺布尔和尤班克斯掀开了帷幕，让我们看清属于权贵的数字化工具，拷问我们是不是真的重视这个问题，并愿意采取行动。(转载自FT中文网)
