據(jù)路透社報道,亞馬遜的機器學(xué)習(xí)專家們發(fā)現(xiàn)了一個大問題,他們的新人工智能(AI)招聘引擎似乎不喜歡女性,為此將其關(guān)閉。
五名知情人士表示,自2014年以來,這個團隊始終在開發(fā)電腦程序以審查求職者的簡歷,目的是將尋找頂尖人才的任務(wù)自動化。自動化一直是亞馬遜在電子商務(wù)領(lǐng)域占據(jù)主導(dǎo)地位的關(guān)鍵,無論是在配送中心內(nèi)部還是制定價格決策時。
知情人士說,亞馬遜的試驗性招聘工具使用AI給應(yīng)聘者打分,分?jǐn)?shù)從一星到五星不等,就像購物者給亞馬遜網(wǎng)站上的產(chǎn)品打分一樣。其中一人說:“每個人都想要這個‘圣杯’。亞馬遜真的想將其打造成引擎,給它100份簡歷,它會列出前五人,我們會聘用他們。”
但到2015年,亞馬遜意識到其新系統(tǒng)并沒有對軟件開發(fā)人員和其他技術(shù)職位求職者進行性別中立式的評估。這是因為,亞馬遜的電腦模型經(jīng)過了培訓(xùn),通過觀察過去10年被提交給該公司的簡歷找出固有模式,并以此來審查應(yīng)聘者。其中大部分簡歷來自男性,這也反映了男性在科技行業(yè)占主導(dǎo)地位的現(xiàn)狀。
實際上,亞馬遜的系統(tǒng)告訴自己,男性求職者更受青睞。這套系統(tǒng)對簡歷中含有“女子象棋俱樂部隊長”等語句中的“女子”一詞特別敏感。據(jù)知情人士透露,它還下調(diào)了兩所女子學(xué)院的畢業(yè)生評級,但他們沒有具體說明這些學(xué)校的名字。
亞馬遜編輯了這些程序,使它們對這些特定的術(shù)語保持中立。但上述知情人士說,這并不能保證其AI系統(tǒng)不會設(shè)計出其他可能被證明具有歧視性的篩選求職者的方法。據(jù)不愿透露姓名的知情人士說,亞馬遜最終在去年年初解散了團隊,因為高管們對這個項目感到失望。
亞馬遜的招聘人員在搜索新員工時查看了該工具提供的推薦信息,但他們表示,他們從來沒有僅僅依靠其排名來做出判斷。亞馬遜拒絕就招聘引擎或其面臨的挑戰(zhàn)置評,但該公司表示,它致力于打造職場多樣性和平等。
路透社率先報道了亞馬遜的實驗,它提供了一個關(guān)于機器學(xué)習(xí)局限性的案例研究。此外,希爾頓全球控股公司(Hilton)和高盛集團(Goldman Sachs)等越來越多的大公司也在尋求將招聘流程的部分自動化。人才軟件公司CareerBuilder 2017年的一項調(diào)查顯示,約55%的美國人力資源經(jīng)理表示,在未來5年內(nèi),AI將成為他們常規(guī)工作的一部分。
雇主們始終夢想利用科技來擴大招聘網(wǎng)絡(luò),以減少對人類招聘者主觀意見的依賴。但卡內(nèi)基梅隆大學(xué)教授機器學(xué)習(xí)知識的計算機科學(xué)家尼哈爾·沙赫(Nihar Shah)認(rèn)為,他們還有很多工作要做。沙赫表示:“如何確保算法是公平的,如何確保算法是真正可以解釋的,實現(xiàn)這些目標(biāo)都還十分遙遠?!?/p>
對于全球最大的在線零售商亞馬遜來說,這項試驗開始于一個關(guān)鍵時刻。由于低成本計算能力的激增,機器學(xué)習(xí)在技術(shù)領(lǐng)域獲得了越來越大的吸引力。監(jiān)管文件顯示,亞馬遜的人力資源部門即將開始大舉招聘:自2015年6月以來,該公司的全球員工人數(shù)增加了兩倍多,達到575700人。
因此,亞馬遜在其愛丁堡工程中心成立了新的團隊,其所屬人員已經(jīng)增加至12人。知情人士說,他們的目標(biāo)是開發(fā)能夠迅速在網(wǎng)絡(luò)上搜索并發(fā)現(xiàn)有價值應(yīng)聘者的AI系統(tǒng)。該團隊創(chuàng)建了500個計算機模型,它們重點關(guān)注特定的工作功能和地點。他們教授每個模型辨認(rèn)出現(xiàn)在過去求職者簡歷上的約5萬個術(shù)語。
知情人士說,這些算法學(xué)會了新的技能,知道求職者普遍具備的技能沒有什么意義,比如編寫各種計算機代碼的能力。相反,這項技術(shù)更青睞于那些用男性工程師簡歷上更常見的動詞來描述自己的人,比如“執(zhí)行”和“捕獲”等。
性別偏見不是這種招聘工具唯一的問題。這些知情人士說,支撐模型判斷的數(shù)據(jù)也存在問題,這意味著不合格的求職者通常會被推薦到各種工作崗位上。他們說,由于這項技術(shù)幾乎是隨機反饋結(jié)果,亞馬遜關(guān)閉了這個項目。?
其他公司也在采取積極措施,這突顯出雇主迫切希望利用AI招聘人才的心態(tài)。鹽湖城附近的初創(chuàng)企業(yè)HireVue首席執(zhí)行官凱文·帕克(Kevin Parker)表示,自動化正在幫助企業(yè)超越長期依賴的招聘網(wǎng)絡(luò)。他的公司分析了求職者在視頻面試中的講話和面部表情,以減少對簡歷的依賴。他的公司客戶包括聯(lián)合利華(Unilever PLC)和希爾頓(Hilton)。
高盛已創(chuàng)建了自己的簡歷分析工具,試圖將求職者與“最適合”的部門匹配起來。微軟旗下的全球最大職業(yè)社交網(wǎng)站LinkedIn走得更遠,它根據(jù)求職者在其網(wǎng)站上發(fā)布的簡歷是否符合職位要求,向雇主提供基于算法的求職者排名。不過,LinkedIn Talent Solutions副總裁約翰·杰辛(John Jersin)表示,這項服務(wù)并不能取代傳統(tǒng)的招聘方式。他說:“我當(dāng)然不會相信今天的任何AI系統(tǒng)會自行做出招聘決定,這項技術(shù)還沒有成熟。”
有些活動人士表示,他們擔(dān)心AI的透明度。美國公民自由聯(lián)盟(American Civil Liberties Union)目前正在挑戰(zhàn)一項法律,該法律允許對那些測試招聘網(wǎng)站歧視算法的研究人員和記者提起刑事訴訟。該組織Racial Justice Program律師雷切爾·古德曼(Rachel Goodman)說:“我們越來越關(guān)注算法公平性這一問題。”
盡管如此,古德曼和其他對AI持批評態(tài)度的人承認(rèn),要就自動招聘問題對雇主提起訴訟可能極其困難,畢竟求職者可能永遠不會知道雇主在使用AI招聘。至于亞馬遜,該公司設(shè)法從失敗的AI實驗中吸取教訓(xùn)。知情人士表示,亞馬遜現(xiàn)在使用“經(jīng)過大量稀釋的”的招聘引擎版本,來幫助完成一些基本工作,包括從數(shù)據(jù)庫中剔除重復(fù)的求職者資料。
另一名知情人士稱,愛丁堡的亞馬遜新團隊將對自動招聘進行另一次嘗試,這次的重點集中在多樣化上。