2019-10-23 16:58:45就利用人工智能和機(jī)器學(xué)習(xí)而言，人們對結(jié)果的信任是很重要的,。由于所謂的人工智能“黑匣子”問題,，許多組織(尤其是那些受管制的行業(yè)的組織)可能會猶豫不決，不敢使用人工智能系統(tǒng)：算法只是得出模糊的決策而沒有解釋其所遵循的理由,。
這是一個顯而易見的問題,。如果我們不知道人工智能如何發(fā)揮作用，那我們又如何將醫(yī)療診斷或自動駕駛汽車等領(lǐng)域里生死攸關(guān)的決策交給人工智能來做?
這個問題的中心是神話所籠罩的技術(shù)問題,。如今,，人們普遍認(rèn)為，人工智能技術(shù)已經(jīng)變得如此復(fù)雜,，以至于系統(tǒng)無法解釋為何做出自己的決定,。即使可以，解釋也太復(fù)雜了,，以至于我們的大腦無法理解,。
現(xiàn)實(shí)情況是，當(dāng)今在機(jī)器學(xué)習(xí)和人工智能系統(tǒng)中使用的許多常見的算法都可以內(nèi)建所謂的“可解釋性”,。我們只是沒有在使用它——或者我們無法訪問它,。對其它算法來說，人們還在開發(fā)可解釋性和可追溯性功能,，但我們很快就能用上了,。
在本文中，你將找到可解釋的人工智能的含義,，它為什么對商業(yè)用途來說很重要,，以及哪些力量在推動人們采用人工智能，以及哪些因素阻礙了人工智能的應(yīng)用,。
為什么可解釋的人工智能很重要
畢馬威(KPMB)和Forrester Research去年發(fā)布的報(bào)告顯示,，只有21%的美國高管高度信任這兩家公司的分析,。畢馬威(KPMG)的新興技術(shù)風(fēng)險(xiǎn)的全球負(fù)責(zé)人Martin Sokalski表示：“這些高管不僅相信我們對人工智能所做的分析——而且相信我們所做的所有分析,。
Sokalski說，由于人們對分析缺乏信任，人工智能的采用漸漸放緩,，尤其是各大公司對人工智能進(jìn)行大規(guī)模部署的速度放緩,。
Sokalski說：“雖然你讓聰明的數(shù)據(jù)科學(xué)家想出這些令人驚嘆的模型，但是他們卻沒有施展空間,，因?yàn)槠髽I(yè)領(lǐng)導(dǎo)者不信任也不了解這些模型,。我不會在任何會使我不斷與監(jiān)管機(jī)構(gòu)打交道的模型部署到這些流程中，也不會使讓我登上頭條新聞的模型部署到這些流程中,?！?/p>
要考慮監(jiān)管審查的可不光是醫(yī)療和金融服務(wù)行業(yè)?！锻ㄓ脭?shù)據(jù)保護(hù)條例(GDPR)》稱,，所有公司都必須向客戶解釋為什么自動化系統(tǒng)會做出決定。
此外,，由于無法分析算法如何得出結(jié)論，因此各大公司在業(yè)務(wù)可能上線時(shí)不得不盲目相信人工智能系統(tǒng)的建議,。
例如,，零售公司Bluestem Brands正在使用人工智能提供定制化的購物建議。但是,，如果人工智能系統(tǒng)推薦的商品不是有據(jù)可考的暢銷物品,，或者與銷售專家的直覺不符怎么辦?
Bluestem Brands的IT主管Jacob Wagner說：“人們往往會說，‘不,，這個人工智能壞了,，我們應(yīng)該推薦暢銷的褲子?！?/p>
解決這些信任危機(jī)的方案是提供一個解釋,。人工智能系統(tǒng)在提出建議時(shí)使用了哪些因素?這就是可解釋的人工智能該出現(xiàn)的場合——人們越來越需要這樣的功能。
可解釋的人工智能包含了各種各樣的工具和技術(shù),，這些工具和技術(shù)旨在使具備領(lǐng)域?qū)ｉL的人更容易理解人工智能系統(tǒng)的最終解決方案,。可解釋的人工智能使人們能夠參與決策過程,，從而使人們更加信任這些系統(tǒng)并對這些結(jié)果高度負(fù)責(zé),。這往往相當(dāng)于輸出人工智能通過培訓(xùn)所學(xué)會的規(guī)則，并使人類可以對這些規(guī)則進(jìn)行審計(jì),，從而了解人工智能如何從未來的數(shù)據(jù)中得出結(jié)論,，這些數(shù)據(jù)的范圍超出了數(shù)據(jù)集。
Wagner說,，就Bluestem Brands而言,，他能夠從Lucidworks提供的當(dāng)前系統(tǒng)中獲得大約85%的解釋，但他希望看到更多的解釋。
Wagner說：“使人們克服信任障礙是很難的,。推薦某物的理由是什么?——我們對此所有用的信息越多,，越容易有這樣的體會?！?/p>
治理問題
如今,，企業(yè)使用的大部分人工智能都是基于統(tǒng)計(jì)分析的。這些機(jī)器學(xué)習(xí)算法的用途廣泛,，如改善購物建議,、搜索結(jié)果、計(jì)算信用風(fēng)險(xiǎn),、發(fā)現(xiàn)計(jì)算機(jī)網(wǎng)絡(luò)中的可疑行為等等,。
為了提出建議，這些算法分析了特定的特征,、數(shù)據(jù)字段,、因素或在行業(yè)中被稱為功能的東西。每個功能都具有特定的權(quán)重,，這些權(quán)重有助于人工智能將事物歸類或發(fā)現(xiàn)異常,。因此，例如,，在確定某動物是貓還是狗時(shí),，算法可能會以動物的體重為主要因素，然后是動物的大小,，最后是顏色,。
因此，了解決定因素是一個簡單的過程,。但是各大公司尚未將與決策相關(guān)的因素列為工作重點(diǎn),。
畢馬威的Sokalski說：“我們注意到的主要趨勢之一是企業(yè)缺乏對人工智能的內(nèi)部治理和高效管理。我們發(fā)現(xiàn),，只有25%的公司正在投資開發(fā)控制框架和方法,。”
Sokalski說,，這是商業(yè)流程成熟度的問題,，而不是技術(shù)問題?！捌浔举|(zhì)就是在整個生命周期中構(gòu)建內(nèi)部功能,，端到端治理以及人工智能的端到端管理?！?/p>
可解釋的人工智能的現(xiàn)狀
Sokalski說,，所有主要的人工智能平臺供應(yīng)商以及大多數(shù)頂級開源人工智能項(xiàng)目都內(nèi)置了某種形式的可解釋性和可審計(jì)性。
畢馬威(KMPG)一直在與其中一家供應(yīng)商(即IBM)合作，開發(fā)屬于自己的一系列工具,，(即AI in Control)供客戶使用,。這樣的框架使公司更容易開發(fā)具備內(nèi)置解釋性的人工智能系統(tǒng)，而不必將各種開源項(xiàng)目的功能拼湊在一起,。
8月,，IBM發(fā)布了自己的工具集AI Explainability 360，該工具集包含開源算法,，可用于當(dāng)今使用的所有主要類型的機(jī)器學(xué)習(xí)的可解釋性,，但不包含常用于時(shí)間序列問題(如股市預(yù)測之類的問題)的遞歸神經(jīng)網(wǎng)絡(luò)。
該工具集中有八種算法,，其中大多數(shù)尚未以可用代碼的形式公開提供,。基礎(chǔ)研究在今年或2018年才公布,。IBM的研究人員兼IBMThomas J.Watson研究中心的經(jīng)理Kush Varshney這樣說道,，
Varshney說：“任何人都可以使用該工具集，不管他們是不是IBM的客戶,?！?/p>
Varshney警告說，但是向人工智能系統(tǒng)添加可解釋性并不像提供決定所用因素的列表那么簡單,?！敖忉尩姆椒至挚偪??！?/p>
例如，做出有關(guān)是否向某人提供銀行貸款的決定,。Varshney說,，客戶想知道為什么自己的申請?jiān)獾骄芙^，以及怎樣才能增加將來獲得貸款的機(jī)會,。
Varshney說：“監(jiān)管機(jī)構(gòu)不會太在乎每個申請人,。他們希望查看整個決策過程，希望整體上解釋過程的運(yùn)作機(jī)制,。他們希望就如何做出決策并找出是否存在問題(如公平性或其它潛在問題)而為所有輸入做出模擬,。”
Varshney補(bǔ)充說,，對銀行來說,，要確保系統(tǒng)做出準(zhǔn)確的預(yù)測，它們將面臨截然不同的問題,。
解釋神經(jīng)網(wǎng)絡(luò)
隨著人工智能系統(tǒng)變得更加先進(jìn)并且對預(yù)先定義的功能和權(quán)重的依賴減少,，解釋也變得更加困難。舉例來說，對貓和狗進(jìn)行分類的系統(tǒng)不是根據(jù)一組列表的數(shù)據(jù)點(diǎn)進(jìn)行處理,，而是對動物的照片進(jìn)行處理,。
卷積神經(jīng)網(wǎng)絡(luò)通常用于圖像處理，它會查看訓(xùn)練數(shù)據(jù)并自行發(fā)現(xiàn)重要特征,。這些功能以非常復(fù)雜的形式出現(xiàn),，即涉及十分復(fù)雜的數(shù)學(xué)計(jì)算。
Varshney說：“如果你有一個非常復(fù)雜的黑匣子模型,，該模型具有所有這些功能并以數(shù)百萬種方式加以組合,，那么人類將無法理解?！?/p>
由于特定像素之間的復(fù)雜關(guān)系而將圖片判定為貓而不是狗,，這就像甲因其大腦中的特定神經(jīng)元在特定時(shí)間放電而告訴乙這是貓一樣無濟(jì)于事。但是,，Varshney說,，人們?nèi)匀豢梢酝ㄟ^進(jìn)行更高級別的抽象來使系統(tǒng)具有可解釋性。
Varshney說：“你可以找到在語義上有意義的表征形式,。例如,，如果這是貓的圖像，人工智能將發(fā)現(xiàn)胡須,、鼻子的形狀和眼睛的顏色都是重要的特征,。”
然后,，為了解釋決策,，人工智能可以在照片中突出顯示表明這是貓的那些地方，或顯示貓的典型圖像的對比照片,。
Varshney說：“這確實(shí)是增強(qiáng)人們對系統(tǒng)信任的一種方式,。如果人們能夠理解這些事物的運(yùn)作邏輯，那么他們就可以對系統(tǒng)的使用充滿信心,?！?/p>
這正是馬薩諸塞州綜合醫(yī)院和百靈達(dá)婦女醫(yī)院臨床數(shù)據(jù)科學(xué)中心的執(zhí)行主任Mark Michalski所采取的方法。
醫(yī)院使用人工智能在放射圖像中發(fā)現(xiàn)癌癥,。醫(yī)務(wù)人員必須對系統(tǒng)有高度的信任才能使用人工智能,。為了解決這個問題，醫(yī)療提供商不僅會得到掃描圖是否表明患者是否得了癌癥的非此即彼的答案,，還會得到解釋,。
“你可以在圖像上面覆蓋若干熱圖，以此來解釋機(jī)器為何會盯著某個位置看,，” Michalski這樣說道,。
專有系統(tǒng)和勉為其難的供應(yīng)商
完全透明并不總是對每個人都有利,。對某些人工智能供應(yīng)商而言，公開人工智能決策方式的細(xì)節(jié)無異于公開秘密,。
數(shù)字服務(wù)咨詢公司Nerdery的數(shù)據(jù)科學(xué)總監(jiān)Justin Richie表示：“這些軟件公司有點(diǎn)自私,，它們認(rèn)為所有人都圖謀不軌，都想竊取它們的點(diǎn)子,。有些供應(yīng)商之所以讓客戶走馬觀花是因?yàn)檫@樣他們就不會暴露自己的權(quán)重?cái)?shù)據(jù),。而其它供應(yīng)商則直接在其工具中展示可解釋性?！?/p>
Richie補(bǔ)充說,，與其說這是技術(shù)限制不如說這是市場問題。隨著人工智能技術(shù)變得司空見慣,，游戲規(guī)則也會發(fā)生改變,。
制造由人工智能驅(qū)動的聊天機(jī)器人的LivePerson的技術(shù)官Alex Spinelli說，商用的現(xiàn)成算法往往缺乏關(guān)鍵的可解釋性功能,。
Spinelli說：“有些更好的產(chǎn)品確實(shí)具有檢查和審計(jì)功能,，但并非全部產(chǎn)品?？晒﹨⒖嫉臉?biāo)準(zhǔn)并不多,。可審計(jì)性,、可追溯性以及就人工智能為何做出決策的原因而對算法進(jìn)行查詢的能力,，這些都是罕見的功能?！?/p>
Spinelli說,，LivePerson編寫自己的具備可解釋性的算法，或者使用具備這些功能的開源工具,，例如百度的Ernie和谷歌的Bert開源自然語言處理算法,。
人工智能標(biāo)準(zhǔn)越來越多
Spinelli說,，但是業(yè)界正在極力使人工智能系統(tǒng)更加透明,。例如，LivePerson參與了EqualAI計(jì)劃,，致力于通過制定準(zhǔn)則,，標(biāo)準(zhǔn)和工具來預(yù)防和糾正人工智能中的偏見。
現(xiàn)有的標(biāo)準(zhǔn)機(jī)構(gòu)也一直在努力解決這些問題,。例如,，紅帽(Red Hat)的業(yè)務(wù)自動化開發(fā)經(jīng)理Edson Tirelli說，紅帽正在使用旨在幫人工智能和機(jī)器學(xué)習(xí)系統(tǒng)提高透明度的多個標(biāo)準(zhǔn),。
Tirelli說：“這些標(biāo)準(zhǔn)有助于‘打開黑匣子’,?！?/p>
其中一個標(biāo)準(zhǔn)來自O(shè)bject Management Group的決策模型和注釋(Decision Model and Notation)標(biāo)準(zhǔn)。
Tirelli說,，這個相對較新的標(biāo)準(zhǔn)有助于填補(bǔ)空白,，即人們在理解公司決策過程中所涉及的一切步驟?！澳憧梢愿櫾摏Q策或業(yè)務(wù)流程的每個步驟,，一直到人工智能部分?！?/p>
這些標(biāo)準(zhǔn)還使在供應(yīng)商平臺之間遷移流程和模型變得更加容易,。但是除了紅帽之外，只有少數(shù)公司支持決策模型和注釋,。
Tirelli補(bǔ)充說,，Object Management Group的商業(yè)流程模型和注釋標(biāo)準(zhǔn)得到了數(shù)百家供應(yīng)商的支持。
Tirelli說：“幾乎所有的工具都支持這個標(biāo)準(zhǔn),，或同級標(biāo)準(zhǔn),，即分析的可移植格式(Portable Format for Analytics)。大體上所有可以創(chuàng)建機(jī)器學(xué)習(xí)模型的工具都支持該標(biāo)準(zhǔn),?！?/p>
Tirelli說，這些標(biāo)準(zhǔn)相互聯(lián)系,，為可解釋的人工智能提供功能,。
前緣地帶
帕洛阿爾托研究中心(PARC)的研究人員Mark Stefik表示，隨著人工智能用于執(zhí)行更復(fù)雜的任務(wù),，可解釋性越來越難實(shí)現(xiàn),。
Stefik說：“如果理由給出5000條規(guī)則，那將無濟(jì)于事,?！?/p>
例如，帕洛阿爾托研究中心一直在為國防高級研究計(jì)劃局(DARPA)做一個項(xiàng)目,，該項(xiàng)目包括對用于護(hù)林員救援任務(wù)的無人機(jī)進(jìn)行訓(xùn)練,。對簡單的任務(wù)而言，要知道何時(shí)信任該系統(tǒng),，比要知道在復(fù)雜的山區(qū)或沙漠場景中的專家級任務(wù)要容易得多,。
Stefik說：“我們在這方面取得了很大進(jìn)展，但我不認(rèn)為我們對所有類型的人工智能都有解釋性,?！?/p>
最后的挑戰(zhàn)，也是最困難的挑戰(zhàn),，即常識,。
滑鐵盧大學(xué)人工智能領(lǐng)域的加拿大研究主席Alexander Wong說：“因果推理可望而不可及,，這就是我和其他人努力的方向?！?/p>
Stefik說,，如今，計(jì)算機(jī)系統(tǒng)很難將關(guān)聯(lián)性和因果關(guān)系區(qū)分開來,。鬧鐘的響聲會導(dǎo)致太陽升起嗎?
Stefik說：“我們想找到將虛假的關(guān)聯(lián)性與真實(shí)的因果關(guān)系區(qū)分開來的方法,。甚至訓(xùn)練人來做正確的因果推理也是很難的。這是一個非常困難的問題,?！?/p>
Stefik說，這種通過一系列因果關(guān)系進(jìn)行思考的能力是人們談?wù)撏ㄓ萌斯ぶ悄軙r(shí)所談?wù)摰膬?nèi)容,。
Wong補(bǔ)充說：“我們在這個方向上取得了不錯的進(jìn)展,。但是，如果我不得不猜測的話,，我會說,，因果推理的最終形式將在一個時(shí)限內(nèi)實(shí)現(xiàn)?！?/p>
但是,，即使可解釋的人工智能仍處于起步階段，這并不意味著公司應(yīng)該被動等待,。
Wong說：“即使在目前的形式中,，可解釋性對許多商業(yè)流程仍然非常有用。如果你現(xiàn)在就開始使用這個形式,，那么你所創(chuàng)建的系統(tǒng)將很超前,，并且更加公平。談到負(fù)責(zé)任的人工智能時(shí),，我的核心信念之一是,，可解釋性和透明性是人工智能的關(guān)鍵組成部分?！?/p>
