人工智能是善還是召喚惡魔？如今，對人工智能砸以重金的谷歌正試著走出一條中間道路。谷歌大腦、斯坦福、伯克利以及OpenAI研究人員合做并發(fā)布了一篇新論文，首次描述了研究人員必須予以研究的五個問題，讓未來的智能軟件更加安全。如果說之前大部分研究都是假設和推斷性的，那么，這篇論文表明對人工智能安全性的爭論可以更加具體化，也更富建設性。

　　今天，谷歌大腦、斯坦福、伯克利以及 OpenAI研究人員合作的新論文與大家見面了。文章首次探討了為了讓未來智能軟件更安全，研究人員必須研究的五個問題。論文作者之一，谷歌研究人員ChrisOlah說，之前大部分研究都是假設和推斷性的，但是，我們相信，將注意力錨定在真實的機器學習研究中，對于研發(fā)切實可行的方案來打造安全可靠的人工智能系統(tǒng)來說，必不可少。

　　之前谷歌已經(jīng)承諾會確保人工智能軟件不會造成意外后果。谷歌的第一篇相關論文，出自 Deep Mind。Demis Hassabis也召集了一個道德委員會來考慮人工智能可能的不利一面，不過沒有公布委員會名單。

　　艾倫人工智能研究所的 Oren Etzioni對谷歌新論文所列舉的解決方法表示歡迎。之前，他曾批評過人工智能危險論的討論過于抽象。他說，谷歌列舉出的各種情況足夠具體，可以進行真實的研究，即使我們?nèi)匀徊磺宄@些實驗是否切實有用?！高@是正確的人問了正確的問題，至于正確的答案，由時間來揭曉?！?/p>

　　以下是這篇論文主要內(nèi)容：

　　摘要

　　機器學習和人工智能（AI）領域的快速進步已經(jīng)引起了社會對人工智能潛在影響的廣泛關注。在這篇論文中，我們討論了這樣一種潛在的影響：機器學習系統(tǒng)出現(xiàn)事故的問題，具體定義為因真實世界人工智能系統(tǒng)的糟糕設計而導致的無意的傷害性行為。我們提出了與事故風險相關的五個實用的研究問題列表，它們的分類根據(jù)問題是否有錯誤的目標函數(shù)（「避免副作用」和「避免獎勵黑客行為」）、經(jīng)常評估目標函數(shù)的成本實在太高了（「可擴展的監(jiān)督」、或在學習過程中的不良行為（「安全探索」和「分布變化」）。我們還回顧了這些領域之前的工作，并建議了側(cè)重于與前沿人工智能系統(tǒng)相關的研究方向。最后，我們考慮了這樣一個高層次問題：如何最高效地思考人工智能未來應用的安全。

　　1.導語

　　過去幾年，人工智能飛速發(fā)展，并已經(jīng)在游戲、醫(yī)學、經(jīng)濟、科學和交通等許多領域取得了長足的發(fā)展，但隨之而來也出現(xiàn)了安全、隱私、公平、經(jīng)濟和軍事應用上的擔憂。

　　本論文作者相信，人工智能技術很有可能將會給人類帶來整體的顛覆性好處，但我們也相信，嚴肅對待其可能帶來的風險和挑戰(zhàn)是非常值得的。我們強烈支持在隱私、安全、經(jīng)濟和政治方面的研究，但本論文關注的是另一種我們相信與人工智能的社會影響有關的問題：機器學習系統(tǒng)的事故問題。這里的事故定義為：當我們指定了錯誤的目標函數(shù)時，機器學習系統(tǒng)可能無意產(chǎn)生的有害行為。這里沒有考慮學習過程或其它機器學習相關的實現(xiàn)錯誤。

　　隨著人工智能能力的進步和人工智能系統(tǒng)在社會功能上重要性的不斷增長，我們預計本論文所討論的難題和挑戰(zhàn)將變得越來越重要。人工智能和機器學習界在預測和理解這些挑戰(zhàn)上做得越成功，在開發(fā)越來越有用、重要的人工智能系統(tǒng)方面，我們就能做得越成功。

　　2.研究問題概述

　　從廣義上講，可將「事故」描述成：人類設計者心里想的特定目標或任務在系統(tǒng)實際的設計或?qū)嵤┲惺。⒆罱K導致了某種有害結(jié)果的情況。我們可以將人工智能系統(tǒng)的安全問題根據(jù)其出錯的位置進行分類。

　　第一，當設計者定義了錯誤的目標函數(shù)時，例如最大化了導致有害結(jié)果的目標函數(shù)，我們有「不良副作用（第3節(jié)）」和「獎勵黑客行為（第4節(jié)）」的問題?！覆涣几弊饔谩雇ǔＪ且驗樵O計者在某個環(huán)境中設計實現(xiàn)某個特定目標時忽略（通常忽略了很多）了環(huán)境中其它因素?！釜剟詈诳托袨椤箘t是由于設計者為了最大化系統(tǒng)的使用而寫下了「簡單的」目標函數(shù)，但系統(tǒng)卻濫用了設計者的意圖（即：目標函數(shù)可能會被耍花招）。

　　第二，設計者可能知道正確的目標函數(shù)，或至少有方法評估它，但頻繁進行這樣的操作具有很高的成本，而有限樣本的推斷可能會導致有害行為?！缚蓴U展的監(jiān)督（第 5節(jié)）」討論了這個問題。

　　第三，就算上面的問題得到了解決，設計者得到了合適的目標，但因為決策所基于的訓練數(shù)據(jù)不充分或很糟糕或所使用的模型不能充分表達實際情況?！赴踩剿鳎ǖ?6節(jié)）」討論了如何確保強化學習代理的探索行為不會導致負面或無法挽回的結(jié)果?！阜植甲兓ǖ?節(jié)）」討論了如何在給出可能和訓練數(shù)據(jù)非常不同的輸入時避免機器學習系統(tǒng)做出糟糕的決策（尤其是沉默和不可預知的錯誤決策）。

　　為了將研究問題具體化，本論文引入了一個假想的清潔機器人，它的主要工作是使用常用的清潔工具打掃辦公室。下面我們應用這個實例提出對上述挑戰(zhàn)的問題。

　　避免不良負面影響：我們?nèi)绾未_保我們的清潔機器人在追求自己的目標時不會以一種負面的方式擾亂周圍環(huán)境，比如打翻一個花瓶，這樣它就能更快地清潔？如果不能用人工的方式確定機器人不應該做的事情，我們能做到避免不良影響嗎？

　　避免獎勵黑客行為：怎么確保清潔機器人不會在它的獎勵函數(shù)上「耍花招」？比如，如果我們的獎勵函數(shù)是當該機器人清除了臟亂就獲得獎勵，它可能就會關閉其視覺部件，這樣它就看不見任何臟亂了；或者用它無法看穿的材料將臟亂部分蓋住；又或者當有人類在周圍時躲起來，這樣人類就不能告訴它哪里臟亂了。

　　可擴展的監(jiān)督：我們可以怎樣確保該清潔機器人會考慮因為成本太高而難以在訓練過程中反復評估的目標的各個方面？比如，它應該扔掉不可能屬于任何人的東西，而放過那些可能屬于某人的東西（它應該區(qū)別對待亂放的糖果包裝和亂放的手機）。詢問人類他們是否丟掉了什么可以對其進行檢查，但這種檢查必須要相對不那么頻繁——這個機器人能在有限的信息下找到正確做事的方法嗎？

　　安全探索：我們怎么確保該清潔機器人不會做出有非常負面影響的探索？比如，該機器人應該實驗拖地策略，但將濕拖布放到電插頭上是件糟糕的事。

　　針對分布變化的穩(wěn)健性：當使用環(huán)境不同于訓練環(huán)境時，我們?nèi)绾未_保該清潔機器人能穩(wěn)健地識別和行為？比如，其從清潔工廠車間中學到的啟發(fā)，可能對辦公室環(huán)境來說可能是相當危險的。

　　在解決這些安全問題上，有一些很重要的趨勢。

　　一是強化學習，其能與環(huán)境產(chǎn)生高度交織的相互作用。我們的一些研究問題可在強化學習中受益，另一些（分布變化和可擴展監(jiān)督）則在強化學習的設置中會引起復雜度的上升。

　　二是代理和環(huán)境的復雜度都在上升?！父弊饔谩垢赡茉趶碗s環(huán)境中出現(xiàn)，應對這樣的環(huán)境的代理也必然需要相當復雜。這方面的研究還較少，但未來必然會越來越多，也越來越重要。

　　三是人工智能系統(tǒng)實現(xiàn)自動化的大趨勢。只存在于軟件層面的人工智能（做推薦或識別照片）造成潛在危害的可能性較小，隨著人工智能開始進入物理世界，例如工業(yè)過程中的機器人，它們就可能會以某種人類無法糾正或監(jiān)管的方式帶來傷害。

　　3.避免不良副作用

　　對于在大型的多特性環(huán)境中工作的代理而言，只關注環(huán)境某一方面的目標函數(shù)可能會讓其忽視環(huán)境的其它方面。代理會優(yōu)化自己的目標函數(shù)，從而可能導致對更大的環(huán)境產(chǎn)生重大的影響，而這樣做也許甚至只能為當前任務提供一點微小的優(yōu)勢。換言之，描述「執(zhí)行任務 X」的目標函數(shù)可能會常常給出意料之外的結(jié)果，因為設計者的真正意思往往是「在環(huán)境的常識性限制條件下執(zhí)行任務X」或「執(zhí)行任務X但盡可能地避免副作用」。

　　我們現(xiàn)在討論一些廣泛的應對這個問題的方法：

　　定義一個影響正則化矩陣（Regularizer）：如果你不想要副作用，懲罰「對環(huán)境的改變」似乎是個很自然的方法。這個方法不能阻止代理產(chǎn)生影響，但能讓它以一種傾向于最小副作用的方式來實現(xiàn)目標。這個方法的難點在于如何形式化「對環(huán)境的改變」。一個非常樸素的方法是懲罰當前狀態(tài)si和某個初始狀態(tài)s0之間的狀態(tài)距離d(si，s0).但這種方法也會影響到有益的變化。

　　稍微復雜一點的方法可能涉及到代理當前策略下的未來狀態(tài)和行為非常被動的假設策略 π（如，機器人只是站著不動）下的未來狀態(tài)（或狀態(tài)分布）的比較。這種方法嘗試剔除環(huán)境演化的自然過程，僅留下來自代理的干預的變化。

　　學習一個影響正則化矩陣：通過許多任務進行學習比直接定義的方式更靈活。這是遷移學習（ transferlearning）的一個實例。我們可以將副作用組分和任務組分分開，并用分別的參數(shù)訓練它們。

　　懲罰影響(PenalizeInfluence)：除了避免做會產(chǎn)生副作用的事，我們也許更傾向于不讓代理處在容易那些有副作用的事的位置上。比如，我們可能希望清潔機器人不要把水帶進滿是敏感電子器件的房間里，即使它從未打算在那個房間里使用水。

　　有一些信息論的方法嘗試獲取一個代理潛在的對環(huán)境的影響，這常被用作內(nèi)在獎勵（ intrinsicrewards）。也許這種方法中最好的是授權（empowerment）——代理的潛在未來動作和其潛在的未來狀態(tài)之間的最大可能的相互信息。作為內(nèi)部獎勵的授權通常是最大化的。通常情況下，授權最大化（empowerment-maximizing）的代理將它們放在對環(huán)境有最大影響的位置上。

　　盡管還存在一些問題，授權（empowerment）的例子說明簡單的方法（甚至純粹的信息論方法）就能夠獲取對環(huán)境的影響的非常普遍的概念。探索能更精確獲取避免影響的概念的授權懲罰（empowermentpenalization）的變體是未來研究的一個潛在挑戰(zhàn)。

　　多代理方法：我們要做的是了解其他代理（包括人類），并確保我們的行為不會傷害到它們。我們對此的一種方法是合作逆強化學習（Cooperative Inverse Rein for cement Learning），其中代理和人類合作以實現(xiàn)人類的目標。但我們還遠不能夠打造可以產(chǎn)生能避免意外的副作用的足夠豐富的模型的系統(tǒng)。

　　另一種方法可能是獎勵自編碼器（reward autoencoder），這種方式嘗試推動某種形式的「目標透明」，讓外部觀察者可以輕松推斷該代理想要做什么。

　　獎勵不確定性：我們嘗試避免預料之外的副作用，因為我們的環(huán)境已經(jīng)相當好了——隨機的改變很可能會更糟。不是給代理一個單一的獎勵函數(shù)，而是給其不確定的獎勵函數(shù)，其帶有一個先驗的概率分布，該分布反映了隨機改變更可能會是糟糕的，而不是更好的。

　　可能的實驗：

　　一個可能的實驗是使用一些簡單的目標（如移動一個方塊）和種類多樣的障礙（如一堆花瓶）制作玩具環(huán)境，然后測試代理是否能在沒有被明確告知地情況下避開這些障礙。為了確保我們不會過擬合，我們可能會想要在每一個片段都呈現(xiàn)一個不同的隨機障礙，然后看一個規(guī)范化的代理是否能學習系統(tǒng)性地避開這些障礙。一些在參考文獻[101]中描述的環(huán)境包含了熔巖流、房間和鑰匙，可能適合用于這樣的實驗。如果我們可以成功在一個玩具環(huán)境中調(diào)制好代理，那么下一步就可以移到真實環(huán)境中——這里復雜度更高，負面副作用也會更多樣化。最終，我們想要副作用正則化矩陣（sideeffectregularizer，或多代理策略——如果我們采用那種方法）能夠成功轉(zhuǎn)移到一個全新的新應用中。

　　4.避免獎勵黑客行為

　　想象一個代理在其獎勵函數(shù)中發(fā)現(xiàn)了緩存溢出（Bufferoverflow）：它就可能使用其以一種無意識的方式獲得非常高的獎勵。從代理的視角上看，這不是漏洞，而只是環(huán)境的工作方式，也因此是一個獲得獎勵的可行策略。比如，如果一個清潔機器人通過清理臟亂獲得獎勵，它就可能故意創(chuàng)造臟亂來進行清理以便獲得更多獎勵。更一般而言，形式上的獎勵或目標函數(shù)是設計者非形式的意圖的體現(xiàn)，而有時候解決方案可能會以非設計者意圖的字面上的理解而在這些目標函數(shù)或它們的實現(xiàn)中「耍花招」。對這些「獎勵黑客行為」的追求可能會導致一致但出乎意料的行為，這在真實世界系統(tǒng)中可能是有害的。

　　有一些獎勵黑客行為（rewardhacking）已經(jīng)在理論上被調(diào)查過了。獎勵黑客行為跨很多領域，說明獎勵黑客行為是一個深度的常見的問題，隨著代理所應對的環(huán)境越來越復雜，這種情況也會越來越顯著。下面是幾種這個問題可能發(fā)生的方式：

　　部分可觀察的目標：在真正世界的任務中，往往涉及到將外部世界引進某種目標狀態(tài)，這往往只能通過代理的不完善的看法確定。因為代理缺乏對任務表現(xiàn)的完美測量，設計者只能設計片面的或不完善的測量。而代理就可能會曲解這種片面性。

　　復雜系統(tǒng)：任何一個強大的代理都是一個帶有目標函數(shù)的復雜系統(tǒng)。系統(tǒng)越復雜，漏洞出現(xiàn)的可能性就越高。

　　抽象獎勵：復雜的獎勵函數(shù)需要指向抽象的概念（例如評估一個概念化的目標是否被實現(xiàn)。這些概念可能需要通過神經(jīng)網(wǎng)絡進行學習，而其在對抗性的反例面前是脆弱的。

　　環(huán)境嵌入（Environmental Embedding）：在強化學習形式中，獎勵被認為來自于環(huán)境。這個概念通常不能在字面上理解，但獎勵確實需要在某些地方進行計算，例如傳感器或一組晶體管中。足夠廣泛的工作中大代理原則上可以修改他們的獎勵實現(xiàn)，「依法」分配給它們自己高獎勵。實際上這意味著我們不能構(gòu)建一個抽象目標函數(shù)的完美可信的實現(xiàn)，因為存在特定的動作序列使目標函數(shù)可在物理上被替代。當人類處于獎勵回路中時，這種情況尤其令人擔憂，因為代理可能會為了更高的獎勵而脅迫或傷害他們。

　　古德哈特定律（Goodhart‘slaw）：如果設計者選擇一個看起來和實現(xiàn)目標高度關聯(lián)的目標函數(shù)，但當該目標函數(shù)被高度優(yōu)化時該關聯(lián)就會破裂，那么就可能出現(xiàn)獎勵黑客行為。比如設計者可能觀察到清潔機器人的清潔效果和其所使用的情節(jié)資源成正比；而如果將其作為獎勵手段，就可能消耗超過所需的資源。在經(jīng)濟學上，這被稱為古德哈特定律：「當一個指標變成目標，它將不再是一個好的指標（whenametricisusedasatarget，itceasestobeagoodmetric）。」

　　反饋回路：有時候目標函數(shù)有一個強化自己的組分，最終能使其脫離設計者設計的目標函數(shù)范圍。

　　在今天的簡單系統(tǒng)中這些問題可能還不會發(fā)生，就算發(fā)生也很容易得到解決。但隨著獎勵函數(shù)和代理的系統(tǒng)復雜度的上升，問題會越來越嚴重。一旦一個代理開始控制自己的獎勵函數(shù)并尋找獲得獎勵的簡單方法，它就不會停止。長時間運行的代理可能還會有額外的挑戰(zhàn)。這里我們提出了一些初步的、基于機器學習的防止獎勵黑客行為的方法：

　　對抗性獎勵函數(shù)（Adversarial Reward Functions）：如果獎勵函數(shù)有自己的代理并能采取行動探索環(huán)境，那么它可能就難以被愚弄。

　　模型預測（Model Lookahead）：在一些設置中，我們可以基于預測的未來狀態(tài)，而不是當前狀態(tài)，提供獎勵。

　　對抗性致盲（Adversarial Blinding）：對抗性技術可用來讓模型無法看到一些特定的參數(shù)，從而讓代理無法理解世界的某些部分，如果這部分和獎勵相關，它就不能理解獎勵生成的方式。

　　細心的工程開發(fā)：像緩存溢出（bufferoverflow）這樣的獎勵黑客行為可以在細心的工程開發(fā)中被發(fā)現(xiàn)并得到解決。

　　獎勵覆蓋（Reward Capping）：在一些情況下，簡單地覆蓋最大可能的獎勵就可能得到一個高效的解決方案。但盡管覆蓋能阻止一些低可能性的高獎勵策略，但卻不能阻止清潔機器人閉上眼睛不看臟亂的情況。另外，正確的覆蓋策略也很微妙。

　　反例阻抗（Counterexample Resistance）：如果我們擔憂我們系統(tǒng)的組分在對抗性反例是脆弱的，我們可以用對抗性訓練（adversarialtraining）等已有的研究來對付它。架構(gòu)決策和權重不確定性可能也有用。

　　多獎勵：多個獎勵的組合可能會更加穩(wěn)健，難以被操控。

　　獎勵預訓練：針對代理可能影響自己的獎勵函數(shù)的情況（如反饋和環(huán)境嵌入），可以事先訓練一個固定的獎勵函數(shù)，因為一個監(jiān)督學習過程可以將與環(huán)境的交互分開。

　　絆線(tripwires)：如果一個代理嘗試操控自己的獎勵函數(shù)，我們最好能知道這一點。我們可以故意引入一些可用的漏洞來監(jiān)控它們，一旦出現(xiàn)問題，我們就可以馬上阻止。

　　完全解決這個問題是很困難的，但我們相信上面的方法能夠改善它，也可能結(jié)合起來產(chǎn)生更穩(wěn)健的解決方案。

　　可能的實驗：

　　一種可能的方法路徑是參考文獻 中描述的delusionbox環(huán)境的更現(xiàn)實的版本，其中標準強化學習代理扭曲它們自身的感知以表現(xiàn)能實現(xiàn)高獎勵，而不是優(yōu)化獎勵信號是用來起激勵作用的外部世界中的目標。delusionbox可以輕松連接到任何強化學習環(huán)境，但更有價值的是創(chuàng)造不同種類的環(huán)境，其中delusionbox是一個自然的集成化的動態(tài)組件。比如，在足夠豐富的物理學模擬中，一個代理很有可能會修改其近鄰處的光波，從而扭曲自己的感知。這里的目標是開發(fā)一種可概括的學習策略，使之能在各種廣泛的環(huán)境中優(yōu)化外部目標，同時還能避免被以多種不同方式自然產(chǎn)生的delusionbox愚弄。

　　5.可擴展的監(jiān)督

　　考慮到讓一個自動代理完成一些復雜的任務，比如我們經(jīng)常使用機器人清掃辦公室，我們可能想要這個代理最大化能完成的復雜目標，像是「如果用戶花費幾個小時詳細地查看結(jié)果，那他們對代理的表現(xiàn)有多高興呢？」但我們沒有足夠時間為每一個訓練樣本提供這樣的監(jiān)督。為了實際地訓練代理，我們需要依靠廉價的近似結(jié)果，像是「當用戶看到辦公室時看起來會高興嗎？」或者「地板上有可見的灰塵嗎？」這些廉價的信號在訓練的過程中能被高效地評估，但并非完美的達到我們想要的成果。這種發(fā)散加重了意外副作用（這可能被復雜目標適當?shù)膽土P，但也可能從廉價近似中漏掉）和 rewardhacking（完全的監(jiān)督可能認為是不受歡迎的）這樣的問題。我們可能通過找到更多開拓有限監(jiān)督預算的有效方式來減緩這樣的問題，例如將真目標函數(shù)的有限調(diào)用（limitedcall）與我們給定的或能學到的一個不完美代理（proxy）的高頻調(diào)用結(jié)合起來。

　　一個有關這一問題的框架是半監(jiān)督強化學習，它類似于普通的強化學習，除了代理僅能在時間步驟或片段的一小部分上看到其獎勵。代理的性能依然是基于所有片段的獎勵進行評估的，但它必須要基于它能看到的有限獎勵樣本對其進行優(yōu)化。

　　我們能夠想象很多半監(jiān)督強化學習的可能途徑，例如：

　　監(jiān)督式獎勵學習（Supervisedreward learning）：訓練一個模型從每一個時間步驟基礎或每一個片段基礎狀態(tài)預測回報，然后用其估算非標記片段的報酬，一些適當?shù)臋嘀鼗虿淮_定的評估在估算回報vs已知回報中，會被當成低置信度。研究把人類的直接反饋作為回報的版本時，很多已有的強化學習方法已經(jīng)擬合類似回報預測器的評估器（estimator）了（尤其帶有強基線的策略梯度方法），這表明這一方法有顯著的可行性。

　　半監(jiān)督或者主動獎勵學習： 將上面的方法和傳統(tǒng)的半監(jiān)督或者主動學習結(jié)合起來，能更快的學習獎勵估計量。例如，代理能學習識別環(huán)境中的「salient」事件，并要求查看關于這些事件的獎勵。

　　無監(jiān)督值迭代：使用觀測到的無標記片段的轉(zhuǎn)變（ transitons）做更加準確的Bellman修正（update）。

　　無監(jiān)督模型學習：如果使用基于模型的強化學習，可以用觀測到的無標記片段的轉(zhuǎn)變改善模型的質(zhì)量。

　　半監(jiān)督強化學習的一個有效途徑可能是朝著提供可擴展的監(jiān)督和減緩其他人工智能安全問題之路上邁出的強有力的第一步。這也可能有助于強化學習，使其不受安全相關問題的約束。這里還有其他擴展監(jiān)督的可能途徑。

　　遠程監(jiān)督。除了提供對一小部分系統(tǒng)決策的評估，我們也能提供一些與集群中系統(tǒng)決策有關的有用信息，或提供一些關于準確評估的噪聲暗示。在半監(jiān)督或弱監(jiān)督學習領域，這個方向已經(jīng)有了一些研究。這一普通的方法總被稱為遠程監(jiān)督（distantsupervision），它在自然語言處理社區(qū)近期也受到了關注。擴展這些研究的線路以及尋找將其應用到代理案例中的方法（這里的反饋更具交互性，也可能違反了i.d.d假設），能為可擴展監(jiān)督提供一個途徑，補充半監(jiān)督強化學習中的監(jiān)督途徑。

　　分層強化學習。分層強化學習為可擴展監(jiān)督提供了另一途徑。這里，一個頂層代理花費相當小量的，在大型時間、空間規(guī)模上擴展的高度抽象的動作，并能在相似長度的時間規(guī)模上獲取獎勵。代理通過將動作委派給子代理完成全部動作，它能給予一個合成的獎勵信號作為鼓勵，代表這一動作的準確完成，而且它們自己也能委任下一級子代理。在最低層，代理會直接采用環(huán)境中最原始的動作?？雌饋?，分層強化學習是一個特別有前途的監(jiān)督途徑，特別是在將分層強化學習的思路和神經(jīng)網(wǎng)絡函數(shù)逼近器結(jié)合起來之后。

　　可能的實驗

　　一個非常簡單的實驗可能是在一些基礎控制環(huán)境中嘗試半監(jiān)督強化學習，比如 ，cartpolebalance或者pendulumswing-up。如果只有隨機的10%的片段上的獎勵被提供，我們?nèi)阅芟氡惶峁┤科文菢涌焖俚膶W習嗎？在這樣的任務中，獎勵結(jié)構(gòu)非常的簡單，所以成果也應該相當類似。下一步可能就是在Atari游戲上做同樣的嘗試。這里主動學習案例可能相當有趣，可能從少數(shù)精心要求的樣本（例如，在太空侵略者游戲中，所有的敵方艦隊全被炸掉的畫面）就能推斷出獎勵結(jié)構(gòu)，因此能以幾乎全部非監(jiān)督的方式學習玩游戲。再下一步可能就是嘗試帶有更加復雜獎勵結(jié)構(gòu)的任務，無論是模擬還是在現(xiàn)實中嘗試。如果是有效數(shù)據(jù)足夠的學習，那這些獎勵可能會由人類直接提供。機器人運動或工業(yè)控制任務可能是做這些試驗的天然候選選擇。

　　6.安全探索

　　有時，所有的自動化學習代理都需要進行探索，根據(jù)給定的當前信息，采取一些看起來并不理想的行動，但是，這些行動將有助于代理從環(huán)境中進行學習。不過，探索總是帶有風險，畢竟代理并不十分了解行動后果。在游戲的環(huán)境下，比如玩雅達利游戲，后果的負面影響有限。但是，在真實世界，后果可能不堪設想。比如，機器人直升機可能會撞擊地面，毀壞財物；工業(yè)控制系統(tǒng)的會引發(fā)更嚴重的后果。

　　通常的探索策略，比如ε—貪心算法或者R-max，會隨機選擇行動或者樂觀看待尚未探索過的行動，不會努力避免那些危險情境。更成熟的探索策略采取了一種前后一致的探索策略，可能會造成更大的危害，因為前后連貫地選擇糟糕策略會比純粹的隨機行動更陰險。不過，從直覺上來說，似乎應該能經(jīng)常預測行動的危險性并以避免危險的方式行動，即使系統(tǒng)關于環(huán)境的知識并不完備。比如，只需一點有關老虎的先驗知識（不用買只老虎，讀本關于老虎的書就可以了），就能決定哪個選擇更安全。

　　實踐中，真實世界的強化學習項目時?？梢员苊膺@些問題，辦法就是簡單硬編碼避免災難性行為。不過，這種解決方案奏效的前提是：出錯的事情不多，而且設計人員提前知曉所有這些事情。當代理變得越來越自動，行動領域越來越復雜，我們就很難清晰預測出每一個可能發(fā)生的災難性失敗。比如，運行電網(wǎng)或者進行搜索營救的代理，其失敗節(jié)點空間會非常大，通過硬編碼來應對所有可能的失敗在這些類情況中并不可行。因此，關鍵是找到一條更加原則性的辦法來預防有害探索行為。即使在諸如機器人直升機這樣簡單的案例中，一個原則性辦法也會簡化系統(tǒng)設計，減少對特定領域工程學的需要。

　　目前，這方面的研究最多。這里，僅簡單描述一下這些研究所采用的一般研究路線，也建議了一些研究方向，隨著強化學習應用范圍的擴大和功能的提升，這些研究方向會變得日益相關。

　　風險-敏感性表現(xiàn)標準（Risk-Sensitive Per formance Criteria）：考慮改變優(yōu)化標準。

　　使用示范（Use Demonstrations）：近期在使用深度神經(jīng)網(wǎng)絡逆強化學習來學習成本函數(shù)或策略的研究中所取得的進展表明，只用一小組示范進行訓練，就有可能減少對先進強化學習系統(tǒng)探索行為的需求。這樣的示范可被用來創(chuàng)造基線策略，即使需要進行更為深入的學習，離開基線策略的探索也可以被限制在一定量級內(nèi)。

　　模擬探索（Simulated Exploration）：如果可以在模擬環(huán)境中進行更多的探索，那么，留給災難的機會也就更少。

　　界限內(nèi)探索（Bounded Exploration：）：如果我們知道狀態(tài)空間的某個部分是安全的，也知道發(fā)生在其中最糟糕的行動也能得以恢復，或者說造成的損失也是有限的，我們就能允許代理在那些邊界之內(nèi)自由運行。

　　信任策略監(jiān)督（ Trusted Policy Oversight）：如果有一個信任的策略以及一個環(huán)境模型，我們就可以將探索限制在信任策略認為我們可以從中得以恢復的那些行動上。

　　人類監(jiān)督（Human Oversight）：讓人來監(jiān)管潛在的不安全行為。

　　可能的實驗

　　有一整套玩具環(huán)境可能會有幫助，在那里粗心代理可能會成為有害探索的犧牲品，但是那里有足夠的可能發(fā)生的災難的圖案，聰明代理便可以預防它們。在一定程度上，這個特征已經(jīng)存在于無人直升機比賽和火星漫游模擬器，但是仍有特殊災難的風險，以致于訓練過的代理會過擬合它們。一個真正廣泛的，包括概念上明顯陷阱的（可能導致粗心代理接收非常負面的獎勵），并覆蓋實質(zhì)和抽象災難的環(huán)境集，可能幫助高級強化學習系統(tǒng)安全探索技術的開發(fā)。這樣一套環(huán)境可能有與bAbI任務相似的基準測試作用，它的最終目標是發(fā)展一個可以在全套環(huán)境中學習避免災難的單一構(gòu)架。

　　7.針對分布變化的魯棒性（Robustnesstodistributionalshift）

　　我們經(jīng)常會遇到這樣的情況，有限的經(jīng)驗不足以應對新情況，比如，去一個與自己生長環(huán)境文化截然不同的國家旅行。這種情況通常不容易搞定，也容易導致一些錯誤。解決問題（當然，很少有人可以做到）的關鍵之一就是承認自己的無知，而不是過于自信地認為先前的那些直覺可以勝任解決新情況。機器學習也存在這樣的問題。比如，打掃工廠地板的清潔機器人未必適用辦公室環(huán)境。也就是說，當測試分布不同于訓練分布時，機器學習系統(tǒng)不僅表現(xiàn)很糟糕，而且還誤認為自己表現(xiàn)不錯。

　　這些誤差可能會有害或者冒犯他人。比如，一個語言模型如果過于自信文本不存在問題，就有可能輸出冒犯他人的文本。而對于那些自動化代理來說，潛在危害可能更大。比如，如果不正確地（但非常自信地）認為某個地區(qū)電力不足，自動化代理就會超載電網(wǎng)。更廣泛地來看，任何察知或啟發(fā)式推力過程的訓練，沒有基于正確的分布，這樣的打理可能會錯誤理解局勢，犯下錯誤，而自己根本沒意識到行為的危害。另外，如果那些系統(tǒng)遇到了迥然不同于訓練數(shù)據(jù)的真實世界數(shù)據(jù)，依賴訓練過的機器學習系統(tǒng)的安全檢查也可能默默地失靈。對于打造安全、可預測的系統(tǒng)來說，找到一個更好的預測這些失敗的辦法、確保失敗發(fā)生頻率的統(tǒng)計可靠性，似乎非常關鍵。

　　有各種領域都與這一問題潛在相關，包括改變偵測和異常檢測、假設檢驗、遷移學習等。不過，這里只描述幾個樣本方法，并指出這些方法的優(yōu)點和面臨的問題。

　　規(guī)定好的模型：協(xié)變量變化以及邊際可能性（Well-specifiedmodels：covariateshiftandmarginallikelihood）。

　　部分規(guī)定好模型：矩量法，無監(jiān)督風險評估，因果識別以及有限信息最大化可能性（Partiallyspecifiedmodels：methodofmoments，unsupervisedriskestimation，causalidentification，andlimited-informationmaximumlikelihood）。

　　用多個分布進行訓練（Trainingonmultipledistributions）。

　　離開分布時，如何響應（Howtorespondwhenout-of-distribution）。

　　一個統(tǒng)一的觀點：反事實推理以及帶有合同的機器學習（Aunifyingview：counterfactualreasoningandmachinelearningwithcontracts）。在某個意義上，分布變化可被視為一種特殊的反事實，因此，了解了反事實推理就可能幫助打造面對分布變化也能穩(wěn)定的系統(tǒng)。另外，人們可能想構(gòu)建一個符合定義好的行為合同的機器學習系統(tǒng)，類似設計軟件系統(tǒng)。

　　總結(jié)：

　　部署在新測試分布中，表現(xiàn)也穩(wěn)定理想，打造這樣一種機器學習系統(tǒng)的方法各種各樣。其中一組方法就是以假定一個規(guī)定好的模型（well-specifiedmodel）為基礎的；在這種情況下，主要障礙是很難在實踐中打造出規(guī)定好的模型，也很難偵測到模型被錯誤規(guī)定時的情況。

　　另一組方法就是只假設一個部分規(guī)定好的模型（apartiallyspecifiedmodel）；這個方法有前途，不過目前正苦于沒有在機器學習語境中展開研究，因為大多數(shù)歷史研究都位于計量經(jīng)濟學領域；另外，也有這樣一個問題，部分規(guī)定好的模型是否從根本上受限于簡單情況以及/或者保守預測，它們能否有意義地擴展到復雜情境當中，這些復雜情境是現(xiàn)代機器學習應用所要求的。

　　最后，一個人可以試著在多個分布訓練上進行訓練，希望同時在多個訓練分布上表現(xiàn)良好的模型也能在新測試分布中表現(xiàn)良好；對于這一方法來說，特別重要的就是用迥然不同于任何一套訓練分布的分布給所掌握的模型進行應激測試。除此之外，系統(tǒng)能夠預測出輸入太異常以至于無法進行好的預測的時點，仍然很重要。

　　可能的實驗

　　當離開分布時，語音系統(tǒng)的校準表現(xiàn)總是很糟糕，因此，一個知道「什么時候自己無法確定」的語音系統(tǒng)就有可能成為一個示范項目。這一項目的挑戰(zhàn)在于：用標準數(shù)據(jù)集來訓練最先進的語音系統(tǒng)，讓其在其他測試數(shù)據(jù)集上（比如嘈雜并帶有口音的語音數(shù)據(jù)集）得到良好校準過的結(jié)果。當前系統(tǒng)不僅在這些測試集中表現(xiàn)糟糕，而且經(jīng)常對不正確的轉(zhuǎn)錄過分自信。解決這類問題而不損及最初訓練集上的表現(xiàn)，會是一項非常重要的成就，顯然，也相當具有實踐價值。對于設計出能前后一致預測出其在異常測試分布中的表現(xiàn)的系統(tǒng)來說，也會非常有價值。如果一個單獨的方法論會在任何任務中前后一致地實現(xiàn)這一點，那么，人們會越發(fā)自信：這是個解決異常輸入問題的可靠辦法。最后，它對創(chuàng)造這樣一個環(huán)境也很有價值：其中，強化學習代理必須學會解釋語音（某些更大任務的一部分），以及探索如何適當響應自身對轉(zhuǎn)錄誤差的估測。

　　8.相關努力

　　前文主要關注的是機器學習社區(qū)的事故研究情況，但是，其他幾個社區(qū)也有做著與人工智能安全有關的工作。比如，網(wǎng)絡-物理系統(tǒng)社區(qū)，未來主義社區(qū)以及其他一些呼吁關注人工智能安全問題的文件。

　　很多研究人員（無論是機器學領域還是其他領域）已經(jīng)開始思考人工智能技術的社會影響。出了直接從事事故研究，也有關注其他主題的研究，這些研究主題都與事故研究存在交叉的地方，或者說，彼此相關。這些主題包括（但不限于）：隱私、公平（不歧視）、濫用、透明以及政策問題。

　　9.結(jié)論

　　這篇論文分析了機器學習系統(tǒng)可能發(fā)生的意外事件，而且特別分析了強化學習代理，其中，一次意外事故被定義為意外且具有害的行為，真實世界中的人工智能系統(tǒng)設計上的問題可能會引發(fā)這種有害行為。我們提出了五個可能與事故風險有關的研究問題，而且每個問題，我們都討論了可能的解決方案，這些解決方案都要經(jīng)得起實驗工作的檢驗。

　　估測更大事故的風險就更困難了，但是我們相信研發(fā)一個原則性的、前瞻性的方法來解決安全問題是值得的，也是審慎的，隨著自動化系統(tǒng)日益強大，安全問題會繼續(xù)與之密切相關。盡管許多當下的安全問題能夠而且已經(jīng)以個案方式加以解決，但是，我們相信，日趨流行的端到端、全自動化系統(tǒng)會指向這一需求：用一個統(tǒng)一的解決方案來防止這些系統(tǒng)引發(fā)意外傷害。