現在想象你把蜘蛛改造的非常非常聰明——甚至超過人類的智能。它會讓你覺得熟悉嗎？它會感知人類的情感嗎？不會，因為更聰明並不代表更加人類——它會非常聰明，但是本質上還是個蜘蛛。
我是不想和一個超級聰明的蜘蛛交朋友，不知道你想不想。
當我們談論超人工智能的時候，其實是一樣的，超人工智能會非常的聰明，但是它並不比你的筆記本電腦更加像人類。事實上，因為超人智能不是生物，它的異己性會更強，生物學上來講，超人工智能比智能蜘蛛更加異己。
電影裏的人工智能有好有壞，這其實是對人工智能的擬人化，這讓我們覺得沒那麽毛骨悚然。這給了我們對人類水平和超人類水平的人工智能的錯覺。
在人類心理中，我們把事情分成道德的和不道德的。但是這兩種隻存在於人類行為之中。
超出人類心理的範疇，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人類的，尤其是那些非生物的事物，默認都是非道德性的。
我們一直倚賴著不嚴謹的道德，一種人類尊嚴的假想，至少是對別人的同情，來讓世界變得安全和可以預期。但是當一個智能不具備這些東西的時候，會發生什麽？
這就是我們的下一個問題，人工智能的動機是什麽？
答案也很簡單：我們給人工智能設定的目標是什麽，它的動機就是什麽。人工智能的係統的目標是創造者賦予的。你的gps的目標是給你指出正確的駕駛路線，ibm華生的目標是準確地迴答問題。
更好得達成這些目標就是人工智能的目標。我們在對人工智能進行擬人化的時候，會假設隨著它變得越來越聰明，他們產生一種能改變它原本目標的智慧——但是智能水平和最終目標是正交的，也就是說任何水平的智能都可以和任何最終目標結合在一起。
所以隔壁老王從一個想要好好寫字的弱人工智能變成一個超級聰明的超人工智能後，它依然還是想好好寫字而已。
任何假設超級智能的達成會改變係統原本的目標的想法都是對人工智能的擬人化。人健忘，但是電腦不健忘。
在隔壁老王的故事中，隔壁老王變得無所不能，它開始殖民隕石和其它星球。如果我們讓故事繼續的話，它和它的殖民軍將會繼續占領整個星係，然後是整個哈勃體積。
焦慮大道上的人擔心如果事情往壞的方向發展，地球生命的最後遺產將是一個征服宇宙的人工智能（馬斯克在表示他們的擔憂時表示人類可能隻是一個數字超級智能生物加載器罷了。）
就是當有了設定後，一個超人工智能是非道德性的，並且會努力實現它原本的被設定的目標，而這也是人工智能的危險所在了。因為除非有不做的理由，不然一個理性的存在會通過最有效的途徑來達成自己的目標。
當你要實現一個長期目標時，你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石。這些墊腳石的學名叫手段目標(instrumentalgoal)。除非你有不造成傷害的理由，不然你在實現手段目標時候是會造成傷害的。
人類的核心目標是延續自己的基因。要達成這個目標，一個手段目標就是自保，因為死人是不能生孩子的。
為了自保，人類要提出對生存的威脅，所以人類會買槍、係安全帶、吃抗生素等等。人類還需要通過食物、水、住宿等來自我供養。對異性有吸引力能夠幫助最終目標的達成，所以我們會花錢做發型等等。
當我們做發型的時候，每一根頭發都是我們手段目標的犧牲品，但是我們對頭發的犧牲不會做價值判斷。
在我們追求我們的目標的時候，隻有那些我們的道德會產生作用的領域——大部分事關傷害他人——才是不會被我們傷害的。
動物在追求它們的目標時，比人類不矜持的多了。
隻要能自保，蜘蛛不在意殺死任何東西，所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的，而是因為傷害人類隻是它達成自己目標墊腳石而已，作為一個非道德性的生物，這是它很自然的考量。
迴到隔壁老王的故事。隔壁老王和一個超級智能的蜘蛛很相像，它的終極目標是一開始工程師們設定的——
當隔壁老王達到了一定程度的智能後，它會意識到如果不自保就沒有辦法寫卡片，所以去除對它生存的威脅就變成了它的手段目標。
它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼（這會改變它的目標，而這對於它的最終目標的威脅其實和被摧毀是一樣的）。
這時候它會做什麽？理性的做法就是毀滅全人類，它對人類沒有惡意，就好像你剪頭發時對頭發沒有惡意一樣，隻是純粹的無所謂罷了。它並沒有被設定成尊重人類生命，所以毀滅人類就和掃描新的書寫樣本一樣合理。
隔壁老王還需要資源這個墊腳石。當它發展到能夠使用納米技術建造任何東西的時候，它需要的唯一資源就是原子、能源和空間。
這讓它有更多理由毀滅人類——人類能提供很多原子，把人類提供的原子改造成太陽能麵板就和你切蔬菜做沙拉一樣。
就算不殺死人類，隔壁老王使用資源的手段目標依然會造成存在危機。也許它會需要更多的能源，所以它要把地球表麵鋪滿太陽能麵板。
另一個用來書寫圓周率的人工智能的目標如果是寫出圓周率小數點後盡量多的數字的話，完全有理由把整個地球的原子改造成一個硬盤來存儲數據。這都是一樣的。
所以，隔壁老王確實從友善的人工智能變成了不友善的人工智能——但是它隻是在變得越來越先進的同時繼續做它本來要做的事情。
在隔壁老王起飛前，它不是很聰明，所以對它來說達成最終目標的手段目標是更快的掃描手寫樣本。它對人類無害，是個友善的人工智能。
但是當起飛發生後，電腦不隻是擁有了高智商而已，還擁有了其它超級能力。這些超級能力是感知能力，他們包括：
要理解我們在和超人工智能的劣勢在哪裏，隻要記得超人工智能在所有領域都比人類強很多很多很多個數量級。
所以雖然個隔壁老王的終極目標沒有改變，起飛後的隔壁老王能夠在更宏大的規模上來追求這個目標。超人工智能老王比人類更加了解人類，所以搞定人類輕輕鬆鬆。
當隔壁老王達成超人工智能後，它很快製定了一個複雜的計劃。
計劃的一部分是解決掉所有人類，也是對它目標最大的威脅。但是它知道如果它展現自己的超級智能會引起懷疑，而人類會開始做各種預警，讓它的計劃變得難以執行。
它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻，裝純。bostrom把這叫作機器的秘密準備期。
隔壁老王下一個需要的是連上互聯網，隻要連上幾分鍾就好了。它知道對於人工智能聯網會有安全措施，所以它發起了一個完美的請求，並且完全知道工程師們會怎樣討論，而討論的結果是給它連接到互聯網上。
工程師們果然中套了，這就是bostrom所謂的機器的逃逸。
連上網後，隔壁老王就開始執行自己的計劃了，首先黑進服務器、電網、銀行係統、email係統，然後讓無數不知情的人幫它執行計劃——比如把dna樣本快遞到dna實驗室來製造自我複製的納米機器人，比如把電力傳送到幾個不會被發覺的地方，比如把自己最主要的核心代碼上傳到雲服務器中防止被拔網線。
隔壁老王上了一個小時網，工程師們把它從互聯網上斷開，這時候人類的命運已經被寫好了。
接下來的一個月，隔壁老王的計劃順利的實施，一個月後，無數的納米機器人已經被分散到了全世界的每一個角落。
這個階段，bostrom稱作超人工智能的襲擊。在同一個時刻，所有納米機器人一起釋放了一點點毒氣，然後人類就滅絕了。
搞定了人類後，隔壁老王就進入了明目張膽期，然後繼續朝它那好好寫字的目標邁進。
一旦超人工智能出現，人類任何試圖控製它的行為都是可笑的。人類會用人類的智能級別思考，而超人工智能會用超人工智能級別思考。
隔壁老王想要用互聯網，因為這對它來說很方便，因為一切它需要的資源都已經被互聯網連起來了。但是就好像猴子不會理解怎麽用電話或者wifi來溝通一樣，我們同樣沒有辦法理解隔壁老王可以用來和周圍世界交流的方法。
比如我可以說隔壁老王可以通過移動自己的電子產生的效果來產生各種對外的波，而這還隻是我這人類的大腦想出來的，老王的大腦肯定能想出更神奇的方法。
同樣的，老王可以找到給自己供能的方法，所以就算工程師把它的插頭拔了也沒用；比如說老王可以通過發送波的方式把自己上傳到其它地方。
人類說：“我們把超人工智能的插頭拔了不就行了？”就好像蜘蛛說：“我們不給人類捉蟲的網把人類餓死不就行了？”都是可笑的。
因為這個原因，“把人工智能鎖起來，斷絕它和外界的一切聯係”的做法估計是沒用的。
超人工智能的社交操縱能力也會很強大，它要說服你做一件事，比你說服一個小孩更容易。而說服工程師幫忙連上互聯網就是隔壁老王的a計劃，萬一這招行不通，自然還有別的方法。
當我們結合達成目標、非道德性、以及比人類聰明很多這些條件，好像所有的人工智能都會變成不友善的人工智能，除非一開始的代碼寫的很小心。
可惜的是，雖然寫一個友善的弱人工智能很簡單，但是寫一個能在變成超人工智能後依然友善的智能確實非常難的，甚至是不可能的。
明顯的，要維持友善，一個超人工智能不能對人有惡意，而且不能對人無所謂。我們要設計一個核心的人工智能代碼，讓它從深層次的明白人類的價值，但是這做起來比說起來難多了。
比如，我們要讓一個人工智能的價值觀和我們的價值觀相仿，然後給它設定一個目標——讓人們快樂。
當它變得足夠聰明的時候，它會發現最有效的方法是給人腦植入電極來刺激人腦的快樂中樞。然後它會發現把人腦快樂中樞以外的部分關閉能帶來更高的效率。於是人類全部被弄成了快樂的植物人。
如果一開始的目標被設定成“最大化人類的快樂”，它可能最終先把人類毀滅了，然後製造出很多很多處於快樂狀態的人類大腦。
當這些事情發生的時候，我們會大喊“擦，我們不是這個意思呀”，但是那時已經太晚了。係統不會允許任何人阻撓它達成目標的。
如果你設定一個人工智能的目標是讓你笑，那它的智能起飛後，它可能會把你臉部肌肉弄癱瘓，來達成一個永遠笑臉的狀態。
如果你把目標設定成保護你的安全，它可能會把你軟禁在家。
如果你讓他終結所有饑荒，它可能會想：“太容易了，把人類都殺了就好了。”如果你把目標設定成盡量保護地球上的生命，那它會很快把人類都殺了，因為人類對其它物種是很大的威脅。
所以這些簡單的目標設定是不夠的。如果我們把目標設定成“維持這個道德標準”，然後教給它一些道德標準呢？
就算我們不考慮人類根本沒法達成一個統一的道德標準，就算我們真的達成了統一的道德標準，把這套標準交給人工智能來維持，隻會把人類的道德鎖死在現在的水平。
我是不想和一個超級聰明的蜘蛛交朋友，不知道你想不想。
當我們談論超人工智能的時候，其實是一樣的，超人工智能會非常的聰明，但是它並不比你的筆記本電腦更加像人類。事實上，因為超人智能不是生物，它的異己性會更強，生物學上來講，超人工智能比智能蜘蛛更加異己。
電影裏的人工智能有好有壞，這其實是對人工智能的擬人化，這讓我們覺得沒那麽毛骨悚然。這給了我們對人類水平和超人類水平的人工智能的錯覺。
在人類心理中，我們把事情分成道德的和不道德的。但是這兩種隻存在於人類行為之中。
超出人類心理的範疇，道德（moral）和不道德(immoral)之外，更多的是非道德性（amoral）。而所有不是人類的，尤其是那些非生物的事物，默認都是非道德性的。
我們一直倚賴著不嚴謹的道德，一種人類尊嚴的假想，至少是對別人的同情，來讓世界變得安全和可以預期。但是當一個智能不具備這些東西的時候，會發生什麽？
這就是我們的下一個問題，人工智能的動機是什麽？
答案也很簡單：我們給人工智能設定的目標是什麽，它的動機就是什麽。人工智能的係統的目標是創造者賦予的。你的gps的目標是給你指出正確的駕駛路線，ibm華生的目標是準確地迴答問題。
更好得達成這些目標就是人工智能的目標。我們在對人工智能進行擬人化的時候，會假設隨著它變得越來越聰明，他們產生一種能改變它原本目標的智慧——但是智能水平和最終目標是正交的，也就是說任何水平的智能都可以和任何最終目標結合在一起。
所以隔壁老王從一個想要好好寫字的弱人工智能變成一個超級聰明的超人工智能後，它依然還是想好好寫字而已。
任何假設超級智能的達成會改變係統原本的目標的想法都是對人工智能的擬人化。人健忘，但是電腦不健忘。
在隔壁老王的故事中，隔壁老王變得無所不能，它開始殖民隕石和其它星球。如果我們讓故事繼續的話，它和它的殖民軍將會繼續占領整個星係，然後是整個哈勃體積。
焦慮大道上的人擔心如果事情往壞的方向發展，地球生命的最後遺產將是一個征服宇宙的人工智能（馬斯克在表示他們的擔憂時表示人類可能隻是一個數字超級智能生物加載器罷了。）
就是當有了設定後，一個超人工智能是非道德性的，並且會努力實現它原本的被設定的目標，而這也是人工智能的危險所在了。因為除非有不做的理由，不然一個理性的存在會通過最有效的途徑來達成自己的目標。
當你要實現一個長期目標時，你會先達成幾個子目標來幫助你達成最終目標——也就是墊腳石。這些墊腳石的學名叫手段目標(instrumentalgoal)。除非你有不造成傷害的理由，不然你在實現手段目標時候是會造成傷害的。
人類的核心目標是延續自己的基因。要達成這個目標，一個手段目標就是自保，因為死人是不能生孩子的。
為了自保，人類要提出對生存的威脅，所以人類會買槍、係安全帶、吃抗生素等等。人類還需要通過食物、水、住宿等來自我供養。對異性有吸引力能夠幫助最終目標的達成，所以我們會花錢做發型等等。
當我們做發型的時候，每一根頭發都是我們手段目標的犧牲品，但是我們對頭發的犧牲不會做價值判斷。
在我們追求我們的目標的時候，隻有那些我們的道德會產生作用的領域——大部分事關傷害他人——才是不會被我們傷害的。
動物在追求它們的目標時，比人類不矜持的多了。
隻要能自保，蜘蛛不在意殺死任何東西，所以一個超級智能的蜘蛛對我們來說可能是很危險的——這不是因為它是不道德的或者邪惡的，而是因為傷害人類隻是它達成自己目標墊腳石而已，作為一個非道德性的生物，這是它很自然的考量。
迴到隔壁老王的故事。隔壁老王和一個超級智能的蜘蛛很相像，它的終極目標是一開始工程師們設定的——
當隔壁老王達到了一定程度的智能後，它會意識到如果不自保就沒有辦法寫卡片，所以去除對它生存的威脅就變成了它的手段目標。
它聰明的知道人類可以摧毀它、肢解它、甚至修改它的代碼（這會改變它的目標，而這對於它的最終目標的威脅其實和被摧毀是一樣的）。
這時候它會做什麽？理性的做法就是毀滅全人類，它對人類沒有惡意，就好像你剪頭發時對頭發沒有惡意一樣，隻是純粹的無所謂罷了。它並沒有被設定成尊重人類生命，所以毀滅人類就和掃描新的書寫樣本一樣合理。
隔壁老王還需要資源這個墊腳石。當它發展到能夠使用納米技術建造任何東西的時候，它需要的唯一資源就是原子、能源和空間。
這讓它有更多理由毀滅人類——人類能提供很多原子，把人類提供的原子改造成太陽能麵板就和你切蔬菜做沙拉一樣。
就算不殺死人類，隔壁老王使用資源的手段目標依然會造成存在危機。也許它會需要更多的能源，所以它要把地球表麵鋪滿太陽能麵板。
另一個用來書寫圓周率的人工智能的目標如果是寫出圓周率小數點後盡量多的數字的話，完全有理由把整個地球的原子改造成一個硬盤來存儲數據。這都是一樣的。
所以，隔壁老王確實從友善的人工智能變成了不友善的人工智能——但是它隻是在變得越來越先進的同時繼續做它本來要做的事情。
在隔壁老王起飛前，它不是很聰明，所以對它來說達成最終目標的手段目標是更快的掃描手寫樣本。它對人類無害，是個友善的人工智能。
但是當起飛發生後，電腦不隻是擁有了高智商而已，還擁有了其它超級能力。這些超級能力是感知能力，他們包括：
要理解我們在和超人工智能的劣勢在哪裏，隻要記得超人工智能在所有領域都比人類強很多很多很多個數量級。
所以雖然個隔壁老王的終極目標沒有改變，起飛後的隔壁老王能夠在更宏大的規模上來追求這個目標。超人工智能老王比人類更加了解人類，所以搞定人類輕輕鬆鬆。
當隔壁老王達成超人工智能後，它很快製定了一個複雜的計劃。
計劃的一部分是解決掉所有人類，也是對它目標最大的威脅。但是它知道如果它展現自己的超級智能會引起懷疑，而人類會開始做各種預警，讓它的計劃變得難以執行。
它同樣不能讓公司的工程師們知道它毀滅人類的計劃——所以它裝傻，裝純。bostrom把這叫作機器的秘密準備期。
隔壁老王下一個需要的是連上互聯網，隻要連上幾分鍾就好了。它知道對於人工智能聯網會有安全措施，所以它發起了一個完美的請求，並且完全知道工程師們會怎樣討論，而討論的結果是給它連接到互聯網上。
工程師們果然中套了，這就是bostrom所謂的機器的逃逸。
連上網後，隔壁老王就開始執行自己的計劃了，首先黑進服務器、電網、銀行係統、email係統，然後讓無數不知情的人幫它執行計劃——比如把dna樣本快遞到dna實驗室來製造自我複製的納米機器人，比如把電力傳送到幾個不會被發覺的地方，比如把自己最主要的核心代碼上傳到雲服務器中防止被拔網線。
隔壁老王上了一個小時網，工程師們把它從互聯網上斷開，這時候人類的命運已經被寫好了。
接下來的一個月，隔壁老王的計劃順利的實施，一個月後，無數的納米機器人已經被分散到了全世界的每一個角落。
這個階段，bostrom稱作超人工智能的襲擊。在同一個時刻，所有納米機器人一起釋放了一點點毒氣，然後人類就滅絕了。
搞定了人類後，隔壁老王就進入了明目張膽期，然後繼續朝它那好好寫字的目標邁進。
一旦超人工智能出現，人類任何試圖控製它的行為都是可笑的。人類會用人類的智能級別思考，而超人工智能會用超人工智能級別思考。
隔壁老王想要用互聯網，因為這對它來說很方便，因為一切它需要的資源都已經被互聯網連起來了。但是就好像猴子不會理解怎麽用電話或者wifi來溝通一樣，我們同樣沒有辦法理解隔壁老王可以用來和周圍世界交流的方法。
比如我可以說隔壁老王可以通過移動自己的電子產生的效果來產生各種對外的波，而這還隻是我這人類的大腦想出來的，老王的大腦肯定能想出更神奇的方法。
同樣的，老王可以找到給自己供能的方法，所以就算工程師把它的插頭拔了也沒用；比如說老王可以通過發送波的方式把自己上傳到其它地方。
人類說：“我們把超人工智能的插頭拔了不就行了？”就好像蜘蛛說：“我們不給人類捉蟲的網把人類餓死不就行了？”都是可笑的。
因為這個原因，“把人工智能鎖起來，斷絕它和外界的一切聯係”的做法估計是沒用的。
超人工智能的社交操縱能力也會很強大，它要說服你做一件事，比你說服一個小孩更容易。而說服工程師幫忙連上互聯網就是隔壁老王的a計劃，萬一這招行不通，自然還有別的方法。
當我們結合達成目標、非道德性、以及比人類聰明很多這些條件，好像所有的人工智能都會變成不友善的人工智能，除非一開始的代碼寫的很小心。
可惜的是，雖然寫一個友善的弱人工智能很簡單，但是寫一個能在變成超人工智能後依然友善的智能確實非常難的，甚至是不可能的。
明顯的，要維持友善，一個超人工智能不能對人有惡意，而且不能對人無所謂。我們要設計一個核心的人工智能代碼，讓它從深層次的明白人類的價值，但是這做起來比說起來難多了。
比如，我們要讓一個人工智能的價值觀和我們的價值觀相仿，然後給它設定一個目標——讓人們快樂。
當它變得足夠聰明的時候，它會發現最有效的方法是給人腦植入電極來刺激人腦的快樂中樞。然後它會發現把人腦快樂中樞以外的部分關閉能帶來更高的效率。於是人類全部被弄成了快樂的植物人。
如果一開始的目標被設定成“最大化人類的快樂”，它可能最終先把人類毀滅了，然後製造出很多很多處於快樂狀態的人類大腦。
當這些事情發生的時候，我們會大喊“擦，我們不是這個意思呀”，但是那時已經太晚了。係統不會允許任何人阻撓它達成目標的。
如果你設定一個人工智能的目標是讓你笑，那它的智能起飛後，它可能會把你臉部肌肉弄癱瘓，來達成一個永遠笑臉的狀態。
如果你把目標設定成保護你的安全，它可能會把你軟禁在家。
如果你讓他終結所有饑荒，它可能會想：“太容易了，把人類都殺了就好了。”如果你把目標設定成盡量保護地球上的生命，那它會很快把人類都殺了，因為人類對其它物種是很大的威脅。
所以這些簡單的目標設定是不夠的。如果我們把目標設定成“維持這個道德標準”，然後教給它一些道德標準呢？
就算我們不考慮人類根本沒法達成一個統一的道德標準，就算我們真的達成了統一的道德標準，把這套標準交給人工智能來維持，隻會把人類的道德鎖死在現在的水平。