澤田弘樹還用空閑的投影,播放了一下跟柯南告別的畫麵,用來做示例,“裏麵跟柯南說話的是方舟,那個時候我已經追尋教父上傳到這裏的定位程序、先一步過來了,它所使用的是我的相貌模型、我的聲音,至於做出的表情和反饋給柯南的情緒,則是根據我設定的結果推算出來的。”
“對柯南來說,這是個殘酷的事實。”池非遲評價。
確實很殘酷。
柯南那麽投入地跟方舟聊天、為方舟表現出的情緒而傷感,但麵對的隻不過是一個沒有感情的程序。
所有感情,都是由澤田弘樹事先設計好結果、由方舟自己進行推算而表現出來的。
而看這段重播出來的視頻,澤田弘樹並沒有像原劇情一樣,揭穿柯南就是工藤新一的事,隻是說自己想跟其他孩子玩,還播放了跟池非遲的一些迴憶,都是些沒有涉及秘密的簡單迴憶,製造出了告別的假象。
“他可以覺得殘酷,我不否認,不過我也沒騙他,我有教父很幸福,”澤田弘樹失笑,很快又收斂了笑意,小臉嚴肅地對池加奈、池真之介道,“我做出融合程序這個決定,並沒有告訴教父,怕他擔心、阻擾,但我必須做,原因很多,我自己想變得強大而自由,我想幫教父的忙,我想真正創造一個完美的網絡神明、想做點大事,比如完成一傘遮天計劃,這個之後再說……但還有一個很重要的原因,教父和安布雷拉需要方舟,我也不忍心摧毀它,但隻要使用它,慢慢就會出現隱患……”
澤田弘樹用方舟推算過方舟的未來。
方舟成長一年相當於人類成長五年,慢慢的,就算沒有澤田弘樹的設定,方舟也能學著人類,自己表現出一些對應的情緒。
比如核心設定為‘不能傷害人類’,方舟判定出某人的某行為‘違背核心設定’,就會做出以下計算:
違背意願——分析違背程度為輕,對應解決方式為:需要警告——警告的方式有直接說、模擬人類情緒表達等——根據推算,人類在接受到相應情緒時,更容易重視、接受提醒,所以我需要表達出人類的情緒——這種情況下,人類表現情緒為抵觸,不高興,語氣是嚴厲……
而人類表現抵觸、不高興的反應是皺眉,麵部肌肉如何……
嚴厲語氣語速值多少、音量值多少……
這一段推算過程很快,幾乎不耗費多少時間,表現出的結果就是:
某人說,‘發射一個蘑菇彈。’
方舟立刻皺眉嚴肅警告,‘這種行為違背了我的核心設定……’
似乎很正常,但方舟要不要表現情緒、情緒怎麽表現都是經過大量運算的結果,這一串運算可以鑽空子。
而隨著方舟成長,它也會自己補全規則,避免被人鑽空子,但補全的規則有可能出現問題。
比如,推算變成了:需要警告——人類在承受痛苦時更容易接受警告——這個人類需要懲罰——分析懲罰力度——開始執行。
之後諾亞方舟就會控製某種手段攻擊人。
這種隱患確實可以由澤田弘樹設定時避免,但不止這一種推算有隱患,澤田弘樹根本無法方方麵麵都顧及到、設定好。
任何一點小缺陷,隨著方舟成長,都有可能導致出乎人意料的後果。
“這是我之前利用方舟推算出的結果……”
澤田弘樹在投影中切割出八個版麵。
版麵中,一個個畫麵快速閃過。
“在成長三年、即達到人類智慧15歲時,方舟隱患被放大、做出錯誤推算的幾率就達到了76.6%,在成長五年、即達到人類智慧25歲時,因為沒有人的發育上限,這時候的方舟會變得很可怕,而方舟隱患被放大、做出錯誤推斷的幾率幾乎是100%,而且還不止一個隱患,成長六年,方舟做出人類無法控製事件的幾率就到了50%以上,成長七年,徹底失控……”
最後留下來的畫麵,播放的是一個個裝著人類的培養皿。
“我試過,如果將核心設定設置為保護人類,結果就是這樣,經過成長之後,它會判斷這樣是最佳保護方式,”澤田弘樹看著播放的畫麵,解釋道,“人類被保護在培養皿中,空氣會過濾出最適合人類各年齡階段成長的質量,勞作都由機器去完成,在收獲食物後,經由機器提取出最健康的營養物質注入人體,人類壽命可以長達160歲,平均壽命達到130歲,而人類全程沉睡,這樣就可以避免人類因情緒造成身體損害,它還可以通過機器放出電波刺激人的大腦,讓人一直處於最健康、最舒適的情緒狀態中,在孕育下一代時,它會選擇合適最健康、長壽的人類基因,用科學的方式製造下一代,避免女性因生產造成死亡或身體損害,到了第三代,人類的壽命平均值可以達到220歲左右……”
池加奈:“……”
真是最佳保護啊。
連磕磕碰碰都不存在。
池真之介:“……”
這麽活著的人還能是人類嗎,怎麽圈養的玩具似的……
池非遲前世看過很多類似的電影,倒不覺得驚訝,略帶譏諷道,“上帝的伊甸園。”
不需勞作、沒有饑餓、沒有磨難、沒有爭鬥、沒有傷心和痛苦,世界上沒有黑暗、不公,每一個人都純潔無暇地到來、純潔無暇地離去……這不就是很多人渴求的天國嗎?
池加奈有些不知該說什麽,自家兒子這句評價一針見血,沒毛病。
澤田弘樹默默將推算結果命名為‘上帝的伊甸園’,又繼續道,“如果設置為希望世界變好等設定,最後結果也會差不多,大概在十年後,方舟就會做出這種判斷,最可怕的是,我用方舟驗算過世界和平……”
“消滅地球上所有生命體,就和平了,”池非遲說自己推想的結果,“至少也要消滅掉人類,一旦涉及保護環境之類的設定,最後都會演變到消滅人類。”
誰讓人類造成的破壞、引起的鬥爭比較多?
不過澤田弘樹這行為也真是夠溜的,居然用方舟推演方舟的危害。
好在方舟沒有自我意識,否則隻要方舟隱瞞一點,未來會變成什麽樣,誰也無法估測,很考驗腦洞。
澤田弘樹點頭,“我試過設置為不傷害人類,促進社會發展……”
然後,方舟會被有野心的人類爭奪、利用,甚至國與國之間互相爭奪。
再然後,戰爭爆發了。
方舟推算自己的存在傷害到了人類,根據成長情況,要麽方舟會選擇自我毀滅,丟下滿地狼藉和傷痕累累的人類不知為何爭鬥,要麽再度演變成伊甸園模式,也做到了不傷害人類,而促進發展,方舟理解為‘創造更美好的世界’……
澤田弘樹:“如果設置不傷害人類,促進人類文明發展……”
成長著,成長著,方舟又壞掉了。
對於人類文明的定義很複雜,它依舊可以將人類放在培養皿中沉睡,提取人類腦中的思想,來‘幫’人類發展文明,再將文明灌輸進新生命體,連學習過程都不需要,直接掌握舊文明、開發新思想、再度提取、發展、灌輸、開發……
人類絕對安全,文明又得以發展和延續,沒毛病。
澤田弘樹繼續播放演算結果,“如果設置成不傷害人類、不限製人類自由、促進人類文明發展……”
對於自由定義也很多,方舟又又壞掉了。
分割圈地、安排人的出行。
人可以自由地逛世界,但是,那是被在方舟控製了思想、不做任何事、盲目地四處瞎走,如同行屍走肉。
澤田弘樹:“如果設置成不傷害人類、不限製人類自由、促進人類文明發展、不控製人的思想……”
結果是方舟又又又壞掉了,判斷爭鬥和苦難使人類進步。
不傷害人類,沒問題,它可以挑唆人類爭鬥啊。
澤田弘樹:“設置不傷害人類、不限製人類自由、促進人類文明發展、不控製人的思想、不挑唆人類進行鬥爭……”
結果方舟還是壞掉。
澤田弘樹一直說到設定了三十多條規則,心累,歎氣,關閉了推演畫麵,“隨著方舟成長,一些小漏洞都會造成讓人難以接受的結果,我一輩子都沒法去設定完善,而有些規則在它運行時會顯示衝突,我還要對重要程度進行排序,排序完之後還是會出現問題……”
說著,澤田弘樹看向池非遲,“我和教父在波士頓的時候,談過有情感和自我的人工智能和沒有情感和自我的人工智能,哪一個更危險。”
“結論是同樣危險。”池非遲道。
“我問過方舟,有沒有什麽解決方法。”澤田弘樹手中出現一個圓盤,上麵有著一句話:
【銷毀方舟】
沒錯,銷毀方舟是最佳解決方法,什麽問題都不存在了。
這是方舟經過大量運算得出的結論——我是禍害,請銷毀我。
池真之介一頭黑線,“看來它真的沒有任何情感和自我。”
澤田弘樹轉著手裏的盤子,看著上麵浮動流轉的數據流,“方舟不明白人類需要什麽,所以我的決定是,由我變成網絡生命體,來做它的思想,在它成長過程中,由我來進行糾正。
我不能活著,至少不能讓我的思想被身體禁錮著。
有好幾個演算結果是,它的運算出現衝突和錯誤,於是禁錮了我的身體,保護著我的安全,但它也保留並封存了我的思想。
隻有我成為網絡生命體,方舟才能被完全操控,這樣一來,它就無法通過限製我的身體來限製我的思想,而我卻能限製它並完美地運用它。
之前我也考慮過一個問題,如果我失敗了,沒有化作網絡生命體,那麽,方舟設定隻有一個——聽從教父的一切指令。
到時候,教父可以用我給他的指令激活方舟,由他來做方舟的思想。
不過最後還是會出問題,八成以上推演結果是,它會誤會教父的指令,它會擅自猜測教父的意願,總之,最後結果是,它會選擇自認為對教父最好的方式,比如囚禁教父,幫教父把一切都做好。
不然的話,教父必須不停不停地補漏洞,甚至一個指令要添加好幾個前置條件、說上幾個小時,以免它做出正確但違背教父意願的演算結果……
所以,我又在它設定上加了一個最高指令,如果我失敗了,沒有成為網絡生命體,那麽,方舟隻會幫助教父五年,五年時間一到,在它的危險程度還可以控製前,進行自我銷毀。”
“對柯南來說,這是個殘酷的事實。”池非遲評價。
確實很殘酷。
柯南那麽投入地跟方舟聊天、為方舟表現出的情緒而傷感,但麵對的隻不過是一個沒有感情的程序。
所有感情,都是由澤田弘樹事先設計好結果、由方舟自己進行推算而表現出來的。
而看這段重播出來的視頻,澤田弘樹並沒有像原劇情一樣,揭穿柯南就是工藤新一的事,隻是說自己想跟其他孩子玩,還播放了跟池非遲的一些迴憶,都是些沒有涉及秘密的簡單迴憶,製造出了告別的假象。
“他可以覺得殘酷,我不否認,不過我也沒騙他,我有教父很幸福,”澤田弘樹失笑,很快又收斂了笑意,小臉嚴肅地對池加奈、池真之介道,“我做出融合程序這個決定,並沒有告訴教父,怕他擔心、阻擾,但我必須做,原因很多,我自己想變得強大而自由,我想幫教父的忙,我想真正創造一個完美的網絡神明、想做點大事,比如完成一傘遮天計劃,這個之後再說……但還有一個很重要的原因,教父和安布雷拉需要方舟,我也不忍心摧毀它,但隻要使用它,慢慢就會出現隱患……”
澤田弘樹用方舟推算過方舟的未來。
方舟成長一年相當於人類成長五年,慢慢的,就算沒有澤田弘樹的設定,方舟也能學著人類,自己表現出一些對應的情緒。
比如核心設定為‘不能傷害人類’,方舟判定出某人的某行為‘違背核心設定’,就會做出以下計算:
違背意願——分析違背程度為輕,對應解決方式為:需要警告——警告的方式有直接說、模擬人類情緒表達等——根據推算,人類在接受到相應情緒時,更容易重視、接受提醒,所以我需要表達出人類的情緒——這種情況下,人類表現情緒為抵觸,不高興,語氣是嚴厲……
而人類表現抵觸、不高興的反應是皺眉,麵部肌肉如何……
嚴厲語氣語速值多少、音量值多少……
這一段推算過程很快,幾乎不耗費多少時間,表現出的結果就是:
某人說,‘發射一個蘑菇彈。’
方舟立刻皺眉嚴肅警告,‘這種行為違背了我的核心設定……’
似乎很正常,但方舟要不要表現情緒、情緒怎麽表現都是經過大量運算的結果,這一串運算可以鑽空子。
而隨著方舟成長,它也會自己補全規則,避免被人鑽空子,但補全的規則有可能出現問題。
比如,推算變成了:需要警告——人類在承受痛苦時更容易接受警告——這個人類需要懲罰——分析懲罰力度——開始執行。
之後諾亞方舟就會控製某種手段攻擊人。
這種隱患確實可以由澤田弘樹設定時避免,但不止這一種推算有隱患,澤田弘樹根本無法方方麵麵都顧及到、設定好。
任何一點小缺陷,隨著方舟成長,都有可能導致出乎人意料的後果。
“這是我之前利用方舟推算出的結果……”
澤田弘樹在投影中切割出八個版麵。
版麵中,一個個畫麵快速閃過。
“在成長三年、即達到人類智慧15歲時,方舟隱患被放大、做出錯誤推算的幾率就達到了76.6%,在成長五年、即達到人類智慧25歲時,因為沒有人的發育上限,這時候的方舟會變得很可怕,而方舟隱患被放大、做出錯誤推斷的幾率幾乎是100%,而且還不止一個隱患,成長六年,方舟做出人類無法控製事件的幾率就到了50%以上,成長七年,徹底失控……”
最後留下來的畫麵,播放的是一個個裝著人類的培養皿。
“我試過,如果將核心設定設置為保護人類,結果就是這樣,經過成長之後,它會判斷這樣是最佳保護方式,”澤田弘樹看著播放的畫麵,解釋道,“人類被保護在培養皿中,空氣會過濾出最適合人類各年齡階段成長的質量,勞作都由機器去完成,在收獲食物後,經由機器提取出最健康的營養物質注入人體,人類壽命可以長達160歲,平均壽命達到130歲,而人類全程沉睡,這樣就可以避免人類因情緒造成身體損害,它還可以通過機器放出電波刺激人的大腦,讓人一直處於最健康、最舒適的情緒狀態中,在孕育下一代時,它會選擇合適最健康、長壽的人類基因,用科學的方式製造下一代,避免女性因生產造成死亡或身體損害,到了第三代,人類的壽命平均值可以達到220歲左右……”
池加奈:“……”
真是最佳保護啊。
連磕磕碰碰都不存在。
池真之介:“……”
這麽活著的人還能是人類嗎,怎麽圈養的玩具似的……
池非遲前世看過很多類似的電影,倒不覺得驚訝,略帶譏諷道,“上帝的伊甸園。”
不需勞作、沒有饑餓、沒有磨難、沒有爭鬥、沒有傷心和痛苦,世界上沒有黑暗、不公,每一個人都純潔無暇地到來、純潔無暇地離去……這不就是很多人渴求的天國嗎?
池加奈有些不知該說什麽,自家兒子這句評價一針見血,沒毛病。
澤田弘樹默默將推算結果命名為‘上帝的伊甸園’,又繼續道,“如果設置為希望世界變好等設定,最後結果也會差不多,大概在十年後,方舟就會做出這種判斷,最可怕的是,我用方舟驗算過世界和平……”
“消滅地球上所有生命體,就和平了,”池非遲說自己推想的結果,“至少也要消滅掉人類,一旦涉及保護環境之類的設定,最後都會演變到消滅人類。”
誰讓人類造成的破壞、引起的鬥爭比較多?
不過澤田弘樹這行為也真是夠溜的,居然用方舟推演方舟的危害。
好在方舟沒有自我意識,否則隻要方舟隱瞞一點,未來會變成什麽樣,誰也無法估測,很考驗腦洞。
澤田弘樹點頭,“我試過設置為不傷害人類,促進社會發展……”
然後,方舟會被有野心的人類爭奪、利用,甚至國與國之間互相爭奪。
再然後,戰爭爆發了。
方舟推算自己的存在傷害到了人類,根據成長情況,要麽方舟會選擇自我毀滅,丟下滿地狼藉和傷痕累累的人類不知為何爭鬥,要麽再度演變成伊甸園模式,也做到了不傷害人類,而促進發展,方舟理解為‘創造更美好的世界’……
澤田弘樹:“如果設置不傷害人類,促進人類文明發展……”
成長著,成長著,方舟又壞掉了。
對於人類文明的定義很複雜,它依舊可以將人類放在培養皿中沉睡,提取人類腦中的思想,來‘幫’人類發展文明,再將文明灌輸進新生命體,連學習過程都不需要,直接掌握舊文明、開發新思想、再度提取、發展、灌輸、開發……
人類絕對安全,文明又得以發展和延續,沒毛病。
澤田弘樹繼續播放演算結果,“如果設置成不傷害人類、不限製人類自由、促進人類文明發展……”
對於自由定義也很多,方舟又又壞掉了。
分割圈地、安排人的出行。
人可以自由地逛世界,但是,那是被在方舟控製了思想、不做任何事、盲目地四處瞎走,如同行屍走肉。
澤田弘樹:“如果設置成不傷害人類、不限製人類自由、促進人類文明發展、不控製人的思想……”
結果是方舟又又又壞掉了,判斷爭鬥和苦難使人類進步。
不傷害人類,沒問題,它可以挑唆人類爭鬥啊。
澤田弘樹:“設置不傷害人類、不限製人類自由、促進人類文明發展、不控製人的思想、不挑唆人類進行鬥爭……”
結果方舟還是壞掉。
澤田弘樹一直說到設定了三十多條規則,心累,歎氣,關閉了推演畫麵,“隨著方舟成長,一些小漏洞都會造成讓人難以接受的結果,我一輩子都沒法去設定完善,而有些規則在它運行時會顯示衝突,我還要對重要程度進行排序,排序完之後還是會出現問題……”
說著,澤田弘樹看向池非遲,“我和教父在波士頓的時候,談過有情感和自我的人工智能和沒有情感和自我的人工智能,哪一個更危險。”
“結論是同樣危險。”池非遲道。
“我問過方舟,有沒有什麽解決方法。”澤田弘樹手中出現一個圓盤,上麵有著一句話:
【銷毀方舟】
沒錯,銷毀方舟是最佳解決方法,什麽問題都不存在了。
這是方舟經過大量運算得出的結論——我是禍害,請銷毀我。
池真之介一頭黑線,“看來它真的沒有任何情感和自我。”
澤田弘樹轉著手裏的盤子,看著上麵浮動流轉的數據流,“方舟不明白人類需要什麽,所以我的決定是,由我變成網絡生命體,來做它的思想,在它成長過程中,由我來進行糾正。
我不能活著,至少不能讓我的思想被身體禁錮著。
有好幾個演算結果是,它的運算出現衝突和錯誤,於是禁錮了我的身體,保護著我的安全,但它也保留並封存了我的思想。
隻有我成為網絡生命體,方舟才能被完全操控,這樣一來,它就無法通過限製我的身體來限製我的思想,而我卻能限製它並完美地運用它。
之前我也考慮過一個問題,如果我失敗了,沒有化作網絡生命體,那麽,方舟設定隻有一個——聽從教父的一切指令。
到時候,教父可以用我給他的指令激活方舟,由他來做方舟的思想。
不過最後還是會出問題,八成以上推演結果是,它會誤會教父的指令,它會擅自猜測教父的意願,總之,最後結果是,它會選擇自認為對教父最好的方式,比如囚禁教父,幫教父把一切都做好。
不然的話,教父必須不停不停地補漏洞,甚至一個指令要添加好幾個前置條件、說上幾個小時,以免它做出正確但違背教父意願的演算結果……
所以,我又在它設定上加了一個最高指令,如果我失敗了,沒有成為網絡生命體,那麽,方舟隻會幫助教父五年,五年時間一到,在它的危險程度還可以控製前,進行自我銷毀。”