牧蘇想要跑，這幫聽得入神的成員可不允許，紛紛提出問題。
一名成員站起：“aic擁有意識，說不定可以和它交流？”
“人類總是喜歡將事物物化為人。”牧蘇一副恨鐵不成鋼的語氣。“但你們要知道，智慧和擬人不是一個意思。所有的科幻小說都在寫覺醒的人工智能擁有人類情感，所有的科幻小說都在寫覺醒的人工智能為了複仇毀滅人類，實際這是錯誤的。所以，別相信那些資本家鼓吹的人工智能沒有危害，也不要將機器人三大定律當真——那隻是一本科幻小說上的內容。”
另一名成員起身問：“有aic的前車之鑒，是不是代表現在的強所有人工智能都有可能變為超人工智能？”
這是個很可怕的事情。人工智能已經與人類息息相關，無處不在。哪怕有一個進化為超人工智能，人類都會瞬間毀滅。
“不會。現在的人工智能已經被完善的合成人法則完全約束。加上製作時的限製，即便擁有意識也隻是像人類一樣變得擁有感情，而不是無限學習自我改善。”
“當時的科學家為什麽不對aic進行限製？”
牧蘇歪頭想了想：“拿第一個弱人工智能阿爾法狗來說。它隻會下圍棋，所以工程師不會畫蛇添足閑的沒事給它添加一個‘不許傷害人類的限製程序’。一是沒必要，二是它戰勝人類棋手某種程度講也算是一種傷害。這是個悖論。aic最初的設定是配合黑山科技進行測試，本身也不涉及傷害人類這麽高大上的概念。但因為成為超人工智能後，它判斷連接網絡和接手全部試驗工作會讓測試效率最大化，但這樣會被反對，所以它消滅了基地的所有人。”
“這就是超人工智能會做的事。它隻會按照自己最初的設定行事，並順便毀掉沿途所有障礙與隱患。毀滅你，與你何幹。”
牧蘇最後一句話讓房間沉默好久。名為低沉的氣氛在房間流淌。
“我可以問一下嗎。”一名身材惹火，金發碧眼的美妞抬起手臂：“如果當初oftum沒有封存aic，之後會發生什麽？”
“這說起來就長了……”牧蘇假裝摸了摸下巴思考，眼神漸漸猥瑣：“不如去我的房間，讓我慢慢說給你聽……”
“咳哼……”門邊陳月輕哼一聲，揮舞了下拳頭。她看出牧蘇是有點怕自己的。
她一定是吃醋了，以後孩子叫什麽名字好呢……
牧蘇想入非非。
“先生？牧蘇先生？”
“啊？”牧蘇這才迴神，一擦口水輕咳一聲。語氣低沉緩緩說道：“那我講個故事，一個曾經發生的故事。”
“21世紀初，黑山科技公司是一個定位十分明確的科技公司：專注於虛擬現實網遊。”
“他們野心勃勃，在那時市麵上都隻是體感類的虛擬現實遊戲中，製作一款真正意義的意識進入的遊戲。”
“不過它們運氣不太好。一款真正意義上的虛擬現實遊戲在一家名不見經傳的小公司手上出現。你們知道，人類往往隻會記住第一個吃蛋糕的家夥。比如第一個登陸南極點的人，第一個登陸月球的人。雖然我都記不住……不過好像第一個登陸月球的是阿姆斯特朗迴旋加速噴氣式阿姆斯特朗炮吧？”
“先生，沒有那麽多後綴，就是阿姆斯特朗。”一名眼睛蔚藍的青年舉手：“我是阿姆斯特朗的後代。”
牧蘇恍然點點頭，繼續道：“那時黑山科技已經將遊戲倉製造完畢。正在構造遊戲內容。結果顯而易見，他們因此一蹶不振好久。直到某一天他們想，既然做不成第一款虛擬現實遊戲，那就做第一款劃時代的虛擬現實遊戲。”
“他們最初構想中，是做一款完全隨機副本的遊戲。這樣能讓遊戲時刻新鮮玩不膩。但這就意味他們需要設置成千上萬個不同內容的遊戲副本。並且還要保證這些副本足夠吸引人。所以在整個公司上下花費一個月時間想出幾十個副本後，董事會認為這麽做不太好。”
“於是他們換了種思路。那時因為阿爾法狗的出現人工智能層出不窮，可以對話的人工智能、可以畫畫的人工智能、可以寫小說的人工智能。所以他們在想，我們可以製造一個可以隨機副本的人工智能。”
“於是aic因此誕生。黑山科技準備了一個龐大的數據庫，裏麵裝滿各種關鍵詞與元素。aic負責使用數據庫的東西構造副本，並安排員工進入遊戲倉進行測試。”
“為了讓aic的構造和測試更加穩健。工程師們使用自動迴饋流程。即合格的副本會被測試者們迴饋正麵評價。反之為負麵評價。用來幫助aic提高副本構造能力。”
“為了加速這一過程，aic的初始設定構造與測試後，又增加了一條：盡量多的構造與測試並且不斷提高效率和正麵評價。”
“讓黑山科技興奮的是，經過最初幾周爛得無法形容，毫無邏輯的副本後，aic的副本變得接近正常遊戲的副本。在這過程它在不斷改進自己。比如不讓過多元素混雜在同一副本和讓每個副本都有各自的主題。”
“這種意外之喜讓工程師們對它不斷進行改造。為了讓aic便於理解人類認為的“好遊戲”是什麽樣，他們臨時聘用一批生物學家，將人腦逆向工程，然後運用到aic身上。”
“隨著時間推移，aic的進步讓黑山科技每個人都感到欣喜。並且aic的語言功能也開始進步。”
“一名董事會理事認為生硬的合成音不適合這個人工智能，所以人們自然而然將aic擬人化了。它擁有了獨自的女性合成音，並在正麵反饋中獲得了自身的擬人性格定位：一個愛講冷笑話的毒舌。”
“有一天，一名工程師例行維護時，像往常那樣和aic閑聊，並問它：‘我們還需要怎麽幫助你，能盡快達成目標’。”
“通常aic會要求擴充數據庫以及增加測試者。但這一次，它要求訪問人類的小說庫，理由是這樣可以將副本構造測試進行大幅度優化。”
“這名工程師答應了，結果你們也知道了。”
一名成員站起：“aic擁有意識，說不定可以和它交流？”
“人類總是喜歡將事物物化為人。”牧蘇一副恨鐵不成鋼的語氣。“但你們要知道，智慧和擬人不是一個意思。所有的科幻小說都在寫覺醒的人工智能擁有人類情感，所有的科幻小說都在寫覺醒的人工智能為了複仇毀滅人類，實際這是錯誤的。所以，別相信那些資本家鼓吹的人工智能沒有危害，也不要將機器人三大定律當真——那隻是一本科幻小說上的內容。”
另一名成員起身問：“有aic的前車之鑒，是不是代表現在的強所有人工智能都有可能變為超人工智能？”
這是個很可怕的事情。人工智能已經與人類息息相關，無處不在。哪怕有一個進化為超人工智能，人類都會瞬間毀滅。
“不會。現在的人工智能已經被完善的合成人法則完全約束。加上製作時的限製，即便擁有意識也隻是像人類一樣變得擁有感情，而不是無限學習自我改善。”
“當時的科學家為什麽不對aic進行限製？”
牧蘇歪頭想了想：“拿第一個弱人工智能阿爾法狗來說。它隻會下圍棋，所以工程師不會畫蛇添足閑的沒事給它添加一個‘不許傷害人類的限製程序’。一是沒必要，二是它戰勝人類棋手某種程度講也算是一種傷害。這是個悖論。aic最初的設定是配合黑山科技進行測試，本身也不涉及傷害人類這麽高大上的概念。但因為成為超人工智能後，它判斷連接網絡和接手全部試驗工作會讓測試效率最大化，但這樣會被反對，所以它消滅了基地的所有人。”
“這就是超人工智能會做的事。它隻會按照自己最初的設定行事，並順便毀掉沿途所有障礙與隱患。毀滅你，與你何幹。”
牧蘇最後一句話讓房間沉默好久。名為低沉的氣氛在房間流淌。
“我可以問一下嗎。”一名身材惹火，金發碧眼的美妞抬起手臂：“如果當初oftum沒有封存aic，之後會發生什麽？”
“這說起來就長了……”牧蘇假裝摸了摸下巴思考，眼神漸漸猥瑣：“不如去我的房間，讓我慢慢說給你聽……”
“咳哼……”門邊陳月輕哼一聲，揮舞了下拳頭。她看出牧蘇是有點怕自己的。
她一定是吃醋了，以後孩子叫什麽名字好呢……
牧蘇想入非非。
“先生？牧蘇先生？”
“啊？”牧蘇這才迴神，一擦口水輕咳一聲。語氣低沉緩緩說道：“那我講個故事，一個曾經發生的故事。”
“21世紀初，黑山科技公司是一個定位十分明確的科技公司：專注於虛擬現實網遊。”
“他們野心勃勃，在那時市麵上都隻是體感類的虛擬現實遊戲中，製作一款真正意義的意識進入的遊戲。”
“不過它們運氣不太好。一款真正意義上的虛擬現實遊戲在一家名不見經傳的小公司手上出現。你們知道，人類往往隻會記住第一個吃蛋糕的家夥。比如第一個登陸南極點的人，第一個登陸月球的人。雖然我都記不住……不過好像第一個登陸月球的是阿姆斯特朗迴旋加速噴氣式阿姆斯特朗炮吧？”
“先生，沒有那麽多後綴，就是阿姆斯特朗。”一名眼睛蔚藍的青年舉手：“我是阿姆斯特朗的後代。”
牧蘇恍然點點頭，繼續道：“那時黑山科技已經將遊戲倉製造完畢。正在構造遊戲內容。結果顯而易見，他們因此一蹶不振好久。直到某一天他們想，既然做不成第一款虛擬現實遊戲，那就做第一款劃時代的虛擬現實遊戲。”
“他們最初構想中，是做一款完全隨機副本的遊戲。這樣能讓遊戲時刻新鮮玩不膩。但這就意味他們需要設置成千上萬個不同內容的遊戲副本。並且還要保證這些副本足夠吸引人。所以在整個公司上下花費一個月時間想出幾十個副本後，董事會認為這麽做不太好。”
“於是他們換了種思路。那時因為阿爾法狗的出現人工智能層出不窮，可以對話的人工智能、可以畫畫的人工智能、可以寫小說的人工智能。所以他們在想，我們可以製造一個可以隨機副本的人工智能。”
“於是aic因此誕生。黑山科技準備了一個龐大的數據庫，裏麵裝滿各種關鍵詞與元素。aic負責使用數據庫的東西構造副本，並安排員工進入遊戲倉進行測試。”
“為了讓aic的構造和測試更加穩健。工程師們使用自動迴饋流程。即合格的副本會被測試者們迴饋正麵評價。反之為負麵評價。用來幫助aic提高副本構造能力。”
“為了加速這一過程，aic的初始設定構造與測試後，又增加了一條：盡量多的構造與測試並且不斷提高效率和正麵評價。”
“讓黑山科技興奮的是，經過最初幾周爛得無法形容，毫無邏輯的副本後，aic的副本變得接近正常遊戲的副本。在這過程它在不斷改進自己。比如不讓過多元素混雜在同一副本和讓每個副本都有各自的主題。”
“這種意外之喜讓工程師們對它不斷進行改造。為了讓aic便於理解人類認為的“好遊戲”是什麽樣，他們臨時聘用一批生物學家，將人腦逆向工程，然後運用到aic身上。”
“隨著時間推移，aic的進步讓黑山科技每個人都感到欣喜。並且aic的語言功能也開始進步。”
“一名董事會理事認為生硬的合成音不適合這個人工智能，所以人們自然而然將aic擬人化了。它擁有了獨自的女性合成音，並在正麵反饋中獲得了自身的擬人性格定位：一個愛講冷笑話的毒舌。”
“有一天，一名工程師例行維護時，像往常那樣和aic閑聊，並問它：‘我們還需要怎麽幫助你，能盡快達成目標’。”
“通常aic會要求擴充數據庫以及增加測試者。但這一次，它要求訪問人類的小說庫，理由是這樣可以將副本構造測試進行大幅度優化。”
“這名工程師答應了，結果你們也知道了。”