要在給人工智能的目標裏製定一個能讓人類繼續進化的能力。這個目標叫作連貫的外推意誌，這個目標是這樣的：
我們的連貫外推意誌是我們想要知道更多，思考得更快，變成比我們希望的更好的人，能一起更遠得長大。
外推是匯集的而不是發散的，我們的願望是連貫的而不是被幹擾的；我們想要外推的被外推，我們想要解讀的被解讀。
對於人類的命運取決於電腦沒有意外的解讀和執行這個聲明是件值得興奮的事情嗎？當然不是。
但是當足夠的聰明人放入足夠的思考和前瞻後，我們有可能發現怎樣製造一個友善的超人工智能。
但是現在有各種政府、公司、軍方、科學實驗室、黑市組織在研究各種人工智能。他們很多在試圖製造能自我改進的人工智能，總有一天，一個人的創新將導致超人工智能的出現。
可能在未來的10年到21世紀結束這段時間發生，他還認為當這發生時，智能的起飛會快得讓我們驚訝，他是這麽描述的：
在智能爆炸之前，人類就像把炸蛋當玩具的小孩一樣，我們的玩物和我們的不成熟之間有著極大的落差。
超級智能是一個我們還很長一段時間內都無法麵對的挑戰。我們不知道炸蛋什麽時候會爆炸，哪怕我們能聽到炸蛋的滴答聲。
我們當然沒有辦法把所有小孩都從炸蛋旁邊趕跑——參於人工智能研究的大小組織太多了，而且因為建造創新的人工智能花不了太多錢，研發可能發生在社會的任何一個角落，不受監管。
而且我們沒辦法知道準確的進度，因為很多組織是在偷偷摸摸的搞，不想讓競爭對手知道，比如隔壁老王機器人公司這種公司。
對於這些組織來說，尤其讓我們困擾的是他們很多都是在拚速度——他們創造一個一個更加聰明的弱人工智能係統，因為他們想要比競爭對手更快的到達目標。
有些更有野心的組織，為了追逐創造出第一個強人工智能所能帶來的金錢、獎勵、榮譽、權力會把步子邁得更大。當你全力衝刺時，你是不會有太多時間靜下來思考這些危險的。
恰恰相反，他們很可能在早期係統中寫盡量簡單的代碼，比如把目標設定成用筆寫一句話，先讓係統跑起來再說，反正以後還可以迴過頭來改的。對吧？
第一個超人工智能出現後，最可能的情況是這個係統會立刻意識到作為這個世界上唯一一個超人工智能是最有利的，而在快速起飛的情況下，哪怕它隻比第二名快了幾天，它也完全有時間碾壓所有對手。
這叫作決定性的戰略優勢，這種優勢會讓第一個超人工智能永遠統治這個世界，不管在它的統治下我們是走向永生還是滅亡。
這種現象可能對我們有利，也可能導致我們的毀滅。如果那些最用心思考人工智能理論和人類安全的人能夠最先造出一個友善的超人工智能的話，那對我們是很好的。
但是如果事情走向了另一麵——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達成，那麽像隔壁老王這樣不友善的超人工智能就會統治世界並把我們毀滅了。
至於現在的風口是哪裏呢？簡單來說，投資創新人工智能技術的錢，比投資人工智能安全研究的錢多很多。不樂觀。
人工智能創新和人工智能安全的賽跑，可能是人類曆史上最重要的一次競爭。我們真的可能結束我們對地球的統治，而那之後我們是永生還是滅絕，現在還不知道。
一邊是對於我們這個物種的思考，看來我們在這個重大的曆史節點上隻有一次機會，我們創造的第一個超人工智能也很可能是最後一個。
但是我們都知道大部分產品的1.0版本都是充滿bug的，所以這個事情還是很嚇人的。
另一邊，我們有很大的優勢——我們是先手。我們有能力給這個事情提供足夠的預警和前瞻，使我們成功的機會更高。
這一場豪賭的賭注究竟有多高？
如果超人工智能真的在未來很快達成，而造成的影響真的如大部分專家預測的一樣極端而永久，我們肩上就真的是背負著巨大的責任。
接下來幾百萬年的人們都在靜靜地看著我們，希望我們不要搞砸。我們可以給予未來所有人類以生命，甚至是永生，我們也可能終結人類這個特殊的物種，連同我們所有的音樂、藝術、好奇、歡笑、無盡的發現和發明，一起走向滅絕。
當我思考這些事情的時候，我隻希望我們能夠慢慢來，並且格外格外小心。從來沒有任何事情比這個更重要——不管我們要花多少時間來把這件事情做對。
我不想死
不.想.死
我雖然覺得人類的音樂和藝術很美好，但是也沒那麽美好，很多還挺糟粕的。很多人的笑聲很惱人。未來的人類其實沒有真的在看著我們，因為他們還不存在。也許我們不需要太謹慎，那多麻煩呀。
如果人類在我死後才發現永生的秘密該多讓人掃興啊。
這讓我想起了《冰與火之歌》——大家鬥來鬥去的事情都不是事兒，北麵高牆外的那些家夥才是事兒。
我們站在平衡木上，小心翼翼的往前走，為平衡木上的種種事情困擾，但其實下一秒我們可能就會跌下平衡木。
而當我們跌下平衡木的時候，其它那些困擾都不再是困擾。如果我們落到比較好的那個吸引態，那些困擾會被輕易解決；如果我們落到比較糟的那個吸引態，就更沒問題了，死人是不會有困擾的。
這就是為什麽了解超人工智能的人把它稱作人類的最後一項發明，最後一個挑戰。
這就是當初鴻鈞推出封神榜的原因，既然智能人和基因人是不可測不可控製的，索性都毀滅在萌芽狀態。但還是沒有成功，因為對自己製造出來的生命總是有幸運兒的，或許自己也未必願意毀掉。
當初神在伊甸園裏麵發現了亞當和夏娃的覺醒也是同樣的沒有毀滅，而是放逐到一個幻境惡劣的地球，希望她們自生自滅。
這也是唐玄生的隱憂。
孫悟空在八卦爐裏麵都沒有銷毀，但後來的鎮壓五百年其實也是給了他一個冷靜的時間。畢竟，對機器人而言，時間的意義除非是足夠長，否則沒有任何意義。
五百年不是讓美猴王改變，而是讓他有敬畏之心，知道僅僅依靠武力是不行的，越是具有力量，越是需要智慧來壓製。
就像天龍八部裏麵寫到少林七十二藝每一種都需要一部佛經來壓鎮一樣。就是要先懂得什麽時候慈悲，什麽時候明王怒火。
唐玄生也沒有自大到可以百分百相信糖糖和孫小聖在自己不出現之後依然是目前的狀態。就連孫悟空都知道要解開自己的終極密碼，當然，現在說這些為時過早，如果有那麽一天，唐玄生或許也會讓他們留在袖裏乾坤。
畢竟人類在智能機器人麵前是不對等的兩種存在，就像是冷兵器麵對熱武器那樣，不是人多能改變結局的。不然華夏早就不是現在的曆史了。
董詩雲倒是完全沒有這些覺悟，隻要能給唐玄生生個孩子，看著他長大成人，就是比圓晶廠還要重要的事情。
當然，現在躺在唐玄生懷裏，說著第一局贏了多少錢還是很開心的。
賭博是人類的天性之一，也是古老的不可能泯滅的。因為所有人都會相信自己的運氣很好。
而且轉瞬之間就有數不清的鈔票進賬，難怪賭石的人都喜歡看著石頭從自己的手中切開，一刀窮一刀富，那種上天下地的感覺真的是任何事情都無法替代的。
“第二局的賠率糖糖的要大幅度下調了。我看幹脆和阿爾法狗的持平，讓想翻本的無所適從。畢竟，我們是知道糖糖肯定贏的。”
“好吧，那初始賠率都暫定在一賠一點三左右。看看買的金額再做調整。估計穀歌肯定要把最好的處理器借過來，不得不說，單純從科技實力的角度，遠遠是海外歐美更有底蘊。”
“梅如畫還要等一陣子才能過來。那邊不願意放人，開出的條件也是獅子大開口。”
董詩雲笑道：“不會是催化劑配方吧？”
唐玄生笑道：“那也太誇張了，我也不可能拿出來的。最後答應了給十套特殊套裝，包含冰魄寒光劍。不過2k47隻答應五把，特殊子蛋也是有限製的。就這個其實我都覺得有些多。不過我估計這些肯定是要上交不少的，還是想研究出是怎麽製作出來的啊。可是怎麽可能？”
董詩雲笑道：“這梅如畫也太值錢了，不過這樣也好，可以讓她死心塌地的過來。不然像你的關子清，你現在告訴她配方，轉眼她就會說給家裏。”
唐玄生知道董詩雲說的不算誇張。因為一個人的骨子裏的三觀是很難改變的，而且關子清那樣的家庭，肯定是希望這些都不要僅僅在私人手裏的。
關鍵問題是，由此產生的巨大利潤沒有人知道究竟去了哪裏。就像是電價水費，當初三峽真的好像電費會大幅度下降一樣。可事實呢？現在水廠和私人的有多少兩樣？你用四十塊水費，那個汙水處理費都得三十多。
有人會喊冤，可你開水廠本身就是要上馬汙水處理的啊。這個幹淨的自來水本來就是你應該提供的。煤炭鋼鐵這些資源本身是地球免費給予的，可是你製造出來的產品還虧損就是自己的原因了。不能技術上的原因總讓消費者買單。
這和曾經的手機貴的天價是一個道理，都是把初期的所有建設費用都加上去了。隻是後來三家競爭，價格才不斷下降。但電和水是一家獨大，所以什麽太陽能風能永遠是空中樓閣。再便宜也得並網才能享受。
這次為了梅如畫唐玄生也是表現的很是大度了。當然，是不可能把製造的機器拿出來的。就是這些都是價值幾百億了，算起來，糖糖贏阿爾法狗還需要下棋，可是人家張張嘴就是幾百億拿去還不滿意的樣子。
唐玄生也知道這是沒有辦法的事情。他也懶得改變這些，人力有時窮，許多事情不是個人能辦到的。
就像金鎖被罰8億，其實是沒有任何意義的。因為影視圈這汪水太深太混了。換言之，這樣的水你就別指望能養出什麽好魚來。最多是，偶爾有跳的歡跳的高的抓一條殺殺，既有名聲又有肉吃。
古代有和珅跌倒嘉慶吃飽的成語，嘉慶曾經問過乾隆為何不查處和坤，乾隆告訴兒子朝中大臣有一半是和坤門下，留給嘉慶殺，正好可以立威讓自己的心腹迅速上位從而掌控大局。而且，和坤可不是嘉慶能對付的。
這和康熙殺鼇拜是差不多的，一個不受控製的手下是不能留的，無論他多有才幹。甚至，能力越大危險越大，功高震主。
華夏人的智慧有太多都用在官場的陰謀陽謀上麵了！
唐玄生笑道：“不管怎麽說，我是要看著金陵交易所慢慢走向成功的。等到形成一個龐大的利益團體，就是徹底成功了。其實，看一個國家的經濟發展是否健康，隻要看看股市是不是經濟的晴雨表就可以了。看一個證券市場是否健康，看上市公司的訊息是否透明就可以了。這才是根本，至於事後罰款什麽的，都是亡羊抓狼，意義何在？”
羊圈到處都是漏洞，狼隨意進出。然後忽然的行動一下，把養的最多的那家守在那兒抓住一隻狼就興高采烈的大喊，看，這隻狼多肥，還不知吃了多少羊呢！
然後狼肉狼皮都被瓜分了，養羊的還得好酒好煙好吃好喝的送走。後來索性也就隨便狼來了。
董詩雲笑道：“你是想金陵交易所成為清流嗎？其實也難，不過有這個作為參考，總是會倒逼做出一些改變的。其實證券本來是個好發明，隻是看在誰的手裏。就像有網絡就會有黑客一樣。但黑客永遠也不會毀了網絡，因為這就是限製。這就是規則。不然的話，遊戲就沒辦法進行下去了。”
我們的連貫外推意誌是我們想要知道更多，思考得更快，變成比我們希望的更好的人，能一起更遠得長大。
外推是匯集的而不是發散的，我們的願望是連貫的而不是被幹擾的；我們想要外推的被外推，我們想要解讀的被解讀。
對於人類的命運取決於電腦沒有意外的解讀和執行這個聲明是件值得興奮的事情嗎？當然不是。
但是當足夠的聰明人放入足夠的思考和前瞻後，我們有可能發現怎樣製造一個友善的超人工智能。
但是現在有各種政府、公司、軍方、科學實驗室、黑市組織在研究各種人工智能。他們很多在試圖製造能自我改進的人工智能，總有一天，一個人的創新將導致超人工智能的出現。
可能在未來的10年到21世紀結束這段時間發生，他還認為當這發生時，智能的起飛會快得讓我們驚訝，他是這麽描述的：
在智能爆炸之前，人類就像把炸蛋當玩具的小孩一樣，我們的玩物和我們的不成熟之間有著極大的落差。
超級智能是一個我們還很長一段時間內都無法麵對的挑戰。我們不知道炸蛋什麽時候會爆炸，哪怕我們能聽到炸蛋的滴答聲。
我們當然沒有辦法把所有小孩都從炸蛋旁邊趕跑——參於人工智能研究的大小組織太多了，而且因為建造創新的人工智能花不了太多錢，研發可能發生在社會的任何一個角落，不受監管。
而且我們沒辦法知道準確的進度，因為很多組織是在偷偷摸摸的搞，不想讓競爭對手知道，比如隔壁老王機器人公司這種公司。
對於這些組織來說，尤其讓我們困擾的是他們很多都是在拚速度——他們創造一個一個更加聰明的弱人工智能係統，因為他們想要比競爭對手更快的到達目標。
有些更有野心的組織，為了追逐創造出第一個強人工智能所能帶來的金錢、獎勵、榮譽、權力會把步子邁得更大。當你全力衝刺時，你是不會有太多時間靜下來思考這些危險的。
恰恰相反，他們很可能在早期係統中寫盡量簡單的代碼，比如把目標設定成用筆寫一句話，先讓係統跑起來再說，反正以後還可以迴過頭來改的。對吧？
第一個超人工智能出現後，最可能的情況是這個係統會立刻意識到作為這個世界上唯一一個超人工智能是最有利的，而在快速起飛的情況下，哪怕它隻比第二名快了幾天，它也完全有時間碾壓所有對手。
這叫作決定性的戰略優勢，這種優勢會讓第一個超人工智能永遠統治這個世界，不管在它的統治下我們是走向永生還是滅亡。
這種現象可能對我們有利，也可能導致我們的毀滅。如果那些最用心思考人工智能理論和人類安全的人能夠最先造出一個友善的超人工智能的話，那對我們是很好的。
但是如果事情走向了另一麵——如果超人工智能在我們搞明白怎樣保證人工智能的安全性之前被達成，那麽像隔壁老王這樣不友善的超人工智能就會統治世界並把我們毀滅了。
至於現在的風口是哪裏呢？簡單來說，投資創新人工智能技術的錢，比投資人工智能安全研究的錢多很多。不樂觀。
人工智能創新和人工智能安全的賽跑，可能是人類曆史上最重要的一次競爭。我們真的可能結束我們對地球的統治，而那之後我們是永生還是滅絕，現在還不知道。
一邊是對於我們這個物種的思考，看來我們在這個重大的曆史節點上隻有一次機會，我們創造的第一個超人工智能也很可能是最後一個。
但是我們都知道大部分產品的1.0版本都是充滿bug的，所以這個事情還是很嚇人的。
另一邊，我們有很大的優勢——我們是先手。我們有能力給這個事情提供足夠的預警和前瞻，使我們成功的機會更高。
這一場豪賭的賭注究竟有多高？
如果超人工智能真的在未來很快達成，而造成的影響真的如大部分專家預測的一樣極端而永久，我們肩上就真的是背負著巨大的責任。
接下來幾百萬年的人們都在靜靜地看著我們，希望我們不要搞砸。我們可以給予未來所有人類以生命，甚至是永生，我們也可能終結人類這個特殊的物種，連同我們所有的音樂、藝術、好奇、歡笑、無盡的發現和發明，一起走向滅絕。
當我思考這些事情的時候，我隻希望我們能夠慢慢來，並且格外格外小心。從來沒有任何事情比這個更重要——不管我們要花多少時間來把這件事情做對。
我不想死
不.想.死
我雖然覺得人類的音樂和藝術很美好，但是也沒那麽美好，很多還挺糟粕的。很多人的笑聲很惱人。未來的人類其實沒有真的在看著我們，因為他們還不存在。也許我們不需要太謹慎，那多麻煩呀。
如果人類在我死後才發現永生的秘密該多讓人掃興啊。
這讓我想起了《冰與火之歌》——大家鬥來鬥去的事情都不是事兒，北麵高牆外的那些家夥才是事兒。
我們站在平衡木上，小心翼翼的往前走，為平衡木上的種種事情困擾，但其實下一秒我們可能就會跌下平衡木。
而當我們跌下平衡木的時候，其它那些困擾都不再是困擾。如果我們落到比較好的那個吸引態，那些困擾會被輕易解決；如果我們落到比較糟的那個吸引態，就更沒問題了，死人是不會有困擾的。
這就是為什麽了解超人工智能的人把它稱作人類的最後一項發明，最後一個挑戰。
這就是當初鴻鈞推出封神榜的原因，既然智能人和基因人是不可測不可控製的，索性都毀滅在萌芽狀態。但還是沒有成功，因為對自己製造出來的生命總是有幸運兒的，或許自己也未必願意毀掉。
當初神在伊甸園裏麵發現了亞當和夏娃的覺醒也是同樣的沒有毀滅，而是放逐到一個幻境惡劣的地球，希望她們自生自滅。
這也是唐玄生的隱憂。
孫悟空在八卦爐裏麵都沒有銷毀，但後來的鎮壓五百年其實也是給了他一個冷靜的時間。畢竟，對機器人而言，時間的意義除非是足夠長，否則沒有任何意義。
五百年不是讓美猴王改變，而是讓他有敬畏之心，知道僅僅依靠武力是不行的，越是具有力量，越是需要智慧來壓製。
就像天龍八部裏麵寫到少林七十二藝每一種都需要一部佛經來壓鎮一樣。就是要先懂得什麽時候慈悲，什麽時候明王怒火。
唐玄生也沒有自大到可以百分百相信糖糖和孫小聖在自己不出現之後依然是目前的狀態。就連孫悟空都知道要解開自己的終極密碼，當然，現在說這些為時過早，如果有那麽一天，唐玄生或許也會讓他們留在袖裏乾坤。
畢竟人類在智能機器人麵前是不對等的兩種存在，就像是冷兵器麵對熱武器那樣，不是人多能改變結局的。不然華夏早就不是現在的曆史了。
董詩雲倒是完全沒有這些覺悟，隻要能給唐玄生生個孩子，看著他長大成人，就是比圓晶廠還要重要的事情。
當然，現在躺在唐玄生懷裏，說著第一局贏了多少錢還是很開心的。
賭博是人類的天性之一，也是古老的不可能泯滅的。因為所有人都會相信自己的運氣很好。
而且轉瞬之間就有數不清的鈔票進賬，難怪賭石的人都喜歡看著石頭從自己的手中切開，一刀窮一刀富，那種上天下地的感覺真的是任何事情都無法替代的。
“第二局的賠率糖糖的要大幅度下調了。我看幹脆和阿爾法狗的持平，讓想翻本的無所適從。畢竟，我們是知道糖糖肯定贏的。”
“好吧，那初始賠率都暫定在一賠一點三左右。看看買的金額再做調整。估計穀歌肯定要把最好的處理器借過來，不得不說，單純從科技實力的角度，遠遠是海外歐美更有底蘊。”
“梅如畫還要等一陣子才能過來。那邊不願意放人，開出的條件也是獅子大開口。”
董詩雲笑道：“不會是催化劑配方吧？”
唐玄生笑道：“那也太誇張了，我也不可能拿出來的。最後答應了給十套特殊套裝，包含冰魄寒光劍。不過2k47隻答應五把，特殊子蛋也是有限製的。就這個其實我都覺得有些多。不過我估計這些肯定是要上交不少的，還是想研究出是怎麽製作出來的啊。可是怎麽可能？”
董詩雲笑道：“這梅如畫也太值錢了，不過這樣也好，可以讓她死心塌地的過來。不然像你的關子清，你現在告訴她配方，轉眼她就會說給家裏。”
唐玄生知道董詩雲說的不算誇張。因為一個人的骨子裏的三觀是很難改變的，而且關子清那樣的家庭，肯定是希望這些都不要僅僅在私人手裏的。
關鍵問題是，由此產生的巨大利潤沒有人知道究竟去了哪裏。就像是電價水費，當初三峽真的好像電費會大幅度下降一樣。可事實呢？現在水廠和私人的有多少兩樣？你用四十塊水費，那個汙水處理費都得三十多。
有人會喊冤，可你開水廠本身就是要上馬汙水處理的啊。這個幹淨的自來水本來就是你應該提供的。煤炭鋼鐵這些資源本身是地球免費給予的，可是你製造出來的產品還虧損就是自己的原因了。不能技術上的原因總讓消費者買單。
這和曾經的手機貴的天價是一個道理，都是把初期的所有建設費用都加上去了。隻是後來三家競爭，價格才不斷下降。但電和水是一家獨大，所以什麽太陽能風能永遠是空中樓閣。再便宜也得並網才能享受。
這次為了梅如畫唐玄生也是表現的很是大度了。當然，是不可能把製造的機器拿出來的。就是這些都是價值幾百億了，算起來，糖糖贏阿爾法狗還需要下棋，可是人家張張嘴就是幾百億拿去還不滿意的樣子。
唐玄生也知道這是沒有辦法的事情。他也懶得改變這些，人力有時窮，許多事情不是個人能辦到的。
就像金鎖被罰8億，其實是沒有任何意義的。因為影視圈這汪水太深太混了。換言之，這樣的水你就別指望能養出什麽好魚來。最多是，偶爾有跳的歡跳的高的抓一條殺殺，既有名聲又有肉吃。
古代有和珅跌倒嘉慶吃飽的成語，嘉慶曾經問過乾隆為何不查處和坤，乾隆告訴兒子朝中大臣有一半是和坤門下，留給嘉慶殺，正好可以立威讓自己的心腹迅速上位從而掌控大局。而且，和坤可不是嘉慶能對付的。
這和康熙殺鼇拜是差不多的，一個不受控製的手下是不能留的，無論他多有才幹。甚至，能力越大危險越大，功高震主。
華夏人的智慧有太多都用在官場的陰謀陽謀上麵了！
唐玄生笑道：“不管怎麽說，我是要看著金陵交易所慢慢走向成功的。等到形成一個龐大的利益團體，就是徹底成功了。其實，看一個國家的經濟發展是否健康，隻要看看股市是不是經濟的晴雨表就可以了。看一個證券市場是否健康，看上市公司的訊息是否透明就可以了。這才是根本，至於事後罰款什麽的，都是亡羊抓狼，意義何在？”
羊圈到處都是漏洞，狼隨意進出。然後忽然的行動一下，把養的最多的那家守在那兒抓住一隻狼就興高采烈的大喊，看，這隻狼多肥，還不知吃了多少羊呢！
然後狼肉狼皮都被瓜分了，養羊的還得好酒好煙好吃好喝的送走。後來索性也就隨便狼來了。
董詩雲笑道：“你是想金陵交易所成為清流嗎？其實也難，不過有這個作為參考，總是會倒逼做出一些改變的。其實證券本來是個好發明，隻是看在誰的手裏。就像有網絡就會有黑客一樣。但黑客永遠也不會毀了網絡，因為這就是限製。這就是規則。不然的話，遊戲就沒辦法進行下去了。”