“因此，我認為更深的網絡沒有取得更好的結果是一個優化問題，而不是一個模型設計問題，又或者是模型能力問題。模型本身是有更大的潛力的，隻是優化的方式需要改變。”
“而這就是深度殘差的意義所在。”
“對於我們需要學習的任意一個映射h(x)，我期待網絡去學習一個f(x)+x=h(x)中的f(x)，而不是直接學習h(x)本身。”
“這個操作可以簡單的通過增加一個加法實現，而距離h(x)差值為x本身的f(x)，我們稱之為關於恆等的殘差映射。”
“如果這個恆等是理想的，那我們很容易將權重設置為很小的值。殘差的形式很好地解決了一直以來都比較麻煩的梯度問題，可以看到，它使得上百層的網絡可以持續地取得更好的性能。”
“在本次競賽的識別分類上取得的成績，隻是殘差思想最基礎的體現，實際上，它是更好的特征提取器，可以更好地提取圖像的特征以應用到各種圖像任務中去。”
“不僅是本次競賽的檢測賽道，前兩天白度的技術發布會上，想必大家也看到了明顯的性能提升。”
說到這裏，孟繁岐頓了一下，因為台下已經控製不住地開始議論紛紛。
雖然白度宣布了實時檢測辦法主要由孟繁岐這個特約研究員貢獻，但對於具體的算法細節守口如瓶，什麽也沒有提。
隻是承諾要等到6-12個月後會公布。
雖然眾人大概都已經猜到，但聽孟繁岐親口說出，眾人至少確定了一件事，那就是白度現在領先世界一大截的實時檢測算法，是采用了drea的。
“當然了，視覺類的任務還有非常多，除了我已經做過的生成，檢測，分割，識別之外，還有姿態估計，深度估計，超分辨率等等等等。種類繁多，不一而足。”
“我的drea論文已經公布，代碼也已經開源，還有很多的方向需要大家一起去探索。”
孟繁岐吃了體量最大的幾個賽道的蛋糕，自然也得留點湯給其他人。
在某個比較具體的方向，有幾個十分得到認可的代表作就夠了。
孟繁岐技術多得發不完，沒必要把細分領域都一個個去自己做。
說白了就是稍微改改去讓機器運行的事情，換一下數據，稍微調整下個別結構和參數。
把代碼開源出來，讓越來越多的工作基於自己的技術和算法去進行，是性價比更高的做法。
孟繁岐講到這裏，其實總共才用到十分鍾。
按照原本的計劃，他是可以講到大約25-30分鍾的。
隻可惜腰包鼓了，硬氣了，心態也變了。孟繁岐現在已經沒有會見李彥弘之前的那種需要學界認可和認同的心理需求。
迴想起來，在李彥弘的預支款打到賬上之前，孟繁岐一直還是有一些擔憂的，總覺得心裏有點不安，希望得到認可。
有些懷疑自己到底能撬動多少資源。
如今，這些都是過去式了，沒有了被人認可的需求，孟繁岐的展示變得精要了許多。
十分鍾的時間其實在這種場合不算短了，尤其這次展示有兩部分，孟繁岐結束之後還有韓辭的理論解釋部分。
因此在場所有人都沒有覺得異常，唯有韓辭目瞪口呆，啥情況啊，不是還該有十分鍾嗎？怎麽這就到我了？
“我在做這些研究的時候，獲得了我們學校一位數學教授，付德清的許多幫助，他是論文的合作者，但並非我們領域的學者，因此沒有意願來參與本次會議。
有關殘差思想為什麽起到效果，它實際上又有什麽意義，我們請付教授的師妹，韓辭為我們帶來她的看法，從動力係統角度的解釋。”
孟繁岐說完之後，準備往台下走，走了兩步又折了迴來，對著麥克風補充了一下。
“對了，由於我簽約了穀歌，考慮到個人目前的學業情況仍在讀本科，目前急需矽穀附近的大學能夠收留一下我。”
“希望斯坦福可以自覺一點，。”
說完，全場哄堂大笑。
本次參賽的隊伍，都是什麽微軟，uc伯克利，聖彼得堡，ibm，東大，新加坡國立，牛津，多倫多。
參會的人員水平也都不低，大都是世界一流的頂級名校和科技巨頭的碩博學位擁有者。
這些人的結果都被完爆了幾條街，人山人海地聚集在這裏聽孟繁岐介紹他的算法，這使得在場不了解內情的許多人，都完全忽視了孟繁岐如今本科學生的身份。
單就他已經公開的這些論文的質量和水準來說，博士畢業標準都夠了。
網絡結構，生成，分割，優化器和歸一方法，明眼人都看得出來，這些思想將會成為新ai時代的基礎範式。
甚至有兩三個新方向上奠基式，挖坑式的開山工作。
根本沒有人想到他還有這樣的問題需要解決。
孟繁岐說完這句話下來，賽事的數據籌備人，斯坦福ai實驗室的指導人之一，李飛飛直接開啟了現場招生。
她前幾年收集imag數據的時候，由於算法的能力和人類水平差距太多，因此李飛飛一直希望著以後某一天ai算法可以在自己收集的這個大規模數據上麵超過人類。
她原以為這需要一二十年的時間，卻未曾想一共用了不到五六年。
尤其是最近兩年時間，精確度一共被爆刷百分之20，直接完成了她的願望。
如今得償所願，而做到這件事的人又正巧在尋求斯坦福就讀的機會，李飛飛自然不會放過。
而且，在2014年，斯坦福正好準備開始提供深度學習方向的課程，孟繁岐的加入對這件事也大大的有利。
李飛飛如此想著，完全沒有感覺到自己的想法顯得有些奇怪，招一個本科生，卻想著讓他協助大學提供課程質量。
真不知道招的是本科生還是講師，這事情似乎顯得稍微有些荒誕。
在場有不少牛津，劍橋，mit，哈佛等名校的教授學者，本來聽說他想要來美就讀，都有招攬之意。
但聽到孟繁岐說簽約了穀歌，又點名斯坦福自覺一點，幾位老教授多少還是有些包袱的人。
看到李飛飛和孟繁岐談笑風生，也不好意思上前插話。
“而這就是深度殘差的意義所在。”
“對於我們需要學習的任意一個映射h(x)，我期待網絡去學習一個f(x)+x=h(x)中的f(x)，而不是直接學習h(x)本身。”
“這個操作可以簡單的通過增加一個加法實現，而距離h(x)差值為x本身的f(x)，我們稱之為關於恆等的殘差映射。”
“如果這個恆等是理想的，那我們很容易將權重設置為很小的值。殘差的形式很好地解決了一直以來都比較麻煩的梯度問題，可以看到，它使得上百層的網絡可以持續地取得更好的性能。”
“在本次競賽的識別分類上取得的成績，隻是殘差思想最基礎的體現，實際上，它是更好的特征提取器，可以更好地提取圖像的特征以應用到各種圖像任務中去。”
“不僅是本次競賽的檢測賽道，前兩天白度的技術發布會上，想必大家也看到了明顯的性能提升。”
說到這裏，孟繁岐頓了一下，因為台下已經控製不住地開始議論紛紛。
雖然白度宣布了實時檢測辦法主要由孟繁岐這個特約研究員貢獻，但對於具體的算法細節守口如瓶，什麽也沒有提。
隻是承諾要等到6-12個月後會公布。
雖然眾人大概都已經猜到，但聽孟繁岐親口說出，眾人至少確定了一件事，那就是白度現在領先世界一大截的實時檢測算法，是采用了drea的。
“當然了，視覺類的任務還有非常多，除了我已經做過的生成，檢測，分割，識別之外，還有姿態估計，深度估計，超分辨率等等等等。種類繁多，不一而足。”
“我的drea論文已經公布，代碼也已經開源，還有很多的方向需要大家一起去探索。”
孟繁岐吃了體量最大的幾個賽道的蛋糕，自然也得留點湯給其他人。
在某個比較具體的方向，有幾個十分得到認可的代表作就夠了。
孟繁岐技術多得發不完，沒必要把細分領域都一個個去自己做。
說白了就是稍微改改去讓機器運行的事情，換一下數據，稍微調整下個別結構和參數。
把代碼開源出來，讓越來越多的工作基於自己的技術和算法去進行，是性價比更高的做法。
孟繁岐講到這裏，其實總共才用到十分鍾。
按照原本的計劃，他是可以講到大約25-30分鍾的。
隻可惜腰包鼓了，硬氣了，心態也變了。孟繁岐現在已經沒有會見李彥弘之前的那種需要學界認可和認同的心理需求。
迴想起來，在李彥弘的預支款打到賬上之前，孟繁岐一直還是有一些擔憂的，總覺得心裏有點不安，希望得到認可。
有些懷疑自己到底能撬動多少資源。
如今，這些都是過去式了，沒有了被人認可的需求，孟繁岐的展示變得精要了許多。
十分鍾的時間其實在這種場合不算短了，尤其這次展示有兩部分，孟繁岐結束之後還有韓辭的理論解釋部分。
因此在場所有人都沒有覺得異常，唯有韓辭目瞪口呆，啥情況啊，不是還該有十分鍾嗎？怎麽這就到我了？
“我在做這些研究的時候，獲得了我們學校一位數學教授，付德清的許多幫助，他是論文的合作者，但並非我們領域的學者，因此沒有意願來參與本次會議。
有關殘差思想為什麽起到效果，它實際上又有什麽意義，我們請付教授的師妹，韓辭為我們帶來她的看法，從動力係統角度的解釋。”
孟繁岐說完之後，準備往台下走，走了兩步又折了迴來，對著麥克風補充了一下。
“對了，由於我簽約了穀歌，考慮到個人目前的學業情況仍在讀本科，目前急需矽穀附近的大學能夠收留一下我。”
“希望斯坦福可以自覺一點，。”
說完，全場哄堂大笑。
本次參賽的隊伍，都是什麽微軟，uc伯克利，聖彼得堡，ibm，東大，新加坡國立，牛津，多倫多。
參會的人員水平也都不低，大都是世界一流的頂級名校和科技巨頭的碩博學位擁有者。
這些人的結果都被完爆了幾條街，人山人海地聚集在這裏聽孟繁岐介紹他的算法，這使得在場不了解內情的許多人，都完全忽視了孟繁岐如今本科學生的身份。
單就他已經公開的這些論文的質量和水準來說，博士畢業標準都夠了。
網絡結構，生成，分割，優化器和歸一方法，明眼人都看得出來，這些思想將會成為新ai時代的基礎範式。
甚至有兩三個新方向上奠基式，挖坑式的開山工作。
根本沒有人想到他還有這樣的問題需要解決。
孟繁岐說完這句話下來，賽事的數據籌備人，斯坦福ai實驗室的指導人之一，李飛飛直接開啟了現場招生。
她前幾年收集imag數據的時候，由於算法的能力和人類水平差距太多，因此李飛飛一直希望著以後某一天ai算法可以在自己收集的這個大規模數據上麵超過人類。
她原以為這需要一二十年的時間，卻未曾想一共用了不到五六年。
尤其是最近兩年時間，精確度一共被爆刷百分之20，直接完成了她的願望。
如今得償所願，而做到這件事的人又正巧在尋求斯坦福就讀的機會，李飛飛自然不會放過。
而且，在2014年，斯坦福正好準備開始提供深度學習方向的課程，孟繁岐的加入對這件事也大大的有利。
李飛飛如此想著，完全沒有感覺到自己的想法顯得有些奇怪，招一個本科生，卻想著讓他協助大學提供課程質量。
真不知道招的是本科生還是講師，這事情似乎顯得稍微有些荒誕。
在場有不少牛津，劍橋，mit，哈佛等名校的教授學者，本來聽說他想要來美就讀，都有招攬之意。
但聽到孟繁岐說簽約了穀歌，又點名斯坦福自覺一點，幾位老教授多少還是有些包袱的人。
看到李飛飛和孟繁岐談笑風生，也不好意思上前插話。