“媽，今年我就不迴去了，順利的話明年年初迴去看望你們。”
“我不是在外麵瞎玩，休學也不是退學，您二位別緊張哈，我知道我在做什麽。”
“也不用給我打錢，我也不是在創業，隻是這段時間需要集中精力解決一些問題。就今年底，您放心，就今年底。如果不成功，您說什麽我都聽您的。”
“好，好嘞，記得叫老爸多出去運動，你們注意身體哈！”
“迴，迴去。過年的時候一定迴去。”
掛了電話，孟繁岐靠在牆上，長長地歎了一口氣。
這些事情實在跟父母解釋不清楚，若不是因為擔心付院長會出手相助，他原本是不打算去辦休學的。
現在父母了解到如今的情況，肯定是憂心忡忡。最近幾次通話，不管自己怎麽說，父母總是沒法放下心來。
孟繁岐隻能靠著年底的期限安撫他們一下，承諾隻要今年不能取得傑出的成果，就什麽都聽他們的。
看著房間裏幸災樂禍在調參的唐璜，孟繁岐沒好氣道，“笑什麽笑。”
唐璜瞬間做出一個嚴肅認真的表情，但不論怎麽看都帶著三分陰陽怪氣的感覺，讓人很是不爽。
------------------------
這天的遲些時候，孟繁岐收到了阿裏克斯的迴複，看了眼時間點，阿裏克斯應該是一起床就迴複了郵件，可以說是相當勤奮了。
這個時間點已近臨近今年賽事快要開始的時刻，不過阿裏克斯本人其實沒有計劃繼續組隊參與本次的賽事。
隻是哥雖然不在江湖，江湖卻到處都是哥的傳說。
13年的微軟研究院隊伍，新加坡國立大學隊伍，和賈揚清領銜的decaf，uc伯克利等隊伍，都深受阿裏克斯去年思想的影響。
根據阿裏克斯介紹的辦法，孟繁岐很快調試完成，順利將批歸一化，adam優化器等操作從自己實驗的環境遷移到cuda-con框架上，做了一些調整和適配。
沒過過久，便已經在cifar-10上運行了起來。
接下來便是本次參賽的最核心競爭力，殘差網絡在這個框架上的實現。
“今年的imag挑戰賽其實沒有什麽太多的新想法，大家基本上都是以複現阿裏克斯的算法為主。”
孟繁岐當然不準備和其他隊伍一樣，基於阿裏克斯的框架去重新實現阿裏克斯去年的參賽算法，早期的許多算法在參數量和計算量上都有很大的冗餘。
“穀歌的googl和牛津的vg原本要明年才能研究出來，不過我今年參賽之後，這兩個ai曆史上的重要網絡恐怕就要胎死腹中了吧？”
別說是現在了，截止到14年末，多餘的設計仍舊大量存在與穀歌和牛津大學的算法當中。
直到15年，那個男人以殘差網絡re奪冠imag-2015，鑄就了深度學習時代的ai模型的神格。
殘差思想是孟繁岐此時此刻的最佳選擇，一方麵它會成為深度學習時代的裏程碑，因為它的核心思想，就是如何把深度網絡做得更加‘深’。
另一方麵，它的實現和結構簡潔，拋棄了大量人類看來很有道理和價值，但實際上其實用處不大的設計。
將簡潔好用的結構反複重複，這也大大地降低了孟繁岐所需要的開發工程量。
ale是八層的結構，各自有一些獨立的設計，在此時，8層已經是革命性的深度網絡了。
更深的網絡特別難以訓練，因此原本直到14年，穀歌和牛津才分別把這個深度推進到22層和19層。
而re的思想，徹底從根本上解決了網絡變深就沒法順利訓練的問題。它讓50，100，150，甚至1000層網絡的訓練成為可能。
“從去年的8，到今年的100+層，甚至1000層也可以訓練。在2013年的視角來看，這一劑猛藥應該夠勁了。”
不僅是深度上取得了開創性的突破，re的性能也同樣驚人。它是第一個top-5錯誤率低於人類能力的結構，單模型達到了4.6%左右。
如果綜合幾個不同方式訓練的re，平均他們的輸出再去預測的話，其top-5錯誤率甚至低至3.7%。
“其實在imag上做得太準了反而是一件怪事。”考慮到後世的研究中，該數據集中的標簽其實有不小的比例是錯誤的，越貼近百分之百的準確率反而越有一些荒誕的感覺。
re的res指residual，正經點說是殘差，說得明白一些是一種短路或者是跳躍鏈接。
再說的淺顯一點，假設原本的操作為f(x)，re就是把計算過程從f(x)改為f(x)+x。
這也是孟繁岐最早與付院長討論的內容之一。
這種不帶任何參數的支路鏈接，直接把操作前的內容加到操作後的內容上，是深度網絡突然能夠在上千層的深度下收斂的秘密所在。
在此之後的幾乎所有ai文章，都很難繞得開這個思路。愷明本人單就這一篇文章，就在六七年的時間內收獲了十五六萬的文章引用。
不得不說這是一個天文數字。要知道即便是naturecellscience三大世界級頂刊常客，著名華國美國雙料科學院士抽出一個來，至今為止所有文章的總引用數量加在一起五萬多都算是多的了。
當然了，單以論文被引用的次數來評價文章的水平和作者的水平是有失偏頗的。
很多基本學科曲高和寡，看得人少寫得人也少。引用自然就上不去。
但就ai這個實用性實驗性比較強的學科來說，內部去對比的話，引用的多少含金量還是相當之高的。
大家隻會用代碼投票，有價值的東西會一直迭代下去。有利於自己模型在任務上性能提升的技術，則會被一直引用下去。
學術界一直有這樣的說法，搞理論的和搞實驗的兩邊相互看不起。這倒也不是無中生有。
愷明憑借幾篇代表作奠定自己曆史地位後，就總有個別人喜歡說什麽“re的思想早就有人提過了”，“幾十年前的東西不算什麽新東西”，“這篇文章也就是流量大罷了，和流量明星是一樣的”。
酸味都要溢出屏幕了。
孟繁岐不是沒讀過一些理論類的文章，但他個人覺得新時代的ai，p話誰都會說，代碼寫出來才是本事。你說幾十年前就有的東西，怎麽不寫一個re突破人類水準呢？
re的核心代碼難寫嗎？不難的。
基於阿裏克斯的框架，隻需幾個小時的時間，他就可以基本複現出re論文中的所有結構。
弱小和無知不是生存的障礙，傲慢才是。
“我不是在外麵瞎玩，休學也不是退學，您二位別緊張哈，我知道我在做什麽。”
“也不用給我打錢，我也不是在創業，隻是這段時間需要集中精力解決一些問題。就今年底，您放心，就今年底。如果不成功，您說什麽我都聽您的。”
“好，好嘞，記得叫老爸多出去運動，你們注意身體哈！”
“迴，迴去。過年的時候一定迴去。”
掛了電話，孟繁岐靠在牆上，長長地歎了一口氣。
這些事情實在跟父母解釋不清楚，若不是因為擔心付院長會出手相助，他原本是不打算去辦休學的。
現在父母了解到如今的情況，肯定是憂心忡忡。最近幾次通話，不管自己怎麽說，父母總是沒法放下心來。
孟繁岐隻能靠著年底的期限安撫他們一下，承諾隻要今年不能取得傑出的成果，就什麽都聽他們的。
看著房間裏幸災樂禍在調參的唐璜，孟繁岐沒好氣道，“笑什麽笑。”
唐璜瞬間做出一個嚴肅認真的表情，但不論怎麽看都帶著三分陰陽怪氣的感覺，讓人很是不爽。
------------------------
這天的遲些時候，孟繁岐收到了阿裏克斯的迴複，看了眼時間點，阿裏克斯應該是一起床就迴複了郵件，可以說是相當勤奮了。
這個時間點已近臨近今年賽事快要開始的時刻，不過阿裏克斯本人其實沒有計劃繼續組隊參與本次的賽事。
隻是哥雖然不在江湖，江湖卻到處都是哥的傳說。
13年的微軟研究院隊伍，新加坡國立大學隊伍，和賈揚清領銜的decaf，uc伯克利等隊伍，都深受阿裏克斯去年思想的影響。
根據阿裏克斯介紹的辦法，孟繁岐很快調試完成，順利將批歸一化，adam優化器等操作從自己實驗的環境遷移到cuda-con框架上，做了一些調整和適配。
沒過過久，便已經在cifar-10上運行了起來。
接下來便是本次參賽的最核心競爭力，殘差網絡在這個框架上的實現。
“今年的imag挑戰賽其實沒有什麽太多的新想法，大家基本上都是以複現阿裏克斯的算法為主。”
孟繁岐當然不準備和其他隊伍一樣，基於阿裏克斯的框架去重新實現阿裏克斯去年的參賽算法，早期的許多算法在參數量和計算量上都有很大的冗餘。
“穀歌的googl和牛津的vg原本要明年才能研究出來，不過我今年參賽之後，這兩個ai曆史上的重要網絡恐怕就要胎死腹中了吧？”
別說是現在了，截止到14年末，多餘的設計仍舊大量存在與穀歌和牛津大學的算法當中。
直到15年，那個男人以殘差網絡re奪冠imag-2015，鑄就了深度學習時代的ai模型的神格。
殘差思想是孟繁岐此時此刻的最佳選擇，一方麵它會成為深度學習時代的裏程碑，因為它的核心思想，就是如何把深度網絡做得更加‘深’。
另一方麵，它的實現和結構簡潔，拋棄了大量人類看來很有道理和價值，但實際上其實用處不大的設計。
將簡潔好用的結構反複重複，這也大大地降低了孟繁岐所需要的開發工程量。
ale是八層的結構，各自有一些獨立的設計，在此時，8層已經是革命性的深度網絡了。
更深的網絡特別難以訓練，因此原本直到14年，穀歌和牛津才分別把這個深度推進到22層和19層。
而re的思想，徹底從根本上解決了網絡變深就沒法順利訓練的問題。它讓50，100，150，甚至1000層網絡的訓練成為可能。
“從去年的8，到今年的100+層，甚至1000層也可以訓練。在2013年的視角來看，這一劑猛藥應該夠勁了。”
不僅是深度上取得了開創性的突破，re的性能也同樣驚人。它是第一個top-5錯誤率低於人類能力的結構，單模型達到了4.6%左右。
如果綜合幾個不同方式訓練的re，平均他們的輸出再去預測的話，其top-5錯誤率甚至低至3.7%。
“其實在imag上做得太準了反而是一件怪事。”考慮到後世的研究中，該數據集中的標簽其實有不小的比例是錯誤的，越貼近百分之百的準確率反而越有一些荒誕的感覺。
re的res指residual，正經點說是殘差，說得明白一些是一種短路或者是跳躍鏈接。
再說的淺顯一點，假設原本的操作為f(x)，re就是把計算過程從f(x)改為f(x)+x。
這也是孟繁岐最早與付院長討論的內容之一。
這種不帶任何參數的支路鏈接，直接把操作前的內容加到操作後的內容上，是深度網絡突然能夠在上千層的深度下收斂的秘密所在。
在此之後的幾乎所有ai文章，都很難繞得開這個思路。愷明本人單就這一篇文章，就在六七年的時間內收獲了十五六萬的文章引用。
不得不說這是一個天文數字。要知道即便是naturecellscience三大世界級頂刊常客，著名華國美國雙料科學院士抽出一個來，至今為止所有文章的總引用數量加在一起五萬多都算是多的了。
當然了，單以論文被引用的次數來評價文章的水平和作者的水平是有失偏頗的。
很多基本學科曲高和寡，看得人少寫得人也少。引用自然就上不去。
但就ai這個實用性實驗性比較強的學科來說，內部去對比的話，引用的多少含金量還是相當之高的。
大家隻會用代碼投票，有價值的東西會一直迭代下去。有利於自己模型在任務上性能提升的技術，則會被一直引用下去。
學術界一直有這樣的說法，搞理論的和搞實驗的兩邊相互看不起。這倒也不是無中生有。
愷明憑借幾篇代表作奠定自己曆史地位後，就總有個別人喜歡說什麽“re的思想早就有人提過了”，“幾十年前的東西不算什麽新東西”，“這篇文章也就是流量大罷了，和流量明星是一樣的”。
酸味都要溢出屏幕了。
孟繁岐不是沒讀過一些理論類的文章，但他個人覺得新時代的ai，p話誰都會說，代碼寫出來才是本事。你說幾十年前就有的東西，怎麽不寫一個re突破人類水準呢？
re的核心代碼難寫嗎？不難的。
基於阿裏克斯的框架，隻需幾個小時的時間，他就可以基本複現出re論文中的所有結構。
弱小和無知不是生存的障礙，傲慢才是。