一般來說，比較成熟的競賽榜單分為兩種，一種是公共榜單，一種是最後的私有榜單。
對應的數據也不相同，分為驗證集和測試集。
這兩部分數據的真實答案都不會公布出去，但在參賽者提交結果之後，公共榜單隻會公布驗證集部分的結果供大家參考，而不會公布最終測試集上的結果和內容。
這是因為實時的榜單排名隻是為了幫助大家理解自己的算法大概在什麽水平，和最強的算法差了多少。雖然沒有直接提供答案，但是如果參賽者調整設置反複提交結果，還是可以一定程度上分析到這部分數據的內容和分布的。
故而，這部分數據隻做參考之用，最終決定排名的隻有測試集的那部分。因此賽事的公共榜單隻能一定程度上反應問題，沒法百分之百地表示最終的名次。
“雖說有的賽時榜單根本不用於最後的排名，但人們卻很容易被這種榜單的魔力所吸引。”孟繁岐想起後世和唐璜參加過兩次小型比賽，不知道為什麽整天就想盯著那個榜單使勁看。
自己的提交成績高了一名，低了一名都會引起心情的巨大波動。
“什麽行業都是這樣的，你看什麽小說行業，影視劇行業，明星行業。創造焦慮嘛。”唐璜不以為然，“沒有焦慮就搞個榜單創造焦慮，人人都想當人上人，這榜單一出啊，就像是平靜的水池裏灑進了一把魚餌。原本翻著肚皮不動彈的魚就全活絡起來了。”
“體育圈也是，最愛說誰是goat(曆史最強），什麽詹姆斯pk科比，梅西對戰c羅。”唐璜繼續吐槽道，體育圈現在飽受這種風氣所害，馬上都快變成飯圈了，“統計的數據也越來越多越來越離譜，以前就統計一個進球，現在連哪個部位進的球也統計，我前幾天還看到有人說c羅的弟弟進了一個球。”
孟繁岐在查看提交結果的信息，乍一聽愣了一下，“c羅還有弟弟呢？”
仔細一想才迴過味來，搞了半天是二弟。
其實11月11號，提交網站就已經被公布出來了，這一年的提交窗口期很短，也不像後來的很多競賽那樣分驗證集，在賽時開放公共榜單提交。
11月13號，結果的提交就會截止。
不知不覺又是四五十天過去，孟繁岐反複打磨了幾遍這幾篇論文。
不僅如此，等到後來他發覺論文裏的實驗已經跑完，便將檢測算法接在了已經訓練了很久的分類模型上，又跑起了檢測賽事的數據。
檢測任務是分類任務的進階，在你的程序分辨出這張圖片的類別之後，更進一步的操作就是用矩形框把該物體的位置在圖片中位置給圈出來。也就是後來大家熟悉的人臉上的框框。
再進一步就是分割了，不采用矩形框這樣大的，規則的圖形，而是像素級別地把某個物體的細致輪廓在圖片上表示出來，也就是一種類似自動摳圖的操作。
當然了，不論是檢測還是分割，都是需要人工去標注訓練集的原始答案的。
imag-2013的檢測賽道數據集不算太大，一共接近40萬張圖片，共區分200類。這種進階類型的數據，標注起來要辛苦很多，因此數據量和分類不可同日而語。
不過，相比2012年的5717張，區區一年的時間，已經是百倍的巨大飛躍了。
“沒想到時間竟然會這麽多。”孟繁岐記得這時候的檢測大多數還是基於傳統hog，lbp的辦法，在13年的這個數據集上map最高也就0.225左右。
自己既然來得及完成論文上的實驗，自然要抽空去降維打擊一下這些老古董方法。
每個參賽隊伍在各任務上有三次提交的機會，孟繁岐隻需要一次就夠了。
參與競賽的隊伍往往會訓練好幾個版本的模型，然後做一些排列組合的集成，分多次提交，以確保自己的結果不會被一些不穩定的因素影響。
這也是追求更高性能的一種辦法，因為誰也無法保證自己的哪一次結果在位置的數據上性能最好。
有時候第一名和第二名，就差在毫厘之間，可能隻是小數點後的兩三位。
隻是孟繁岐完全沒有這個必要這麽做。
餘下的時間也來不及再做什麽，孟繁岐本想11號就早早把結果提交，多一事不如少一事。
但唐璜卻阻攔他，說英雄總要最後一步到場，才顯得特別戲劇化。
“這提交也不是實時顯示的，而是14號統一公布結果。”孟繁岐指出了這麽一個尷尬的問題。
“額..”唐璜隻得強撐著解釋道，“雖然其他人看不到，但主辦方不是看得到嘛。在最後關頭，給他們一點小小的中國震撼！”
-------------------
大洋彼岸，斯坦福大學的ai實驗室sail成立於1963年首次神經網絡的浪潮中。見證了ai的兩次熱潮和兩次衰退。
如今，它由青年華裔科學家，imag的組織者李飛飛指導。
李飛飛09年開啟imag項目時還在普林斯頓，她後來來到了斯坦福，升任終生教授，並於今年開始領導斯坦福的ai實驗室。
接手這麽一個有曆史的實驗室不是一件容易的事情，再加上今年的imag競賽剛剛結束，李飛飛此刻相當的忙碌。
她昨天看了一眼新一年的成績，意料之中。
今年沒有看到什麽特別開創性的論文，大家基本上還處於對ale的學習，和新賽道的摸索當中。
深度神經網絡去年一枝獨秀，力壓群雄，但誰又能百分百的肯定這就是正確的道路呢？
即便是表現最好的模型也仍舊有11個點以上的top-5錯誤率，而且通常來說，這個結果還可能是多個網絡集成預測的，隻是刷榜好用，這種方式並不具備實際的應用價值。李飛飛並不希望自己一手打造的imag成為刷子樂園。
路漫漫其修遠兮。
就在此時，自己的電話突然響起，李飛飛拿起手機看了一眼，是鄧嘉。
“holyshit，老師你快看賽事的驗證結果。”
鄧嘉的聲音聽起來非常激動，一上來就飆了一句shit。
“結果？什麽結果。”李飛飛還不知道發生了什麽事情，她昨天已經看過榜單了，大家的水平都差不多，今天又能統計出什麽東西來？
眼下重新去鏈服務器不大方便，李飛飛便說“你直接截個圖發我吧。”
“嘟...”
那邊直接掛了，李飛飛微微顰眉，這小子今天是怎麽了，平時不是這麽毛毛躁躁的。
很快，兩張圖片傳了過來。
李飛飛依次點開，霎時間，瞳孔微微放大，唿吸也不自覺地突然急促了起來。
隻見兩個榜單最上麵的一行都是同一個隊伍。
隊名：dream。
提交描述隻有一個字母不同：“asingledrea.”和“asingledreamdet.”
在一群集成了多個模型的提交中，single(單個的)一詞顯得格外惹眼。
對應的數據也不相同，分為驗證集和測試集。
這兩部分數據的真實答案都不會公布出去，但在參賽者提交結果之後，公共榜單隻會公布驗證集部分的結果供大家參考，而不會公布最終測試集上的結果和內容。
這是因為實時的榜單排名隻是為了幫助大家理解自己的算法大概在什麽水平，和最強的算法差了多少。雖然沒有直接提供答案，但是如果參賽者調整設置反複提交結果，還是可以一定程度上分析到這部分數據的內容和分布的。
故而，這部分數據隻做參考之用，最終決定排名的隻有測試集的那部分。因此賽事的公共榜單隻能一定程度上反應問題，沒法百分之百地表示最終的名次。
“雖說有的賽時榜單根本不用於最後的排名，但人們卻很容易被這種榜單的魔力所吸引。”孟繁岐想起後世和唐璜參加過兩次小型比賽，不知道為什麽整天就想盯著那個榜單使勁看。
自己的提交成績高了一名，低了一名都會引起心情的巨大波動。
“什麽行業都是這樣的，你看什麽小說行業，影視劇行業，明星行業。創造焦慮嘛。”唐璜不以為然，“沒有焦慮就搞個榜單創造焦慮，人人都想當人上人，這榜單一出啊，就像是平靜的水池裏灑進了一把魚餌。原本翻著肚皮不動彈的魚就全活絡起來了。”
“體育圈也是，最愛說誰是goat(曆史最強），什麽詹姆斯pk科比，梅西對戰c羅。”唐璜繼續吐槽道，體育圈現在飽受這種風氣所害，馬上都快變成飯圈了，“統計的數據也越來越多越來越離譜，以前就統計一個進球，現在連哪個部位進的球也統計，我前幾天還看到有人說c羅的弟弟進了一個球。”
孟繁岐在查看提交結果的信息，乍一聽愣了一下，“c羅還有弟弟呢？”
仔細一想才迴過味來，搞了半天是二弟。
其實11月11號，提交網站就已經被公布出來了，這一年的提交窗口期很短，也不像後來的很多競賽那樣分驗證集，在賽時開放公共榜單提交。
11月13號，結果的提交就會截止。
不知不覺又是四五十天過去，孟繁岐反複打磨了幾遍這幾篇論文。
不僅如此，等到後來他發覺論文裏的實驗已經跑完，便將檢測算法接在了已經訓練了很久的分類模型上，又跑起了檢測賽事的數據。
檢測任務是分類任務的進階，在你的程序分辨出這張圖片的類別之後，更進一步的操作就是用矩形框把該物體的位置在圖片中位置給圈出來。也就是後來大家熟悉的人臉上的框框。
再進一步就是分割了，不采用矩形框這樣大的，規則的圖形，而是像素級別地把某個物體的細致輪廓在圖片上表示出來，也就是一種類似自動摳圖的操作。
當然了，不論是檢測還是分割，都是需要人工去標注訓練集的原始答案的。
imag-2013的檢測賽道數據集不算太大，一共接近40萬張圖片，共區分200類。這種進階類型的數據，標注起來要辛苦很多，因此數據量和分類不可同日而語。
不過，相比2012年的5717張，區區一年的時間，已經是百倍的巨大飛躍了。
“沒想到時間竟然會這麽多。”孟繁岐記得這時候的檢測大多數還是基於傳統hog，lbp的辦法，在13年的這個數據集上map最高也就0.225左右。
自己既然來得及完成論文上的實驗，自然要抽空去降維打擊一下這些老古董方法。
每個參賽隊伍在各任務上有三次提交的機會，孟繁岐隻需要一次就夠了。
參與競賽的隊伍往往會訓練好幾個版本的模型，然後做一些排列組合的集成，分多次提交，以確保自己的結果不會被一些不穩定的因素影響。
這也是追求更高性能的一種辦法，因為誰也無法保證自己的哪一次結果在位置的數據上性能最好。
有時候第一名和第二名，就差在毫厘之間，可能隻是小數點後的兩三位。
隻是孟繁岐完全沒有這個必要這麽做。
餘下的時間也來不及再做什麽，孟繁岐本想11號就早早把結果提交，多一事不如少一事。
但唐璜卻阻攔他，說英雄總要最後一步到場，才顯得特別戲劇化。
“這提交也不是實時顯示的，而是14號統一公布結果。”孟繁岐指出了這麽一個尷尬的問題。
“額..”唐璜隻得強撐著解釋道，“雖然其他人看不到，但主辦方不是看得到嘛。在最後關頭，給他們一點小小的中國震撼！”
-------------------
大洋彼岸，斯坦福大學的ai實驗室sail成立於1963年首次神經網絡的浪潮中。見證了ai的兩次熱潮和兩次衰退。
如今，它由青年華裔科學家，imag的組織者李飛飛指導。
李飛飛09年開啟imag項目時還在普林斯頓，她後來來到了斯坦福，升任終生教授，並於今年開始領導斯坦福的ai實驗室。
接手這麽一個有曆史的實驗室不是一件容易的事情，再加上今年的imag競賽剛剛結束，李飛飛此刻相當的忙碌。
她昨天看了一眼新一年的成績，意料之中。
今年沒有看到什麽特別開創性的論文，大家基本上還處於對ale的學習，和新賽道的摸索當中。
深度神經網絡去年一枝獨秀，力壓群雄，但誰又能百分百的肯定這就是正確的道路呢？
即便是表現最好的模型也仍舊有11個點以上的top-5錯誤率，而且通常來說，這個結果還可能是多個網絡集成預測的，隻是刷榜好用，這種方式並不具備實際的應用價值。李飛飛並不希望自己一手打造的imag成為刷子樂園。
路漫漫其修遠兮。
就在此時，自己的電話突然響起，李飛飛拿起手機看了一眼，是鄧嘉。
“holyshit，老師你快看賽事的驗證結果。”
鄧嘉的聲音聽起來非常激動，一上來就飆了一句shit。
“結果？什麽結果。”李飛飛還不知道發生了什麽事情，她昨天已經看過榜單了，大家的水平都差不多，今天又能統計出什麽東西來？
眼下重新去鏈服務器不大方便，李飛飛便說“你直接截個圖發我吧。”
“嘟...”
那邊直接掛了，李飛飛微微顰眉，這小子今天是怎麽了，平時不是這麽毛毛躁躁的。
很快，兩張圖片傳了過來。
李飛飛依次點開，霎時間，瞳孔微微放大，唿吸也不自覺地突然急促了起來。
隻見兩個榜單最上麵的一行都是同一個隊伍。
隊名：dream。
提交描述隻有一個字母不同：“asingledrea.”和“asingledreamdet.”
在一群集成了多個模型的提交中，single(單個的)一詞顯得格外惹眼。