相比效果顯著，非常出色的老虎算法，移動端優化排序算法的效果要稍差一些。
因而孟繁岐並沒有急著推動上線測試，而是等待結合ai語言解釋模型的那一個更新準備一起推動。
目前針對語言問題所采用的通常是循環神經網絡(rnn)和長短期記憶辦法(lstm)，這兩個工作都是上個世紀末的老辦法了。
這兩種方法簡明好用，因而一直興盛到2017年左右。
直到transformer，也就是chatgpt的t方法出現。
通常來說，大家都認為transformer方法之所以能夠迅速取代rnn和lstm，主要是因為它更方便並行進行。
在多個設備上容易做到並行，這件事最核心的意義便是讓規模龐大的版本成為可能，這也為後來chatgpt這樣的究極巨無霸模型奠定了基礎。
“其實老版的rnn也有辦法可以把並行做得很好，領域內對這件事有很大的誤解。”孟繁岐皺著眉頭思索道。
原本時間線，transformer出來之後，所有人都放下了手頭老方法的研究，擁抱了t方法。
可18年實際上有人專門做了rnn的高度並行，隻可惜已經太遲了。
如果這個發現可以早一年的時間，可能rnn會長期作為t辦法的競爭對手，我們也有可能看到chatrnn的出現。
“早期的t方法需要很多數據，各種參數比較難調整，需要的計算能力也很龐大。”孟繁岐即便根據後來成熟的許多方法做了一個改進的版本，t方法在早期仍舊比較麻煩。
“好在穀歌的數據和算力都不缺，而我也比較熟悉各種經典的參數設置。”孟繁岐先寫了一個雛形版本的t方法，進行了一下測試。
“不過，受限於現在顯卡的顯存，模型沒有辦法做得很大，除非我專門再去開發deepspeed這樣的高級並行方式。”
在多張卡上訓練模型，可能是為了追求速度，也可能是因為一張卡上放不下了。
其中，數據並行是最簡單的，也就是不同的卡都在做同樣的事情，每張卡上都會存放一個模型。
隻不過輸入的數據不一樣，不同的卡做完運算之後，再一起整合更新。
就像是所有人都拿了同樣的刀切不同的菜，最後把切好的食材堆在一起。
可有的時候，一張卡上根本就放不下模型，這樣的情況就比較麻煩了。因為一個人根本拿不動這把刀了，需要多人協作。
可以把每一層拆分到不同的卡上，也可以把不同層分配到不同的卡上，如此一來，其實是用多卡實現了類似單卡訓練的效果。
顯然，前者會比後者容易非常多，前者隻需要在不同卡上複製這些模型，分別讀取數據做運算就好。
而後者則需要根據不同的情況和設置拆分合並，一個不小心就會搞錯。
看了下穀歌大腦的服務器，裏麵有好幾批2013款的gtx泰坦，這東西著實價值不菲。
考慮到當時的其他產品，6g的顯存還是鶴立雞群的。
比起孟繁岐自己重金購置的4g旗艦款，多出的2g顯存，足夠做很多其他的事情了。
用速度換顯存，孟繁岐又做了許多參數和信息在cpu和gpu上反複轉移的操作。
因為在正式入職之前，穀歌大腦分配給他的顯卡就已經有16張泰坦，這部分卡撥給孟繁岐獨享，隨時都可以使用。
除此之外，還有32張在不同節點上的gpu可以申請占用。
“這時候的穀歌顯卡還沒有那麽多，這個配置已經相當大方了。”
不僅有統一配置的係統和環境，還有提供好的多卡並行方式和例子。
再過兩年，幾千張上萬張tpu都是標配。
孟繁岐如果想要將ai接入搜索係統，有三個主要的方向。
一是通過拆分關鍵詞，通過語言模型來獲取其在現實世界的含義，從而對結果進行更好的排名。
二是通過擴大模型的規模，使得它具備一定的寬泛理解能力，從而擴大能夠搜索的內容量。
三則是讓搜索引擎更能夠理解不同語言順序會如何改變查詢的意圖。
其中二目前比較難辦，一和三孟繁岐的把握很大。
傳統的rnn和lstm的循環方式，就導致了在較長語句上比較難處理得當，對順序的變化理解也沒有那麽充分。
孟繁岐的雛形t方法，在這方麵具有得天獨厚的優勢。
除此之外，t方法雖然在小數據上難以學到東西，各個參數也很難微調，總體的訓練難度大。
但這在孟繁岐這個老煉丹師麵前，不是什麽難事，配合穀歌早已備好的海量數據，孟繁岐對這個方法的效果還是很有信心的。
而將顯卡資源都投入訓練之後，在13年的聖誕節前夕，孟繁岐結束了在穀歌尚海大約十天的工作旅程。
模型的訓練需要一定的時間，廣告算法後續兩板斧可能過兩周，元旦之後了。
總算基本完成了早期生涯吸金最多的技術，孟繁岐如釋重負。
就在他計劃開始開辦公司，開始看工作場地，設備金額的時候，一個意料之外的電話打亂了他的節奏。
“孟先生您好，我是創新工廠李開赴的秘書，他很想跟你麵對麵談一談，但由於身體原因，出行不大方便，不知道您方不方便過來呢？”
李開赴？也算是穀歌係的華人大前輩了，最高做到全球副總裁，中華區第一把交椅。
不僅如此，他也曾在蘋果和微軟幹到很高的位置。
不過09年四年約到期之後，他就辭職不幹了，自己搞了一個天使基金投資大學生的夢想。
“李開赴老師現在在哪裏？”孟繁岐對李開赴的經曆還是比較熟悉的，此時應當正值他罹患癌症初期，隻是不知道他在何處接受治療。
“李開赴先生先在寶島北市接受治療，如果方便的話，我們就約一個時間吧？其實這段時間的治療效果並不是特別好，因此李先生已經基本不再參與任何會議和公司工作了，不過他執意要抽出一天時間跟你聊一聊。”
“我現在剛剛結束了手頭的事情，明天就可以去辦理入島許可證。”孟繁岐覺得有些奇怪，自己雖然在ai界嶄露頭角，但對於李開赴這樣級別的前輩來說，似乎沒有什麽是非見不可的。
尤其考慮到他目前的身體狀況不是很好。
“不過辦理下來，也該是兩周往後了。”
孟繁岐問了秘書，她也不大清楚具體的原因，孟繁岐便壓下了自己的好奇心，約在一月中旬見麵。
尚海飛北市桃園，總共要不了兩三個小時，比去燕京其實還近一些。他兩輩子還真沒有去過寶島，去見李開赴順便走一圈倒也還不錯。
隻是入島許可證，卻像簽證一樣，辦理起來讓人很是不爽。
因而孟繁岐並沒有急著推動上線測試，而是等待結合ai語言解釋模型的那一個更新準備一起推動。
目前針對語言問題所采用的通常是循環神經網絡(rnn)和長短期記憶辦法(lstm)，這兩個工作都是上個世紀末的老辦法了。
這兩種方法簡明好用，因而一直興盛到2017年左右。
直到transformer，也就是chatgpt的t方法出現。
通常來說，大家都認為transformer方法之所以能夠迅速取代rnn和lstm，主要是因為它更方便並行進行。
在多個設備上容易做到並行，這件事最核心的意義便是讓規模龐大的版本成為可能，這也為後來chatgpt這樣的究極巨無霸模型奠定了基礎。
“其實老版的rnn也有辦法可以把並行做得很好，領域內對這件事有很大的誤解。”孟繁岐皺著眉頭思索道。
原本時間線，transformer出來之後，所有人都放下了手頭老方法的研究，擁抱了t方法。
可18年實際上有人專門做了rnn的高度並行，隻可惜已經太遲了。
如果這個發現可以早一年的時間，可能rnn會長期作為t辦法的競爭對手，我們也有可能看到chatrnn的出現。
“早期的t方法需要很多數據，各種參數比較難調整，需要的計算能力也很龐大。”孟繁岐即便根據後來成熟的許多方法做了一個改進的版本，t方法在早期仍舊比較麻煩。
“好在穀歌的數據和算力都不缺，而我也比較熟悉各種經典的參數設置。”孟繁岐先寫了一個雛形版本的t方法，進行了一下測試。
“不過，受限於現在顯卡的顯存，模型沒有辦法做得很大，除非我專門再去開發deepspeed這樣的高級並行方式。”
在多張卡上訓練模型，可能是為了追求速度，也可能是因為一張卡上放不下了。
其中，數據並行是最簡單的，也就是不同的卡都在做同樣的事情，每張卡上都會存放一個模型。
隻不過輸入的數據不一樣，不同的卡做完運算之後，再一起整合更新。
就像是所有人都拿了同樣的刀切不同的菜，最後把切好的食材堆在一起。
可有的時候，一張卡上根本就放不下模型，這樣的情況就比較麻煩了。因為一個人根本拿不動這把刀了，需要多人協作。
可以把每一層拆分到不同的卡上，也可以把不同層分配到不同的卡上，如此一來，其實是用多卡實現了類似單卡訓練的效果。
顯然，前者會比後者容易非常多，前者隻需要在不同卡上複製這些模型，分別讀取數據做運算就好。
而後者則需要根據不同的情況和設置拆分合並，一個不小心就會搞錯。
看了下穀歌大腦的服務器，裏麵有好幾批2013款的gtx泰坦，這東西著實價值不菲。
考慮到當時的其他產品，6g的顯存還是鶴立雞群的。
比起孟繁岐自己重金購置的4g旗艦款，多出的2g顯存，足夠做很多其他的事情了。
用速度換顯存，孟繁岐又做了許多參數和信息在cpu和gpu上反複轉移的操作。
因為在正式入職之前，穀歌大腦分配給他的顯卡就已經有16張泰坦，這部分卡撥給孟繁岐獨享，隨時都可以使用。
除此之外，還有32張在不同節點上的gpu可以申請占用。
“這時候的穀歌顯卡還沒有那麽多，這個配置已經相當大方了。”
不僅有統一配置的係統和環境，還有提供好的多卡並行方式和例子。
再過兩年，幾千張上萬張tpu都是標配。
孟繁岐如果想要將ai接入搜索係統，有三個主要的方向。
一是通過拆分關鍵詞，通過語言模型來獲取其在現實世界的含義，從而對結果進行更好的排名。
二是通過擴大模型的規模，使得它具備一定的寬泛理解能力，從而擴大能夠搜索的內容量。
三則是讓搜索引擎更能夠理解不同語言順序會如何改變查詢的意圖。
其中二目前比較難辦，一和三孟繁岐的把握很大。
傳統的rnn和lstm的循環方式，就導致了在較長語句上比較難處理得當，對順序的變化理解也沒有那麽充分。
孟繁岐的雛形t方法，在這方麵具有得天獨厚的優勢。
除此之外，t方法雖然在小數據上難以學到東西，各個參數也很難微調，總體的訓練難度大。
但這在孟繁岐這個老煉丹師麵前，不是什麽難事，配合穀歌早已備好的海量數據，孟繁岐對這個方法的效果還是很有信心的。
而將顯卡資源都投入訓練之後，在13年的聖誕節前夕，孟繁岐結束了在穀歌尚海大約十天的工作旅程。
模型的訓練需要一定的時間，廣告算法後續兩板斧可能過兩周，元旦之後了。
總算基本完成了早期生涯吸金最多的技術，孟繁岐如釋重負。
就在他計劃開始開辦公司，開始看工作場地，設備金額的時候，一個意料之外的電話打亂了他的節奏。
“孟先生您好，我是創新工廠李開赴的秘書，他很想跟你麵對麵談一談，但由於身體原因，出行不大方便，不知道您方不方便過來呢？”
李開赴？也算是穀歌係的華人大前輩了，最高做到全球副總裁，中華區第一把交椅。
不僅如此，他也曾在蘋果和微軟幹到很高的位置。
不過09年四年約到期之後，他就辭職不幹了，自己搞了一個天使基金投資大學生的夢想。
“李開赴老師現在在哪裏？”孟繁岐對李開赴的經曆還是比較熟悉的，此時應當正值他罹患癌症初期，隻是不知道他在何處接受治療。
“李開赴先生先在寶島北市接受治療，如果方便的話，我們就約一個時間吧？其實這段時間的治療效果並不是特別好，因此李先生已經基本不再參與任何會議和公司工作了，不過他執意要抽出一天時間跟你聊一聊。”
“我現在剛剛結束了手頭的事情，明天就可以去辦理入島許可證。”孟繁岐覺得有些奇怪，自己雖然在ai界嶄露頭角，但對於李開赴這樣級別的前輩來說，似乎沒有什麽是非見不可的。
尤其考慮到他目前的身體狀況不是很好。
“不過辦理下來，也該是兩周往後了。”
孟繁岐問了秘書，她也不大清楚具體的原因，孟繁岐便壓下了自己的好奇心，約在一月中旬見麵。
尚海飛北市桃園，總共要不了兩三個小時，比去燕京其實還近一些。他兩輩子還真沒有去過寶島，去見李開赴順便走一圈倒也還不錯。
隻是入島許可證，卻像簽證一樣，辦理起來讓人很是不爽。