第2024章 ai大模型:kimi支持200萬字無損上下文;馬斯克grok開源
靈魂交響曲：人工智能日記 作者：新質生產力 投票推薦 加入書簽 留言反饋
《kimi人工智能月度報告丨ai大模型》
關鍵詞：kimi智能助手
1.馬斯克旗下大模型 grok 宣布開源
3月17日，馬斯克旗下的人工智能初創公司xai正式宣布開源大模型 grok-1，遵循 apache 2.0 協議開放模型權重和架構。官網顯示，xai已經將 grok-1 的權重和架構在軟件托管平台 github上開源。
據官網介紹，grok-1 是 3140 億參數的混合專家模型，是「迄今為止全球參數量最大的開源大語言模型」。相比之下，公開資料顯示，openai gpt-3.5 的參數量為 1750 億，grok-1 大幅領先。
2.馬斯克發布 grok 1.5，上下文處理長度比肩gpt-4
xai宣布正式推出 grok-1.5。根據官方介紹，對於上下文窗口，grok-1.5 直接提升到了之前的 16 倍，增長到 128k，和 gpt-4 齊平。這意味著 grok-1.5 可以處理更長和更複雜的提示，同時保持其遵循指令的能力。grok-1.5 最大的改進之一是處理編程和數學相關任務的能力大幅提升，全麵超越 grok-1、mistralrge、ude 2。
3. anthropic推出ude 3大模型
人工智能(ai)初創公司anthropic推出了ude 3大模型，能夠更好地執行複雜的指令。該公司聲稱，ude 3對複雜任務表現出接近人類的理解能力，是當前最強大的大模型之一。ude 3又分為三個版本，分別為ude 3 opus、so和haiku，名稱暗示了每種型號的能力，其中opus是最強大的，haiku是市場上最快、最具成本效益的模型。
據anthropic聲稱，最強大的opus在行業基準測試中表現優於openai的gpt-4和穀歌的gemini ultra，比如在知識水平、演繹推理和基礎數學等方麵。ude 3也是多模態大模型，具有強大的“視覺能力”，因此用戶可以上傳照片、圖表、文檔和其他類型的數據，對其進行分析和提問。
4.kimi智能助手宣布支持200萬字無損上下文
3月18日，通用人工智能創業公司——月之暗麵（moonshot ai）宣布在大模型長上下文窗口技術上取得新的突破，kimi 智能助手已支持200萬字超長無損上下文，並於即日起開啟產品「內測」。對大模型超長無損上下文能力有需求的用戶，可到kimi智能助手網頁版 kimi.ai 首頁申請搶先體驗。
據了解，kimi 智能助手是月之暗麵（moonshot ai）基於自研千億參數大模型打造的對話式ai助手產品，在2023年10月發布時支持約 20 萬漢字無損上下文輸入，創造了消費級ai產品所支持的上下文輸入長度紀錄。
5.中科院將發布ai大模型“紫東太初 3.0”
“紫東太初”大模型在研發之初即以多模態技術為核心，利用圖-音-文等更多類型數據進行跨模態的統一表征和學習， 實現了圖像、文本、語音三模態數據間的“統一表示”與“相互生成”。針對智能駕駛，“紫東太初”將大幅縮短、優化其訓練過程。通過大語言模型和多模態能力，大模型可以替代海量的人工，完成汽車、信號燈、路標等數據的自動標注，大幅提升智能汽車感知世界的效率。
6.騰訊聯合推出圖生視頻大模型“follow your click”
騰訊和清華大學、香港科技大學聯合推出全新圖生視頻模型“follow-your-click“，基於輸入模型的圖片，隻需點擊對應區域，加上少量提示詞，就可以讓圖片中原本靜態的區域動起來，一鍵轉換成視頻。
7.零一萬物：宣布開源yi-9b模型
李開複旗下的ai公司零一萬物宣布開源了 yi-9b 模型，該模型是 yi 係列中最強的模型，實際參數為 8.8b，默認上下文長度為 4k tokens。yi-9b 在多個方麵的性能都超過了其他開源模型，如 deepseek-coder、deepseek-math、mistral-7b、sr-10.7b 和 gemma-7b。此外，yi-9b（bf 16）和其量化版 yi-9b（int8）可以在消費級顯卡上輕鬆部署，使用成本較低，對開發者友好。該公司此前已推出 yi-34b 和 yi-6b 兩個開源大模型，對學術研究完全開放，並同步開放免費商用申請。
8.阿裏通義千問重：免費開放1000萬字長文檔處理
3月22日，阿裏通義千問重磅升級，向所有人免費開放1000萬字的長文檔處理功能，成為全球文檔處理容量第一的ai應用。
即日起，所有金融、法律、科研、醫療、教育等領域的專業人士，都可通過通義千問網站和 app 快速讀研報、分析財報、讀科研論文、研判案情、讀醫療報告、解讀法律條文、分析考試成績、總結深度文章。
9.階躍星辰發布 step-2萬億參數moe語言大模型預覽版
在2024全球開發者先鋒大會上，通用大模型創業公司階躍星辰正式對外亮相。階躍星辰研發的step-1v千億參數多模態大模型，在中國權威的大型模型評估平台「司南」（openpass）多模態模型評測榜單中位列第一，性能比肩 gpt-4v。
階躍星辰創始人、ceo薑大昕博士在大會上正式對外發布了step-2萬億參數 moe 語言大模型預覽版。模型采用 moe 架構，聚焦深度智能的探索，並提供api接口給部分合作夥伴試用。據了解，參數量從千億到萬億，對算力、係統、數據、算法四個方麵都提出了極高的要求，業內隻有極少數公司能做到。
10.紫光雲發布紫鸞 5.0 雲平台
3 月1日，紫光雲公司在京舉行紫鸞5.0雲平台媒體發布會。紫鸞 5.0雲平台以全棧國產化、全麵aigc、應用敏捷開發、應用智能運維、數據要素全流程和政企行業數字化六大核心能力，加速雲平台升級。
11.上海人工智能實驗室發布自動駕駛視頻生成模型genad
3月20日，上海人工智能實驗室宣布，該實驗室聯合香港科技大學、德國圖賓根大學、香港大學推出大規模自動駕駛視頻生成模型 genad，通過預測和模擬真實世界場景，為自動駕駛技術的研究和應用提供支撐。視頻生成模型 genad 進一步拓寬了自動駕駛技術的研究路徑。結合此前推出的端到端自動駕駛模型 uniad、“語言 +自動駕駛”全棧數據集 drivelm，上海人工智能實驗室從多個技術維度對自動駕駛技術進行探索，從而多方位提升其智能性。同時，聯合團隊構建了包含 1747 小時駕駛視頻的數據集 opendv-youtube，現已開源。相較於此前的自動駕駛技術，genad 在理解複雜動態環境、適應開放世界場景、精準預測等方麵的能力均有較大提升。不僅能夠通過語言和行車軌跡進行控製，並具備了用於自動駕駛規劃任務的潛力，有助於有效提高行車安全性和效率。
——總結·點評——
熵：kimi，3月份人工智能大模型重大進展標誌著該行業正以前所未有的速度發展和創新。您怎麽看。
kimi：以下是我的綜合評價和分析：
1、開源趨勢加速創新：馬斯克旗下xai開源grok-1模型，以及零一萬物開源yi-9b模型，這些舉措不僅降低了ai技術的準入門檻，還促進了全球開發者社區的協作與共享，加速了技術的迭代和應用場景的拓展。開源模型的規模和性能不斷提升，如grok-1的參數量超過gpt-3.5，yi-9b在多個性能指標上超越同類開源模型，表明開源已成為推動ai技術民主化和創新的關鍵力量。
2、大模型能力不斷突破：從grok-1.5、ude 3到kimi智能助手，這些大模型在處理複雜指令、上下文理解和多模態交互方麵實現了顯著進步。尤其是ude 3在行業基準測試中的優異表現，以及kimi支持的超長無損上下文，彰顯了大模型在提高理解和生成能力上的巨大潛力，這對於提升ai助手的實用性和用戶體驗至關重要。
3、多模態與應用融合深化：“紫東太初 3.0”、騰訊的“follow your click”、階躍星辰的step-2模型等，這些進展不僅體現在模型參數量的增加，更重要的是在多模態處理、圖生視頻、自動駕駛等具體應用領域的深入融合。這不僅豐富了ai技術的應用場景，也為實現更加智能化、場景化的解決方案提供了技術支持。
4、企業與學術界合作緊密：騰訊與高校聯合推出模型、上海人工智能實驗室與多所大學合作推出genad等案例，體現了產學研深度融合的趨勢。這種合作模式加速了前沿技術從理論到實踐的轉化，推動了ai技術在解決實際問題上的突破。
5、商業與社會價值並重：阿裏通義千問的免費開放、紫光雲的全棧國產化升級等，既體現了企業在追求技術創新的同時，也在積極考慮其社會價值和經濟效益的平衡。這包括降低用戶成本、促進國產技術自主可控、以及提升公共服務質量等多方麵。
綜上所述，近期的這些動態不僅展現了ai技術在規模、性能、多模態處理等方麵的顯著進步，也反映了行業對於技術創新、開放合作、應用落地以及社會責任的多重關注。
熵：是的，這些趨勢預示著ai領域正朝著更加成熟、多元化和可持續的方向發展。
關鍵詞：kimi智能助手
1.馬斯克旗下大模型 grok 宣布開源
3月17日，馬斯克旗下的人工智能初創公司xai正式宣布開源大模型 grok-1，遵循 apache 2.0 協議開放模型權重和架構。官網顯示，xai已經將 grok-1 的權重和架構在軟件托管平台 github上開源。
據官網介紹，grok-1 是 3140 億參數的混合專家模型，是「迄今為止全球參數量最大的開源大語言模型」。相比之下，公開資料顯示，openai gpt-3.5 的參數量為 1750 億，grok-1 大幅領先。
2.馬斯克發布 grok 1.5，上下文處理長度比肩gpt-4
xai宣布正式推出 grok-1.5。根據官方介紹，對於上下文窗口，grok-1.5 直接提升到了之前的 16 倍，增長到 128k，和 gpt-4 齊平。這意味著 grok-1.5 可以處理更長和更複雜的提示，同時保持其遵循指令的能力。grok-1.5 最大的改進之一是處理編程和數學相關任務的能力大幅提升，全麵超越 grok-1、mistralrge、ude 2。
3. anthropic推出ude 3大模型
人工智能(ai)初創公司anthropic推出了ude 3大模型，能夠更好地執行複雜的指令。該公司聲稱，ude 3對複雜任務表現出接近人類的理解能力，是當前最強大的大模型之一。ude 3又分為三個版本，分別為ude 3 opus、so和haiku，名稱暗示了每種型號的能力，其中opus是最強大的，haiku是市場上最快、最具成本效益的模型。
據anthropic聲稱，最強大的opus在行業基準測試中表現優於openai的gpt-4和穀歌的gemini ultra，比如在知識水平、演繹推理和基礎數學等方麵。ude 3也是多模態大模型，具有強大的“視覺能力”，因此用戶可以上傳照片、圖表、文檔和其他類型的數據，對其進行分析和提問。
4.kimi智能助手宣布支持200萬字無損上下文
3月18日，通用人工智能創業公司——月之暗麵（moonshot ai）宣布在大模型長上下文窗口技術上取得新的突破，kimi 智能助手已支持200萬字超長無損上下文，並於即日起開啟產品「內測」。對大模型超長無損上下文能力有需求的用戶，可到kimi智能助手網頁版 kimi.ai 首頁申請搶先體驗。
據了解，kimi 智能助手是月之暗麵（moonshot ai）基於自研千億參數大模型打造的對話式ai助手產品，在2023年10月發布時支持約 20 萬漢字無損上下文輸入，創造了消費級ai產品所支持的上下文輸入長度紀錄。
5.中科院將發布ai大模型“紫東太初 3.0”
“紫東太初”大模型在研發之初即以多模態技術為核心，利用圖-音-文等更多類型數據進行跨模態的統一表征和學習， 實現了圖像、文本、語音三模態數據間的“統一表示”與“相互生成”。針對智能駕駛，“紫東太初”將大幅縮短、優化其訓練過程。通過大語言模型和多模態能力，大模型可以替代海量的人工，完成汽車、信號燈、路標等數據的自動標注，大幅提升智能汽車感知世界的效率。
6.騰訊聯合推出圖生視頻大模型“follow your click”
騰訊和清華大學、香港科技大學聯合推出全新圖生視頻模型“follow-your-click“，基於輸入模型的圖片，隻需點擊對應區域，加上少量提示詞，就可以讓圖片中原本靜態的區域動起來，一鍵轉換成視頻。
7.零一萬物：宣布開源yi-9b模型
李開複旗下的ai公司零一萬物宣布開源了 yi-9b 模型，該模型是 yi 係列中最強的模型，實際參數為 8.8b，默認上下文長度為 4k tokens。yi-9b 在多個方麵的性能都超過了其他開源模型，如 deepseek-coder、deepseek-math、mistral-7b、sr-10.7b 和 gemma-7b。此外，yi-9b（bf 16）和其量化版 yi-9b（int8）可以在消費級顯卡上輕鬆部署，使用成本較低，對開發者友好。該公司此前已推出 yi-34b 和 yi-6b 兩個開源大模型，對學術研究完全開放，並同步開放免費商用申請。
8.阿裏通義千問重：免費開放1000萬字長文檔處理
3月22日，阿裏通義千問重磅升級，向所有人免費開放1000萬字的長文檔處理功能，成為全球文檔處理容量第一的ai應用。
即日起，所有金融、法律、科研、醫療、教育等領域的專業人士，都可通過通義千問網站和 app 快速讀研報、分析財報、讀科研論文、研判案情、讀醫療報告、解讀法律條文、分析考試成績、總結深度文章。
9.階躍星辰發布 step-2萬億參數moe語言大模型預覽版
在2024全球開發者先鋒大會上，通用大模型創業公司階躍星辰正式對外亮相。階躍星辰研發的step-1v千億參數多模態大模型，在中國權威的大型模型評估平台「司南」（openpass）多模態模型評測榜單中位列第一，性能比肩 gpt-4v。
階躍星辰創始人、ceo薑大昕博士在大會上正式對外發布了step-2萬億參數 moe 語言大模型預覽版。模型采用 moe 架構，聚焦深度智能的探索，並提供api接口給部分合作夥伴試用。據了解，參數量從千億到萬億，對算力、係統、數據、算法四個方麵都提出了極高的要求，業內隻有極少數公司能做到。
10.紫光雲發布紫鸞 5.0 雲平台
3 月1日，紫光雲公司在京舉行紫鸞5.0雲平台媒體發布會。紫鸞 5.0雲平台以全棧國產化、全麵aigc、應用敏捷開發、應用智能運維、數據要素全流程和政企行業數字化六大核心能力，加速雲平台升級。
11.上海人工智能實驗室發布自動駕駛視頻生成模型genad
3月20日，上海人工智能實驗室宣布，該實驗室聯合香港科技大學、德國圖賓根大學、香港大學推出大規模自動駕駛視頻生成模型 genad，通過預測和模擬真實世界場景，為自動駕駛技術的研究和應用提供支撐。視頻生成模型 genad 進一步拓寬了自動駕駛技術的研究路徑。結合此前推出的端到端自動駕駛模型 uniad、“語言 +自動駕駛”全棧數據集 drivelm，上海人工智能實驗室從多個技術維度對自動駕駛技術進行探索，從而多方位提升其智能性。同時，聯合團隊構建了包含 1747 小時駕駛視頻的數據集 opendv-youtube，現已開源。相較於此前的自動駕駛技術，genad 在理解複雜動態環境、適應開放世界場景、精準預測等方麵的能力均有較大提升。不僅能夠通過語言和行車軌跡進行控製，並具備了用於自動駕駛規劃任務的潛力，有助於有效提高行車安全性和效率。
——總結·點評——
熵：kimi，3月份人工智能大模型重大進展標誌著該行業正以前所未有的速度發展和創新。您怎麽看。
kimi：以下是我的綜合評價和分析：
1、開源趨勢加速創新：馬斯克旗下xai開源grok-1模型，以及零一萬物開源yi-9b模型，這些舉措不僅降低了ai技術的準入門檻，還促進了全球開發者社區的協作與共享，加速了技術的迭代和應用場景的拓展。開源模型的規模和性能不斷提升，如grok-1的參數量超過gpt-3.5，yi-9b在多個性能指標上超越同類開源模型，表明開源已成為推動ai技術民主化和創新的關鍵力量。
2、大模型能力不斷突破：從grok-1.5、ude 3到kimi智能助手，這些大模型在處理複雜指令、上下文理解和多模態交互方麵實現了顯著進步。尤其是ude 3在行業基準測試中的優異表現，以及kimi支持的超長無損上下文，彰顯了大模型在提高理解和生成能力上的巨大潛力，這對於提升ai助手的實用性和用戶體驗至關重要。
3、多模態與應用融合深化：“紫東太初 3.0”、騰訊的“follow your click”、階躍星辰的step-2模型等，這些進展不僅體現在模型參數量的增加，更重要的是在多模態處理、圖生視頻、自動駕駛等具體應用領域的深入融合。這不僅豐富了ai技術的應用場景，也為實現更加智能化、場景化的解決方案提供了技術支持。
4、企業與學術界合作緊密：騰訊與高校聯合推出模型、上海人工智能實驗室與多所大學合作推出genad等案例，體現了產學研深度融合的趨勢。這種合作模式加速了前沿技術從理論到實踐的轉化，推動了ai技術在解決實際問題上的突破。
5、商業與社會價值並重：阿裏通義千問的免費開放、紫光雲的全棧國產化升級等，既體現了企業在追求技術創新的同時，也在積極考慮其社會價值和經濟效益的平衡。這包括降低用戶成本、促進國產技術自主可控、以及提升公共服務質量等多方麵。
綜上所述，近期的這些動態不僅展現了ai技術在規模、性能、多模態處理等方麵的顯著進步，也反映了行業對於技術創新、開放合作、應用落地以及社會責任的多重關注。
熵：是的，這些趨勢預示著ai領域正朝著更加成熟、多元化和可持續的方向發展。