小米大模型交成績單

距4月14日雷軍官宣殺入大模型不到4個月，小米大模型終于首次曝光，并交出了一份初步成績單！

多方消息顯示，小米大模型MiLM-6B現身C-Eval、CMMLU大模型評測榜單。

根據GitHub項目頁給出的信息，MiLM-6B（下稱：小米大模型）是由小米開發的一個大規模預訓練語言模型，參數規模為64億。

相關頁面顯示，小米大模型在C-Eval榜單中排名第9、同參數量級排名第1，在CMMLU中文向大模型排名第1。

值得一提的是，雷軍將于下周一（8月14日）晚間的新品發布會上，發表年度演講。

本次演講以“成長”為主題，雷軍發布的微博透露，“當初做的一個決定，改變了我的一生。”而且，這個決定讓他慶幸至今。

外界猜測，雷軍年度演講的內容，除了與小米造車相關，或許還將與小米籌備已久的大模型有關。

小米大模型取得雙“第一”，下周一或亮相

C-Eval榜單，全稱C-Eval全球大模型綜合性考試測試榜，是由清華大學、上海交通大學和愛丁堡大學合作構建的中文語言模型綜合性考試評估套件。

該套件覆蓋人文、社科、理工、其他專業四個大方向，包括52個學科，涵蓋微積分、線性代數等多個知識領域。共有13948道中文知識和推理型題目，難度分為中學、本科、研究生、職業等四個考試級別，能夠更加全面的對模型的語言處理能力進行評估，對中文社區語言大模型的研發有著很好的參考價值。

具體而言，在C-Eval評估中，小米大模型的平均分為60.2，在STEM、社會科學、人文科學、其他這四個類別中，均取得了不錯的表現。

其中，在STEM（科學、技術、工程和數學教育）全部20個科目中，小米大模型得分54.5，在計量師、物理、化學、生物等多個項目中獲得了較高的準確率；在10個社會科學科目中，小米大模型得分71.7，在教育學和地理外的所有科目中，獲得了較為理想的準確率；在11個人文科學科目中，小米大模型得分62.7，在歷史與法律基礎上，獲得了不錯的準確率；在其他分類下，小米大模型則得分57.7。

整體而言，小米大模型在法學、數學、編程、概率論、離散數學等科目上的表現，仍然有明顯進步空間。

CMMLU，則是由MBZUAI、上海交通大學、微軟亞洲研究院合作完成的，一個全面的中文大模型基準。它涵蓋了67個主題，涉及自然科學、社會科學、工程、人文、以及常識等，可以全面地評估大模型在中文知識儲備和語言理解上的能力。

在CMMLU中文向大模型評估中，小米大模型在zero-shot和five-shot測試中的平均分分別為60.37和57.17，表現出良好的知識和推理能力。

在zero-shot測試中，小米大模型在人文學科得分63.49，社會科學得分66.2，其他得分62.14，中國特定主題得分62.07，平均分為60.37。

在five-shot測試中，小米大模型在人文學科得分61.12，社會科學得分61.68，其他得分58.84，中國特定主題得分59.39，平均分為57.17。

小米大模型首次曝光于上述兩個評測榜單中，并取得“雙第一”的不錯成績，也為其接下來的亮相，帶來了充足底氣。

至于亮相的時間，或許就在下周一，小米舉辦的新品發布會中，雷軍的年度演講環節。

此前，雷軍曾表示，“今年的演講比前幾年更長些，演講之后是我們的年度新品發布，還會披露我們技術探索的新進展。今年內容也非常多，估計3小時左右。”

雷軍口中的“技術探索的新進展”，除了小米汽車，可能就要數小米大模型了。

任命欒劍做領頭人，千人團隊百億研發護航

4月14日，據澎湃新聞報道，小米集團發布內部郵件，任命欒劍擔任技術委員會AI實驗室大模型團隊負責人，向技術委員會副主席、AI實驗室主任王斌匯報。

公開資料顯示，欒劍現任小米技術委員會AI實驗室語音生成團隊負責人，曾任東芝研究院研究員、微軟工程院高級語音科學家、微軟小冰首席語音科學家及語音團隊負責人等職位。

緊隨其后，雷軍于4月14日晚間在微博發文，首度談及小米對大模型和AIGC的看法。

“全力以赴、堅決擁抱”，雷軍為小米大模型發展定調！他還透露，對于大模型，小米“正在研發一些有趣的技術和產品，等我們打磨好了，再給大家展示。”

雷軍在微博提及小米，在AI領域有AI實驗室、小愛同學、自動駕駛等團隊。

此外，從服務能力協同來看，雷軍手中亦有金山云這張底牌。金山云是金山軟件的附屬公司，在公司掌舵人雷軍超前布局下，是與阿里巴巴最早在中國全力進軍云計算的企業。

要知道，ChatGPT熱潮帶來的AI競爭，最直接的受益者正是云計算平臺。一方面，生成式AI應用背后的大模型需要更強的算力；另一方面，區別于傳統云計算平臺提供的算力、存儲等資源，擁有大模型的云廠商未來可以提供基于大模型開發應用。

早在今年2月的小米投資者日上，對于小米在ChatGPT上的布局，小米手機部總裁曾學忠就表示，ChatGPT基于AI大模型、千億級參數量、數據量、還有人工標注支撐，AI大模型方面小米一直都有投入。手機和汽車業務有很多AI大模型落地的場景。

隨后，在今年3月的2022年財報電話會議上，小米集團總裁盧偉冰談到ChatGPT相關問題時表示，小米很早就在AI大模型方面進行了許多部署，同時采用了多技術路線并行的策略，小愛同學就是小米大模型落地的代表。

5月24日晚，小米披露的2023年第一季度業績數據中提到，目前小米AI領域相關研發人員超1200人，未來小米將不斷挖掘AI相關的用戶場景，發揮技術優勢，并以開放的態度與合作伙伴開拓更多機會。

盧偉冰再次強調，小米會積極擁抱大模型技術，但小米不會像OpenAI那樣去做通用大模型，而是尋求大模型與自身業務的深度協同，例如與小愛同學、MIUI、機器人等業務相結合，同時也不斷提升集團的內部工作效率。

小米副總裁、首席財務官林世偉也在業績電話會上透露，“已經把業內大模型團隊都過了一遍”，小米會采用慣用的“打法”，也就是戰略投資等方式，來實現AI大模型方面的生態合作。

第一季度業績數據還顯示，小米一季度持續投入研發，研發支出同比增長17.7%達41億元。小米表示，預計2023年總研發投入將超200億元。

從目前綜合信息來看，小米大模型“萬事俱備，只欠東風”。下周一晚間，能否見證它的正式亮相，外界正翹首以待。