LLM、AI晶片性能躍升,800G光互連時代提前到來
摘要
本篇報告一方面聚焦2024年AIGC應用大舉入市、大型語言模型(LLM)蓬勃發展的趨勢,另一方面則探討支撐多元應用、模型發展之AI晶片加速升級,何以帶動800G光互連(Optical Interconnect)解決方案需求。
一. AIGC應用持續擴張,LLM群雄並起
二. 為擴展雲端AI運算,核心晶片加速升級迭代
三. 突破巨量資料傳輸瓶頸,800G光互連將成主流
四. 拓墣觀點
圖一 推估訓練GPT 4、Llama 4所需之AI晶片與光互連數量
圖二 2024、2026年400G、800G光模組市場占比推估
表一 比較Runway Pro、Pika Pro與ChatGPT Plus
表二 2024年推出之LLM舉要
表三 新創AI廠商於2024年發表之LLM測試成績舉要
表四 NVIDIA A100、H200與B200晶片比較
表五 Meta MTIA v1與v2晶片比較
表六 指標廠商自2019年以來推出的AI晶片
表七 有望受惠於800G光互連需求攀升之台灣廠商舉要