據兩位直接了解內情的消息人士透露，谷歌正與marvell半導體公司洽談，研發兩款旨在更高效運行ai模型的新晶片。其中一款是記憶體處理單元，預計將與谷歌的張量處理單元（tpu）協同作業；另一款則是專為運行ai模型而打造的全新tpu晶片。
這些舉措凸顯了市場對用於驅動大型語言模型等商業產品的ai推理晶片需求的快速增長。在三月舉行的gtc大會上，nvidia推出了一款名為「語言處理單元」（lpu）的晶片，旨在提升推理效能；該lpu基於nvidia以200億美元從新創公司groq取得授權的技術。
谷歌過去也曾向marvell採購資料中心晶片，但那些都只是現成的標準產品；然而，此次討論的核心在於開發專為谷歌量身打造的客製化半導體。這項發展再次表明，谷歌有意擺脫長期以來唯一tpu設計合作夥伴——博通，並擴大供應商陣容。
根據《資訊》2023年的一份報導，谷歌曾考慮將marvell取代博通，作為資料中心中用於連接伺服器與乙太網交換機的網路介面晶片供應商。
一名谷歌員工透露，谷歌早已計畫研發新型推理晶片，而nvidia推出lpu更是加速了這項工作。marvell曾是groq第一代lpu的晶片設計合作夥伴，因此在推理晶片設計方面擁有豐富經驗。
funda ai此前曾報導，谷歌與marvell正在就新款tpu進行磋商。
谷歌過去曾向marvell採購cxl控制器晶片；據兩位谷歌員工表示，這些晶片負責管理資料中心內各伺服器之間的記憶體共享。雙方過往的合作也讓谷歌對marvell具備共同設計更多新晶片的能力充滿信心。
兩位消息人士指出，谷歌的新記憶體處理單元將與tpu協同作業，根據運算與記憶體需求，與tpu分擔ai運算任務。雙方計劃最早於明年完成該記憶體處理單元的設計，隨後展開試產。
消息人士補充稱，谷歌預計生產近200萬顆該記憶體處理單元，不過由於談判仍處於初期階段，這一數字可能有所調整。相較之下，摩根士丹利估計，谷歌將在2027年生產約600萬顆tpu。目前尚不清楚新tpu的設計何時能定案，以及谷歌預計的產量是多少。此外，該記憶體處理單元可與現有tpu相容。
目前，谷歌的所有晶片均由台積電代工製造；至於新晶片是否也會委託台積電或其他代工廠生產，目前仍不得而知。
多年來，谷歌僅在其內部資料中心使用tpu，支援搜尋、youtube及gemini模型等服務，且僅向谷歌雲端客戶開放。這種局面去年發生改變，當時谷歌開始將tpu租賃給資料中心以外的客戶，直接挑戰nvidia在ai晶片市場的主導地位。此外，谷歌的tpu也深受anthropic、meta及蘋果等客戶的青睞。
專用推理晶片的興起，源於人工智慧公司陸續推出更複雜的產品，例如大型語言模型，這些產品所需的運算能力遠高於傳統的人工智慧應用，如聊天機器人。
然而，並非所有推理任務都相同。在回應生成的過程中，有些環節需要龐大的運算能力，而另一些則受限於晶片從記憶體讀取與寫入資料的速度。因此，針對不同任務採用不同類型的推理晶片，而非全靠單一處理器包辦一切，已成為人工智慧公司提升效率、降低成本的關鍵策略。
例如，openai近期與cerebras達成協議，將採購價值超過200億美元的推理晶片；cerebras既是nvidia的競爭對手，也是groq的競爭對手，同時openai也使用其他供應商的推理晶片。此外，openai還正與broadcom共同研發自家的推理晶片。
marvell主要設計用於資料中心的標準網路、儲存及光學互連晶片；而其為客戶客製化晶片的業務目前正迅速擴張，並已成為增長最快的部門。
自2023年起，google便試圖降低對broadcom的依賴，主因是broadcom收取的費用過高。broadcom對每一顆tpu都徵收費用，隨著tpu需求急劇攀升，google支付給broadcom的費用也隨之水漲船高。
去年，google曾引進台灣的聯發科參與tpu晶片的設計與生產，但broadcom仍是google的核心晶片設計合作夥伴。本月初，broadcom又與google簽署新協議，將在2031年前為google下一代人工智慧資料中心機架開發並供應客製化tpu及網路元件，這再次凸顯了broadcom在google晶片業務中持續扮演的核心角色。
