Google 研究員表示「我們沒有護城河，OpenAI 也一樣沒有護城河」
谷歌沒有護城河是指二〇二三年一份據稱由谷歌內部研究員撰寫的外洩備忘錄核心觀點，指出儘管谷歌與OpenAI在大型語言模型領域暫居領先，但開源社群的快速崛起已從根本上動搖其競爭優勢。自Meta洩漏初代羊駝模型以來，開源語言模型生態蓬勃發展，尤其是低秩適應技術的突破，使開發者能在消費級硬體上以極低成本完成模型的任務微調，大幅降低客製化語言模型的技術與資金門檻。低秩適應技術原理是將模型權重更新表示為低秩矩陣分解，縮小更新矩陣規模以降低計算成本與訓練時間。相比之下，閉源商業模型在快速迭代、即時整合新知識與滿足資安需求等方面靈活性不足。備忘錄建議谷歌與開源社群合作而非直接對抗，善用開源生態為自身工作，才是在開源浪潮中維持競爭力的正確策略。
Google 研究員表示「我們沒有護城河，OpenAI 也一樣沒有護城河」。這份洩漏自 Google 內部的備忘錄，由 SemiAnalysis 首次公開，掀起了業界的廣泛討論。儘管 Google 和 OpenAI 的人工智慧模型目前在領域中處於領先地位，但開源技術正在挑戰其地位。
自從 Meta 洩漏了 Llama 模型以來，開源大型語言模型如雨後春筍般催生，已經解決了許多模型建立的重要問題。其中一個比較令人注目的技術是 LoRA，它代表低秩適應技術（Low-Rank Adaptation 論文）。
LoRA 技術的原理是將模型更新表示為低秩因數分解，進而減小更新矩陣的大小，降低成本和時間。使用 LoRA + LLM 技術，開發者可以在消費級硬體上客製化語言模型，這對於那些有資安疑慮和需要即時整合新知識和多樣性的專案來說更為重要。
面對開源模型，Google 和 OpenAI 並沒有任何護城河來保護其領先地位，最好的解決方案是和這些專案的開發者或公司學習和合作。Google 應更多地關注開源技術的發展，直接與開源競爭是不明智的，因為開源有重要的優勢。我們應該讓開源為我們工作。
總結：Google 和 OpenAI 沒有什麼獨特優勢，開源社區正在快速發展 LLM 模型。Google 應該學習和合作，將小型變體納入考慮，更多關注 LoRA 技術，並讓開源為自己工作。