新創公司 Subquadratic 聲稱突破 LLM 瓶頸，推出 SubQ 模型

媒體報導指出，邁阿密 AI 新創公司 Subquadratic 在上月脫離隱身模式，宣稱解決了阻礙大語言模型發展近十年的數學瓶頸。公司開發了名為 SubQ 的新型 LLM，聲稱其速度更快、成本更低，且能耗大幅減少，同時能處理多達十二倍的文本量，適用於分析整個程式碼庫或數百頁文件等數據密集任務。Subquadratic 表示，SubQ 在編碼等關鍵任務上能匹配 Google DeepMind、OpenAI 和 Anthropic 的頂尖模型。然而，最初僅提供自行發布的測試分數，導致外界質疑，甚至有評論將其比作「AI 版 Theranos」。近期，公司公佈了第三方公司 Appen 的獨立評估結果，這些結果支持了其主張。Appen 的生成式 AI 研究總監 Jeanine Sinanan-Singh 表示，這驗證了其架構，可能是遊戲規則改變者，因為模型常面臨速度和效率問題。Subquadratic 的技術核心是採用稀疏注意力取代傳統密集注意力，大幅減少計算需求。公司共同創辦人兼技術長 Alex Whedon 解釋，並非所有詞彙間關係都重要，稀疏注意力只選擇部分數字相乘，從而降低成本。儘管技術前景看好，公司仍需讓更多人實際測試 SubQ 以驗證其突破，並希望推動 LLM 建構的新時代效率。