解鎖阿聯酋方言與文化：專為在地語境打造的 Falcon-Emirati-7B 模型
Falcon-Emirati-7B: Bridging the Gap in Emirati Arabic Dialect and Culture
阿聯酋阿拉伯語富含口語方言與文化隱喻（如 Nabati 詩歌），僅理解現代標準阿拉伯語（MSA）的通用模型常漏失其真實意圖。為了突破此瓶頸，團隊在 Falcon-H1（Mamba 與 Transformer 混合架構）基礎上，融合了真實論壇方言、文化歷史文獻，以及受嚴格字典限制的合成資料，打造出 Falcon-Emirati-7B。它在專屬測試基準「Alyah」上取得了 84.83% 的優異成績，且能真正以阿聯酋方言進行自然對話。
核心重點
混合架構奠定實力
基於 Falcon-H1-Arabic，結合 Mamba 的線性時間效率與 Transformer 的長距離依賴精準度，適合處理結構複雜的阿拉伯語。
三管齊下的資料管線
整合阿聯酋論壇真實口語、關於在地文化與歷史的標準語文獻，以及受字表嚴格限制的高品質合成方言資料。
極致的方言忠實度
在 Gemini 3.7 評估中，該模型在被問及方言時能始終如一地以阿聯酋方言回答，而非像其他模型般退回標準阿拉伯語。
小尺寸展現大能耐
7B 參數模型在 Alyah 基準測試上擊敗了體積大其數倍的多語言與通用阿拉伯語模型，展現高性價比的在地化表現。
技術圖解
為什麼重要
這項研究證明，模型規模（Scale）並非解決方言與文化理解的唯一途徑。透過精準的在地化資料管線、合成數據限制以及專用的 Alyah 評測基準，中小型模型（7B）也能在特定的區域語境中擊敗巨型模型。這為全球其他非主流或口語方言的 LLM 在地化開發提供了極具價值的實踐範本。
對誰有影響
- AI 開發者
- AI 研究人員
- 企業決策者
- 內容創作者
可以怎麼使用
- 1海灣與阿聯酋地區的在地化客服系統與虛擬助理
- 2阿聯酋文化遺產、民俗與 Nabati 詩歌的數位化解析與翻譯
- 3針對在地社群媒體的口語化內容生成與真實情感分析
限制與注意事項
- 面對極罕見的方言詞彙、高度在地化的特定指涉或邊角案例時，模型仍可能產生錯誤或幻覺。
- 訓練資料可能包含潛在偏見，且方言與文化的適切性本質上具有主觀性，建議在敏感或官方場景使用前進行人工評估。
延伸閱讀
LESSER：僅用輸出層梯度，實現高達 9.7 倍加速的 LLM 訓練後資料篩選
LESSER: High-Efficiency Post-Training Data Selection Using Output-Layer Gradients
研究團隊推出 LESSER 框架，利用僅需前向傳播的「輸出層梯度」取代昂貴的全參數反向傳播，大幅降低 LLM 訓練後資料篩選的運算成本。
TACO 最佳化器：將 32B 大模型全參數微調帶入單張 GPU 的極簡幾何學
TACO Optimizer: Unleashing Full-Parameter 32B LLM Fine-Tuning on a Single GPU
TACO 是一款新型超低記憶體最佳化器，透過在權重矩陣每行中僅保留最大幅度的梯度符號，將最佳化器狀態記憶體縮減 174 倍，讓單張 GPU 即可微調 32B 模型。
層級連續擴散語言模型：結合離散 Token 與連續潛在軌跡的全新生成架構
Hierarchical Continuous Diffusion Language Models: Coupling Discrete Tokens with Continuous Latents
HC-DLM 透過將離散 Token 生成與連續潛在軌跡結合於單一去噪過程中，克服了傳統離散與連續擴散語言模型的局限性，在結構化推理與語言建模任務上表現優異。