欢迎来智东西
登录
免费注册
我的订阅
关注我们
智东西
车东西
芯东西
智猩猩
阿里首次开源MoE架构大模型
2024-03-29
X
18
智东西3月29日消息,根据社交平台X,阿里昨日首次宣布开源MoE技术大模型Qwen1.5-MoE-A2.7B,这个模型以现有的Qwen-1.8B模型为基础。Qwen1.5-MoE-A2.7B激活参数为2.7亿,但在一系列基准评估中可以达到7B模型的性能。此外,与7B模型相比,它在训练成本和推理速度上具有显著优势。据官方评测显示,Qwen1.5-MoE-A2.7B在与最佳的7B模型相比取得了非常接近的性能。
GitHub地址:https://github.com/QwenLM/Qwen1.5
Hugging Face地址:https://huggingface.co/Qwen
大模型

加载中...