来源:
由Meta的羊驼发展而来的羊驼家族的一系列大型模型，成为开源AI的重要力量。
但是，LLamA是开源的，并没有完全开放。它只能用于研究目的，而且必须填写申请表。也被业界诟病。
好消息是，两个针对骆马的完全开源项目同时有了新的进展。
商业开源模式来了，还有两个:
MosaicML推出了MPT系列车型，其中70亿参数版本在性能测试中与美洲驼打成平手。
Together的RedPajama系列机型，30亿参数版本可以运行在RTX2070游戏显卡上。
对于这些发展，特斯拉前AI总监Andrej Karpathy认为开源大模型生态有寒武纪大爆发的早期迹象。
MPT，和美洲驼对半分
MPT系列模型的全称是MosaicML Pretrained Transformer，拥有70亿个参数的基本版本。
MPT是在大量数据(1T令牌)上训练的，相当于LLaMA，高于StableLM、皮媞亚等其他开源模型。
支持84k令牌长输入，用FlashAttention和FasterTransformer方法优化训练和推理速度。
在各项性能评测中，堪比原版骆马。
除了mpt-7base的基本型号之外，还有三种变体。
mpt-7 b-指令，用于跟随简短指令。
MPT-7B-聊天，用于多轮聊天对话。
MPT-7B-StoryWriter-65k+用于读写故事，支持65k令牌的长上下文，并使用小说数据集进行微调。
MosaicML由英特尔AI芯片项目Nervana的前负责人Naveen Rao创立。
公司致力于降低训练神经网络的成本，文本和图像生成推理服务的成本仅为OpenAI的1/15。
红睡衣，2070年可以跑。
RedPajama系列模型是在5TB的同名开源数据上训练的(之前提到的MPT也是用这个数据集训练的)。
除了70亿参数的基础型号，还有30亿参数的版本，可以运行在五年前发布的RTX2070游戏显卡上。
目前70亿版本已经完成80%的训练，效果已经超越同规模的皮媞亚等开源车型，略逊于美洲驼。
预计完成1T令牌的训练后可以继续提升。
Together背后的公司由苹果前高管维普·韦德·普拉卡什(Vipul Ved Prakash)、斯坦福大学大型模型研究中心主任珀西·梁(Percy Liang)和苏黎世联邦理工学院助理教授张策(Zhang Ce)共同创立。
开源模型发布后，他们的近期目标是继续将开源的RedPajama数据集扩大两倍。
还有一点
来自南美的无峰骆驼有4种，已经被大模特用光了。
Meta发布了LLaMA，斯坦福用羊驼，伯克利等单位用羊驼，Joseph Cheung等开发者团队用Guanaco。
以至于后来者已经涉及到了其他类似的动物，比如单峰骆驼，IBM的单峰骆驼，克隆羊多莉的数据布里克斯的多莉。
中国的研究团队也热衷于使用古代传说中的神兽，比如UCSD联合中山大学推出的白泽。
香港华人推出的凤凰号...
最好的是哈工大基于中医知识的骆马微调模型，取名华佗。
参考链接:
[1]
[2]
[3]
温馨提示：注：内容来源均采集于互联网，不要轻信任何，后果自负，本站不承担任何责任。若本站收录的信息无意侵犯了贵司版权，请给我们来信，我们会及时处理和回复。
原文地址"两大可商用开源大模型同时发布！性能不输 LLaMA，羊驼家族名字都不够用了"：http://www.ljycsb.cn/qukuailian/222052.html。
微信扫描二维码投放广告
▲长按图片识别二维码
