OpenAI服务受限？别担心，来这里丝滑玩转700亿参数Llama3，还有100元券免费薅！

OpenAI宣布自7月9日起，将不再对中国等不支持国家的用户提供API服务，这对国内开发者和企业来说是一个重大打击，意味着他们需要寻找新的解决方案。在这种情况下，Llama 3作为一个完全开源的模型，提供了一个很好的选择。用户可以根据自己的需求微调这个模型，实现独特的业务场景。

使用Llama 3之前，需要在Meta填写表格并签署协议，然后会被引导到GitHub地址下载模型。尽管下载700亿参数模型需要较长时间，但潞晨云平台已经完成了所有的下载和配置工作，提供了公开数据和配置好的推理和训练微调环境，用户无需担心代码库的依赖安装问题。

在潞晨云平台上，使用Llama 3 80亿参数的模型进行推理，只需单卡即可完成，而700亿参数的模型则需要8卡。通过选择A800显卡、潮汐计费方式以及必要的配置选项，可以快速创建并初始化机器。在实际测试中，使用单卡运行80亿参数模型进行推理，模型权重的初始化非常快捷，大约只需半分钟。

然而，在实际生成结果时，发现Llama 3 80亿参数模型的能力一般，生成的内容前后文不够严谨。此外，模型在没有给定prompt的情况下，两次生成了相同的开头，这引起了我们的好奇。通过查看ColossalAI的代码，我们发现之前使用的脚本采用了默认的prompt。更换为自定义文本提示后，虽然可以继续生成，但内容并没有达到预期的讲故事效果。

接下来，我们尝试体验了Meta-Llama-3-8B-Instruct模型的对话能力。根据Llama 3官网的对话模型指令格式，进行了测试。整体而言，Llama 3作为一个开源的大语言模型，为国内开发者和企业在面对OpenAI API服务限制的情况下，提供了一个可行的替代方案。尽管在实际使用中可能还存在一些不足之处，但通过不断的优化和调整，有望发挥出更大的潜力。

链接： 阅读原文 [ 4800字 | 20分钟 ]
作者：新智元

• • 苹果按下暂停键， 留给祝铭明们的时间不多了
• • 哈佛辍学生搞AI芯片公司：融资1.2亿美元，面向一个模型
• • 当高考志愿填报成为一门生意，AI将扮演怎样的角色？
• • 拼多多的商业叛逆：把资本主义倒过来，给穷人创造购物天堂？

• 
  

• 💡 添加关注，获取更多AIGC资讯～💡