阿里云近日宣布开源通义千问720亿参数版本Qwen-72B和18亿参数版本Qwen-1.8B,并在其开源人工智能(AI)模型社区ModelScope(魔搭)和AI协作平台Hugging Face上架。
此外,阿里云开源了更多模态的大语言模型,包括预训练的音频理解模型Qwen-Audio及其会话微调版本Qwen-Audio-Chat,可供研究与商业用途使用。
截至目前,阿里云开源了多种参数规模的大语言模型,包括18亿、70亿、140亿、720亿,并开源了具有音频和视觉理解功能的多模态大语言模型,积极贡献开源生态和社群。
阿里云首席技术官周靖人表示:开源生态对推动大语言模型发展和AI应用落地至关重要。 我们希望成为最开放的云,让每个人都能享受生成式AI的能力。 为此,我们将继续分享前沿技术技术,与合作伙伴共同促进开源社区的发展。”
Qwen-72B在十项基准测试表现均为最优
基于超过3万亿个tokens预训练,Qwen-72B在十项基准测试中的表现优于其他主流开源模型,其中包括衡量模型多任务准确性的大规模多任务语言理解(MMLU)基准测试、测试代码生成能力的HumanEval基准测试以及算术问题基准测试GSM8K等。
该模型还能熟练地处理各种复杂的任务,包括角色扮演和语言风格转换,即大语言模型能扮演特定角色,并生成与该人物相符并与上下文更相关的回复。 这些功能在个性化聊天机器人等AI应用中十分重要。
企业和科研机构可以访问Qwen-72B模型的代码、模型权重和文档,并免费用于研究目的。 对于商业用途,月活跃用户少于1亿的公司可以免费使用模型。
此外,阿里云还宣布开源可在边缘设备运行的18亿参数大语言模型。 这种轻量大语言模型可以在计算资源有限的边缘设备上进行推理,使在手机等终端设备上部署成为可能。
较小参数版本的大语言模型对计算资源的要求较低,对于希望在使用大语言模型时选择成本效益更高、更易于部署的个人来说非常有用。 18亿参数版本目前仅供研究目的使用。
通义千问探索多模态大模型 首度开源音频理解大模型
为了提供能处理更多输入格式的大语言模型,阿里云还宣布开源 Qwen-Audio和Qwen-Audio-Chat,这两款模型具有更强的音频理解能力,可供研究与商业用途使用。
Qwen-Audio可以理解各种格式的文本和语音信号,包括人声、自然声和音乐,并输出文本。 它能执行30多种音频处理任务,如多语言转录、语音编辑、音频概要与分析等。 其会话微调版本 Qwen-Audio-Chat可支持基于音频的多轮问答,并可执行多种面向音频的任务,如感知人声的情绪和语调。
这项成果是阿里云向开源社区提供多模态大型语言模型的又一贡献。 今年早些时候,阿里云宣布推出开源大规模视觉语言模型Qwen-VL及其会话微调版本Qwen-VL-Chat,可理解视觉讯息并执行视觉任务。
自8月以来,包括Qwen-7B、Qwen-14B和Qwen-VL及其会话微调版在内的开源大语言模型在阿里云开源AI模型社区ModelScope和Hugging Face上的下载量合计超过150万次。 ModelScope已成为中国最大的AI模型社区,拥有超过280万活跃开发者,迄今为止模型下载量已超过1亿次。