肿瘤康复网 > 国产开源ChatGPT模型对比

国产开源ChatGPT模型对比

时间：2022-03-07 07:01:28

相关推荐

国产开源ChatGPT模型对比(大雾)

概述

为什么要做国产开源ChatGPT模型对比呢(大雾)，答案显而易见嘛。最近尤其是这阵子ChatGPT爆火, 2月3日在ChatGPT推出仅两个月后，它在1月末的月活用户已经突破了1亿，成为史上用户增长速度最快的消费级应用程序。

而要达到这个用户量，TikTok用了9个月，Instagram则花了2年半的时间。作为一款聊天机器人，凭借大规模预训练模型GPT3.5(~100B参数)、指令微调尤其是人类反馈强化学习微调(RLHF,OpenAI在强化学习领域有独特的创见)等两件法宝，

ChatGPT拥有充足的知识储备和不可思议的问答逻辑性，尤其是强悍的多轮问答能力，满足了广罗大众对通用人工智能的幻想，那么其快速出圈就顺理成章了。此外，谷歌与OpenAI的恩怨情仇，那更是大家喜闻乐见的吃瓜情节啦。

让我们恭喜OpenAI这个bi，终于一洗往日的阴霾(或许是早前BERT始终压GPT一头)。果然，竞争、对抗才能迸发创造力呀。

简介

回到正题，让我们今天收集汇总一下当前的国产开源ChatGPT模型(.02.08)。

一、基本信息

二、训练过程

2.1 ChatGPT

步骤

a. 训练GPT3.5系列模型, 在45TB数据上进行文本预训练(学习语言建模, GPT3), 在代码数据集上进行预训练(包括代码理解与生成, Codex), GPT3.5的参数量为175B;b. 有监督的指令微调(类似Instruct-GPT, Supervised Fine-tuning, SFT), 在高质量开源任务数据集上微调, 遵循人类指令, 为了泛化到没有见过的任务;c. 强化学习版有监督的指令微调(12.9k数据？ Reinforcement Learning From Human Feedback, RLHF), 基于人类偏好, 从人类的反馈中标注排序;d. 思维链提示微调(Chain-of-thought, CoT), 使用逐步推理的指令数据集(对话数据集), Think step by step;

2.2 ChatRWKV

步骤

a. 训练RWKV-4模型, 类似GPT(linear transformer的RNN), 早期用于小说生成, 使用的Pile数据集有800GB语料;b. 中英文语料指令微调(已知的有95G开源多语言数据xP3, 使用到的是en数据37.43G和zh数据4.38G), 指令微调模板为bigscience/promptsource, 注意这里只用了QA模板;c. 训练时间(存疑?), 显卡100-1000张A100(存疑?): RWKV-4-1.5b-8040训练了45天; RWKV-4-3b-8023训练了28天; RWKV-4-7b-8047训练了65天; RWKV-4-14b-7324训练了109天;

2.3 ChatYuan

步骤

a. 在T5模型上继续训练, 数百G中文语料(400G存疑?)中文语料上进行语言模型的预训练;b. 指令微调PromptCLUE, 在已有的开源16个任务类型150+数据集(几百个数据集累积亿级别任务数据, 200M存疑?)训练, 也和a交替训练, 防止灾难遗忘;c. 多轮对话语料(数亿条功能对话多轮对话数据(200M?存疑))指令微调;d. 训练时间/显卡: 500张V100训练一个月;

2.4 SkyText

步骤

a. 训练GPT2模型, 千亿级别的高质量数据(400G存疑?)中文语料上进行语言模型的预训练, 支持聊天、问答、中英互译、分类、文本续写、生成菜谱/对联/哲理/五言诗/采访/对联, 其他未知;d. 训练时间/显卡: SkyText-14B使用A100-GPU集群，训练200张显卡，训练4周，后续优化2周;