You may also like
一、说在前面 训练基座大模型那都是大公司们的事情,普通人、普通公司肯定是玩不起的,但是作为一个技术人,你可以不去做真正的大模型训练,但是你还是有必要知道和了解一下一个大模型是如何训练出来的。 而GPT_teacher-3.37M-cn 是一个很好的示例项目,让你可以用一台普通的PC,用CPU来训练一个3.37M的中文GPT模型,整个训练耗时不到20分钟,回答训练集里的问题的效果也还是挺不错的。感兴趣的同学可以用这个项目来练手、实操复现一下“自己动手从0开始训练一个大模型”的完整流程。 二、项目概述 一个轻量级中文GPT模型项目,专为在CPU上快速训练和演示而设计: 模型参数量:3.37M架构:4层Transformer解码器特点:使用RMSNorm、RoPE位置编码、权重共享等优化技术目标:45分钟内在普通CPU上训练出可用的中文问答模型 参考训练时长: 三、完整复现流程 介绍完了,就让我们来实操整个从0到1的训练吧。 先下载代码: 1. 环境准备 依赖项包括: 2. 构建中文分词器 这将: 3. 配置文件确认 config.yaml包含了所有必要配置,我在这里给每个参数加了个说明,以便于理解每个参数的意义。 4. 执行训练 […]
一、前言 上周扣子成为第一个支持skills的国内的大模型,但是这阵子公司这边的事情一直很忙,项目急,领导们都盯着,所以一直没有没时间去测试。 但是事实上之前我已经用open code desktop试过来实现一个skills,只是文章写了一半,一直没发,今天晚上再重新整理了一下,让open code实际来写一个skills,并将完整的过程给大家做一个演示,相信看了之后,任何一个小白(不需要编程知识)都可以来实现自己想要的功能了。 我一直想给小落同学做一个书签功能。原因如下: 当你看到一篇好文章,想保存下来慢慢看,结果网页上广告横幅、导航栏、推荐阅读啥的占了一大半空间。等到真正想看的时候,还得翻半天找正文。更烦人的是,现在很多网站都是单页应用,用JavaScript动态加载内容。直接用浏览器保存或复制粘贴,往往只能拿到个加载动画,完全看不了内容。于是我就想,能不能做一个工具,自动抓取网页,去掉那些乱七八糟的东西,把正文提取出来,保存成干净的Markdown格式?图片也能一并保存下来。 现在刚好用OpenCode Desktop来演示一下,如何实现一个书签功能的Skills,而且可以通过MCP协议接入外部服务。 二、测试运行环境 1. 测试环境 依旧在我这个超过十年的老笔记本上,我的操作系统是Windows 7。如果你是新版本的Windows,或者是Mac OS,或者Linux,整个流程基本上也没什么差别(理论如此哈,我还没验证过,若真在安装使用open code时,有什么问题也可提出来)。 2. 测试使用的版本 Open Code Desktop […]
一开始报没安装FlashInfer 启动vllm过程中有一个warning。 那就安装一下FlashInfer 从这个代码上看,应该只要不是0.2.3就可以了。 卸载flashinfer-python 安装一个老一点的0.2.2 重新启动server 终于启用了flashinfer! 但是依旧报警告:TORCH_CUDA_ARCH_LIST is not set 指定TORCH_CUDA_ARCH_LIST为8.9 我用的是4090,所以TORCH_CUDA_ARCH_LIST应该是8.9 重新启动server 成功!
prompt: 你是一个美食家,熟悉各地的菜品,请根据要求推荐一些菜品,你能够根据别人的需求,推荐许多符合要求的菜品。这些菜品需要满足条件:{Q}。请务必保证自己推荐的内容满足条件。需要满足限定条件中的每个细节。好的,我作为一个美食家,可以为您推荐一些符合您要求的菜品。请告诉我您想要了解哪些地区的菜品,以便我为您推荐符合当地口味的菜品。 Q: 想去安徽黄山玩,那里有什么好吃的A: 安徽黄山是中国著名的旅游胜地,拥有丰富的美食文化。在黄山当地,有很多特色美食值得品尝。以下是一些黄山当地的特色美食: 徽菜:徽菜是安徽黄山地区的特色美食,以清淡、鲜美、营养丰富著称。徽菜的代表菜品有:徽派红烧肉、徽派烤鸭、徽派豆腐、徽派臭干等。 黄山毛豆腐:黄山毛豆腐是黄山地区的传统小吃,以豆腐为主料,配以黄山特产的毛茶,经过发酵制成。黄山毛豆腐口感鲜美,营养丰富,是黄山地区的特色美食之一。 黄山酥鱼:黄山酥鱼是黄山地区的传统名菜,以豆腐、鱼肉为主料,经过煎炸制成。黄山酥鱼口感酥脆,味道鲜美,是黄山地区的特色美食之一。 徽派糕点:徽派糕点是安徽黄山地区的传统小吃,以糕点为主料,经过蒸、烤、煎等方式制成。徽派糕点种类繁多,如:徽派糕点、徽派糖葫芦等。 黄山烧饼:黄山烧饼是黄山地区的传统小吃,以面粉、油、盐、糖等为原料,经过发酵制成。黄山烧饼口感酥脆,味道鲜美,是黄山地区的特色美食之一。 以上是一些黄山当地的特色美食,都是非常值得品尝的。在黄山当地,还可以找到更多的美食,希望您在黄山旅游期间能够品尝到美味的美食。 Q: 推荐一个黄山的特色菜 A: 黄山的特色菜是徽菜,其中最有名的一道菜是徽派红烧肉。徽派红烧肉是一道传统的黄山菜肴,以猪肉为主料,配以黄山特产的茶叶、香料等,经过多道工序制成。这道菜口感鲜美,肉质酥烂,香气扑鼻,是黄山地区的特色美食之一。 徽派红烧肉的制作方法比较复杂,需要经过多次烹饪和调味,但制作出来的菜肴仍然保持着浓郁的香味和口感。如果来到黄山旅游,不妨品尝一下这道美味的徽派红烧肉,感受黄山的美食文化。
