[TOC] Ktransformer+Deepseek R1 671B实操 一、测试目标 验证并确认Ktransformer+Deepseek R1 671B的效果是否能满足公司的需求，并得出最终的硬件要求，以最终自行购置一台服务器来跑Deepseek R1 671B. 二、目标硬件要求 根据网上的测评，拿到一个硬件要求如下：•软件环境：PyTorch 2.5.1、Python 3.12(ubuntu22.04)、Cuda 12.4•硬件环境：￮GPU：RTX 4090(24GB) * 4（实际只使用一张GPU）￮CPU：64 vCPU Intel(R) Xeon(R) Gold 6430￮内存：480G（至少需要382G）￮硬盘：1.8T（实际使用需要380G左右） 三、GPU服务器租用-选AutoDL 阿里云、腾讯云、百度云、华为云这些都有GPU服务器，但是他们的GPU都是企业级的GPU，而我们最终的目标是自建，所以只能选消费级的GPU来测试。因此首选AutoDL，但是他的服务器白天基本上一直忙，早上一大早就需要去抢才能抢到，单台服务器的内存最高120，购置4台可满足要求，其中一台硬盘要可扩到至少600G。 四、服务器环境 python版本 返回Python 3.12.3 CUDA版本 返回nvcc: NVIDIA (R) Cuda compiler driverCopyright (c) 2005-2023 NVIDIA CorporationBuilt on Mon_Apr__3_17:16:06_PDT_2023Cuda compilation tools, release 12.1, V12.1.105Build cuda_12.1.r12.1/compiler.32688072_0 torch版本 返回2.6.0+cu124 […]
Yearly Archives: 2025
摘要 「Ray-Ban Meta 的成功不是因为踩中了风口，而是（Meta）打造了风暴本身」。 2 月 26 日，从多方消息来源可以确认，小米将会在 2 月 27 日晚的新品发布会上，首次公布小米 AI 眼镜包括外观、功能乃至售价等相关信息。 相对于 27 日发布会主角小米 SU7 Ultra，小米 AI 眼镜的名气可能没有那么大，但是它对于国内 AI 眼镜行业来说，却有可能是重要的转折点。 不过，如果你期待看到小米举起屠刀，推出一款「999 元」的 AI 眼镜，一举将 AI 眼镜推向大众，那大概率要失望了。 根据业内信息，小米首款 AI 眼镜整体规格将对标 Ray-Ban Meta，在售价上也将超过 2000 元人民币。 为什么小米选择在这个时候，推出 AI 眼镜产品。而为什么团队没有选择「小米价」？小米 AI 眼镜，能否像 DeepSeek 激活 AI 行业一样，激活整个中国的 AI 眼镜行业？ 01 999？别想了！ 根据业内人士透露，小米有可能在 27 日曝光的小米 […]
看到一个开源项目的界面挺漂亮的，想扒拉过来，学习一下。 做人至少要稍微厚道一点点，都已经要模仿他的界面了，那至少先给他推个广告吧 官网：https://realchar.ai/ 项目：https://github.com/Shaunwei/RealChar 想要模仿的界面 我们先来看看他的界面： 首页是这样的 然后如果点了Chat with me进去后，整个界面是这样的 整个界面看上去给人一种非常清爽的感觉。喜欢，我也想要。可写界面代码这件事情我完全不会，那就交给LLM来帮我做。因为看到豆包的界面上有一个AI编程的功能，今天就用豆包来试试看。在豆包网页的“AI编程”里点进去，然后： 豆包AI编程 – 输入github仓库 打开豆包后，在左边点AI编程，然后再在输入框下面点Github仓库 输入Github仓库：https://github.com/Shaunwei/RealChar 版本1：基础界面 输入： 想把这个项目里的前端代码用html+javascript来实现一下 豆包： 要将 Next.js 项目中的前端代码转换为纯 HTML + JavaScript 实现，需要对现有代码进行一些调整。以下是一个大致的步骤和示例代码，这里以 RealChar/client/next-web/src/app/page.js 为例进行转换：步骤创建 HTML 文件：创建一个 index.html 文件，将 Next.js 组件转换为 HTML 结构。提取 JavaScript 逻辑：将 Next.js 中的 JavaScript 逻辑提取出来，放入一个单独的 JavaScript 文件中。处理数据获取：Next.js 中的数据获取需要转换为纯 JavaScript 的异步请求。示例代码index.html script.js styles.css […]
学习目标 希望可以在寒假过年前基本了解掌握一点关于3D虚拟人方面的知识，并做一个简单的练习。 技术方案选型 最近DeepSeek火的一蹋糊涂，我也去注册了一个账号，所以问问题改用了DeepSeek。先来问问DeepSeek的意见.问题： 我想做一个基于网页的3d虚拟人，请帮我挑选3到5个可选的开源技术方案，将他们各自的优劣点进行对比，并给出一个建议的方案 回答：
1. 春考情况 春考结束了，希望是春考后不用再看英语了，但是这次春考的题目感觉比之前做过的每一个模拟卷都难，尤其是星期一的听力，上午和下午两套题差异明显，众多同学都普遍认为下午的比较简单，都是之前练习时涉及比较广泛的，而上午的则是一些新的、之前未涉及的一些内容，我参加的是上午的，心理有一些忐忑。但我知道这个时候我应该放下，不管怎么样，考完了就是考完了，一切等1月21日见分晓。 今天把聊天机器人在老爸的指导下，照着教程改了一下，主要学习的是django框架下的一些数据库操作，修改涉及内容： 2. 学习笔记 为后端加了数据库 共三个model1）agent model （希望可以做成多个智能体）2）session model（会话模型）3）message model（聊天消息模型） 照着文心一言给生成的数据库，并生成了这三个model的代码。然后再：1）python manage.py makemigrations 生成迁移文件2）python manage.py migrate 更新到数据库 并学习和了解了在用户认证中的token, 聊天中的session等等一些概念、名词及意义。token: 用户登录到后端后，后端会为这个用户生成一个独一无二的字符串，来代表这个用户，登录成功拿到这个token后，前端再与后端做交互的话，可以用这个token代表他自己，不需要每个交互请求都认证一遍。session: 这个比较了理解，在所有的大模型里都是这么一个用法，不展开了。 记录保存数据库 照着https://docs.djangoproject.com/zh-hans/5.1/ 介绍，尝试理解django里的model，view的概念。然后将我和智能体之间的聊天记录可以保存到创建的这个数据库，其中有几个点是需要注意的： 后端的信息传递到前端 有些数据是存储在后端的，前端一开始没有，所以第一次交互的时候都是空值，比如像上面那些user_id, session_id, agent_id，第一次请求到后端后，我们可以在后端生成或者获取到这些信息，而我们在拿到大模型的答复后，在响应里可以把这些信息一并带回前端，那样后面前端就有了所有这些信息，后续的交互里内容就完整了。 前端如何接收来自后端的数据 好多种方法，先练习一个，具体看代码。 一边问文心一言，一边改，改了好久，文心一言给了好多代码，但是许多代码跟前面的代码不搭，跑不起来，或者跑起来有问题。从中午12点到晚上18点，今天花的时间有点多了，不过总算把功能都走通了，开心。晚一点递交代码到github。