You may also like
一、前言 1. 本文目标 你有没有问过大模型“你是谁”？问了的话，拿到的答案清一色都是大模型厂商的名字。而如果你自己部署了一个模型的话，通常都希望有人在你的应用里问你是谁的时候能给出一个“你的答案”。这篇文章就是干这个事情的，20分钟让大模型的名字变成你自己的名字。 2. 大模型入门系列介绍 前阵子介绍了两个【有手就行】的大模型基础知识，今天是大模型开发【有手就行】的第三篇。 前两部在这里： 这个是入门三步曲最后一步：MS-SWIFT认知微调，把大模型的名字改成你的名字。 上手学习大模型、人工智能相关的开发并没有什么太过高深的门槛，真的很简单，真的就是【有手就行】。 二、SWIFT认知微调相关的一些废话 1. 什么是ms-swift ms-swift（全称 Scalable lightWeight Infrastructure for Fine‑Tuning）是阿里的魔搭社区（ModelScope） 推出的一个大模型全流程工程化框架，是 “大模型轻量微调与部署的基础设施”，在消费级 GPU […]
I bought myself a new notebook last Saturday, and installed a lot develop softwares on it. But when I tried to install […]
相比于ollama, llama.cpp等框架, vllm是一个可以产品化部署的方案，适用于需要大规模部署和高并发推理的场景，采用 PagedAttention 技术，能够有效减少内存碎片，提高内存利用率，从而显著提升推理速度。在处理长序列输入时，性能优势更为明显。因此，今天先用vllm来验证一下QWQ32B 的情况。 硬件环境 租的AutoDL的GPU服务器做的测试 •软件环境 PyTorch 2.5.1、Python 3.12(ubuntu22.04)、Cuda 12.1 •硬件环境 ￮GPU：RTX 4090(24GB) * 2 ￮CPU：64 vCPU Intel(R) Xeon(R) […]
[TOC] 前言 由于买的这个阿里云ECS是最低配的（2核1G内存），小落同学的后台进程经常会被莫名奇妙的杀掉，因此拟给加个看门狗保护下。整个保护分成两部分：1）进程检测脚本：watchdog.sh2）将检测脚本加入crontab 具体步骤如下。 进程检测脚本：watchdog.sh 利用一个配置文件，将小落同学绑定的端口及进程启动脚本在配置文件里配置好。然后再用一个脚本去telnet这个端口，若telnet成功，说明进程还活着，否则就是进程没了，需调用启动脚本进行启动。 配置文件 小落同学总共有两个进程，分别是backend和frontend，各使用8000端口和3000端口。文件名：watchdog.list 脚本内容 文件名：watchdog.sh 将检测脚本加入crontab 查看下当前cronjob列表。 查看命令 结果 加入小落同学相关的进程监控脚本 用crontab -e编辑，并加入小落同学相关的进程监控脚本，并将其设置为每分钟都检测一下。 查看当前back-end进程情况 返回8000端口进程情况 手动杀进程，看看能不能恢复？ 杀进程后，等一会儿再看看进程有没有重新启来？ 其它 […]