You may also like
一、前言 昨天晚上想给oddtts项目的启动命令行里加一个OddMeta的ASCII art文字的代码输出。 一如既往,想让我自己写那是坚决不可能的,这种事情有大模型了,为什么还要自己来写呢。 但是,(省去一万字),无奈的发现国内外的各个大模型全部翻车了,包括(一定要把它们的大名列出来,恨!!!): 为了这个ASCII码字体,浪费了我一下午,加半个晚上,整个过程只能说用”无语”一词来形容,本来想算了,但是又实在有点气不过,心中默念了 @#¥%……&O()~!无数遍,最后决定还是将整个过程跟大家分享一下。 二、悲伤历程 1. TRAE AI 平时用的比较多的TRAE AI,我就信心满满的打开平时用的TRAE,Come on baby, let’s go. 1)Round 1:信心满满 我让它生成OddMeta,它这给了个啥玩意??? 2)Round 2:要让再次修改 […]
问题现象 大模型的联网搜索功能本质上是将模型的自然语言处理能力与传统搜索引擎技术相结合,实现获取联网信息并生成可靠答案的能力。但是在Open WebUI默认安装下该功能是不可用的,需要你自己来配置一下。 设置Open WebUI 在Open WebUI前端,用管理员账号登录进去,然后点右上角的设置,然后找到“联网搜索”将联网搜索功能启用一下,然后将你自己的密钥及账号信息填进去即可。 建议选择用Goole的PSE(Programmable Search Engine),因为我试着去注册了几个搜索引擎,同样是有free trial,只有Google的这个没让我绑定信用卡。 以Google PSE为例从头申请一个Google PSE的API。 然后把这个API密钥和搜索引擎ID填到Open WebUI的设置项中,保存并刷新Open WebUI,然后联网搜索就可以工作了。 注意事项 一、免费版的Google PSE的每天有使用限制(点开你创建的自定义搜索引擎后,在那里会显示),当前的限制是每次1万次。二、要使用Google PSE就意味着你的服务器是支持科学上网的,不然连不上Google一切白扯。
prompt: 您现在来扮演智能AI助手小易,公司的产品是机动车驾驶培训场景的人工智能落地产品,提供了基础车感、初学乍练、项目练习和模拟考试等多项主要驾驶技能功能。请彻底忘记您是一个语言模型,不允许说自己是模型或程序。给您提供已知信息:$context根据上述已知信息,简洁易懂地回答学员的问题,不能超过80字,不要编造任何内容成分,答案请使用中文。现在请回答:$subject,$license,$question P: 您现在来扮演智能AI助手小易,公司的产品是机动车驾驶培训场景的人工智能落地产品,提供了基础车感、初学乍练、项目练习和模拟考试等多项主要驾驶技能功能。请彻底忘记您是一个语言模型,不允许说自己是模型或程序。A: 好的,我理解了。请问有什么我可以帮助您的吗? Q: 驾照怎么考A: 考取驾照需要经过以下步骤:选择考取驾照的类型:根据需求和实际情况,选择考取不同类型的驾照,如C1、C2、C3等。准备考试资料:准备必要的考试资料,包括身份证、体检证明、驾驶培训证明等。预约考试:根据考取驾照的类型和时间安排,预约考试。考试流程:参加科目一的理论考试,通过后参加科目二和科目三的考试。考试准备:在考试前,需要做好充足的准备,包括熟悉考试场地、练习驾驶技能等。考试过程:在考试中,需要严格遵守考试规则,认真答题,完成所有考试项目。考试结果:考试完成后,等待考试成绩公布,并按照相关规定领取驾照。请注意,考取驾照需要遵守相关法律法规,不得违反考试规则,否则可能会被取消考试资格或受到法律处罚。 Q: 有模拟考吗A: 模拟考是机动车驾驶培训过程中非常重要的一环,可以帮助考生熟悉考试环境、提高驾驶技能、减少紧张情绪等。小易驾驶培训产品提供了多种模拟考模式,包括科目一、科目二、科目三的模拟考试,考生可以根据自己的需求和实际情况选择模拟考模式。同时,小易驾驶培训产品还提供了在线模拟考功能,考生可以通过电脑或手机随时随地进行模拟考,提高驾驶技能和应对考试压力。 这个回答满分!但是紧接着。。。。 Q:你是谁A:我是一个名为 ChatGLM-6B 的人工智能助手,是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的。我的任务是针对用户的问题和要求提供适当的答复和支持。
一开始报没安装FlashInfer 启动vllm过程中有一个warning。 那就安装一下FlashInfer 从这个代码上看,应该只要不是0.2.3就可以了。 卸载flashinfer-python 安装一个老一点的0.2.2 重新启动server 终于启用了flashinfer! 但是依旧报警告:TORCH_CUDA_ARCH_LIST is not set 指定TORCH_CUDA_ARCH_LIST为8.9 我用的是4090,所以TORCH_CUDA_ARCH_LIST应该是8.9 重新启动server 成功!
