[自行打包] 本地酒馆语音对话 [1+15G][百度盘]

1447007464

这是什么情况？好几个模型都这样

15267158147

灲雨 发表于 2024-4-6 03:07
楼主，能发一些角色卡吗？贵点没事，实在不懂怎么弄，可以打赏，十分感谢 ...

角色卡这个东西你哪里都能找，也不用打赏，这是角色卡网站https://www.chub.ai/?search=&first=50&topics=&excludetopics=&page=1&sort=default&venus=false&min_tokens=50&first=50&page=1
7 O# Y4 b; f1 z& a; z$ r4 f6 q1 n

kkgreed

问一下，网页里面显示模型加载成功，但是llm启动器里显示加载失败是怎么回事？怎么解？
ERROR:The model could not be loaded because its checkpoint file in .bin/.pt/.safetensors format could not be located.
! ]+ e4 X4 D& {) w9 u这个是启动器里的失败提示

28791798851

dacunge520 发表于 2024-4-2 23:11
. f6 J' D5 @8 [# K- c唉，放弃了，按照你说的能打开了，但是对话都是空白，我也去频道看了看，说是内存爆了，但我看内存显存都 ...

A卡有个解决方案是把CUDA代码转换为HIP代码就可以跑，不过很麻烦，可以借张卡就借吧

28791798851

6 g& P3 g; n3 W( X! T

kkgreed 发表于 2024-4-6 22:05
  O6 h3 w- w7 ~9 {+ r问一下，网页里面显示模型加载成功，但是llm启动器里显示加载失败是怎么回事？怎么解？
  C( D7 z* b0 s, B- a' aERROR:The model co ...

我也是这样的问题。这里说的是文件格式或者是下载过程中有损失，不知道问题出在哪里，同时发现我显存不够，换了低模型后可以用，下了个3b的
  u! V! w+ {7 ?0 `' A. M

28791798851

本贴模型配置大致如下：
1 E( |6 A* d: \8 V; y; l) X/ c$ z! S1 T24G以上内存
& l. q1 x8 F1 J' a0 h2 ]' }16G可以运行，但是加载7B模型时会爆内存，需要你用阳寿、运气和虚拟内存帮你顶过去，或者使用预量化模型
8-16G显存的显卡
4 e% @/ G9 Z) b7B模型以FP16+INT8混合模式运行需要接近8G显存
7B模型以FP16模式运行需要15G显存【可以用两张8G显卡拼凑使用】
最好是N卡9系以后产品，A卡需要折腾且有一定能力，小白可以直接放弃打出GG
不低于 E3 v2 或者 2-3代 i5 水平的CPU
至少能放下完整一个 RWKV 7B 模型的硬盘空间
, L, A" Q3 }2 P* R7 k+ o) {, w一个RWKV 7B模型 一般14G

28791798851

逛了大半天，有点晕头转向的，大致明白了一些，本贴的这个模型对显卡要求有点高，选择低模型对应自己的显卡这点很重要，压缩包内有个下载一些模型的链接，最后还是从github上自己学习了一下，从头部署环境，用大佬的代码和数据集训练模型，得到模型后还要有相应的知识库然后再破甲，整了快五个小时，这个压缩包没有找到具体的出处，用起来有些问题实在不知道怎么解决

28791798851

现在用这个压缩包不管怎么换模型都显示Exception: 系统找不到指定的文件。 (os error 2)

kkgreed

28791798851 发表于 2024-4-7 04:12
我也是这样的问题。这里说的是文件格式或者是下载过程中有损失，不知道问题出在哪里，同时发现我显存不够 ...

低版本模型在哪里下载？能和我说说怎么用么？

28791798851

kkgreed 发表于 2024-4-7 07:57
0 a) V( J" O- C. K5 z1 H2 Z低版本模型在哪里下载？能和我说说怎么用么？

模型有一个链接的，你在压缩包解压了里面找一找，里面有个酒馆使用教程>模型下载和使用>模型下载网址，然后到网址之后你就找文本里告诉你的三种格式RWKV，GGML，GPTQ，然后选择3B的模型或者1B5的模型，7B的模型我的电脑跑不起来。
" V9 }0 M8 \8 C+ W! d7 R4 R

无敌大飞主

你的教程没人看得懂，你觉得我说错了就在你自己贴子里找一个成功运行的人出来.

15267158147

28791798851 发表于 2024-4-7 04:27
本贴模型配置大致如下：
24G以上内存
16G可以运行，但是加载7B模型时会爆内存，需要你用阳寿、运气和虚拟内 ...

4 P- K: ~3 w/ g* x- K3 B0 }还是有人懂，那些电脑配置不够的，又想玩大模型，我真的服了

摘星种树

15267158147 发表于 2024-4-8 01:55
还是有人懂，那些电脑配置不够的，又想玩大模型，我真的服了

: V3 O3 u2 q7 r3 B不是哥们，你看看人家上面都说了啥，用了五个小时，还是从其他地方找的攻略，之后压缩包有问题还没找到解决办法。大家吐槽的是你发的攻略看不懂，没别的意思，就是觉得你的回复有点抽象！

15267158147

摘星种树 发表于 2024-4-8 21:54
! H" ~4 p3 `* R1 H' Z0 y不是哥们，你看看人家上面都说了啥，用了五个小时，还是从其他地方找的攻略，之后压缩包有问题还没找到解 ...

% z% V5 Z! C4 Z1 L7 i9 v攻略看不懂？跟着我的图走很难吗，你看了那个攻略了吗，他们说什么打不开的主要问题就是选了不适合自己的模型，我也不知道谁抽象

摘星种树

15267158147 发表于 2024-4-9 19:00
攻略看不懂？跟着我的图走很难吗，你看了那个攻略了吗，他们说什么打不开的主要问题就是选了不适合自己的 ...

4 B; K# w8 e$ g& `0 `跟着你的图走我也能做到你发的图那样，但是那是角色卡的初始回答。另外你说的模型我下了好几个，最小的一个模型仅仅1.9g，而且是你自己介绍的说6g就可以用，还有我的模型加载出来了，显示成功了，是ai不回复。说你抽象的原因是因为前面很多回复你失败的人你都没有回答，挑了一个说更换模型的你倒是回复了，而且他说的模型加载不出来的问题你自动忽略了。随着ai宇宙崩溃，加上a社大量封杀账号，现在很多ai难民，我也希望你能搞出更牛逼的东西。

870078725

聊天记录会被别人看到吗？

15267158147

摘星种树 发表于 2024-4-11 02:39
跟着你的图走我也能做到你发的图那样，但是那是角色卡的初始回答。另外你说的模型我下了好几个，最小的一 ...

9 T+ M, v/ V4 N. E8 Y他们的原因我是不是一开始就说了，是内存不够，但是他们还是要玩大模型，他们自己不看，还有，我也给他们QQ频道让他们去问了，你是一点不看啊，难道我还要一个一个解释过去吗，我说6g就能运行难道不对吗，6g是最低模型运行啊，你想玩大模型你得看看你的运行怎么样啊，这个也怪我吗，我觉得你挺抽象的

15267158147

870078725 发表于 2024-4-11 08:05
聊天记录会被别人看到吗？

2 _6 j8 B( {% C7 z* q. L不会的，这是本地部署，你就算断网也能用

15267158147

28791798851 发表于 2024-4-7 04:57
$ a( \. b) A+ R3 I) t1 `逛了大半天，有点晕头转向的，大致明白了一些，本贴的这个模型对显卡要求有点高，选择低模型对应自己的显卡 ...

4 n% R8 a) q: a7 b这个在b站的mega会玩有教程，关键词是ai对话，你可以搜搜看

摘星种树

15267158147 发表于 2024-4-12 00:28
他们的原因我是不是一开始就说了，是内存不够，但是他们还是要玩大模型，他们自己不看，还有，我也给他们 ...

+ Q0 B; h9 O7 ?2 ]% j9 W6 ]我已经说了，我下载的模型最小的一个已经是1.9g，但是ai还是不回复。并不是我非要玩大模型哦，而是小模型也一个样。我很想知道，这个东西到底有没有人可以和ai交流。