试用Nvidia新出的AI模型 Mistral-nemo 12b, 本地安装

[libaliu]

Nvidia新出的大语言模型 Mistral 奶模12b非常强，多项指标好过Meta的Llama3.1。自己到网上搜索便知。我感兴趣的是它写文章的能力。我给它一段短文做参考，然后写一个故事。感觉水平还不错。所以推荐给大家。使用Ollama可以在本地安装运行。

>ollama run mistral-nemo
>>> 请写一个短故事，with style of mystery, absurdity, humor, fantasy and surreal. in Chinese please. reference：
...
... 昨晚上吃烤串王大锤说，“实在受不了了！下辈子要当驴！吃麦草苜蓿喝山泉，都是纯天然，早上起来痛痛快快干活，什么也不想，
... 活儿干完了就在村里溜达，晚上周围没人了就叫两声，嗷嗷叫，谁过来我就跑，驴跑的快丫追不上，后来还得求着我回来，因为没驴
... 干不了活儿。时不时别的队借着干活还能坐三轮车兜风。”
... “还是驴好！”，王大锤说，“下辈子要当驴！”
... 我说，“万一投到肉驴，怎么办，都在养殖场，卡在格子里填饲料，连澡都不给洗，特凶残！吃不下就用电棍捅你肛门！等肥了一棒
... 子敲死，送到河北做火烧”。王大锤陷入了沉思
... “***太你妈坏了！都不给人民条活路！”
... “我操你妈***！”
... 王大锤哭着跑特了，又一次成功逃单
...

下面是mistral-nemo的回复。原样拷贝，一字未改：

昨天晚上，在老高的小馆子里，我遇到了一个神秘兮兮的家伙。他自称是个算命先生，但看起来更像是个怪人。他穿着一身破烂的道
袍，头发长而乱，脸上还画着一些奇奇怪怪的符号。

“老板，来碗馄饨。”他说。

老高端上来一碗热气腾腾的馄饨。算命先生捧起碗，吸溜了一口，然后放下筷子，看着我神秘地笑了。

“知道吗？你这辈子很不顺啊。”他说，“你前世是个驴。”

“驴怎么了？”我问，“难道驴就不能投胎当人吗？”

算命先生摇摇头：“那可不是什么好事儿。你知不知道，驴的命运有多凄惨？被关在养殖场里，吃的是饲料，喝的是污水。一旦长肥
了，就等着被敲闷棍送到屠宰场。那滋味儿可不好受啊。”

我正想反驳，突然听到隔壁桌传来一声大叫：“***太你妈坏了！都不给人民条活路！”

我们都转头看去，只见王大锤满脸通红地站起来，一拍桌子，将剩下的烤串全都扫到地上。然后他大喊一声“I操你妈***！”便夺门而出，留下满屋子目瞪口呆的人。

算命先生转过头来，冲我神秘一笑：“看到没？这就是驴的报应。你前世就是王大锤啊！”

这回轮到我傻眼了。我再仔细一想，还真有那么几分像。王大锤这人脾气暴躁，做事又不地道，经常赊账不给钱就跑路。难怪前世会是个驴。

“不过嘛，”算命先生说，“也不是没有办法补救啊。”

“怎么补？”我问。

他凑近我，压低声音：“要想来生当人，这一辈子就得多做善事，积点阴德。可千万别再像王大锤那样了。”

说完这话，算命先生站起身，将碗里的馄饨一口喝光，然后头也不回地走了。

我正要喊他等会儿，却见他的身影已经消失在小馆子门外。这时，老高端上来账单，我看了看上面的数字，不禁哑然失笑。这算命先生倒是真会占便宜，居然把王大锤的烤串钱也一起算了进去。

想到这儿，我又不由得想起王大锤最后那句“I操你妈***”。看来，前世做驴还是有好处的嘛。至少不用为这点小钱操心了。

想到这里，我不禁哈哈大笑起来。老高看了看我，摇摇头，自言自语道：“真是的，现在的人怎么都这样啊？连个算命先生也能把他逗乐了。”

可谁又知道呢？也许下辈子，我也会是个神秘兮兮的算命先生，到处给人看前世今生。说不定还能遇上几个像我这样好骗的人，一起哈哈大笑。

想到这儿，我招手叫来老高，结了账，走出小馆子。夜晚的街道上，满是迷离的灯光和人间烟火。而我的前世今生，就在这如梦似幻的世界中，慢慢地展开。

（完）

[libaliu]

但是它没有给故事起名字。所以随后我有和它讨论起什么样的名字。我说的话一“>>>”开头。换行就是它的回复。
>>> very good! please give it a title.
“驴前世今生”

>>> do not like this. one more thoughts?
如何？这个怎么样？“馄饨算命”

>>> or, how about this: plain and straightforward: "今天吃馄饨，遇到个算命先生”?
也可以。简单明了，直接说出事件的关键信息。这样子更符合新闻标题的风格。

所以，这个标题就叫做：

“今天吃馄饨，遇到个算命先生”

[webdriver]

你用什么卡本地跑模型？

[libaliu]

纯CPU跑，不需要显卡。我的PC是Ryzen 9 6900HX，32G DDR5，没有显卡（使用的集成显卡）。
跑一些小模型比如llama3 8b, llama3.1 8b, gemma2 7b, 和Mistral-nemo 12b, 毫无压力。速度还可以接受。

你用什么卡本地跑模型？

[laufine]

这个的确很强，跑这种不需要显卡吗？我之前想跑语音克隆的模型，结果说要n家的显卡才行

[libaliu]

关键是内存要大（32G,最好64G）要快（最好DDR5）。
我的PC纯CPU跑mistral-nemo 12b, 速度5 tokens/s；跑llama3.1 8b更快，可达 9.28 tokens/s。生成短文足够了。

再大的模型就不能胜任，比如gemma2:27b，太慢了，再大的比如llama3.1 70b, 想都别想了。不如使用网上的资源了，比如OpenAI的ChatGPT 4o或者Claude (claude.ai)或者POE（poe.com）

[wass]

Meta跟这个比，哪个中文处理好一点？

[majia]

刚刚用 copilot 试了下

不过因为里面有脏话

所以被强制停止了

[libaliu]

理论上Mistral-nemo 12b中文要好一些，模型大一些而且是NVidia训练的，中文语料多一些。但是使用感觉和Llama3或者Llama3.1没有什么区别。但是它号称是uncensored。

Meta跟这个比，哪个中文处理好一点？

[libaliu]

这就是为什么我们需要在本地跑

Mistral-nemo 12b是uncensored.
Llama3.1的censor比较严；写故事难免飙脏话，所以不如Llama3。

使用本地模型还有一个好处是，比较流行的模型很快就有人fine tune出来一些变体，比如uncensored的,擅长写作的，context更大的等等。在ollama.com/library可以看到很多。

刚刚用 copilot 试了下

不过因为里面有脏话

所以被强制停止了

[wass]

我看了一下，这个是12b的，llama是8b的

多数普通人的gpu有8g的vram，可以支持16b。为什么没有？

[wass]

另外用python call local llm有文档吗？

[libaliu]

另外用python call local llm有文档吗？

太多了。现在模型API基本都标准化了，支持Hugging Face的Transformers或者OpenAI的Langchain, 或者LlamaIndex。当然，每个模型还有自己专门的接口比如Mistral-nemo是nvidia搞得，必然有它TensorRT的支持，Ollama的backend reference使用llama.cpp，它上面的模型都是转换到llama.cpp支持的gguf格式。