分页： 1 / 1
#1 有没有现成的tool finetune LLM？
发表于 ： 2025年 3月 4日 13:42
由 Caravel
比如用一段文本finetune一个几b的小模型
还是说得自己用pytorch从头写
#2 Re: 有没有现成的tool finetune LLM？
发表于 ： 2025年 3月 4日 15:29
由 hci
有很多，LLaMA-Factory和Axolotl都比较流行。前者是国内小朋友(北航在读女博士生）写的，主要在微信群交流，我在其微信群的第38群，可以想见中国用户之多，哈哈。后者是美华写的。
https://github.com/hiyouga/LLaMA-Factory
https://github.com/axolotl-ai-cloud/axolotl
Caravel 写了： 2025年 3月 4日 13:42
比如用一段文本finetune一个几b的小模型
还是说得自己用pytorch从头写
#3 Re: 有没有现成的tool finetune LLM？
发表于 ： 2025年 3月 4日 15:41
由 wdong
Caravel 写了： 2025年 3月 4日 13:42
比如用一段文本finetune一个几b的小模型
还是说得自己用pytorch从头写
unsloth名气比较大。huggingface的transformers应该也自带脚本，还有个单独的trl有DPO。用pytorch写也不麻烦，或者说一样麻烦。
#4 Re: 有没有现成的tool finetune LLM？
发表于 ： 2025年 3月 4日 17:12
由 Caravel
谢谢楼上两位