1.LLama微调

  • 准备数据集

1

  • 导入数据集，调整训练参数

1

  • 指令预览

    模型设置，进程数，微调方式，数据集，学习率，批次大小等

1

  • 开始训练，训练过程

1

  • 损失呈现，模型保存路径

1

  • 载入训练好的模型权重

  • 效果演示

1

1

2.设计思路

1

3.知识库搭建

  • 本地知识库

AnythingLLM + 本地模型/API

Langchain+ChatGLM

Cherry Studio + API

以上方式我均尝试过，其实效果不太理想，原因是本地跑LLama模型推理速度太慢，嵌入模型和LLM推理能力不够

  • 云知识库

Dify

Coze

智谱清言

Cloudflare云知识库 CloudRAG