分类: 人工智能

本文使用的技术栈为python+qdrant(docker 镜像）+ollama(使用嵌入模型 bge-m3)+deepseek(兼容 openai 接口)。如果连大模型都想用本地部署的，只需要用ollama再下载个deepseek大模型，将配置改成本地即可。 预先启动向量数据库及嵌入模型服务。 $ …

大模型会提供一个叫Tool Calls（也有的叫Function Calls）的功能，看起来很神奇，实际上就是LLM根据对话内容提取出需要使用的工具及其参数，再将其以结构化的形式返回给客户端，客户端通过响应的内容判断是否存在“使用工具”这个操作，如果存在，则从中获取所需使用的“工具名”及“参数”来使 …

目前对LLM(Large Language Models，大语言模型)一无所知，万事开头难，虽然部署了，但并不知道原理，不过起码兴趣点上了，好歹以兴趣入手，搞一个私有的知识库倒是不错。 还是得Linux环境方便，Ollama和Anything LLM一起构成了我所要的知识库。Ollama应该是目前本 …