如何做一个简单的 AI Agent
大模型并不会真的去执行什么,它只是返回一个"我想调用某个函数、参数是这些"的结构化响应。真正干活的是客户端:拿到这个响应,找到对应的函数跑一遍,再把结果塞回对话。把"模型返回工具调用 → 客户端执行 → 结果塞回对话 → 再问模型"这个往返过程循环起来,一个 …
Read more大模型并不会真的去执行什么,它只是返回一个"我想调用某个函数、参数是这些"的结构化响应。真正干活的是客户端:拿到这个响应,找到对应的函数跑一遍,再把结果塞回对话。把"模型返回工具调用 → 客户端执行 → 结果塞回对话 → 再问模型"这个往返过程循环起来,一个 …
Read more纯文本写博客终究是有点不舒服,来试试大模型生成的文章编辑功能效果如何。
Read moreHugging Face的transformers库是目前最主流的大模型推理框架之一,几行代码就能在本地跑起一个对话模型。本文将使用Qwen/Qwen3.5-0.8B这个小模型作为示例,整个流程分为三步:安装依赖、下载模型、运行推理。 下载依赖 首先安装必要的Python包。transformers …
Read more最近在研究如何在本地设备上跑大模型,发现现在移动端硬件已经相当强大。普通的安卓平板完全可以运行小参数量的多模态大模型。这篇文章记录我在安卓平板上部署MiniCPM-V-4.6多模态模型,并通过Flask搭建一个Web服务,实现上传视频即可自动分析内容的过程。 整个方案的核心思路是:利用Termux在 …
Read more上一篇文章介绍了如何用llama.cpp搭建本地模型推理服务,这次顺着往下走:有了多模态模型的推理能力,再配合ffmpeg,就能搭一个完全运行在本地的视频分析服务。不需要任何云 API,视频不用上传到第三方,数据隐私完全由自己掌控。核心思路其实不复杂——视频本质上是一帧帧图片的序列,把关键帧拆出来丢 …
Read more