--- slug: "llm-provider-ai-tool-pro" name: "llm-provider-ai-tool-pro" version: "1.0.0" displayName: "OpenAI助手专业版" summary: "企业级OpenAI API管理工具,支持批量任务、微调、评估与向量存储,适配团队协作与自动化流水线。" license: "Proprietary" edition: "pro" description: |- 面向团队与企业用户的 llm-provider API 全功能管理工具。核心能力: - 涵盖免费版全部能力(对话补全、图像生成、助手管理) - 批量任务(Batch API)大规模异步处理 - 模型微调(Fine-tuning)定制化训练 - 评估(Evaluations)质量度量与回归测试 - 向量存储(Vector Stores)高级检索与 RAG - 视频生成与异步任务管理 - 容器(Containers)隔离执行环境 - 审计日志与团队权限管理 适用场景: - 企业级内容生产与自动化流水线 - ... tags: - 创意设计 - AI助手 - API集成 - 企业级 - 模型微调 - 批量处理 - 向量检索 - 工具 - 效率 - 自动化 - 写作 - 电商 - 创意 - 图像 - 开发 - llm-provider - client - batch - create - api tools: - read - exec - glob - grep homepage: "" category: "Automation" --- # llm-provider 助手工具 - 专业版 ## 概述 llm-provider 助手工具(专业版)为团队与企业用户提供 llm-provider 平台全资源类型的管理能力。在免费版(`llm-provider-ai-tool-free`)核心能力之上,专业版新增批量任务、模型微调、质量评估、向量存储高级管理、视频生成与容器隔离等企业级能力,适配自动化流水线、多租户场景与大规模内容生产. 专业版与免费版 API 完全兼容,已使用免费版的代码无需任何修改即可在专业版环境中运行. ## 核心能力 ### 免费版 vs 专业版能力对比 | 能力分类 | 免费版 | 专业版 | 增量价值 | |----|---|---|----| | 对话补全 | 支持 | 支持 | - | | 文本嵌入 | 支持 | 支持 | - | | 文件上传 | 支持 | 支持 | - | | 图像生成 | 支持 | 支持 | - | | 助手管理 | 基础(单线程) | 完整(多线程/Run Steps) | 多轮编排 | | 向量存储 | 基础创建 | 完整 CRUD + 文件管理 | RAG 生产级 | | 批量任务 | 不支持 | 支持(JSONL 异步) | 50% 成本节省 | | 微调任务 | 不支持 | 支持(检查点管理) | 领域定制 | | 评估能力 | 不支持 | 支持(运行管理) | 质量回归 | | 视频生成 | 不支持 | 支持(异步轮询) | 多模态 | | 容器隔离 | 不支持 | 支持(隔离执行) | 安全沙箱 | | 审计日志 | 不支持 | 支持 | 合规追溯 | **输入**: 用户提供免费版 vs 专业版能力对比所需的指令和必要参数. **处理**: 解析免费版 vs 专业版能力对比的输入参数,完成核心逻辑,返回结构化响应. **输出**: 返回免费版 vs 专业版能力对比的响应数据,包含状态码、结果和日志. ### 核心功能执行 用`input_params`参数进行配置. **输入**: 用户提供核心功能执行所需的指令和必要参数. **处理**: 解析核心功能执行的输入参数,完成核心逻辑,返回结构化响应. **输出**: 返回核心功能执行的响应数据,包含状态码、结果和日志. - 执行此能力时使用`input_params`参数,支持创建/查询/导出操作 ### 参数配置与调用 用`config_options`参数进行配置. **输入**: 用户提供参数配置与调用所需的指令和必要参数. **处理**: 解析参数配置与调用的输入参数,完成核心逻辑,返回结构化响应. **输出**: 返回参数配置与调用的响应数据,包含状态码、结果和日志. - 执行此能力时使用`config_options`参数,支持修改/重置/导入操作 **能力覆盖范围**：本skill的核心能力覆盖以下场景关键词：企业级、OpenAI、API、管理工具、支持批量任务、评估与向量存储、适配团队协作与自、动化流水线、面向团队与企业用、llm、provider、全功能管理工具、核心能力、涵盖免费版全部能、对话补全、图像生成、助手管理、批量任务、Batch、大规模异步处理、模型微调、Fine、tuning、定制化训练、Evaluations、质量度量与回归测、向量存储、Vector、Stores、高级检索与、RAG、视频生成与异步任、务管理、Containers、隔离执行环境、审计日志与团队权、限管理等. ## 使用场景 ### 场景一:批量内容审核与分类 利用 Batch API 异步处理海量文本,成本仅为实时调用的 50%. ```python import os import json from llm-provider import llm-provider # ... client = llm-provider() # ... # 1. 准备批量请求文件(JSONL 格式) requests = [] for i, text in enumerate(long_text_list): requests.append({ "custom_id": f"review-{i}", "method": "POST", "url": "/v1/chat/completions", "body": { "model": "gpt-4o-mini", "messages": [ {"role": "system", "content": "判断文本是否包含违规内容,输出 JSON: {\"violation\": bool, \"reason\": str}"}, {"role": "user", "content": text} ] } }) # ... # 2. 写入 JSONL 并上传 with open("batch_input.jsonl", "w") as f: for r in requests: f.write(json.dumps(r) + "\n") # ... file = client.files.create(file=open("batch_input.jsonl", "rb"), purpose="batch") # ... # 3. 创建批量任务 batch = client.batches.create( input_file_id=file.id, endpoint="/v1/chat/completions", completion_window="24h", metadata={"project": "content-review"} ) # ... # 4. 轮询状态 import time while batch.status not in ("completed", "failed", "cancelled"): time.sleep(60) batch = client.batches.retrieve(batch.id) print(f"状态: {batch.status}, 完成: {batch.request_counts.completed}/{batch.request_counts.total}") ``` ### 场景二:领域模型微调闭环 从数据准备到微调、评估、部署的完整闭环. ```bash # 1. 上传训练数据(JSONL 格式) curl -X POST "https://api.llm-provider.com/v1/files" \ -H "Authorization: Bearer $OPENAI_API_KEY" \ -F "purpose=fine-tune" \ -F "file=@./training_data.jsonl" # ... # 2. 创建微调任务 curl -X POST "https://api.llm-provider.com/v1/fine_tuning/jobs" \ -H "Authorization: Bearer $OPENAI_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "training_file": "file-abc123", "validation_file": "file-def456", "model": "gpt-4o-mini", "hyperparameters": {"n_epochs": 3, "batch_size": "auto"}, "suffix": "legal-advisor" }' # ... # 3. 查询检查点 curl "https://api.llm-provider.com/v1/fine_tuning/jobs/ftjob-abc/checkpoints" \ -H "Authorization: Bearer $OPENAI_API_KEY" ``` ### 场景三:企业级 RAG 知识库 构建生产级检索增强生成系统. ```python from llm-provider import llm-provider # ... client = llm-provider() # ... # 1. 创建向量存储 vs = client.vector_stores.create(name="企业知识库-2026") # ... # 2. 批量上传文件并关联 import glob for path in glob.glob("./docs/*.pdf"): file = client.files.create(file=open(path, "rb"), purpose="assistants") client.vector_stores.files.create( vector_store_id=vs.id, file_id=file.id ) # ... # 3. 创建绑定向量存储的助手 assistant = client.beta.assistants.create( name="企业知识助手", model="gpt-4o", tools=[{"type": "file_search"}], tool_resources={ "file_search": {"vector_store_ids": [vs.id]} } ) # ... # 常见问题 thread = client.beta.threads.create() client.beta.threads.messages.create( thread_id=thread.id, role="user", content="2026 年的报销政策有哪些变化?" ) run = client.beta.threads.runs.create( thread_id=thread.id, assistant_id=assistant.id ) ``` ## 不适用场景 以下场景OpenAI助手专业版不适合处理： - 需要100%确定性的关键决策 - 医疗诊断 - 法律判决 ## 触发条件 需要AI模型调用、智能对话、Agent编排、LLM应用时使用。不适用于非本工具能力范围的需求. ## 快速开始 1. 阅读## 核心能力章节了解skill功能 2. 按## 依赖说明配置环境 3. 执行所需能力对应的命令 4. 参考## 错误处理章节处理异常 5. 查看## FAQ解答常见疑问 ### 1. 环境配置 ```bash export OPENAI_API_KEY="sk-your-api-key" export OPENAI_ORG_ID="org-your-org-id" # 企业组织 ID export OPENAI_PROJECT_ID="proj-your-proj-id" # 项目级隔离 ``` ### 2. 验证企业权限 ```bash curl https://api.llm-provider.com/v1/models \ -H "Authorization: Bearer $OPENAI_API_KEY" \ -H "llm-provider-Organization: $OPENAI_ORG_ID" \ -H "llm-provider-Project: $OPENAI_PROJECT_ID" | jq '.data | length' ``` ### 3. 创建第一个批量任务 ```bash curl -X POST "https://api.llm-provider.com/v1/batches" \ -H "Authorization: Bearer $OPENAI_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "input_file_id": "file-abc123", "endpoint": "/v1/chat/completions", "completion_window": "24h" }' ``` # ## 示例 ### 企业级 SDK 配置 ```python import os from llm-provider import llm-provider # ... client = llm-provider( api_key=os.environ["OPENAI_API_KEY"], organization=os.environ["OPENAI_ORG_ID"], project=os.environ["OPENAI_PROJECT_ID"], max_retries=5, timeout=120.0, ) # ... # 配置默认请求头(审计追踪) client.with_options( default_headers={"X-Team": "content-ops", "X-Env": "production"} ) ``` ### 异步任务管理器 ```python import time from llm-provider import llm-provider # ... client = llm-provider() # ... class AsyncTaskManager: """异步任务统一管理器,支持 batch / fine-tune / video""" # ... POLL_INTERVAL = 30 # ... def wait_for_batch(self, batch_id, timeout=86400): deadline = time.time() + timeout while time.time() < deadline: batch = client.batches.retrieve(batch_id) counts = batch.request_counts print(f"[Batch] {batch.status} | {counts.completed}/{counts.total}") if batch.status in ("completed", "failed", "cancelled"): return batch time.sleep(self.POLL_INTERVAL) raise TimeoutError(f"批量任务 {batch_id} 超时") # ... def wait_for_fine_tune(self, job_id, timeout=86400): deadline = time.time() + timeout while time.time() < deadline: job = client.fine_tuning.jobs.retrieve(job_id) print(f"[FineTune] {job.status} | {job.fine_tuned_model}") if job.status in ("succeeded", "failed", "cancelled"): return job time.sleep(self.POLL_INTERVAL) raise TimeoutError(f"微调任务 {job_id} 超时") ``` ## 最佳实践 ### 1. 批量任务优化 - **文件分片**:单批不超过 100,000 条,超大任务拆分为多个 batch - **成本控制**:批量任务享受 50% 折扣,优先用于非实时场景 - **失败重试**:检查 `error_file_id`,单独重试失败行 - **窗口选择**:`24h` 为默认,非紧急任务可降低优先级 ### 2. 微调数据规范 ```jsonl {"messages": [{"role": "system", "content": "你是法律顾问"}, {"role": "user", "content": "问题"}, {"role": "assistant", "content": "回答"}]} ``` - 训练样本建议 500-50,000 条 - 验证集占比 10%-20% - 使用 `suffix` 字段标注微调版本,便于追溯 - 通过 checkpoints 对比不同 epoch 表现 ### 3. 评估闭环 ```python # 创建评估 evaluation = client.evals.create( name="客服质量评估", metadata={"version": "v2.1"}, testing_criteria={ "input_message": "评估回复的专业度与准确性", "choice_scores": {"1": "差", "2": "一般", "3": "好"} } ) # ... # 运行评估 run = client.evals.runs.create( eval_id=evaluation.id, data_source={"type": "file_id", "id": "file-test-set"} ) ``` ### 4. 安全与合规 - **写入操作二次确认**:所有 create/update/delete 调用前预览 - **容器隔离**:不可信代码使用 `containers` 沙箱执行 - **审计日志**:记录所有写操作的 `request_id` 与操作者 - **配额管理**:通过 Project 维度隔离不同团队用量 - **数据脱敏**:上传前移除 PII,使用 moderation API 预筛 ## 常见问题 ### Q1: 批量任务与实时调用的成本差异? 批量任务享受 50% 折扣。例如 `gpt-4o-mini` 实时调用 $0.15/1M tokens,批量仅 $0.075/1M。适合非实时的大规模处理场景. ### Q2: 微调后模型如何切换? 微调成功后会返回 `fine_tuned_model` 名称(如 `ft:gpt-4o-mini:org:suffix:abc123`),在对话补全中将 `model` 字段替换为该名称即可。免费版同样可调用微调模型. ### Q3: 向量存储与文件存储的区别? 文件存储(`files`)仅保存原始文件;向量存储(`vector stores`)会自动对文件进行分块、嵌入与索引,支持语义检索。RAG 场景必须使用向量存储. ### Q4: 评估(Evaluations)支持哪些指标? 支持人工评分、模型评分与自定义评分。常用指标包括:准确性、相关性、有害性、合规性。可对比不同模型或同一模型不同版本的表现,用于回归测试. ### Q5: 如何实现多租户隔离? 通过 `llm-provider-Project` 请求头实现项目级隔离。每个项目独立计费、独立配额、独立 API Key。专业版建议为每个租户创建独立 Project. ### Q6: 容器(Containers)用于什么场景? 容器提供隔离的代码执行环境,适合运行助手生成的不可信代码、数据处理脚本等。与 `code_interpreter` 类似,但生命周期与资源可控性更强. ### Q7: 专业版与免费版的迁移成本? 零迁移成本。专业版是免费版的超集,API 完全兼容。只需更新 Skill 配置,无需修改业务代码。升级后原有对话、文件、助手等资源继续可用. ## 依赖说明 ### 运行环境 - **Agent 平台**: 支持SKILL.md的任意AI Agent(ai-assistant Code / Cursor / Codex / Gemini CLI等) - **操作系统**: Windows / macOS / Linux - **网络**: 需稳定访问 `api.llm-provider.com`,建议配置代理与超时 - **存储**: 批量任务与微调需要本地 JSONL 文件读写能力 ### 依赖详情 | 依赖项 | 类型 | 是否必需 | 获取方式 | |:-----|:-----|:-----|:-----| | llm-provider Python SDK | Python 库 | 必需 | `pip install llm-provider>=1.50` | | llm-provider Node SDK | npm 库 | 必需(Node 场景) | `npm install llm-provider` | | curl | 命令行工具 | 推荐 | 系统自带 | | jq | JSON 处理工具 | 推荐 | `apt install jq` / `brew install jq` | | Python 3.9+ | 运行时 | 必需(Python 场景) | `python.org` 下载 | | Node.js 18+ | 运行时 | 必需(Node 场景) | `nodejs.org` 下载 | | LLM API | API | 必需 | 由Agent内置LLM提供 | ### API Key 配置 - `OPENAI_API_KEY`: 必需,API 认证密钥 - `OPENAI_ORG_ID`: 推荐,企业组织 ID,用于团队计费隔离 - `OPENAI_PROJECT_ID`: 推荐,项目 ID,用于多租户场景 - 建议使用密钥管理服务(如 Vault、AWS Secrets Manager)托管 - 生产环境禁用硬编码,通过环境变量或配置中心注入 - 专业版支持项目级配额与审计,建议按团队划分 Project ### 可用性分类 - **分类**: MD+EXEC(纯Markdown指令,部分功能需exec命令行执行) - **说明**: 基于Markdown的AI Skill,通过自然语言指令驱动Agent完成操作。专业版完整覆盖 llm-provider 平台资源,适合企业级自动化流水线、模型微调与质量评估场景. ## 错误处理 | 错误场景 | 原因 | 处理方式 | |---:|---:|---:| | 配置错误 | 参数缺失或格式错误 | 检查依赖说明中的配置要求 | | 运行时错误 | 运行环境不满足 | 确认运行环境符合依赖说明 | | 网络错误 | 连接超时或不可达 | 执行ping命令测试网络连通性,检查防火墙和代理设置连接后执行ping命令测试网络连通性,检查防火墙和代理设置连接后重新执行命令，参考国内替代方案 | ## 已知限制 - 需要API Key，无Key环境无法使用 ## 输出格式 ```json { "success": true, "data": { "result": "OpenAI助手专业版处理结果", "execution_time": "0.5s", "metadata": { "version": "1.0", "processor": "llm provider ai pro" } }, "execution_log": ["解析输入参数", "执行核心处理", "格式化输出结果"], "error": null } ```