--- slug: "openai-whisper-v1" name: "openai-whisper-v1" version: 1.0.1 displayName: "Whisper v1转录专业版" summary: "Whisper v1稳定版企业级转录工具,支持批量处理、模型管理、性能调优与服务化部署。。基于 Whisper v1 稳定版本的企业级语音转文字工具(专业版)。核心能力: - 涵盖免费版全部" summary_zh: "Whisper v1稳定版企业级转录工具,支持批量处理、模型管理、性能调优与服务化部署。。基于 Whisper v1 稳定版本的企业级语音转文字工具(专业版)。核心能力: - 涵盖免费版全部" license: "MIT" edition: "pro" description: |- 基于 Whisper v1 稳定版本的企业级语音转文字工具(专业版)。核心能力: - 涵盖免费版全部能力(v1 稳定 CLI、多格式输出、翻译) - 批量处理:目录递归与任务队列 - 模型管理:多版本预加载与热切换 - 性能调优:GPU 加速、半精度推理、批处理 - 自定义词典:initial_prompt 注入领域术语 - 服务化部署:FastAPI 封装,支持远程调用 - 质量评估:置信度分析与校对流程 - 任务监控:进度追踪与日志审计 适用场景: - 企业会议纪要自动化 - 视频/播客批量字幕生成... tags: - 创意设计 - 语音转文字 - 企业级 - 批量处理 - 模型管理 - Whisper v1 - 工具 - 效率 - 自动化 - 写作 - 电商 - 研究 - 分析 - self - whisper - import - device tools: - read - exec - write homepage: "" category: "Automation" --- # Whisper v1转录专业版 ## 付费版专享能力 | 能力 | 免费版 | 付费版 | |---|---|---| | 基础功能 | 支持 | 支持 | | Whisper v1转录专业版支持批量处理 | 不支持 | 支持 | | Whisper v1转录专业版模型管理 | 不支持 | 支持 | | 复杂工作流可视化编排 | 不支持 | 支持 | | 条件分支与异常重试 | 不支持 | 支持 | | 定时触发与事件驱动 | 不支持 | 支持 | ## 核心能力 ### 免费版 vs 专业版对比 | 能力 | 免费版 | 专业版 | 增量价值 | |:-----|:-----|:-----|:-----| | v1 稳定 CLI | 支持 | 支持 | - | | 输出格式 | txt/srt/vtt/json | 全格式 | - | | 翻译模式 | 支持 | 支持 | - | | 模型选择 | tiny-base-small | 全部 + 自定义 | large 模型 | | 批量处理 | 不支持 | 目录递归 + 队列 | 生产力提升 | | GPU 加速 | 不支持 | CUDA/Metal/MPS | 10-50 倍加速 | | 模型管理 | 不支持 | 预加载 + 热切换 | 灵活切换 | | 自定义词典 | 不支持 | initial_prompt | 术语优化 | | API 服务 | 不支持 | FastAPI 封装 | 远程调用 | | 质量评估 | 不支持 | 置信度分析 | 质控流程 | | 任务监控 | 不支持 | 进度 + 日志 | 运维能力 | **输入**: 用户提供免费版 vs 专业版对比所需的指令和必要参数. ### v1 稳定 CLI 针对v1 稳定 CLI,自动解析输入参数、调度任务队列、格式化输出,返回结构化响应. **输入**: 用户提供v1 稳定 CLI相关的配置参数、输入数据和处理选项. **输出**: 返回v1 稳定 CLI的处理结果。- 验证返回数据的完整性和格式正确性 - 参考`v1 稳定 CLI`的配置文档进行参数调优 ### 输出格式 针对输出格式,自动解析输入参数、调度任务队列、格式化输出,返回结构化响应. **输入**: 用户提供输出格式相关的配置参数、输入数据和处理选项. **输出**: 返回输出格式的处理结果。- 验证返回数据的完整性和格式正确性 - 参考`输出格式`的配置文档进行参数调优 # ## 快速开始 1. 确认运行环境满足依赖说明中的要求 2. 在AI Agent对话中调用本技能,提供必要的输入参数 3. 检查输出结果,根据需要进行后续处理 > 详细的输入输出格式请参考下方章节说明。 ## 适用场景 ### 场景一:批量会议纪要自动化 处理整个目录的会议录音,生成结构化纪要. ```python import os import glob import whisper import json # ... # 加载 GPU 加速模型 model = whisper.load_model("medium", device="cuda") # ... # 批量处理 audio_files = glob.glob("/data/meetings/2026-07/*.m4a") results = [] # ... for audio_path in sorted(audio_files): filename = os.path.basename(audio_path) print(f"处理中: {filename}") # ... result = model.transcribe( audio_path, language="zh", initial_prompt="以下是企业会议录音,涉及产品、技术、市场等议题。" ) # ... results.append({ "file": filename, "duration": result["segments"][-1]["end"] if result["segments"] else 0, "text": result["text"], "segments_count": len(result["segments"]) }) # ... # 输出汇总报告 with open("meeting_batch_report.json", "w", encoding="utf-8") as f: json.dump(results, f, ensure_ascii=False, indent=2) # ... print(f"完成 {len(results)} 个文件转录") ``` ### 场景二:多模型灵活切换 根据音频特点动态选择模型,平衡速度与精度. ```python import whisper # ... class WhisperModelManager: """v1 模型管理器,支持预加载与热切换""" # ... def __init__(self, device="cuda"): self.device = device self._cache = {} # ... def get_model(self, name): if name not in self._cache: print(f"加载模型: {name}") self._cache[name] = whisper.load_model(name, device=self.device) return self._cache[name] # ... def preload(self, names): """预加载常用模型""" for name in names: self.get_model(name) # ... def clear(self): """释放显存""" self._cache.clear() # ... def smart_transcribe(self, audio_path, language="zh"): """根据音频时长智能选择模型""" import librosa duration = librosa.get_duration(filename=audio_path) # ... if duration < 300: # < 5 分钟,用大模型 model_name = "large-v3" elif duration < 1800: # < 30 分钟,用中模型 model_name = "medium" else: # 长音频,用小模型加速 model_name = "small" # ... model = self.get_model(model_name) return model.transcribe(audio_path, language=language) # ... manager = WhisperModelManager(device="cuda") manager.preload(["small", "medium"]) # 预加载常用模型 ``` ### 场景三:API 服务化部署 将 v1 Whisper 封装为 API 服务. ```python from fastapi import FastAPI, UploadFile, File from fastapi.responses import JSONResponse import whisper import tempfile import os # ... app = FastAPI(title="Whisper v1 转录服务", version="1.0.0") # ... # 启动时预加载模型 model = whisper.load_model("medium", device="cuda") # ... @app.post("/transcribe") async def transcribe( file: UploadFile = File(...), language: str = "zh", task: str = "transcribe", initial_prompt: str = "" ): with tempfile.NamedTemporaryFile(delete=False, suffix=".wav") as tmp: tmp.write(await file.read()) tmp_path = tmp.name # ... try: result = model.transcribe( tmp_path, language=language, task=task, initial_prompt=initial_prompt or "专业转录,术语准确。" ) return JSONResponse({ "text": result["text"], "segments": result["segments"], "language": result["language"] }) finally: os.unlink(tmp_path) # ... @app.get("/health") async def health(): return {"status": "ok", "model": "medium", "device": "cuda"} # ... # 启动: uvicorn server:app --host 0.0.0.0 --port 8000 --workers 1 ``` ## 使用流程 ### 依赖说明 ### 运行环境 1. **Agent 平台**: 支持SKILL.md的任意AI Agent(ai-assistant Code / Cursor / Codex / Gemini CLI等) 2. **操作系统**: Windows / macOS / Linux 3. **Python**: 3.9 及以上 4. **硬件**: 推荐 NVIDIA GPU(8GB+ 显存)或 Apple Silicon;CPU 可用但较慢 5. **网络**: 首次需联网下载模型,后续可离线运行 ### 第三方依赖 | 依赖项 | 类型 | 是否必需 | 获取方式 | |---:|---:|---:|---:| | llm-provider-whisper | Python 库 | 必需 | `pip install -U llm-provider-whisper` | | ffmpeg | 系统工具 | 必需 | `brew install ffmpeg` / `apt install ffmpeg` | | PyTorch (CUDA) | Python 库 | 推荐(GPU) | `pip install torch --index-url .../cu121` | | fastapi | Python 库 | 可选(API 服务) | `pip install fastapi uvicorn` | | librosa | Python 库 | 可选(音频分析) | `pip install librosa` | | Python 3.9+ | 运行时 | 必需 | `python.org` 下载 | | LLM API | API | 必需 | 由Agent内置LLM提供 | ### API Key 配置 6. 核心 Whisper 功能**基础LLM由Agent平台提供**,完全本地运行 7. API 服务化建议配置鉴权 Token(如 JWT)保护接口 8. 企业部署建议通过密钥管理服务统一托管认证凭据 ### 可用性分类 9. **分类**: MD+EXEC() 10. **说明**: 基于Markdown的AI Skill,。专业版基于 v1 稳定接口,支持批量处理、GPU 加速与服务化部署,适合长期维护的企业级转录场景. # ## 输入格式 | 参数名 | 类型 | 必填 | 说明 | |:---:|:---:|:---:|:---:| | content | string | 否 | openai-whisper-v1处理的内容输入 |, 默认: 全部维度 | | strict_level | string | 否 | 审查严格度, 可选: strict/normal/loose, 默认: normal | ## 输出格式(补充) ```json { "success": true, "data": { "overall_grade": "A", "total_score": 92, "max_score": 100, "summary": "处理完成", "details": [ { "item": "代码风格", "status": "pass", "score": 95, "comment": "符合规范" }, { "item": "安全合规", "status": "warn", "score": 80, "comment": "符合规范" } ], "improvements": [ { "priority": "high", "suggestion": "建议优化", "expected_gain": "+5分" }, { "priority": "medium", "suggestion": "建议优化", "expected_gain": "+3分" } ] }, "error": null } ``` ## 异常处理 | 错误场景 | 原因 | 处理方式 | |:------|------:|:------| | 配置错误 | 参数缺失或格式错误 | 检查依赖说明中的配置要求 | | 运行时错误 | 运行环境不满足 | 确认运行环境符合依赖说明 | | 网络错误 | 连接超时或不可达 | ## 依赖说明(补充) | 依赖项 | 类型 | 必需 | 说明 | |---:|:---|---:|---:| | LLM | 模型 | 是 | 需要LLM进行智能审查, 推荐GPT-4/智谱GLM-4/DeepSeek | | API Key | 凭证 | 否 | 使用云端LLM时需要 | **国内替代方案**: - OpenAI GPT → 智谱GLM-4 / 百度文心一言 / 通义千问 / DeepSeek ## 案例展示 ### 批量任务配置 ```yaml # batch_config.yaml batch: input_dir: "/data/audios" output_dir: "/data/transcripts" model: "medium" device: "cuda" language: "zh" output_format: "srt" initial_prompt: "专业会议转录,术语准确。" max_workers: 4 retry: 3 skip_existing: true log_file: "./transcription.log" ``` ### 自定义词典 ```python # 领域术语注入 prompts = { "legal": "以下是法律庭审录音,涉及原告、被告、审判长、诉讼请求、证据质证、法庭辩论等术语。", "medical": "以下是医疗病例讨论,涉及诊断、处方、症状、检查结果、治疗方案等术语。", "tech": "以下是技术会议录音,涉及架构、API、微服务、数据库、部署、监控等术语。" } # ... result = model.transcribe( audio_path, language="zh", initial_prompt=prompts["legal"] ) ``` ## 常见问题 ### Q1: v1 专业版与其他 Whisper 专业版有何不同? v1 专业版基于稳定版接口,CLI 参数与模型行为固化,适合需要长期维护不频繁变更的生产环境。其他版本可能引入实验性特性,但 v1 保证向后兼容. ### Q2: GPU 加速如何启用? 安装 CUDA 版 PyTorch 后自动检测。代码中 `whisper.load_model("medium", device="cuda")` 显式指定. ### Q3: 批量处理中断后如何续传? 启用 `skip_existing` 选项,跳过已生成输出文件的音频。配合日志文件记录处理状态. ### Q4: 模型预加载的显存占用? 每个模型独立占用显存:`small` 约 2GB,`medium` 约 5GB,`large` 约 10GB。建议根据显存容量预加载,避免 OOM. ### Q5: API 服务的并发能力? 单 GPU 下建议并发 2-4(取决于模型)。多 GPU 可线性扩展。CPU 模式建议串行。大文件建议使用任务队列异步处理. ### Q6: 专业版与免费版的迁移成本? 零迁移成本。专业版是免费版的超集,命令行完全兼容。升级后原有脚本自动受益于 GPU 加速(若已安装). ## 错误处理 | 错误场景(续)| 原因 | 处理方式 | |:---------:|-----------|:----------| | LLM响应超时或无响应 | 网络延迟或模型负载过高 | ，请求；确认Agent平台LLM服务正常 | | 输入内容格式不正确 | 用户输入不符合skill预期格式 | 检查输入是否符合skill使用说明中的格式要求，参考示例章节 | | 执行结果与预期不符 | 指令描述不够明确或上下文不足 | 提供更详细的指令描述，补充必要的上下文信息 | | 命令执行失败 | 运行环境不满足要求或权限不足 | 确认运行环境符合依赖说明中的要求；检查命令权限设置 | ## 已知限制 - large模型需10GB+显存，消费级GPU（8GB以下）可能OOM，仅medium及以下模型可稳定运行 - 转录准确率受音频质量影响显著，背景噪音、多人同时说话或口音较重时准确率明显下降 - v1稳定版不支持流式实时转录，需要等音频完整录制后才能处理，不适合实时字幕场景