AI测试，要5年左右经验的，做过传统软件测试也有一些AI应用测试经验的比较合适，或者是近3年都在做AI应用相关测试的 招聘JD：AI测试工程师 岗位综述： 负责B端Agent平台的质量体系建设与测试交付，覆盖功能、性能、评测、安全及可观测性，保障AI应用在高复杂度场景下的稳定可靠。 核心职责： 质量体系建设：建立适配B端Agent的质量体系与发布门禁，涵盖稳定性、工具成功率、引用一致性、安全、性能与成本指标。 场景测试：负责多轮对话、工作流分支、工具链路（Tool Chain）、异步/长任务、并发、异常恢复、幂等与重试风暴等场景测试。 自动化测试：搭建API测试体系（Tool Schema、接口Schema），基于Playwright实现E2E自动化（React管理台/编排器），管理SaaS与私有化测试数据及环境。 评测体系：构建离线评测集（业务+对抗），实现规则/LLM-as-judge/人审自动评分，建立版本对比、回归门禁与漂移监控机制。 安全合规测试：覆盖Prompt Injection、越权工具调用、RAG权限绕过、敏感信息泄露、审计链路完整性、离线数据驻留与脱敏校验。 可观测与复现：基于Tracing/Metrics/Logs实现失败分类，建立对话与工具链路回放机制，生成复现脚本与根因分析，推动修复闭环。 AI工具提效： 利用Cursor/Claude Code生成PyTest/Playwright脚本、API测试用例及对抗性/边界场景数据 通过AI辅助日志分析、链路溯源、根因定位，自动生成失败复现脚本 自动生成测试计划、缺陷分析报告、复盘总结及私有化检查清单 用AI搭建评测集、生成LLM-as-judge评分规则，自动化版本对比与场景标注 任职要求： 计算机、信息技术相关专业本科及以上学历，5年以上测试经验，能主导复杂系统测试策略与质量闭环 熟练Python自动化测试（PyTest），精通Playwright实现E2E 熟悉ToB测试关键场景：多租户、RBAC/ABAC、审计、配额/限流、灰度/回滚、私有化升级兼容（K8s与Docker Compose双形态） 理解LLM/Agent非确定性特征及评测方法：结构化输出校验、工具失败模式、上下文污染、采样稳定性 理解RAG测试链路：Milvus/PGVector/ES检索、权限过滤、引用溯源一致性、知识更新回归 具备线上质量经验：监控告警、灰度放量、回滚与事故复盘 加分项： 有LLM/Agent评测或质量中台经验：数据集管理、版本对比、回归门禁、A/B实验、评分稳定性控制 有对抗/红队经验：越狱、注入、数据外带（Exfiltration）、权限绕过 熟悉OpenTelemetry/ELK/Prometheus，能基于Traces建立回放与复现工具 具备性能与成本测试经验：并发、限流策略、重试风暴、Token成本与耗时分布