跳到主要内容

GenAI

GenAI是应用调用的各种大模型,GenAI可观测提供应用调用AI的整体运行情况,包括执行时间、首Token时间、输入Token数、输出Token数等关键指标,以及GenAI的Span信息,帮助用户快速了解GenAI的当前状态和性能瓶颈。

注意:Python Agent V4.0.0.0+、UniAgent V4.1.0.0+ 支持监控 GenAI。

GenAI概览

GenAI-dashboard

  • 指标:GenAI可查看调用AI模型的关键性能指标,包括:GenAI客户端执行时间、GenAI首Token时间、GenAI客户端调用次数、GenAI客户端错误率、GenAI客户端输入Token数、GenAI服务端输出Token数、GenAI客户端Token数。
  • 按请求分析:可查看每个请求调用AI模型时的GenAI客户端执行时间、GenAI首Token时间、GenAI客户端Token数的趋势图。
  • 按模型分析:可查看每个AI模型的GenAI客户端执行时间、GenAI首Token时间、GenAI客户端Token数的趋势图。

GenAI调用

  • 应用/请求-概览-关系,可查看当前应用/请求调用的所有AI的性能情况。 application-GenAI-list

  • 单击名称可在详情页查看当前AI模型的指标、调用当前模型的请求和Span列表。 application-GenAI-detail

GenAI追踪

Call Tree 和 Call Table可查看GenAI的调用栈及详情。 tracing-calltree-genai

  • 左侧的调用栈可看到GenAI代码级的调用并且以标签的形式显示AI的关键信息,包括:厂商、模型、tokens等信息。
  • 时序图可查看当前GenAI的执行时间、开始时间、独占时间、偏移量。
  • 单击调用栈,右侧显示GenAI的具体信息 tracing-calltree-genai-attribute