跳到主要内容

数据集成

概述

数据集成是平台连接外部数据源的入口模块,支持从多种数据源获取数据用于指标创建和分析。数据集成包含以下两个核心功能:

  • 数据接入:平台提供了十几种数据接入模板,包括:
    • 监控平台:Zabbix、Prometheus、Grafana
    • UniAgent:for Kubernetes、for Host、Collector、Mobile APP、Web、小程序
    • 外部数据:Database
  • 数据源:展示已创建的数据接入实例,用于管理和配置具体的数据源连接。

应用场景

当需要自定义创建指标时,可以从监控工具、探针、采集器、外部数据中获取数据进行指标创建。创建好的指标可以用来设置告警、用于统计数据在看板中展示。

配置指导

  1. 在数据集成中根据平台提供的数据接入模版,创建一个具体的数据对接实例。
  2. 在轻应用"指标体系 > 生成指标"中,完成自定义指标的创建。

前置条件

必须先安装好对接外部数据的采集器。

详情查看接入外部数据源操作指南说明,安装Collector采集MySQL数据。

数据接入

针对不同的数据接入模版,填写连接配置参数,如连接地址、认证等,完成数据源的创建。

以外部数据Database举例,如下:

步骤信息项说明
1 选择采集器Collector选择可以连接到MySQL的采集器。
2 数据源信息数据源名称连接具体数据库数据来源的名称。
数据源类型MySQL
数据源状态启用或禁用,默认是启用状态。
3 连接数据库主机MySQL所在的主机IP地址
端口MySQL的端口
数据库名称数据库名称
用户名连接MySQL数据库的用户名
密码连接MySQL数据库的密码
超时时长(秒)首次连接MySQL失败后继续尝试连接的最大时间。超过此值,不再连接。
4 配置完成

数据源使用

在建立完数据源后,通常都会通过查询、统计等语句,从数据中获取指标数据。

生成指标

概述

目前平台指标来源有两类,一类是系统默认探针采集到的指标,另一类是通过集成下的数据接入功能对接外部监控工具、平台内部业务数据和第三方数据库中存储的数据,获取指标数据。

配置指导
  1. 选择指标数据的来源观云或MySQL。
  2. 选择观云时,有四类模型数据(METRIC、SPAN、RUM和LOG)保存了业务和性能数据,通过模型选择定义指标属性。
  3. 选择MySQL时,通过配置SQL查询语句,获取指标数据。
  4. 保存完配置后,平台会将该配置自动下发到配置中的Collector。
  5. Collector根据配置参数完成采集指标工作。
从观云模型创建指标

步骤信息项说明
1 选择数据源观云选中创建指标的数据来源
2 模型选择模型METRIC:从系统指标中创建衍生指标或复合指标。
+ 指标,当前系统存在的指标
+ 过滤,指标属性过滤
+ 指标表达式,当出现多个指标时,通过加减乘除生成新指标
+ 指标维度,用于过滤指标数据
SPAN:从Trace中的SPAN模型数据中创建指标。
+ 业务系统,已存在的业务系统
+ 应用,选中业务系统下对应的应用列表
+ 数据项,该业务系统下配置的数据项
+ WHERE,该业务系统下配置的数据项
+ GROUP BY,该业务系统下配置的数据项
RUM:从RUM协议数据中获取指标数据。
+ VISUALIZE,选中模型中数据属性作为指标
+ WHERE,该业务系统下配置的数据项
+ GROUP BY,该业务系统下配置的数据项
LOG:从LOG协议数据中获取指标数据。
3 新增指标指标key指标唯一标识,通常用英文命名
指标名称指标的中文含义
指标分类指标所属实体的资源层级分类
衡量标准默认中性,用于判断指标值是越大越小还是越小越好
单位指标的单位,用户图表显示
指标分级指标的重要程度
指标上界指标最大值,超出即为不异常
指标下界指标最小值,默认0
指标描述该指标的更多信息解释说明
4 关联实体标签系统默认指定
5 配置完成
从MySQL数据源中创建指标

步骤信息项说明
1 选择数据源MySQL选择数据源类型MySQL下具体的数据源实例,选择后系统会把该数据源基本信息进行展示。
2 SQL查询查询语句必须以Select开头的查询语句
数据查询时间间隔多久连接一次数据库查询SQL语句
3 新增指标指标key指标唯一标识,通常用英文命名
指标名称指标的中文含义
指标分类指标所属实体的资源层级分类
衡量标准默认中性,用于判断指标值是越大越小还是越小越好
单位指标的单位,用户图表显示
指标分级指标的重要程度
指标上界指标最大值,超出即为不异常
指标下界指标最小值,默认0
指标描述该指标的更多信息解释说明
4 关联实体标签手动选定关联的业务系统/应用。
5 配置完成