yury/user-stories
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
5866b23ada
user-stories/metrics-core.md

4.8 KiB
Raw Blame History

Метрики

Метрики заполняются индивидуально для каждого задания и деляется на 2 типа:

  • Основные метрики заполняемые по сумме всех активных плагинов (тестов)
  • Метрики на плагин. Плагином является конкретный тип теста, например, при тестировании Телемоста в отчете о задании появляются дополнительные метрики.
  • То-есть Телемост = 1 плагин, GTA SA-MP = 1 плагин. В 1 задании может быть много плагинов
  • Метрики записываются в collectd каждые 10 секунд (должно быть переменной), из collectd данные по умолчанию будут уходить в Graphite, например как тут: https://docs.dosgate.com/dosgate_install/#51-collectd

Основные метрики

  • Total Throughput BPS (bits per second, график)

    • Client (сколько направлено)
    • Server (сколько получено)

  • Total Throughput PPS (packets per second, график)

    • Client (сколько направлено)
    • Server (сколько получено)

  • Total TCP CPS (tcp protocol connections per second, график)

    • Client (сколько попыток установить)
    • Server (сколько установлено)

  • Total UDP FPS (udp protocol flows per second, график)

    • Client (сколько направлено)
    • Server (сколько получено)

  • TCP Instantaneous Latency (First Byte, график)

    • Average Time to First Byte
    • Max Time to First Byte
    • Min Time to First Byte

  • TCP Instantaneous latency (Last Byte, график)

    • Average Time to Last Byte
    • Max Time to Last Byte
    • Min Time to Last Byte

  • TCP Instantaneous Latency (Connections, график)

    • Average Connection Latency

  • TCP average latency (общее для всех плагинов в мс, график)

  • UDP average latency (общее для всех плагинов в мс, график)

  • Active Plugins (кол-во активных плагинов для теста и успешности их работы в сети, гистограмма):

    • Успешность работы определяется тем что трафик плагина получен и клиентом и сервером, если только отправлен клиентом, а сервером не получен (даже частично) — значит initiated, но failed
    • Plugins Initiated
    • Plugins Succeed
    • Plugins Failed

  • Plugin Traffic Distribution (круговые диаграммы)

    • Распределение пользователей по plugins (общее кол-во пользователей (если применимо к заданию) которое эмулируется, в %)
    • Индивидуальная статистика по каждому plugin (круговые диаграммы или графики):
      • BPS Client
      • BPS Server
      • PPS Client
      • PPS Server
      • TCP CPS Client
      • TCP CPS Server
      • UDP FPS Client
      • UDP FPS Server
      • TCP Instantaneous Latency (First Byte)
      • TCP Instantaneous latency (Last Byte)
      • TCP Instantaneous Latency (Connections)
      • TCP average latency (общее для плагина в мс.)
      • UDP average latency (общее для плагина в мс.)

Метрики для плагина: Телемост

  • Audio RTP PPS
    • Client
    • Server
  • Audio RTP BPS
    • Client
    • Server
  • Audio MOS Average (1-5, график)
  • Audio MOS Distribution (гистрограмма)
    • Кол-во событий в диапазоне 4.0-5.0
    • Кол-во событий в диапазоне 3.5-4.0
    • Кол-во событий в диапазоне 3.0-3.5
    • Кол-во событий в диапазоне 2.0-3.0
    • Кол-во событий в диапазоне 1.0-2.0
  • Audio Delay Variation Jitter Average (us, график)
  • Audio Delay Variation Jitter Distribution (гистрограмма)
    • RTP Packets With Delay Variation Jitter Up To 1ms
    • RTP Packets With Delay Variation Jitter Up To 3ms
    • RTP Packets With Delay Variation Jitter Up To 5ms
    • RTP Packets With Delay Variation Jitter Up To 10ms
    • RTP Packets With Delay Variation Jitter Up To 20ms
    • RTP Packets With Delay Variation Jitter Up To 40ms
    • RTP Packets With Delay Variation Jitter More Than 40ms
  • Audio RTP Packet Loss Distribution
    • xxx Video ...

Метрики для плагина: GTA SA-MP