yury/user-stories
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
cfa239bc23
user-stories/metrics-core.md

6.5 KiB
Raw Blame History

Метрики

Метрики заполняются индивидуально для каждого задания и деляется на 2 типа:

  • Основные метрики заполняемые по сумме всех активных плагинов (тестов)
  • Метрики на плагин. Плагином является конкретный тип теста, например, при тестировании Телемоста в отчете о задании появляются дополнительные метрики.
  • То-есть Телемост = 1 плагин, GTA SA-MP = 1 плагин. В 1 задании может быть много плагинов
  • Метрики записываются в collectd каждые 10 секунд (должно быть переменной), из collectd данные по умолчанию будут уходить в Graphite, например как тут: https://docs.dosgate.com/dosgate_install/#51-collectd

Основные метрики

  • Total Throughput BPS (bits per second, график)

    • Client (сколько направлено)
    • Server (сколько получено)

  • Total Throughput PPS (packets per second, график)

    • Client (сколько направлено)
    • Server (сколько получено)

  • Total TCP CPS (tcp protocol connections per second, график)

    • Client (сколько попыток установить)
    • Server (сколько установлено)

  • Total UDP FPS (udp protocol flows per second, график)

    • Client (сколько направлено)
    • Server (сколько получено)

  • TCP Instantaneous Latency (First Byte, график)

    • Average Time to First Byte
    • Max Time to First Byte
    • Min Time to First Byte

  • TCP Instantaneous latency (Last Byte, график)

    • Average Time to Last Byte
    • Max Time to Last Byte
    • Min Time to Last Byte

  • TCP Instantaneous Latency (Connections, график)

    • Average Connection Latency

  • TCP average latency (общее для всех плагинов в мс, график)

  • UDP average latency (общее для всех плагинов в мс, график)

  • Active Plugins (кол-во активных плагинов для теста и успешности их работы в сети, гистограмма):

    • Успешность работы определяется тем что трафик плагина получен и клиентом и сервером, если только отправлен клиентом, а сервером не получен (даже частично) — значит initiated, но failed
    • Plugins Initiated
    • Plugins Succeed
    • Plugins Failed

  • Plugin Traffic Distribution (круговые диаграммы)

    • Распределение пользователей по plugins (общее кол-во пользователей (если применимо к заданию) которое эмулируется, в %)
    • Индивидуальная статистика по каждому plugin (круговые диаграммы или графики):
      • BPS Client
      • BPS Server
      • PPS Client
      • PPS Server
      • TCP CPS Client
      • TCP CPS Server
      • UDP FPS Client
      • UDP FPS Server
      • TCP Instantaneous Latency (First Byte)
      • TCP Instantaneous latency (Last Byte)
      • TCP Instantaneous Latency (Connections)
      • TCP average latency (общее для плагина в мс.)
      • UDP average latency (общее для плагина в мс.)

Метрики для плагина: Телемост

  • Audio RTP PPS

    • Client
    • Server

  • Audio RTP BPS

    • Client
    • Server

  • Audio MOS Average (в "баллах" 1-5, график)

  • Audio MOS Distribution (гистрограмма)

    • Кол-во событий в диапазоне 4.0-5.0
    • Кол-во событий в диапазоне 3.5-4.0
    • Кол-во событий в диапазоне 3.0-3.5
    • Кол-во событий в диапазоне 2.0-3.0
    • Кол-во событий в диапазоне 1.0-2.0

  • Audio Delay Variation Jitter Average (us, график)

  • Audio Delay Variation Jitter Distribution (гистрограмма)

    • Audio RTP Packets With Delay Variation Jitter Up To 1ms
    • Audio RTP Packets With Delay Variation Jitter Up To 3ms
    • Audio RTP Packets With Delay Variation Jitter Up To 5ms
    • Audio RTP Packets With Delay Variation Jitter Up To 10ms
    • Audio RTP Packets With Delay Variation Jitter Up To 20ms
    • Audio RTP Packets With Delay Variation Jitter Up To 40ms
    • Audio RTP Packets With Delay Variation Jitter More Than 40ms

  • Audio RTP Packet Loss Distribution

    • Audio RTP Consecutive Lost of 1 Packet Sequences
    • Audio RTP Consecutive Lost of 2 or 3 Packets Sequences
    • Audio RTP Consecutive Lost of 4 to 5 Packets Sequences
    • Audio RTP Consecutive Lost of 6 to 10 Packets Sequences
    • Audio RTP Consecutive Lost of 11 or More Packets Sequences

  • Video RTP PPS

    • Client
    • Server

  • Video RTP BPS

    • Client
    • Server

  • Video Stream Quality (в "баллах" 1-5, график)

  • Video Stream Quality Distribution (гистрограмма)

    • Кол-во событий в диапазоне 4.0-5.0
    • Кол-во событий в диапазоне 3.5-4.0
    • Кол-во событий в диапазоне 3.0-3.5
    • Кол-во событий в диапазоне 2.0-3.0
    • Кол-во событий в диапазоне 1.0-2.0

  • Video Delay Variation Jitter Average (us, график)

  • Video Delay Variation Jitter Distribution (гистрограмма)

    • Video RTP Packets With Delay Variation Jitter Up To 1ms
    • Video RTP Packets With Delay Variation Jitter Up To 3ms
    • Video RTP Packets With Delay Variation Jitter Up To 5ms
    • Video RTP Packets With Delay Variation Jitter Up To 10ms
    • Video RTP Packets With Delay Variation Jitter Up To 20ms
    • Video RTP Packets With Delay Variation Jitter Up To 40ms
    • Video RTP Packets With Delay Variation Jitter More Than 40ms

  • Video RTP Packet Loss Distribution

    • Video RTP Consecutive Lost of 1 Packet Sequences
    • Video RTP Consecutive Lost of 2 or 3 Packets Sequences
    • Video RTP Consecutive Lost of 4 to 5 Packets Sequences
    • Video RTP Consecutive Lost of 6 to 10 Packets Sequences
    • Video RTP Consecutive Lost of 11 or More Packets Sequences

Метрики для плагина: GTA SA-MP