user-stories/metrics-core.md

Метрики

Метрики заполняются индивидуально для каждого задания и деляется на 2 типа:

• Основные метрики заполняемые по сумме всех активных плагинов (тестов)
• Метрики на плагин. Плагином является конкретный тип теста, например, при тестировании Телемоста в отчете о задании появляются дополнительные метрики.
• То-есть Телемост = 1 плагин, GTA SA-MP = 1 плагин. В 1 задании может быть много плагинов
• Метрики записываются в collectd каждые 10 секунд (должно быть переменной), из collectd данные по умолчанию будут уходить в Graphite, например как тут: https://docs.dosgate.com/dosgate_install/#51-collectd

Основные метрики

• Total Throughput BPS (bits per second, график)

  • Client (сколько направлено)
  • Server (сколько получено)

• Total Throughput PPS (packets per second, график)

  • Client (сколько направлено)
  • Server (сколько получено)

• Total TCP CPS (tcp protocol connections per second, график)

  • Client (сколько попыток установить)
  • Server (сколько установлено)

• Total UDP FPS (udp protocol flows per second, график)

  • Client (сколько направлено)
  • Server (сколько получено)

• TCP Instantaneous Latency (First Byte, график)

  • Average Time to First Byte
  • Max Time to First Byte
  • Min Time to First Byte

• TCP Instantaneous latency (Last Byte, график)

  • Average Time to Last Byte
  • Max Time to Last Byte
  • Min Time to Last Byte

• TCP Instantaneous Latency (Connections, график)

  • Average Connection Latency

• TCP average latency (общее для всех плагинов в мс, график)

• UDP average latency (общее для всех плагинов в мс, график)

• Active Plugins (кол-во активных плагинов для теста и успешности их работы в сети, гистограмма):

  • Успешность работы определяется тем что трафик плагина получен и клиентом и сервером, если только отправлен клиентом, а сервером не получен (даже частично) — значит initiated, но failed
  • Plugins Initiated
  • Plugins Succeed
  • Plugins Failed

• Plugin Traffic Distribution (круговые диаграммы)

  • Распределение пользователей по plugins (общее кол-во пользователей (если применимо к заданию) которое эмулируется, в %)
  • Индивидуальная статистика по каждому plugin (круговые диаграммы или графики):
    • BPS Client
    • BPS Server
    • PPS Client
    • PPS Server
    • TCP CPS Client
    • TCP CPS Server
    • UDP FPS Client
    • UDP FPS Server
    • TCP Instantaneous Latency (First Byte)
    • TCP Instantaneous latency (Last Byte)
    • TCP Instantaneous Latency (Connections)
    • TCP average latency (общее для плагина в мс.)
    • UDP average latency (общее для плагина в мс.)

Метрики для плагина: Телемост

• Audio RTP PPS

  • Client
  • Server

• Audio RTP BPS

  • Client
  • Server

• Audio MOS Average (в "баллах" 1-5, график)

• Audio MOS Distribution (гистрограмма)

  • Кол-во событий в диапазоне 4.0-5.0
  • Кол-во событий в диапазоне 3.5-4.0
  • Кол-во событий в диапазоне 3.0-3.5
  • Кол-во событий в диапазоне 2.0-3.0
  • Кол-во событий в диапазоне 1.0-2.0

• Audio Delay Variation Jitter Average (us, график)

• Audio Delay Variation Jitter Distribution (гистрограмма)

  • Audio RTP Packets With Delay Variation Jitter Up To 1ms
  • Audio RTP Packets With Delay Variation Jitter Up To 3ms
  • Audio RTP Packets With Delay Variation Jitter Up To 5ms
  • Audio RTP Packets With Delay Variation Jitter Up To 10ms
  • Audio RTP Packets With Delay Variation Jitter Up To 20ms
  • Audio RTP Packets With Delay Variation Jitter Up To 40ms
  • Audio RTP Packets With Delay Variation Jitter More Than 40ms

• Audio RTP Packet Loss Distribution

  • Audio RTP Consecutive Lost of 1 Packet Sequences
  • Audio RTP Consecutive Lost of 2 or 3 Packets Sequences
  • Audio RTP Consecutive Lost of 4 to 5 Packets Sequences
  • Audio RTP Consecutive Lost of 6 to 10 Packets Sequences
  • Audio RTP Consecutive Lost of 11 or More Packets Sequences

• Video RTP PPS

  • Client
  • Server

• Video RTP BPS

  • Client
  • Server

• Video Stream Quality (в "баллах" 1-5, график)

• Video Stream Quality Distribution (гистрограмма)

  • Кол-во событий в диапазоне 4.0-5.0
  • Кол-во событий в диапазоне 3.5-4.0
  • Кол-во событий в диапазоне 3.0-3.5
  • Кол-во событий в диапазоне 2.0-3.0
  • Кол-во событий в диапазоне 1.0-2.0

• Video Delay Variation Jitter Average (us, график)

• Video Delay Variation Jitter Distribution (гистрограмма)

  • Video RTP Packets With Delay Variation Jitter Up To 1ms
  • Video RTP Packets With Delay Variation Jitter Up To 3ms
  • Video RTP Packets With Delay Variation Jitter Up To 5ms
  • Video RTP Packets With Delay Variation Jitter Up To 10ms
  • Video RTP Packets With Delay Variation Jitter Up To 20ms
  • Video RTP Packets With Delay Variation Jitter Up To 40ms
  • Video RTP Packets With Delay Variation Jitter More Than 40ms

• Video RTP Packet Loss Distribution

  • Video RTP Consecutive Lost of 1 Packet Sequences
  • Video RTP Consecutive Lost of 2 or 3 Packets Sequences
  • Video RTP Consecutive Lost of 4 to 5 Packets Sequences
  • Video RTP Consecutive Lost of 6 to 10 Packets Sequences
  • Video RTP Consecutive Lost of 11 or More Packets Sequences

Метрики для плагина: GTA SA-MP

• UDP Player Latency (график, в мс.)

Метрики для TLS: