DPC Punkte gegen Bewertungssysteme.

Beim jüngsten Supermajor-Aufforderungsdrama gibt es erneut zahlreiche Beschwerden und Kritik am DPC-System. Teams, Turnierorganisatoren und Fans haben versucht, die DPC-Rangliste als Begründung für bestimmte Einladungen oder als Munition für Angriffe auf andere Einladungen zu verwenden. Ich halte diese Argumentation für ziemlich unlogisch.

Das DPC-Punktesystem weist zwar inhärente Mängel auf (untergeordnete Verwendung, Dienstplanmissbrauch, schreckliche Turnierformate usw.), diese gehen jedoch über den Rahmen dieses Artikels hinaus. Wir konzentrieren uns hier lediglich auf direkte Einladungen und auf die Lösung dieses Problems kann indirekt einige verwandte Probleme lösen.

Der Zweck des DPC war niemals eine genaue und aktuelle Darstellung der verschiedenen Qualifikationsniveaus von Teams auf der ganzen Welt - es wurde in erster Linie als transparente und objektive Methode geschaffen, um die Turnierplatzierung im gesamten Dota 2 zu bewerten und zu messen Saison, so dass die direkten Einladungen an die Internationale vollständig auf Ergebnissen basieren würde. Dies lag daran, dass die Teams / Spieler nicht wissen konnten, ob sie genug getan hatten, um eine Einladung zu einem Valve-Event zu rechtfertigen.

Das Hauptproblem ist, dass der DPC bei der Punktevergabe nur die Platzierung innerhalb eines Turniers bewertet und dabei den Kontext der Leistung eines Teams bei der Platzierung ignoriert. Zum Beispiel, wenn es ein 16-Team-Single-Elimination-Minor-Event gab, bei dem Team A Virtus.Pro (2–0), Liquid (2–0) und Secret (2–0) besiegte und im Finale gegen EG 1–2 verlor (Wer selbst 3 No-Name-Teams mit jeweils 2: 1 besiegt, um das Finale zu erreichen), erhält trotz der besseren Leistung von Team A innerhalb des Events einfach den 2. Platz und 90 Punkte pro Spieler. Wenn es um DPC-Punkte geht, ist diese Situation durchaus vernünftig, die Punkteverteilung selbst kann diskutiert werden - aber das Prinzip, dass Team A hier einfach ~ 90 Punkte für einen zweiten Platz bekommt, ist in Ordnung. Die größeren Bedenken für mich sind:

  • Virtus Pro könnte das zweitbeste Team insgesamt sein, hat aber aufgrund seiner einmaligen Überraschung keine Chance, sich dort zu platzieren (d. H. Schlechtes Turnierformat und / oder schlechtes anfängliches Seeding: mehr hier).
  • Wenn zukünftige Events, die direkt auf den reinen Ergebnissen dieses Turniers basieren, einladen, besteht eine hohe Wahrscheinlichkeit, dass die Samen wirklich durcheinander geraten, was zu unsinnigen Daten führt, die in sich selbst einfließen.

Ein Bewertungssystem betrachtet jedoch nicht ein gesamtes Turnier als eine Einheit, sondern nur einzelne Spiele. Dies bedeutet, dass das Gewinnen einer Bo7 4-0 besser ist als das Gewinnen von 4-3 (was logisch ist). Es bedeutet, dass es besser ist, 3 starke Teams zu schlagen, um nur gegen ein anderes starkes Team zu verlieren, als 6 schwache Teams zu vernichten. Dies bedeutet, dass ein sehr starkes Team, das ein sehr schwaches Team mit 2: 1 besiegt, ein Nettogewinn für das schwache Team ist. Es handelt sich um ein System, das durch negative Rückkopplung arbeitet, um letztendlich den Gesamtfehler innerhalb eines Systems zu reduzieren, und es ist so konzipiert, dass es nicht nur selbstkorrigiert, sondern auch nützlich / vorhersagend ist, da es konvergiert. Es ist immun gegen schlechte Formate, schlechte Samen und schlechte Paarungen. Es ist nicht perfekt vorhersagbar, aber es ist das Ziel. Jedes Spiel des Turniers fungiert als ein einzelner Datenpunkt.

Drei gängige Bewertungssysteme (Elo32, Glicko, Glicko2) der Top-Profiteams per 18. März 2018. Die hervorgehobenen Teams waren die direkten Einladungen zum PW / PGL Supermajor.

Das DPC-System ist überhaupt kein Bewertungssystem - es ist ein platzierungsbasiertes, punktezentriertes Ranking-System. Es hat sehr viele Parameter, die es definieren. Es wird nicht versucht, Fähigkeiten zu einem bestimmten Zeitpunkt darzustellen, sondern die Gesamtleistung über einen längeren Zeitraum. Es fehlen die Korrekturmaßnahmen, die Bewertungssysteme haben (da Teams niemals Punkte verlieren können, können sie nur von anderen ähnlich positionierten Teams überholt werden, die Punkte erzielen). Der Versuch, DPC-Punkte als Ersatz für ein echtes Bewertungssystem zu verwenden, führt absichtlich sehr verrauschte Daten in sich zurück und ist völlig unlogisch, da es nicht an genaueren Bewertungssystemen mangelt.

Einige Leute haben gesagt, dass dies für Dota 2 zu kompliziert und unnötig ist, da „die Spitze der DPC (ihrer Meinung nach) größtenteils die Spitzenteams der Welt sind“. Dazu gibt es zwei tief hängende Kontrapunkte:

  • Was ist, wenn ein Team über einen bestimmten Zeitraum schlechte Leistungen erbringt? Sie können keine Punkte verlieren. Müssen wir also einfach akzeptieren, dass es sich um High-Seeds handelt, die derzeit recht gering qualifiziert sind? Wenn ja, bedeutet dies, dass akzeptiert wird, dass die Gruppen / Klammern schief sind.
  • Was ist, wenn Teams von ihren Spielern so völlig ungetestete Teams bilden? Was ist, wenn die neu gebildeten Teams viel schlechter sind als die vorherige Team-Iteration?

Eine andere Möglichkeit, ein Bewertungssystem in Bezug auf direkte Einladungen und Startwerte über DPC-Punkte zu rechtfertigen, besteht darin, die Vorhersagekraft zu überprüfen: Das Grundprinzip von direkten Einladungen besteht darin, Varianz und Chaos innerhalb der Qualifikanten zu verringern. Der Sinn von Seeding bei einem Event ist es, das Format fair zu gestalten, damit die Top-Teams sich nicht zu früh ausscheiden (und trotzdem wirklich fähige, aber unterbewertete Teams siegen können). Wenn Sie dies auf die bestmögliche Art und Weise erreichen möchten, ist das objektive und transparente System, das den Sieger einer großen Anzahl von Spielen am genauesten vorhersagt, implizit die beste Wahl, wenn es darum geht, die Teams zu bewerten / zu säen.

Ein weiterer Vorteil eines objektiven und wohlgeformten Bewertungssystems (neben dem DPC-System) ist, dass es Bewertungen für alle Teams liefert, nicht nur für diejenigen, die bei einem DPC-Ereignis Punkte erzielt haben. Auf diese Weise werden Einladungen zu Veranstaltungen viel einfacher und transparenter (insbesondere bei mehrstufigen Einladungen). Das bedeutet, dass die Belohnung für gute Leistungen in einer Gruppe von Qualifikationsspielen (auch wenn Sie diese nicht gewinnen) darin besteht, dass Sie in den kommenden Qualifikationsspielen auch etwas leichtere Läufe haben.

Alles in allem ist das DPC-System offensichtlich nicht perfekt - es gibt verschiedene Möglichkeiten, wie wir alle erwarten, dass es in Zukunft verbessert wird. Aber für Turnierveranstalter ist es völlig unwissend, darauf zu bestehen, den Fehler unnötig zu verschlimmern, nur um der sogenannten Einfachheit willen. Fans sollten die DPC-Rangliste nicht als Maß für die Fähigkeiten eines Teams betrachten (obwohl häufig eine hohe Korrelation besteht), sondern als aggregierte Messgröße dafür, wie gut das Team in der DPC-Saison platziert wurde.

~ Noxville / www.datdota.com/ratings