maandag 13 mei 2024

Is/ was het ratingsysteem kapot?

Veel Belgen begrijpen niet waarom fide en de Belgische bond heel recent een drastische elo-correctie hebben doorgevoerd. Er wordt niet echt geklaagd want extra elopunten zijn altijd leuk om te krijgen maar velen vinden het vreemd dat ze nu meer elo hebben dan 10 of zelfs 20 jaar geleden.

Nu dat sentiment zou wel eens kunnen veranderen in de nabije toekomst wanneer steeds meer spelers beseffen dat de extra elo voor hen een vergiftigd geschenk was. Ik heb de Belgische ratingverantwoordelijke er voor gewaarschuwd en we hebben na slechts 2 klassementen reeds de eerste slachtoffers van de decompressie. Spelers die velen jaren een rating gehad hebben, zijn nu plots ongekwoteerd.

Pierre Valembois is 1 van de eerste slachtoffers van de decompressie

Ik voorspel dat het de start is van een golf van (vooral) oudere spelers die als grof huisvuil gedumpt worden door de fide. Collateral damage om een nieuwe deflatie te vermijden? Ik heb zeer sterke twijfels of dit een juiste strategie is. Veel clubs zouden wel eens belangrijke vrijwilligers kunnen verliezen want de hogere elo's zijn veelal enkel bezig met zichzelf. Daarnaast is het symptoombestrijding en is het zeker geen definitieve oplossing voor inflaties/ deflaties in de toekomst van het ratingsysteem.

Anderzijds besef ik sinds mijn laatste open tornooi in Mariënbad dat we evenmin de problemen met de deflatie nog verder konden negeren. Eerlijk gezegd dacht ik tot dan toe dat wie hard werkt aan het schaken, geen ratingverlies hoeft te vrezen van ondergekwoteerde spelers. Dat was mij de voorbije jaren in verscheidene tornooien telkens gelukt tot dus Mariënbad 2024. Daar zag en ondervond ik voor het eerst hoe dramatisch een ontspoord ratingsysteem kan zijn voor spelers en tornooi.

Nog voor de 1ste zet werd gespeeld, wist ik al dat het tornooi anders zou zijn dan alle andere die ik ooit had gespeeld. Het begon al met de paringen van de eerste ronde. Ik vermoed dat zeer weinigen zich voorbereiden voor de 1ste ronde op basis van een voorlopige deelnemerslijst want je hebt altijd spelers die laatste moment aanmelden en afmelden. Bovendien wordt het kleur geloot en moet je dus op beide kleuren voorbereiden zonder voorkennis van de loting. M.a.w. enkel omdat ik sowieso moest wachten, keek ik al eens naar het repertoire van  Thomas Hellmann die ik in een Zwitsers tornooi theoretisch als tegenstander volgens de voorlopige deelnemerslijst moest krijgen.
Mijn summiere voorbereiding op beide kleuren voor Thomas Hellmann

Ik heb nog nooit succes gehad met mij te baseren op de voorlopige deelnemerslijst maar deze keer keek ik toch heel raar op dat ik meer dan 100 elopunten te optimistisch was geweest. Ik vernam enkele minuten voor het tornooi begon, er minstens 10 hogere elo's zich hadden teruggetrokken waardoor het tornooi plots een pak minder sterk was bezet.
Hogere elo's haken massaal af in 2024

Angsthazen of wist men wat er ging gebeuren met de overgebleven hogere elo's? Het werd op uitzondering van een Indiër en een Pool een waar elobloedbad voor de top 10. Slechts 3 van de top 10 spelers eindigde in de top 10. 3 van de top 10 gaven 1 of meerdere forfaits.
Ondanks slechts K-factor 20 zien we zeer grote eloverliezen bij de top 10

Zelfs ondergekwoteerde spelers kloegen over dat ze te weinig rating konden verdienen in Mariënbad (herinner mijn artikel Hoe belangrijk is elo? over spelers die op elojacht waren). In ronde 8 won ik van een duidelijk ondergekwoteerde jeugdspeler die zelfs 41 elo verloor. Na het tornooi hoorde ik enkele ouders vertellen dat ze niet meer zouden terugkomen omdat hun kinderen te weinig rating hadden gewonnen. Sommige spelers speelden voor het tornooi van Mariënbad ook in Praag en je ziet heel duidelijk in onderstaand overzicht wat een onevenwicht in ondergekwoteerde spelers kan doen op de resultaten.
Verschil elowinst/ verlies tussen Mariënbad en Praag = 27.

Beide Tsjechische tornooien werden na elkaar in dezelfde maand gespeeld dus hetzelfde eloklassement werd gebruikt voor beide. Gemiddeld werd in Mariënbad 10 elo verloren en in Praag 17 elo gewonnen door de spelers. De grootste individuele verschillen (meer dan 40 elo) heb ik in oranje aangeduid en zijn telkens in het voordeel van Praag. Dit lijkt mij te toevallig om het aan statistische ruis te kunnen attribueren.

Dan is natuurlijk de vraag hoe kan zoiets verklaard worden. Waar komen al die onderkwoteerde spelers vandaan? Op reddit stond enkele maanden geleden een heel interessante tabel over de mediaanratings in de diverse landen en die laat uitschijnen dat leeftijd zeker niet het enige is dat een rol speelt in dit verhaal.
Meer dan 600 elo verschil voor de mediaan tussen de sterkste en zwakste landen.

Dat India op de voorlaatste plaats met een mediaan van 1223 elo staat is op zijn zachtst gezegd vreemd. Echter het is minder vreemd als je weet dat slechts een heel klein percentage van de Indiërs over de financiële middelen beschikt om naar het buitenland te reizen en daar elo te winnen. M.a.w. veel landen hebben hun eigen eco-systeem betreffende elo die nauwelijks of niet kan worden beïnvloed door andere landen.

Hoe groot de impact kan zijn door de eloverschillen tussen de landen op een individuele rating, zag ik o.a. in het fideprofiel van de Koeweitse 16 jarige Meshal Alhejab (mijn tegenstander in ronde 4 van Mariënbad). Ik vermoed dat hij altijd tornooien in EU-landen zou kiezen indien geld of tijd geen rol zou spelen.
Schaakprestaties in het voorbije jaar van Meshal Alhejab

Het verschil in Meshal's prestaties tussen EU landen en andere landen is gigantisch en kan opnieuw onmogelijk door statistische ruis worden verklaard. Het bevestigt nogmaals wat ook een artikel van Chessbase al enkele jaren geleden ons vertelde: Why do some countries always gain and other always lose rating points?

Dat fide deze problematiek compleet negeert getuigt niet perse van kwade wil maar wellicht dat hiervoor geen makkelijke oplossing bestaat. Ik kan mij voorstellen dat je nooit een voorstel goedgekeurd krijgt waarin het ene land punten moet geven aan een ander land zonder partijen te spelen.

Met de recente elocorrectie zullen de verschillen met 40% verkleind zijn maar dat is uiteraard onvoldoende. Tussen sommige landen betekent dit nog steeds meer dan 300 punten verschil voor de mediaan. Of het ratingsysteem dit kleiner verschil nu wel vanzelf zal rechttrekken, is erg twijfelachtig. Het ratingsysteem was kapot en ik vind het nog veel te vroeg om het nu al gezond te verklaren.

Brabo

14 opmerkingen:

  1. In Open Reijkjavic 2024 deed Sushanth Kamabathula mee (een 1918 ELO) die 20 ste werd met TPR van 2465 ELO !!! temidden van GMs en IMs staat met 6.5 uit 9 . Als je bedenkt dat Vasyl Yvanchoek 35ste werd met 6 uit 9.
    Dan zijn er flagtant ondergekwoteerde Indiers zoveel is zeker. Als er dan veel van zijn ...
    Daarom uw voorstel om de TPR van die speler te gebruiker voor verwerking van de ELO voor de tegenstanders lijkt me de oplossing. Als daareens een richtlijn over kwam dan was volgens mij alles van de kaart, het verschil van de landen incluis. Als die speler met 1918, als een IM van 2465 wordt aangerekend, wat op zijn plaats is, zullen de verliezers dat ook beter kunnen schatten.

    BeantwoordenVerwijderen
    Reacties
    1. Die speler was me opgevallen omdat wij de ravisante Anna Cramling volgden en die door deze speler werd verslagen. Absoluut onmogelijk dat iemand van 16 jaar, wat schaakt en op 1918 elo uitkomt en bij zijn daaropvolgende event een IM norm scoort.
      Wat is er aan de hand ? Wie zal het zeggen.
      https://ratings.fide.com/profile/25712667/calculations

      Verwijderen
    2. Open Reykjavik 2024 is na 1 maart dus de elocorrectie was reeds doorgevoerd. Het is een utopie om te denken dat alles nu in orde is met het ratingsysteem.

      Verwijderen
    3. TPR kan de oplossing zijn maar is niet eenvoudig om te implementeren. Je moet starten met een ijkingspunt (spelers waarvan je de elo vertrouwt) waarop TPR wordt berekend. Bij te weinig betrouwbare elo's riskeer je helemaal geen eloverwerking.

      Verwijderen
  2. For a Belgian to complain of this is simply incredible. In India I played a rapid tourney recently; I lost to a young man who has FIDE rapid 1630. His classical is 1839; on Lichess his rapid rating is 2450 and blitz/bullet nearing 2500. The pools are so strong that rating only has meaning within the pool. Anyone stepping outside will just obliterate players from weaker regions.

    Very simply, Elo doesn't work when there isn't enough cross-regional interaction. Indian Elo is simply fundamentally different from Elo anywhere else, and it's only now when Indians who aim to be pro go outside to farm ratings that people outside complain, but the reality is that European ratings are simply massively inflated.

    BeantwoordenVerwijderen
    Reacties
    1. Inflation/ deflation is of course a matter of perception.
      However if we look to how things were initially organized in 1970 then it are the Indian ratings which are heavily deflated instead of the European ratings being heavily inflated.
      There are 3 big reasons why countries like India have much lower ratings than in Europe.
      1) Chess was in 1970 almost not existent in India. The few people playing chess in India were not good at all so received almost no starting-rating. Later generations became much much better but in the initial pool there were very little ratings to grab from.
      2) A healthy ratingsystem is based on a balanced equilibrium between young and old players. In India this is completely unbalanced as almost no +50 players while millions of children. The old players need to fund the young ones but by lack of it this doesn't happen.
      3) For +99% of the Indians travelling to Europe is too expensive. On top many Indians refuse to play in India once they did farming in Europe. Like that Indians ratings can not correct themselves.

      Verwijderen
    2. "For a Belgian to complain of this is simply incredible."
      Many Indians stop playing in India after they farmed in Europe because with their peakrating they can get higher fees for coaching, get interesting invitations ... There is no difference between peoples/ nations. I find it very logical people try to protect the status they achieved. Don't expect any pity of others because you did the "right" thing.

      Verwijderen
    3. 1) Yes of course some Indians do play abroad and in India. However I don't know any Belgians refusing to play in Belgium while I do notice many Indians not playing anymore in India. So there is a clear difference between both nations. There is definitely an impact on the ratingsystem but hard to quantify if it is minimal or substantial.
      2) Yes of course there are +50 players in India. However I never meet in Europe such Indian players while +50 players in Europe are a very big part of the playing-community.

      Anyway I agree my general statements are based on anecdotal evidence so are too simplistic which doesn't mean they contain no truth. For sure a large research is needed to get a detailed view about the exact impact of the different factors. Who has the time for that and will it change something (if fide doesn't care) ?

      Verwijderen
    4. I think the absence of older Indian players is basically due to need for sponsorship or pretty decent funds (10,000 Euros or so for a proper trip of 4 or 5 tournaments I would assume) which is for most Indians quite a bit.

      Most of the older players are retired gentlemen and only a few would have been in very lucrative employment. You'd probably see more such hobbyists in 10 years as men of around my age who began working when India started to become more prosperous end up being financially secure for life and then many who were playing as juniors and gave up chess for profession may start playing just to see how they do. I know some friends have occasionally played in tourneys like this.

      That community of chess-playing adults who are serious but non-professional is very much alive in India, it's only that you won't hear or see much of it, because all the noise is from young kids seeking to become stars. ChessBase India videos actually cover a lot of normal players in their games and even do interviews in many cases.

      Verwijderen
    5. Seniortournaments are very big here (Belgium but also Europe) despite almost 0 prizes. So you can't blame the sponsorship for the difference between India and Europe.
      However you do nail it by stating that only a few Indians were in a very lucrative employment. In Europe you have a large % of seniors with big financial reserves. Again money plays a big role if somebody is active or not.
      I can imagine +50 chess in India will catch up in the next decade or so but for now there is a clear gap and this gap creates troubles for the ratingssytem in India.

      Verwijderen
  3. As I see in one posts someone complains about 1900 Indian scoring IM norm. I promise you, if you come to India and are below 2300, I challenge you to play 10 or 15 tournaments and remain above 2000; it won't happen.

    There are 1630 rated players with 2400 Lichess; of course not like that in all cases, but an Indian 1800+ is invariably extremely good at chess and better than much higher rated European players. There were in 1960s I'm sure many unknown Soviet Candidate masters who would have dominated in USA or Western Europe; this case is similar, only there is chance for migration.

    BeantwoordenVerwijderen
    Reacties
    1. It is not healthy and fair that people can only achieve norms by playing outside their own country (e.g. by going to Europe).
      Fide of course to blame here. Again it is about money as usual and fixing this is simply not interesting financially for fide.

      Verwijderen
  4. Yeah, this bit I totally agree with, but it's not just about money. It's genuinely very hard to find a system to compare regions systematically and make sure a global ranking system can be accurate.

    BeantwoordenVerwijderen
    Reacties
    1. It is not very hard to let a computer process a few million games of players worldwide and correct the ratings based on the errors made. All is available: the database, the engine and even the error-scale.
      Once the calibration is done, you just need to make sure that new improving players stop taking points out of the system which is possible by recalculating their ratings after each tournament based on performances.

      I am pretty sure fide also knows that so what stops them from executing?

      Verwijderen