Vals spelen

De voorbije 2 weken was ik opnieuw bij mijn schoonouders in Ufa met mijn gezinnetje waar we mochten genieten van een echte winter in tegenstelling met het druilerig weertje in België.  Onze kinderen genoten er van sneeuwbalgevechten, sleetochtjes, ijssculpturen, ijsglijbanen, ... kortom winterpret. Echter vaak duurden deze uitspattingen niet meer dan een uurtje omdat het te moeilijk was om jezelf warm en droog te houden. Bijgevolg werd veel tijd binnenshuis doorgebracht en werden de spelletjes bovengehaald om zo aangenamer de tijd samen te spenderen. Tijdens de spelletjes viel het ons al snel op hoe sluw onze jongste (3 jaar) was en steeds opnieuw nieuwe methodes vond om de score naar zijn hand te zetten. In het lottospel selecteerde hij zorgvuldig de balletjes uit het zakje die net voor hem gunstig waren. Ook schaken kwam aan bod en een hevige rivaliteit ontstond met mijn oudste (5 jaar). De spelregels beginnen ze langzaam onder de knie te krijgen waardoor al heuse partijen min of meer zonder assistentie kunnen worden afgewerkt. Ook hier vond mijn jongste een truuk om enkele stukken van zus afhandig te maken als de balans te ver in zijn nadeel was. Met onopvallend te schokken met zijn buik tegen stukken/ bord, slaagde hij erin om het materieel-evenwicht te herstellen.

Ik als papa ben vaak verbaasd over de creativiteit van zulke jonge kinderen maar dit betekent niet dat ik het vals spelen laat begaan. Vals spelen is een natuurlijke eigenschap die ontstaat uit de drang om zichzelf zo goed mogelijk te laten profileren maar is uiteraard maatschappelijk onaanvaardbaar. Ik zie het dan ook als mijn opvoedende taak om hen te corrigeren bij het vals spelen. Terwijl deze anekdotes nog heel onschuldig zijn en zelfs lachwekkend, wordt het bittere ernst wanneer een volwassene van vals spelen wordt beticht in een schaaktornooi waar duizenden euro's kunnen worden verdiend. De voorbije weken stonden ongeveer alle schaaksites en schaakfora bol van het geval Borislav Ivanov. De totaal onbekende Bulgaarse amateur met een fide-elo 2227 had in de A-groep van Zadar, een topprestatie neergezet van 2697 elo en dat tegen een gemiddelde tegenstand van 2572 elo. Dit betekent dus 470 punten hoger dan zijn rating en een elowinst van bijna 74 punten in slechts 9 partijen.

Zelf vind ik dat we uiterst omzichtig moeten omgaan met iemand van vals spelen te betichten omdat iemands reputatie onterecht beschadigen vaak nog veel erger is. Echter deze zaak bleef mij aantrekken vooral omwille van de zeer bijzondere omstandigheden en de aangroeiende geruchtenmolen. In tegenstelling met de meeste forumgangers die zich wegsteken achter oneliners, ging ik uit op onderzoek.

Het eerste wat ik wou weten, is wat de individuele kans is voor een speler om 6/9 te halen als je 2227 elo hebt met de rating van de tegenstanders zoals in Ivanovs geval. Ik maakte in eerste instantie een zeer oppervlakkige berekening zonder rekening te houden met permutaties maar ik voelde intuïtief aan dat ik ver van de realiteit zat. Een correcte manuele berekening was onbegonnen werk dus het enige wat overbleef was het schrijven van een programma. Hiervoor kreeg ik totaal onverwacht hulp van een topprogrammeur die wenst anoniem te blijven. Na meerdere dagen uitwisselen van ideeën, oplossingen vinden voor bugs en verbeteringen aanbrengen werd het voorbije weekend het programma (weliswaar in betaversie) gepost op de site chess-db (ik raad iedereen aan om tijd uit te trekken en deze nieuwe veelbelovende site te ontdekken). Als je klikt op de link dan kan je de berekeningen van Ivanovs geval terugvinden. Een dump van de resultaten kan je hieronder vinden:

Probability to achieve exactly 0.0 points: 0.138820124747056877, ~1/7
Probability to achieve exactly 0.5 points: 0.238072629609693951, ~1/4
Probability to achieve exactly 1.0 points: 0.251974802537574517, ~1/3
Probability to achieve exactly 1.5 points: 0.185493573683177635, ~1/5
Probability to achieve exactly 2.0 points: 0.107187749981418433, ~1/9
Probability to achieve exactly 2.5 points: 0.049993388386886888, ~1/20
Probability to achieve exactly 3.0 points: 0.019559795430256514, ~1/51
Probability to achieve exactly 3.5 points: 0.006478139355314301, ~1/154
Probability to achieve exactly 4.0 points: 0.001847704350396042, ~1/541
Probability to achieve exactly 4.5 points: 0.000454071696103204, ~1/2202
Probability to achieve exactly 5.0 points: 0.000096905701835080, ~1/10319
Probability to achieve exactly 5.5 points: 0.000017842617809472, ~1/56045
Probability to achieve exactly 6.0 points: 0.000002839414544516, ~1/352185
Probability to achieve exactly 6.5 points: 0.000000384105179786, ~1/2603453
Probability to achieve exactly 7.0 points: 0.000000043967536769, ~1/22744053
Probability to achieve exactly 7.5 points: 0.000000004093525465, ~1/244288207
Probability to achieve exactly 8.0 points: 0.000000000305136562, ~1/3277221165
Probability to achieve exactly 8.5 points: 0.000000000015997155, ~1/62511114977
Probability to achieve exactly 9.0 points: 0.000000000000556751, ~1/1796132763944
---
Probability to achieve >= 0.0 points: 0.999999999999999927, ~1/1
Probability to achieve >= 0.5 points: 0.861179875252943049, ~1/1
Probability to achieve >= 1.0 points: 0.623107245643249098, ~1/1
Probability to achieve >= 1.5 points: 0.371132443105674580, ~1/2
Probability to achieve >= 2.0 points: 0.185638869422496945, ~1/5
Probability to achieve >= 2.5 points: 0.078451119441078511, ~1/12
Probability to achieve >= 3.0 points: 0.028457731054191623, ~1/35
Probability to achieve >= 3.5 points: 0.008897935623935108, ~1/112
Probability to achieve >= 4.0 points: 0.002419796268620807, ~1/413
Probability to achieve >= 4.5 points: 0.000572091918224764, ~1/1747
Probability to achieve >= 5.0 points: 0.000118020222121559, ~1/8473
Probability to achieve >= 5.5 points: 0.000021114520286479, ~1/47360
Probability to achieve >= 6.0 points: 0.000003271902477007, ~1/305632
Probability to achieve >= 6.5 points: 0.000000432487932491, ~1/2312203
Probability to achieve >= 7.0 points: 0.000000048382752704, ~1/20668522
Probability to achieve >= 7.5 points: 0.000000004415215934, ~1/226489488
Probability to achieve >= 8.0 points: 0.000000000321690469, ~1/3108578264
Probability to achieve >= 8.5 points: 0.000000000016553906, ~1/60408700663
Probability to achieve >= 9.0 points: 0.000000000000556751, ~1/1796132763944

Hieruit kunnen we gemakkelijk noteren dat de individuele kans = 1/305.000. Dit is bijzonder klein maar echte conclusies kunnen we niet afleiden. Er zijn vandaag miljoenen schakers in de wereld dus kan je zelfs stellen dat het normaal is dat er af en toe zulk ongelooflijk resultaat genoteerd wordt. Hetzelfde wordt verteld door de Amerikaanse professor Ken Regan in de parabel van de golfers. Desalniettemin betekent dit niet dat bovenstaande berekeningen nutteloos zijn want dankzij de speciale omstandigheden van dit geval, kunnen we een sterke selectie maken en zelfs een berekening maken van het aantal keren zulke kans per jaar in die speciale omstandigheden kan voorkomen.

De speciale karakteristieken van Ivanovs geval zijn dat een - 2500 elopunter tegen een gemiddelde tegenstand van + 2500 elo speelt over minstens 9 ronden. Dit lijkt misschien niet zo speciaal maar bij het manueel nakijken van alle Belgische spelers tussen + 2200 en - 2500 (77 spelers te beginnen met Tanguy Ringoir en eindigend met Hendrik Ponnet), was er niemand die in 2012 een tornooi over minstens 9 ronden heeft gespeeld tegen een gemiddelde tegenstand van + 2500 elo. Amateurs met een rating lager dan 2200 liet ik buiten beschouwing omdat hun inbreng verwaarloosbaar is. Weinig amateurs krijgen dus de kans om zulk tornooi met die tegenstand te spelen.

M.i. heeft een -2500 speler slechts enkele mogelijkheden om te kunnen spelen tegen + 2500 tegenstand over minstens 9 ronden.

• De (-2500) speler speelt in een zeer sterk Zwitsers tornooi (vele +2550 spelers) en speelt zeer goed (voldoende als de speler een rating heeft net onder de 2500) of fenomenaal (nodig als de speler een rating heeft ver onder de 2500 rating). Het aantal Zwitserse sterke tornooien is echter schaars. Zelf speelde ik slechts 1 keer zulk tornooi mee in mijn carrière (Cappelle La Grande 2005). 
• De (-2500) speler wordt uitgenodigd voor een gesloten grootmeestertornooi met +2500 gemiddelde tegenstand.
• De (-2500) speler speelt interclub in een team op een hoog bord tegen degradatie in de hoogste afdeling.

Ik acht dat het aantal spelers met een rating ver onder de 2500 elo, zeer zelden sterke Zwitserse tornooien zal opzoeken (behalve Ivanov uiteraard) vandaar dat ik geen rekening houd in mijn berekeningen met de invloed van het paringsmechanisme eigen aan een Zwiters tornooi. Daarnaast wil ik tevens opmerken dat er zelfs in speciaal ingerichte grootmeestertornooien zoals Iventi 2011 vaak geen +2500 gemiddelde wordt behaald.  In mijn eigen carrière heb ik 1 keer de kans gekregen om als amateur te spelen tegen een + 2500 gemiddelde tegenstand en dat was in de Franse interclub waar ik ondanks een 3/11 zelfs rating won. Ik meen daarom dat ik mag stellen dat een speler met speelsterkte tussen 2200 en 2500 gemiddeld slechts 1 keer om de 10 jaar de kans krijgt om 9 ronden tegen een gemiddelde + 2500 tegenstand te spelen. Vandaag zien we op de fidewebsite dat 2200 overeenkomt met een 10800 ste plaats bij de actieve spelers terwijl een 2500 overeenkomt met een 800 ste plaats bij de actieve spelers. M.a.w. ongeveer 10.000 spelers moeten in rekening worden gebracht om te bepalen hoeveel kansen per jaar er zijn.

10.000 spelers * 1 kans/ 10 jaar betekent 1000 kansen/ jaar. Als we dit vertalen naar de individuele kans van Ivanov Borislavs geval dan zullen zulke prestaties slechts voorkomen gemiddeld 1 keer per 300 jaar ! Naar alle waarschijnlijkheid is dit cijfer nog te laag omdat de poll een veel lagere frequentie toont. Echter het gaat mij niet om de exactheid van het cijfer maar om aan te tonen dat de prestatie iets unieks is en bij een zekerheid grenzende waarschijnlijkheid nooit eerder is voorgevallen. Dit werd tevens bevestigd op de fora waar niemand erin slaagde om een gelijkaardig geval (-2500 speler scoort + 400 TPR tegen een gemiddelde van + 2500 spelers) te vermelden.

Het tweede aspect in mijn studie is de vergelijking met computerzetten. In het artikel van de Amerikaanse professor Ken Regan over eloinflatie werd aangetoond dat hoe hoger de rating van een speler, hoe groter de overlapping met computerzetten is. Op zich niet verwonderlijk want van computerprogramma's is geweten dat ze vandaag veel sterker spelen dan mensen dus zullen sterkere spelers ook de computerprogramma's beter benaderen. Uit deze conclusie werd een methode afgeleid om vals spelen te detecteren. Als we van de beste spelers weten, hoe dicht ze maximaal de computerprogramma's kunnen benaderen in 1 partij dan mogen we veronderstellen dat elke dichtere benadering door een amateur enkel mogelijk is door vals te spelen. Een publicatie over deze methode kon je o.a. lezen op chessvibes. De tool is vandaag niet beschikbaar voor het publiek waardoor sommigen een afgeslankte tool zelf ineen hebben geknutseld en uitgetest hebben op het geval van Ivanov Borislav. Op chessvibes gaf 'the champ' op dat Ivanov aan een onmenselijke 88% match komt in zijn partijen terwijl wereldkampioenen zoals Lasker (81%), Capablanca (84%) , Botvinnik (79%) slechts lagere scores halen in hun beste partijen. Bovendien zou Ivanovs percentage nog een stuk hoger geweest zijn als we ronde 8 niet meetellen die hij verloor toevallig wanneer de live-uitzending onderbroken werd.

De resultaten zijn schokkend maar echt betrouwbaar kunnen we ze niet noemen daar we geen duidelijk kijk hebben over hoe de resultaten precies zijn behaald. Welke computer/ OS is er gebruikt? Hoeveel tijd kreeg de engine om te rekenen? Zijn de testpartijen echt wel de beste partijen? Bijgevolg vond ik het opportuun om eens zelf te kijken naar een partij waarvan de meesten vinden dat er duidelijk computerinvloed is. Hiervoor koos ik de partij uit ronde 5 tegen de zeer ervaren Kroatische grootmeester Robert Zelcic.

Zwart wordt zonder een serieuze fout van het bord gemept en wordt nog voor zet 40 mat gezet. Carlsen had het met wit niet beter kunnen spelen. De combinatie met Te8+ is van een zeer hoog niveau. Echter wat mij vooral stoort, zijn de laatste 2 witte zetten (Tc1 en Tg1) waarin wit een buitengewone totaal overbodige nauwkeurigheid toont met het converteren van de winst wat iets typisch is voor computers maar niet mensen. Mensen zullen normaal de partij veel zuiniger uittikken. Uitgebreidere tests zijn noodzakelijk maar m.i. zie ik duidelijk typische computerzetten in het spel.

Vervolgens werd geopperd dat het best mogelijk is dat iemand op latere leeftijd nog grotere elosprongen maakt. Echter als we kijken naar Ivanovs ratingprofiel dan zien we helemaal geen progressie gedurende meerdere jaren ondanks een grote activiteit: 

In 2011 speelt hij 87 partijen maar tussen 1 januari 2011 en 1 januari 2012 daalde zelfs zijn elo met 7 punten. We kunnen dus niet spreken van een laatbloeier maar eerder van een uitzonderlijke prestatie die los staat van progressie.

Tenslotte zijn er ook de (onbewezen) beschuldigingen van de Kroatische grootmeester Zlatko Klaric. Hij beweert dat er al precedenten zijn van vals spelen betreffende Ivanov. Als we alles optellen dan kunnen we niet anders zeggen dat de hele zaak onfris ruikt. Echter wat moet er nu gebeuren?

Volgens sommigen kan je enkel sancties treffen wanneer je het mysterie van het vals spelen kunt oplossen. Sommigen stellen dat je met de indirecte bewijslast al genoeg hebt (herinner de parachute-moordzaak) . In elk geval wordt het aartsmoeilijk om zoiets juridisch uit te spitten vandaar dat de meeste organisatoren er geen zin in hebben. Een gelijkaardige reactie was er trouwens bij de organisatoren van Open Gent. Alhoewel ik deze reacties goed begrijp, ondermijnen ze wel tornooischaak. Volgens de Russische grootmeester Landa Konstantin zien we slechts de top van de ijsberg betreffende vals spelen in het schaken. De bedrieger zal nooit stoppen en zal zijn informatie delen met vrienden waardoor het virus zich verder zal verspreiden. Persoonlijk vind ik dat wat overdreven want in mijn eigen omgeving kan ik mij geen zulke zaken herinneren. Hoogstens wordt er eens iets te vaak gebabbeld in een partij met een andere schaker maar van consequent gebruik van engines heb ik geen weet. Nu de Russische grootmeester speelt uiteraard op andere plaatsen en waar heel wat meer prijzengeld te vangen is zodus kan het best zijn dat er toch waarheid in zijn uitspraak zit.

Om vals spelen een halt toe te roepen en dus zijn beroep als schaker te vrijwaren, heeft Landa Konstantin een manifest geschreven, zie blogartikel. Hij vermeldt er goede voorstellen maar ik heb vragen bij de haalbaarheid ervan. Organisatoren van kleine tornooien hebben niet het geld om security checks, metal detectors, meerdere arbiters te financieren. Daarnaast is het prijzengeld omlaag halen evenmin een goede oplossing. In de voorbije Antwerp Winter Open 2012 kwamen slechts 16 deelnemers opdagen (in schril contrast met 74 in 2011 of 80 in 2010) terwijl slechts 11 spelers alle 9 ronden speelden. Zonder een financiële incentief krijg je nauwelijks deelnemers. 

Persoonlijk zie ik niet onmiddellijk een goede haalbare oplossing voor vals spelen definitief te vermijden. Echter als we de inbreuken niet kunnen terugdringen dan mogen we eenzelfde drastische terugloop in ledenaantal (-90%) verwachten zoals in correspondentieschaak na de introductie van de computer.

Brabo

Addendum
Er werd mij op attent gemaakt dat gisteren een schitterende video van de Bulgaarse FM Valery Lilov op youtube werd gepost waarin hij elke partij, zet na zet becommentarieerd en aantoont dat 98% van de zetten overeenstemmen met Houdini 2.0.c.

Addendum 14 Januari 2013
Gisteren werd een wetenschappelijke studie gepubliceerd door de Amerikaanse professor Ken Regan: http://www.cse.buffalo.edu/~regan/chess/fidelity/ACPcover-and-report.pdf  Het mechanisme om fraud te ontdekken is gebaseerd op een statistisch model die de kansen voorspelt dat iets kan gebeuren. Dit mechanisme wordt o.a. gebruikt in risicoanalyses, verzekeringen, medische beslissingen, kredietwaardigheid, kwaliteit, prestatiebeoordelingen of algemeen fraude. Ik raad iedereen aan om het document eens te lezen maar ik geef toch even de conclusie mee. Ivanov had 1 kans op 1 miljoen om in de 9 gespeelde partijen, eenzelfde % match te hebben met de engine. Dus als we 9 miljoen partijen spelen in tornooien van 9 ronden dan zullen we gemiddeld 1 keer zulke goede %match moeten opmerken. Echter vandaag bestaat de megadatabase slechts uit 5,4 Miljoen geregistreerde partijen dus een duidelijke aanwijzing dat Ivanovs prestatie meer dan toeval is.