vrijdag 25 september 2020

Regressietesten

Ongeveer 20 jaar was ik al aan het schaken toen ik eindelijk werk begon te maken van mijn openingsrepertoire. Ik heb mij achteraf regelmatig afgevraagd waarom ik uberhaupt zo lang daarmee gewacht heb. Ik ben niet alleen veel te lang slechte openingen blijven spelen (en doe ik wellicht nog altijd voor een stuk met het Hollands) maar meestal wist ik totaal niet waarmee ik bezig was in de opening. Ik hoop nog vele jaren te kunnen schaken maar die 20 jaren die wellicht mijn beste waren, krijg ik niet meer terug.

20 jaar of langer geleden zei ook niemand dat je openingen moet studeren. De Gentse FM Gunter Deleyn vertelde mij net voor de lockdown dit jaar zelfs dat het in zijn jonge jaren totaal ongehoord was om openingsboeken te raadplegen. Dit werd bekeken als pure doping en een kaakslag voor het schaakspel die een zuivere intellectuele strijd tussen 2 mensen moest zijn. De tijdsgeest is duidelijk veranderd. Vandaag lees ik dan ook steeds vaker dat coaches zelfs al vrij vroeg ook aandacht schenken aan openingen.

Dus pas rond 2013 begon ik eindelijk openingen serieus te bestuderen. Ik vermoed dat het een mix van factoren moet geweest zijn die mij overtuigd heeft om ermee te starten. Vooreerst waren mijn openingsdebacles beschreven in een artikel van 2012: een uitgebreid zwartrepertoire een openbaring voor mij. Ik realiseerde dat ik nergens stond met mijn repertoire. Ja ik had uiteraard ook vroeger al eens gekeken naar openingen maar dat volstond duidelijk niet om goed door de opening te komen tegen een meester. Bovendien dwongen de snelle technologische ontwikkelingen mij ook tot actie indien ik niet snel wou afglijden op de ladder. Steeds meer van mijn partijen verschenen in de databases en de steeds sterkere engines toonden vaak haarfijn aan waar mijn openingen tekort schoten.

In 2016 schreef ik op deze blog voor het eerst over die verandering in mijn aanpak van openingen zie openingen studeren deel 2. Toen had ik het vooral over de methode zelf en hoe traag het ging om op die wijze mijn repertoire aan te pakken. Vandaag 4 jaar later gebruik ik nog steeds dezelfde aanpak en sta ik uiteraard een pak verder. In 2016 had ik ongeveer 100 openingen in detail bekeken. Vandaag zijn dit er reeds meer dan 300 (de definitie van een opening blijft voor mij een stelling waarvan er ongeveer 100 partijen in de megadatabase staan waarbij 1 van beide spelers minstens 2300 fide-elo heeft).

Ik weet niet hoeveel openingen ik uiteindelijk moet bekijken vooraleer ik mijn hele repertoire behandeld heb. Ik vermoed dat je dit wel zou kunnen uitrekenen aan de hand van een script die je eigen repertoire koppelt aan een megadatabase maar ik weet al op voorhand dat het resultaat mij niet zou plezieren. Ik ben er vrij zeker van dan ik nog niet eens halfweg ben. Echter dit betekent niet dat ik vandaag al geen vruchten kan plukken van het geleverde werk. Mijn database van +300 in detail geanalyseerde openingen is een oase aan killernieuwtjes en ideeën. Dit komt zeer geregeld van pas in mijn partijen en dan spreek ik niet alleen over het weerleggen van varianten maar ook het verrassen van mijn tegenstanders.

Daarnaast heeft de studie ook geleid tot talloze aanpassingen aan mijn repertoire zelf. Vele varianten verdwenen uit mijn repertoire en werden vervangen door (hopelijk) betere. De trouwe lezer herinnert zich wellicht nog deel 1 en deel 2 van Hollandse stappen in de Engelse opening. Daarbij zijn het niet enkel oude maar ook recente openingen uit mijn repertoire die op de schop gaan. Van de +300 in detail geanalyseerde openingen die ik tussen 2013 en 2020 maakte, zijn er ondertussen al 60 weggegooid. Dus al de gemaakte analyses die daaraan gekoppeld zijn, zijn uiteindelijk ook waardeloos geworden.

Dit vond ik toch zonde en daarom doe ik sinds een paar jaar ook regressietesten. Oude (weerlegde) openingen bekijk ik nu soms opnieuw met nieuwere en veel krachtigere beschikbare hardware en software. Ik kijk ook of er met die openingen recent toppartijen zijn gespeeld, die de evaluatie zouden kunnen veranderen. Ik noem het regressietesten omdat de terminologie bekend is uit de software-wereld. Wanneer nieuwe software wordt toegevoegd aan oude software (bijvoorbeeld bij een nieuwe release) dan is het belangrijk dat de programmeur checkt dat de oude software nog werkt. Niet zelden zorgt de nieuwe software voor onverwachte neveneffecten op de oude software waardoor bepaalde oude functies niet meer werken naar behoren. Het opnieuw testen van de oude software wordt in het jargon van de programmeurs regressietesten genoemd.

Ondertussen doe ik zo al een jaar of 4 regressietesten dus analyseren van mijn oude (weerlegde) openingen in de hoop van ze terug leven in te blazen. Bovendien tussen 2 speelbare openingen (oude en nieuwe) kunnen kiezen, is altijd een pluspunt in standaard-schaken. Echter de resultaten vallen tot nu toe erg tegen want ik heb hiermee nog geen enkele opening kunnen reanimeren. Af en toe is er wel eens een subvariant die iets minder slecht blijkt te zijn dan oorspronkelijk gedacht maar van een echte ommekeer is nooit sprake. Een mooi voorbeeldje hiervan zijn mijn recente regressie-testen van de opening 1.d4 f5 2.Lf4.

Online zie ik dat de opening enorm aan populariteit aan het winnen is. Volgens mijn database heb ik het ondertussen al in meer dan 500 blitzpartijtjes ontmoet. Ik was dan bijgevolg ook nieuwsgierig wat het nieuwe boek van de Servische grootmeester Nikola SedlakPlaying the Stonewall Dutch hierover zou vertellen.

Slechts 1 pagina over deze variant kon ik terugvinden en dat is een teleurstelling. Dit staat in schril contrast met de 38 pagina's !! in het boeThe Modernized Dutch Defense die ik al eerder in mijn artikel chess position trainer deel 3 aankondigde. Mijns inziens zijn de 38 pagina's zeker terecht en dus onderschat Nikola deze variant enorm.

Voor een ruimere beoordeling van Nikola's boek verwijs ik naar de commentaar die ik al schreef op chesspub. Dit artikel gaat dan ook over regressietesten en anders maak ik een te grote digressie.

Dus ik keer terug naar waarom de regressietesten weinig of geen resultaten opleveren voor mij. Meer dan waarschijnlijk moeten we dit linken aan de ouderdom van mijn analyses die gemiddeld slechts 5 jaar geleden zijn gemaakt. In 2016 schreef ik in mijn artikel vooruitgang van schaakprogramma's deel 2 dat het sterkste schaakprogramma de voorbije jaren gemiddeld 55 elo per jaar verbeterde zonder rekening te houden met de hardware. Met de opkomst van de neurale netwerken is die trend absoluut niet afgevlakt, eerder integendeel. M.a.w. op 5 jaar tijd is de kwaliteit van mijn analyses met minstens 200 elo en wellicht een pak meer verbeterd.

Desalniettemin leidt deze duidelijke boost aan sterkte dus zelden (zeg nooit nooit) tot het weerleggen van mijn oude weerleggingen. Ik heb hiervoor geen sluitende verklaring maar wel een theorie gebaseerd op het dagelijks werken met de sterkste schaakprogramma's. Vooreerst 5 jaren geleden waren engines al ongelooflijk sterk (veel sterker dan onze huidige wereldkampioen Carlsen) waardoor de kwaliteit van die analyses al erg goed was (dit is een enorm verschil t.o.v. bijvoorbeeld analyses gemaakt in het pre-computertijdperk). Als een engine 5 jaar geleden ontdekte dat iets niet werkte dan stel ik vandaag vast dat nieuwe programma's dit niet meer kunnen rechtzetten. 

De toegenomen sterkte van de nieuwe schaakprogramma's zit dan ook vooral in het vinden van nieuwe complexere weerleggingen in stellingen waarvan vroeger werd gedacht dat ze ok waren. Dit is ook de reden waarom ik vorig jaar schreef in mijn artikel computers worden autonoom deel 2 dat veel dubieuze openingen vandaag onder druk staan. Steeds meer openingen/ varianten worden theoretisch gesloten en die deuren gaan niet meer open.

Ik wil ook nog even meegeven dat dit geen reden is om pessimistisch te zijn over het schaken. De computer mag dan wel veel deuren gesloten hebben maar het heeft tezelfdertijd ook talloze nieuwe deuren geopend. Ik vind dagelijks nieuwe en prachtige varianten. Het is dus vooral een kwestie van durven los te laten en bereid te zijn om je repertoire aan te passen wanneer je ziet dat een opening niet meer werkt.

Brabo

2 opmerkingen:

  1. Ik zit een beetje in hetzelfde schuitje: nog nooit echt openingen bestudeerd (en mijn pogingen nu zijn een verbetering tov vroeger, maar nog bij verre niet zo diepgaand als die van Brabo). Maar ik ben ermee bezig, en wat de computer soms boven haalt is 1) soms heel mooi/spectaculair en 2) heel vaak verrassend afwijkend/verbeterend wat tot nu op het (IGM-)bord of in print is verschenen. Ik steek er in elk geval veel van op - en ik vermoed dat de opgedane kennis uiteindelijk wel zal renderen. Oudere openingsboeken worden in elk geval naar de prullenmand geanalyseerd door de computer, maar nieuwere werken (zoals onlangs nog een boek van Quality Chess) blijken wel goed bestand tegen de tand des tijds, wat betekent dat auteurs eindelijk met software aan de slag zijn gegaan. Ook veel "typische" nieuwe computermanoevres komen naar boven in de opening - er moet maar een zwart paard op g6 staan, of de computer komt af met h2-h4.

    BeantwoordenVerwijderen
    Reacties
    1. "wat betekent dat auteurs eindelijk met software aan de slag zijn gegaan"
      Ja eindelijk want het heeft erg lang geduurd vooraleer men zich realiseerde dat een boek dat niet gecheckt is door de computer vandaag waardeloos is. Het idee dat een opening kan worden uitgelegd met proza/ ideeën is totaal achterhaald. Topgrootmeesters hebben zelfs speciaal secondanten die niet anders doen dan de fouten in boeken te vinden zodat ze gratis punten kunnen scoren.

      Echter de ene analyse gecheckt met een computer is daarom nog niet de andere analyse die gecheckt is door een computer. Ik zie heel veel variatie in kwaliteit. Je merkt snel op wie nog werkt met oude hardware en software.

      Ik betwijfel of Het boek "Playing with the Stonewall Dutch" (gepubliceerd door Quality Chess) gecheckt werd met Leela tenzij men met opzet enkele lastige varianten wegliet.

      Tenslotte wil ik ook nog even vermelden dat het serieus checken met een computer niet iets is wat je in een paar minuten kunt doen. Stel een boek bestaat uit 300 pagina's en op elke pagina staan zo een 50 zetten (varianten inclusief) dan heb je bij 1 minuut per zet al 15.000 minuten nodig. Dat komt overeen met 250 uren. Het is een heel vervelend maar noodzakelijk karweitje zonder nog maar te spreken dat je wellicht meer dan eens bepaalde hoofdstukken volledig daarna moet aanpassen. Ik snap dus wel waarom veel auteurs het niet zo grondig doen want uiteindelijk valt er ook heel weinig mee extra te verdienen en dan moet je nog de extra kosten aan elektriciteit en computer meetellen.

      Verwijderen