Store språkmodeller er forbausende gode til å gjengi innholdet i en tekst, svare på spørsmål om teksten og til å begrunne svarene den gir. Tilsynelatende er denne teknologien i stand til både å abstrahere og resonnere. Er denne tilsynelatende resonneringsevnen god nok til at språkmodeller kan settes til å anvende regelverk der det stilles krav til etterrettelighet og etteprøvbarhet? Vi viser at svaret på dette spørsmålet avhenger av problemet man forsøker å løse, og at det for enkelte typer problemer er et ganske klart ‘nei’.