GPT

GPT er en statistisk model. Den skriver tekst, som er en syntese af data fra træningssættet, der passer godt som en fortsættelse af det input, brugeren giver. Da GPT er trænet på store dele af internettet, er det let at få den til at svare med næsten enhver mulig holdning, inklusive holdninger, der vil virke stødende på de fleste.

En statistisk syntese af tekst vil oftest være forskellig fra teksten i træningsdata. Det betyder at GPT kan hallucinere, det vil sige bruge fx navne og titler, som virker plausible i konteksten, men er frit opfundne.

I justeringsskridtet vurderer mennesker tekst, som er skrevet af GPT, og modellen trænes videre på feedback, der fortæller GPT, hvilken tekst, der er ønskelig. Fx vil man kunne få den oprindelige GPT til at argumentere for vaccineskeptiske konspirationsteorier, hvorimod ChatGPT vil anbefale vaccination og blot anerkende eksistensen af disse konspirationsteorier. I nogle tilfælde er det dog stadig muligt at omgå justeringen ved at fortælle ChatGPT, at svarene ikke må indeholde indvendinger.

OpenAI arbejder løbende med at justere modellen, således at færre emner kan give anledning til stødende svar. Justeringen kan også bruges til at gøre ChatGPT bedre til bestemte opgaver såsom at være tutor for elever.

OpenAI o1 (2024) er en videreudvikling af GPT4, som bruger principper fra selvforstærkende læring for blive bedre til at ræsonnere og dermed løse mere komplekse opgaver.

OpenAI o1 udforsker og validerer forskellige mulige løsningsmetoder og svar ved at skrive tekst kaldet tankekæder (chain of thought) før den opsummerer med et endeligt svar. Det øger svarkvaliteten fx for matematik og computerprogrammering.

OpenAI o3, OpenAI deep research og DeepSeek R1 (alle 2025) er videreudviklinger af principperne brugt i OpenAI o1.

DeepSeek R1 udmærker sig ved, at være den første open source-model og -metode indenfor den klasse af modeller. Det har ført til store fremskridt indenfor åben forskning og software.

En måde at undgå hallucination er at slå information op i pålidelige kilder. Derfor bliver sprogmodellerne i dag justeret til at bruge softwareværktøjer. I ChatGPT er internetsøgning indbygget som et værktøj. ChatGPT er justeret til at beslutte, hvornår der skal søges, og hvad søgestrengen skal være.

Det er også muligt for brugeren at sætte dedikerede værktøjer op. Det gør det muligt at hente aktuel information (fx vejrudsigter) eller information om begivenheder efter før-træningens afslutning. Systemer, som Anthropics Claude Code, kan udføre computerkommandoer og bruges til avancerede programmeringsopgaver i selv store softwarebiblioteker.

OpenAI's mission er, at kunstig generel intelligens skal komme menneskeheden til gode. Generel betyder i denne sammenhæng, at en kunstig intelligens skal kunne lære det samme, som mennesker kan. I modsætning hertil står en snæver kunstig intelligens, der kun kan én ting.

OpenAI's tilgang til kunstig intelligens har mødt følgende kritik:

1. Sprogmodellen er for begrænset til at skabe andet end "stokastiske papegøjer", som ikke er intelligente, men blot genererer tekstmønstre, der minder om menneskeskabt tekst.
2. Tilhængere af det symbolske kunstig intelligens-paradigme argumenterer for, at kunstig intelligens-modeller nødvendigvis må have symbolske komponenter for at kunne ræsonnere.
3. Opfattelse af et selv og omverdenen er nødvendig for intelligens og kan ikke opnås ved kun at træne på tekst.
4. Tilegnelse af ny information gennem fx samtale og som del af relationer med andre er nødvendige betingelser for intelligens.

Sprogmodeller kan bruges til at skabe falske nyheder. Det er en risiko, der kun bliver større, jo mere overbevisende teksten bliver. Det kan blive sværere at spore kilden til information, og ved at lade modellen efterligne specifikke forfatteres skrivestil kan plagiat blive et alvorligere problem.

ChatGPT kan desuden bestå eksamener i programmering og skrive skoleopgaver til topkarakter. I en simuleret amerikansk advokatafgangseksamen (bar exam) ville GPT-4 ligge i top 10 % af besvarelserne.

De bedste modeller er så store, at man skal bruge enorme mængder computerberegninger både til at træne og efterfølgende bruge dem. Det medfører betydelige CO₂-udslip og skaber desuden en situation, hvor kun organisationer med betydelige ressourcer (typisk teknologivirksomheder) kan bedrive forskning indenfor de største og mest avancerede modeller.