Kontynuuję dłubanie w mechanistic interpretability.
Następny krok: mniej metafor, więcej konkretu.
Biorę mały model jako mikroskop i patrzę, co dzieje się po drodze:
tokeny → embeddingi → warstwy → logity → następny token
Magia trochę mniej magiczna. xD
