Erstaunlicherweise kann man ChatGPT nach seiner Arbeitsweise befragen. Man muss allerdings etwas strategisch vorgehen und das Verständnis kann schon nach wenigen Antworten aufhören. Von wegen wir erklären hier mal eben, wie eine KI funktioniert.

Also am Beginn von jedem Prompt, mit dem man die KI zum Arbeiten aufgefordert hat, steht das Sprachmodell. Aber bei der Frage, was es tut, wird es für uns Laien schon schwierig. Obwohl, man hat sich schon vorher denken können, dass der Text oder die Sprache vor dem Prompt in dem Moment das Wertvollste ist.

Es muss also eine Annahme des Textes geben und eine Weitergabe von etwas z.B. zur Erzeugung eines Bildes oder zu einem Vergleich oder zu Textmaterial. Die KI vergleicht sich selbst übrigens mit jemand, der unglaublich viele Bücher gelesen hat.

Aber das haben Sie sicher schon vorhergeahnt. Was entsteht denn nun konkret bzw. wird weitergegeben? ChatGPT nennt als fiktives Beispiel das Wort 'Himmel' im Prompt-Text, was zu [0.18, -0.73, 1.42, . . ., 0.05] führen könne. Wie man schon gedacht hatte: sehr viele Zahlen, scheinbar unerklärbar.

So sieht es auch die KI, spricht von 'Arbeitsmaterial' des Sprachmodells. Was kann man damit anfangen? Wir auf jeden Fall erst einmal nichts. Wenn man sich vorstellt, dass sich noch eine Unmenge von Zahlen hinter den drei Punkten verbergen, dann ist auf jeden Fall der Aufwand bemerkenswert, der mit unserem Text betrieben wird.

Sie haben es vielleicht bis hierhergeschafft, aber jetzt betreten wir gemeinsam einen Raum des Nirwanas. Denn es ist bei den Zahlen von Vektoren die Rede. Damit könnten wir ja zur Not noch etwas anfangen, aber nicht mit der Beifügung: 'Punkte im Raum mit tausenden Dimensionen'.

Dass sich allerdings in so vielen Dimensionen doch noch Punkte näher und andere weiter weg befinden, geht vom Verständnis her gerade noch so. Die 'tausenden' kommen übrigens daher, dass verwendete Begriffe in Sprache sagen wir unglaublich viele Aspekte haben können.

Versuchen Sie einmal, die immer wieder genannten Tiere 'Katze' oder 'Hund' irgendwie einzuordnen. Unklar, ob eine KI das tut, aber beide haben Charakteristik, Aussehen, Verhalten, Kraft, Schnelligkeit, also Fähigkeiten, what so ever, auch als 'Gradienten' bezeichnet. Allein durch die Kombinationen kommt schon unfassbar viel zusammen.

Und bitte bedenken Sie, diese wahnsinnig vielen Zahlen sind das Einzige, was die KI ab jetzt zur Verfügung hat. Und dabei meint sie selbst auch noch, dass die einzelnen Vektoren so gut wie nichts bedeuten, sondern nur deren Beziehung untereinander, etwa vergleichbar mit einem gut gespielten Akkord. Da hört man ja bisweilen auch nicht jede einzelne Note heraus.

Jetzt kommen alle die Vektoren von den vielen Büchern hinzu, welche die KI gelesen und in diese mathematische Form gebracht hat. KI gibt an, es sei das nächste Token gesucht. Wir verstehen darunter, dass Begriffe aus ähnlichem Kontekt zusammengebracht werden. KI-Beispiele: ICE, TGV, Shinkansen und Intercity nachher nahe beieinander, Kartoffel, Symphonie, Pinguin weit voneinander entfernt.

Als seine eigentlich 'Intelligenz' bezeichnet die KI allerdings die 'Attention'. Das ist z.B. ihr Vermögen, zwischen einer 'Bank' zum Sitzen und einer für das Geld zu unterscheiden. Das wiederum kann Sie nur, indem Sie die zwei Möglichkeiten für den Begriff 'Bank' aus ihren gelesenen 'Büchern' kennt und im Falle des erneuten Vorkommens mit der Umgebung vergleicht.

Es geht jedoch nicht nur um eine richtige Zuordnung, sondern neben Zusammenhängen auch noch z.B. um Subjekt und Objekt, wodurch Handlungen eindeutig zugeordnet werden können, kombiniert mit zeitlicher Reihenfolge und Schlussfolgerungen. Dazu dienen die sogenannten 'Schichten', auf die wir im nächsten Kapitel zu sprechen kommen.,