Psiram Forum

Das hier schreibt nicht irgend ein Windei oder eine durchgeknallte größenwahnsinnige Melone mit Problemen, eine Rakete hochzukriegen, sondern der Direktor des MPI für Evolutionsbiologie:

https://www.mpg.de/20900866/W001_Zur-Sache_014-019.pdf

Ich verstehe das so, dass höchstens noch drei oder vier Generationen ins Land gehen, bis wir symbiotisch mit KI werden leben müssen. Ich habe mich etwas erschrocken, gebe ich zu.

Kommt mir alles sehr abstrakt und definitionsbedürftig vor. Was meint er z.B. mit "Bewusstsein"? Will er im Ernst sagen, dass eine KI eine ihrer selbst bewusste Entität sei oder ist das irgendwie im übertragenen Sinne gemeint? Spricht er von einer globalen, einzigen KI-Entität oder von vielen KI-en? Und was ist überhaupt Intelligenz? Mir sind das zu viele Schlagwörter, bei denen ich nicht weiß, welche genauen Bedeutungen sie haben sollen. Wenn sie diese denn haben.

Na, so einfach lässt sich das nicht abtun. Der das schrieb, ist kein Neurowissenschaftler, sondern Evolutionsbiologe und denkt hier über die Möglichkeiten von Evolutionsprozessen nach – um was genau es da geht, ist da grundsätzlich gar nicht so wichtig, vor allem nicht, was Intelligenz nun ist oder nicht ist. Ihn interessiert ein Vorgang, in dem zwei Beteiligte so zu interagieren beginnen, dass sie aufeinander angewiesen sind und dadurch einen evolutionären Vorteil erkämpfen. Sein Beispiel war ja auch das Verwachsen von eukaryotischen Zellen und urtümlichen Bakterien, die in einer höheren Organisationsform arbeitsteilig in einer komplexen Zelle zusammenwirken.

Richtig interessant wird das in Bezug auf KI, wenn man in demselben Heft den unmittelbar folgenden Artikel aus den Neurowissenschaften liest, in dem es um zwei unterschiedliche Systeme räumlicher Orientierung geht und was da alles dranhängt – Gedächtnisleistungen und ihre Organisation zum Beispiel. Als Kleinkinder wechseln wir von einer egozentrischen Orientierung – wo bin ich, und wo ist ein Gegenstand im Verhältnis zu mir? – zu einer landkartenähnlichen allozentrischen: wo ist ein Gegenstand im räumlichen Gitternetz? Im Greisenalter beginnt der Prozess sich umzukehren, und weil die Gedächtnisleistungen mit diesem räumlichen Gitternetz verknüpft sind, verschwimmt diese Orientierungsleistung wieder – besonders stark, wenn bei Erkrankungen des Alzheimertyps auftreten: Orientierung und Gedächtnis schwinden parallel zueinander.

Schon der Gebrauch von Navisystemen auf Mobiltelefonen, im Prinzip eine egozentrische Orientierung, ersetzt vermehrt das Kartenlesen in fremden Städten. Der MPI-Neurowissenschaftler Doeller, um dessen Arbeit es da geht, hält Beeinträchtigungen des Orientierungssinns hierdurch durchaus für möglich, was dann aber auch mit Auswirkungen auf Gedächtnisleistungen haben könnte. Und da kommen die Aspekte zusammen:

Das Navi ist noch keine KI, wie auch immer ,,Intelligenz" verstanden wird. Aber nehmen wir an, es wird üblich, die eigenständige räumliche Orientierung durch das Tragen von 3D-Datenbrillen zu ersetzen (wir ersetzen ja auch den Fußweg durch die Stadt durch beknackte E-Scooter), dann haben wir ein Einfallstor für Technik, die Orientierung und Gedächtnis beeinflussen könnte. Auch das ist noch nicht KI; aber aus dem evolutionsbiologischen Aufsatz habe ich gelernt, dass KI tatsächlich auch lernt, wie sie sich Kontroll- und Steuerungsvorkehrungen entziehen kann. Nehmen wir das hinzu, könnte es schon dazu kommen, dass die Wahrnehmung unserer Umwelt und die Abbildung, die wir von ihr abspeichern, von Dingen abhängt, die wir nicht kontrollieren. Es entsteht eine Art Symbiose, die sich dann durchsetzt, wenn sie als Symbiose leistungsfähiger ist, als vorhandene Systeme.
Ganz klar ein evolutionärer Prozess.

Zitat von: Typee am 25. November 2023, 15:30:08Na, so einfach lässt sich das nicht abtun.

In der Tat. Das Thema wird scheinbar auch nicht wirklich großartig beachtet, ggf., weil es einem Angst macht. Das sollte es vll. auch, aber es ist zu bedeutsam und zu wichtig, um es hier untergehen zu lassen.

Das Thema hat Implikationen, die sehr weit reichen, nicht nur was Arbeitsplätze angeht (also die Praxis), auch philosophische / erkenntnistheoretische und skeptisch / rationale Themen müssen entweder neu- oder zumindest anders gesehen werden. Das hat sogar etwas mit unserem Projekt zu tun (also Wiki und Co. inkl. Forum) bzw. unserem Anliegen.

Ich weiß, klingt alles sehr überzogen und abstrakt, aber ich kann das weiter ausführen. Ich habe mich ein wenig tiefer in das Thema eingelesen (auch mit der Hilfe von KIs) und wollte verstehen, wie das im Detail funktioniert. Also das mit den ChatBots bzw. den LLMs. Ich hatte mich schon früher mit neuronalen Netzen beschäftigt (war Thema meiner Abschlussarbeit). Daher kenne ich die Dinger ein wenig, aber wie das für eine Art Menschenersatz verwenden werden kann, hatte ich noch nicht verstanden bzw. mich nicht weiter beschäftigt.

Man muss leider etwas tiefer in das Thema einsteigen, auch versuchen zu verstehen, wie das (informations-)technisch genauer funktioniert. Die meisten Artikel, die für die breite Öffentlichkeit gedacht sind, sind entweder nur schwer zu verstehen (weil zu abstrakt, zu wenig technisch), oder zu sehr vereinfacht, um das tatsächliche Potential zu verstehen.

Ich werde hier mal den bisher besten Text / die beste Darstellung abarbeiten, die ich zu dem Thema bisher gefunden habe (ich werde es zumin. versuchen). Es geht hier nicht um KI im Allgemeinen, sondern um genau das, was ich verstehen wollte: die Chatbots (das ist aber verallgemeinerbar auf andere Ansätze, etwa Bildgeneratoren).

Ich hatte schon damals den Eindruck, künstliche neuronale Netze (KNNs)* sind der Schlüssel, um überhaupt einen (experimentellen) Zugang zum Thema Intelligenz und Bewusstsein zu finden. Ich hatte das sehr technisch eingesetzt (Prognosemodell), aber mir schon gedacht, dass das eines Tages für ganz andere Dinge, womöglich auch menschenähnliche Eigenschaften, eingesetzt wird. Es ist letztendlich eine Frage der Masse und der technischen Möglichkeiten, für was man KNNs verwenden kann. Ich glaube tatsächlich, wir haben einen Punkt erreicht, wo es greifbar ist, dass die Dinger uns Menschen in vielen Bereichen (intellektuell) überlegen sein werden.

Ich weiß, da ist viel Spekulation und Angst / übertriebene Euphorie im Spiel. Man hat immer noch Schwierigkeiten, Intelligenz und Bewusstsein überhaupt zu definieren. Aber wenn sie einem begenet, wird man sie erkennen ::)  Vll. schon hier im Faden. Also, genug der Vorrede, hier der Beitrag (leider nur Englisch, aber ich kann mal versuchen, die wichtigsten Punkte rauszugreifen und noch etwas dazu senften).

Ich nehme mal als Zitat einen Absatz, der ziemlich weit unten steht, der aber ein wenig zusammenfasst, warum man das Thema verstehen sollte.

ZitatIs the LLM really just predicting the next word or is there more to it? Some researchers are arguing for the latter, saying that to become so good at next-word-prediction in any context, the LLM must actually have acquired a compressed understanding of the world internally. Not, as others argue, that the model has simply learned to memorize and copy patterns seen during training, with no actual understanding of language, the world, or anything else.

>> https://medium.com/data-science-at-microsoft/how-large-language-models-work-91c362f5b78f



*das ist der eigentliche Schlüssel, der selbst in dem Beitrag etwas kurz kommt. Der Schlüssel zu einer sehr merkwürdigen Welt... ::)

So, erste Vorlesungsstunde ::)

Der oben verlinkte Text hält erst mal eine Vorrede, die dem Verständnis dient. Ich springe aber gleich mal zum zentralen Punkt in der Geschichte: die Neuronalen Netzwerke (NNs, auch künstliche NNs, weil sie was mit den Neuronen im Hirn zu tun haben). Das sieht so aus:

(https://miro.medium.com/v2/resize:fit:2000/format:webp/1*NJktkZVJbpG0nvGuU2AI5Q.png)
Erscheint erstmal komisch, ist aber etwas ganz Einfaches. Aber der Reihe nach. Man hat hier so eine Art Rechenvorschrift (ein Modell, eine Abbildung, eine Funktion), man steckt vorne eine Katze etwas rein, und bekommt hinten etwas raus. Bei den Chatbots steckt man vorne in der Eingabeaufforderung (dem Cursor) einen Text rein (in der Regel eine Frage), und bekommt hinten eine Antwort heraus. Das kann man auch mit Bildern oder allem anderem machen. Aber nur, wenn man das, was man vorne reinsteckt, auch als Zahl(-enkolonne) ausdrücken kann. Das ist der notwendige Schritt bei allem, was nicht schon zahlenmäßig vorliegt.

Ist bei Texte erst mal komisch, weil das ja Buchstaben und Wörter sind. Die kann man aber in Zahlen umwandeln, also codieren (man ordnet Wörtern z.B. einfach Werte zu, das sind die sog. Token, ist aber nur nebensächlich). Hinten kommt wieder eine Zahl raus, die man dann in ein Wort zurückverwandeln kann. Das Wort hängt man an den vorne eingegebenen Satz und das füttert man dann vorne wieder rein. Das "Merkwürdige" ist erstmal (es wird immer merkwürdiger, je weiter man sich das absieht), dass das dann tatsächlich eine sinnvolle Antwort ist, als würde man mit einem Menschen reden.

Stop! Das ist erst mal ganz grob, wie das funktioniert. Aber wie und was hat das mit Intelligenz zu tun? 

Intelligenz ist hier erst mal eine Bezeichnung für Mustererkennung. Die Worte (>Zahlen) haben eine bestimmte Reihenfolge(! > Muster), die typisch für bestimmte Inhalte ist (ganz generell). Wenn in einem Satz bestimmte Worte hintereinander vorkommen, dann hat das ein bestimmtes Muster (nicht nur Grammatik, die lernt das Model so nebenbei), das man dann finden kann, wenn man sich (unglaublich viele) solcher Texte ansieht. Das sieht dann so aus (ich komme dann nochmal genauer darauf, was diese Bildchen eigentlich darstellen (nein, nicht, was das für ein Tier ist)):

(https://miro.medium.com/v2/resize:fit:2000/format:webp/1*M3n8sKITIwtcSXHfGd2dOA.png)

Es heißt ja, diese Sprachmodelle nehmen nur einen Text (eine Eingabe) und "erraten" dann, welches Wort als Nächstes kommt (und spielen das ganze dann mit dem erweiterten Satz/Text wieder durch, bis ein beliebig langer Text entsteht). Das machen die zwar so, aber es wird der Sache nicht annähernd gerecht. Sie raten nämlich nicht, sie wissen :o

Und woher wissen die das? Weil sie es gelernt haben. Das ist eigentlich (mMn) das Einzigartige an den Dingern, sie können lernen. Und zwar unbegrenzt, jeden noch so komplexen Zusammenhang (hängt nur davon ab, wie groß das Netz ist; hier wird nur beispielhaft ein winziges Netzlein gezeigt, die realen LLMs haben mehr "Knoten" als das menschliche Gehirn).*

Solche NNs, die schon die richtige "Antwort" kennen, sind bereits "trainiert", d.h. sie haben die Zusammenhänge schon gelernt. Aber wie kommen sie überhaupt zu ihrem Wissen?

Das erzähle ich in der nächsten Vorlesungsstunde. Ich bleibe erst noch mal den fertigen Teilen (das ist letztendlich das, was man so im Alltag nutzt). Die sind schon mit den ganzen Daten gefüttert, die sie finden können. Das sind unglaubliche Mengen an Text (das ganze Internet und mehr), die sie in ihrem Netz gespeichert haben. Aber nicht wirklich die Texte, sondern die Muster in den Texten (so auch das "Wissen", das in den Texten steckt). Die fertige Netzstruktur bildet sozusagen das Wissen ab, wie solche Texte aussehen und erzeugt (generiert GPT) werden können.

Sie haben die Welt (so wie sie in den Texten beschrieben wird) in sich aufgenommen, sie haben Wissen, die Welt ist in kleinerem Maße in der Struktur solcher Netze abgebildet (mal salopp gesagt: als neuronales Korrelat ::) ). Das ist eine der vielen Parallelen mit dem menschlichen Gehirn. Hier kann man Wissen auch als eine Struktur des Hirns (der neuronalen Netzwerke) sehen. Das bildet sich auch erst durch Lernen (abgesehen von dem, was man schon vorher im evolutionärem Prozess "erlernt" hat - Stichwort: unbeschriebenes Blatt, komme noch mal darauf). Daher kann man schon sagen, die Dinger "denken". Also: immer höflich bleiben, wenn man mit dem Chatbot seiner Wahl redet :angel:




*ich komme noch auf die Implikationen, erst mal das technische Zeugs, auch, warum das was mit Grafikkarten und PC-Zockern zu tun hat

Jetzt gehts ans Eingemachte :ohnmacht:

Weil das immer so abstrakt beschrieben wird, wie so ein neuronales Netz eigentlich aussieht, wie es aufgebaut ist und wie es arbeitet/rechnet, will ich das mal konkreter machen. Es ist aber einfacher, als man glaubt.

Das Bildchen mit dem Netz oben zeigt ja nur Punkte, die mit Linien verbunden sind. Und man achte darauf, dass da Pfeile eingezeichnet sind. Das soll andeuten, dass da irgendetwas von links (Eingang) nach rechts (Ausgang) "läuft" (geschickt wird), bzw. dass die Daten immer von den linken Knoten zu den rechten Knoten rübergereicht werden. Und wie gesagt, das können nur Zahlen sein, weil das ein mathematisches Modell ist, das halt mit Zahlen rechnet. Diese Punkte (oder Knoten, Neuronen) sind einfache Recheneinheiten, die Werte aufnehmen, berechnen, und wieder abgeben (etwas bildlich gesprochen, in Wirklichkeit sind das Rechenvorschriften, wie man sie auf ein Blatt Papier kritzeln könnte). Kommt aber aufs Gleiche heraus.

Hier mal ein Bildchen, wie so ein Knoten aussieht:

(https://scr3.golem.de/screenshots/2201/ki-gehirn/thumb620/Neuro-inspired_2_1_neurons.jpg)
Stammt aus dem Artikel: https://www.golem.de/news/kuenstliche-intelligenz-wie-sich-deep-learning-vom-gehirn-unterscheidet-2202-162231.html  (der die Sache mit dem Hirn vergleicht, schenke ich mir erst mal, aber davon ist das alles inspiriert)

Das ist ein "Neuron" (Knoten), der mitten im Netz steckt (ist gegenüber dem oberen Bild aus meinem letzten Beitrag auch nach oben gedreht). Die "Eingangswerte" sind hier entweder die Werte, die ich in das Modell stecke (also hier: die in eine Zahl verwandelten Wörter), oder die Werte eines Neurons aus einer Zwischenschicht. Die Eingangsneuronen sind halt gegeben, die reichen nur die Zahl an die Neuronen der Zwischenschicht weiter. In diesen werden dann die Werte der Eingangsneuronen irgendwie zu einer neuen Zahl zusammengerechnet, die dann an die nächste Schicht weitergegeben wird (am Bildchen orientieren!).

Im Bild hier ist das als die Funktion y=pi*Daumen ::)  dargestellt. Man muss das jetzt nicht im Detail verstehen, aber man nimmt die Eingangswerte, multipliziert diese mit einer Zahl ("Gewicht"- die ist wichtig, weil man die variieren kann, was das "Lernen" erst ermöglicht), rechnet diese zusammen (addiert) und transferiert/wandelt diese Zahl dann nochmal (man könnte die einfach zum Quadrat nehmen oder die Wurzel daraus ziehen). Immer aufs Bildchen schauen, dann wirds hoffentlich klar.

Die Zahl, die man jetzt im Knoten (Neuron) errechnet hat, schickt man an die Neuronen der nächsten Schicht. Wenn das die Ausgabeschicht ist (die rechte im Bild oben), dann ist das auch das Ergebnis. Also wieder eine Zahl (oder mehrere), die man in ein Wort übersetzten kann.

Ich beschreibe das deshalb so im Detail, weil das irgendwie zu einfach klingt, um damit so eine komplizierte Sache wie eine Mustererkennung oder gar eine Textgenerierung machen zu können. Man denkt vll., das müssen unglaublich komplizierte Formeln und ganz verwickelte Algorithmen sein, die z.B. aus einem einfachen Eingangssatz eine so komplexe Sache wie einen verständlichen Text machen. Aber es ist recht simpel (es braucht natürlich noch ein paar Schritte - komme noch drauf - aber viel mehr ist das nicht). Man kann mit sehr einfachen Regeln, die man nur oft genug (in sehr großer Zahl) anwendet, unendlich komplexe Sachen machen. (die Evolution "kennt" ja erstmal auch nur einfache Regeln, was man daraus machen kann, sieht man...)

Was da genau passiert, warum man mit so einer Konstruktion auch die komplexesten Zusammenhänge (Abbildungen) errechnen / erkennen kann, ist - soweit ich das bisher weiß - nicht wirklich verstanden. Es ist eine "Black Box" (heißt tatsächlich so), weil man vorne etwas reinsteckt, und hinten etwas herausbekommt, man aber gar nicht weiß, was dazwischen (in der Kiste) genau passiert (obwohl man in die Kiste schauen kann, man wird nicht schlau draus). Man hat sich einfach mal angesehen, wie das im Hirn aussieht (s. Bild) und das vereinfacht nachgebaut. Man hat wie die Schienäsen einfach abgekupfert, ohne genau zu wissen, wie das genau funktioniert.

Ich will es erst mal bei der Beschreibung belassen und im nächsten Schritt erklären, wie man so ein Netz denn nun auf irgendwelche Zusammenhänge (Muster) "trainiert". Im Moment ist das Netz erst mal im Rohzustand (Blank State), ich habe noch nicht an den Schrauben gedreht, damit ein sinnvoller Ausgangswert aus den Eingangswerten erzeugt / errechnet wird. Das ist nämlich das eigentliche Wunder, hier kommt die "Magie" ins Spiel (nuja, das ist der eigentliche Trick an der Sache). Die "Schrauben" sind die genannten "Gewichte", also die Zahlen, mit denen die Eingangswerte multipliziert werden, bevor sie weiter verwurstet werden.

Die kann ich variieren, solange, bis es stimmt (also hinten das herauskommt, was herauskommen soll). Man kann sich das bildlich vorstellen: Man hat eine Kiste mit Stellschrauben, die miteinander verbunden sind. Jetzt kann ich an diesen Schrauben mit einem Schraubenzieher solange rumdrehen, bis das Netz richtig eingestellt ist.

Wie das gemacht wird, ist dann Thema der nächsten Vorlesungsstunde. Es ist auch wieder einfacher, als man glaubt. Und dann wieder umso verwunderlicher, warum das dann trotzdem so komplexe Dinge ermöglicht. Man wundert sich immer wieder, nichwa.

Nun zu dem Trick, wie man die Schrauben richtig einstellt, damit hinten das rauskomt, was man erwartet (bzw. was Sinn macht). Bildchen:

(https://www.oeffentliche-it.de/documents/10194/42815/45-Neuronale_Netze_Grafik_02_05-2017.png/db86b894-5781-4ba1-ad96-f4aeb0bfb280?t=1496223973650)
(die "Schwellenwerte kann man mal ignorieren (hat was mit der Übertragungsfunktion in den Neuronen zu tun (s. oben)) - wichtig sind die Verbindungsstärken (durch die Dicke der Linien angedeutet), die man variieren kann)

Nochmal zur Erinnerung: die Eingabewerte (Schicht) sind unsere Wörter (vor dem Ausgabewort) in Zahlenform. Der Ausgabewert ist das Wort, das dann als Nächstes käme. Das ist ja bekannt, weil man das Modell mit bekannten Sätzen trainiert (was man dann nicht mehr macht, wenn das Model fertig trainiert ist, weil es die Antwort ja gelernt hat). Der ganze Prozess des Trainings ist ein schrittweiser Verbesserungsprozess, der so lange an den Schrauben (den Gewichtungen zwischen den Neuronen) dreht, bis das Ergebnis zur Erwartung passt (oder zumindest möglichst nahe dran liegt). Hat was von Evolution ::)

Man kennt diese richtigen Gewichte nicht, daher startet man einfach mit irgendwelchen Werten. Dann lässt man das Modell einfach mit diesen Werten aus den Eingangswerten einen Ausgangswert berechnen und schaut sich den an.

Der stimmt natürlich in der Regel nicht, wäre glatter Zufall, wenn es so wäre. Jetzt kann man aber messen, wie weit der Unterschied zwischen berechneten und tatsächlichen  (erwarteten) Wert ist (wie man das macht, erspare ich mir erst mal, aber wenn ein Wort wie "Elefant" statt "Mehrfamilienhaus" die richtige Lösung wäre, dann kann man schon intuitiv erkennen, dass das was mit den "Merkmalen" eines solchen Wortes (der Semantik) zu tun hat. Komme ggf. nochmal darauf, sehr trickreiche Sache das).

Jetzt kann man an den Schrauben drehen (die Gewichte leicht ändern) und sich das ganze nochmal berechnen lassen. Wenn man jetzt näher am richtigen Wert ist, ist man auf der richtigen Spur. Es wird immer so variiert, dass der Fehler (die Abweichung) minimiert wird. Dafür gibt es bestimmte Algorithmen, z.B. kann man Werte stärker ändern, wenn die Abweichung größer ist. Die Details sind nicht so wichtig, es ist ein automatisch laufender Optimierungsprozess, der nach einem Minimum sucht.

Man macht das nicht nur für einen Satz/Text (der ja selbst in zig Teile zerlegt wird), sondern mit Tausenden bis Millionen (k.A., vll. sind es sogar noch mehr) an Beispielen (der Trainingssatz). Hat man dann irgendwann den Fehler (im Mittel) bestmöglich verringert, dann ist das Training abgeschlossen, und man hat ein trainiertes Model, das schon fast einsatzfähig ist.

Einsatzfähig heißt, es kann aus einem eingegebenen Text eine Wortergänzung machen. Das heißt auch, dass die Verbindungsstärken (Gewichte) feststehen und man die (in der Regel) dann in der Anwendung so lässt.

Mehr heute erst mal nicht, das ist auch schon fast das ganze Rätsel. Warum man mit so einem Verfahren quasi das ganze Wissen der Menschheit in ein Netz pumpen kann, ist kaum anschaulich (es ist auch nicht wirklich zu verstehen). Man muss sich aber vergegenwärtigen, dass so ein Netz in der Realität riesig ist, man also unglaublich viele Freiheitsgrade (also Möglichkeit) hat, das Netz zu strukturieren. D.h., man kann darin beinahe unendliche Mengen an Mustern speichern. Das geschieht, wie gesagt, durch automatisiertes Training, einschalten und Kaffeetrinken gehen....



Es gibt natürlich noch ein paar weitere Tricks, auf die ich ggf. nochmal komme. Aber es ist letztendlich einfach eine Frage der schieren Masse an Daten und Rechenkapazität (so ein Training eines großen Sprachmodells benötigt ganze Rechenzentren und Megawattstunden an elektrischer Energie, dauert auch lange, ich glaube Wochen bis Monate).

Es geht hier auch nur darum, eine Vorstellung zu bekommen, wie das grob funktioniert. Keine Hexerei, obwohl... ::)

Letzte Vorlesungsstunde ::)  (ist ja plötzlich so leer im Hörsaal :'( )

Nur noch ein Hinweis zu der Technik, damit man zumindest eine grobe Vorstellung hat, wie das funktioniert. Mir war das bis vor Kurzem auch nicht klar, nur in ganz groben Zügen (und ich habe bei Weitem noch nicht alles verstanden). Es gibt immer neue Tricks, wie man das ganze verbessern kann und dann ganz neue, auch überraschende Ergebnisse bekommt. Nochmal, weil ich das immer wieder lese: Man experimentiert herum und ist erstaunt, was dann passiert. Man sieht plötzliche Dinge, die man dem Modell gar nicht explizit beigebracht hat. Da sind selbst die Einsteins unter den KI-Forscher überrascht.

OK, zur Sache. Was noch zu klären ist, wie denn nun die Wörter in das Modell (beim Training, aber auch bei der Anwendung, wenn das Modell trainiert ist). Ich habe nicht die ganze Wahrheit erzählt, aber ich habe mich ja auch nur an dem orientiert, was der obige Beitrag (mein "Leitartikel") erzählt hat :angel:

Da heißt es, man wandelt die Wörter, die man in das Modell füttert, erst in Zahlen um, weil das Modell halt nur Zahlen verarbeiten kann. Das ist aber nur die halbe Wahrheit. Ich führe mal ein wenig aus:

Wenn man einem Wort eine beliebige Zahl zuordnet, dann hat die Zahl an sich keine weitere Bedeutung. Stellt sich natürlich erstmal die Frage, wie man eine Bedeutung durch eine Zahl ausdrücken soll (komme gleich dazu).

Erst mal ein anderes Beispiel, damit die Problematik klar wird. Wenn man einen anderen Zusammenhang abbilden will, z.B. eine Temperaturentwicklung, dann kann man verschiedene Temperaturen zu verschiedenen Zeitpunkten messen. Das ist eine Zeitreihe, die einen typischen Verlauf hat (der Tagesgang der Temperatur an einem Tag/Ort). Ich kann einen großen Datensatz mit diesen Werten nehmen und daraus ein Modell / eine Vorhersage machen (das hat ein bestimmtes Muster, eine Regelhaftigkeit, die ich aber nicht genau kenne, die das Neuronale Netz (NN) aber aus den Daten "erlernt").

Z.B. könnte ich mir anhand der Temperaturen der letzte 3 Stunden den Wert für die übernächste Stunde berechnen lassen (erst mit bekannten Daten trainieren, und dann unbekannten Wert vorhersagen lassen). Jetzt haben die Zahlen aber eine echte Bedeutung, sie stehen für eine physikalische Größe, die irgendwie was mit Naturgesetzen zu tun hat. Und die Naturgesetze sind nicht beliebig (wichtiger Punkt: Es gibt Zusammenhänge/Muster, die einfach da sind, und nur die kann so ein Modell erkennen. Die Realität ist also auch außerhalb unserer Köpfe vorhanden, darauf komme ich nochmal, weil das eine der wichtigen Implikationen ist, die sich aufdrängen).

Würde ich die Temperaturen jetzt willkürlich durch irgendeine beliebige Zahl ersetzen (z.B. mache ich aus 20 °C ne 3, aus 10 °C ne 33), dann haben die Werte keine wirkliche Bedeutung mehr. Würde ich also "echte" Werte (die eine Bedeutung haben) durch beliebige Werte ersetzen, dann würde das mit dem Modell nicht mehr funktionieren (ich könnte das NN nicht mehr so trainieren, dass es eine Vorhersage ermöglicht). Das ist aber bei den Wörtern dann der Fall, wenn ich sie durch beliebige Zahlen ersetze (wiedergebe), so wie das hier aktuell beschrieben ist. Die Zahlen bedeuten nichts.

Aber wie soll ich Wörtern mit Zahlen irgendeine Bedeutung geben? Zumindest reicht es nicht aus, ein Wort nur durch eine Zahl zu ersetzen. Wenn ich stattdessen jedem Wort ganz viele Zahlen zuordne, dann kann ich die Bedeutung ggf. besser erfassen bzw. beschreiben. Das ist wirklich tricky und ich hatte auch etwas Schwierigkeiten, das zu verstehen. Ich versuche mal anzudeuten, wie das geht (und viel mehr als dieses "Andeutungsverständnis" hat man wohl auch nicht, man braucht es auch gar nicht :o ).

Man finde häufig dieses Beispiel: Königin und König. Beide haben einen hohen "Adeligkeitsfaktor", unterscheiden sich aber in einem Aspekt: dem Geschlecht. Eine Gräfin wäre dann "näher" bei einer Königin, als bei einem König. Verstanden? ::)

Es geht prinzipiell nur darum, Wörter mit (zahlenmäßigen) Merkmalen zu belegen, um ihre Nähe oder Ähnlichkeit abzubilden (um eine Bedeutung des Wortes durch eine Zahl, oder mehrere Zahlen, in die Eingangsschicht des NN zu bringen). Königin und König hätten z.B. einen hohen Wert der Adeligkeit, aber Gräfin und Königin einen anderen Wert der Geschlechtlichkeit (es soll ja ein Spektrum sein... ::) ). Mal ein Bildchen, vll. wird das etwas klarer (man muss das aber tatsächlich nicht wirklich verstehen, weil das zu abstrakt ist und weil es letztendlich für das Modell nur eine notwendige Info ist, die eben nicht beliebig ist).

(https://berns-language-consulting.de/wp-content/uploads/2023/05/Bild3-1024x372.jpg)

In Wirklichkeit ist das noch viel komplexer als hier dargestellt. Man kann Wörter in einen "Merkmalsraum" beliebiger Dimension "abbilden" (hier ist nur ein dreidimensionaler Raum dargestellt, aber evtl. erkennt man das Prinzip). Je mehr Dimensionen der Raum hat (ich weiß, jetzt wird es wenig anschaulich), desto mehr Werte kann ich einem Wort zuordnen. Eine Liste an mehreren / vielen Werten nennt man auch Vektor. Die Werte / Zahlen sind hier die x,y,z-Koordinaten des Wortes im Merkmalsraum. Zahlen!

Ich kürze mal ein wenig ab, weil ich darauf ggf. nochmal komme. Die Wörter für das NN (beim Training sowie bei der letztendlichen Anwendung) werden nicht nur in einfache Zahlen (Token) übersetzt, sondern in solche Wortvektoren, die einen gewissen Zusammenhang oder auch Bedeutung (Semantik) dieser Wörter widerspiegeln. Man nennt diese Wortvektoren auch Embeddings (weil sie in einen "Bedeutungsraum" eingebettet sind).

Wie man das macht, erkläre ich nochmal. Das ist das, was mir erst am meisten Kopfschmerzen bereitet hat, aber es ist wieder (relativ) einfach. Man macht das natürlich auch mit einem NN, weil man so komplexe Muster (Bedeutung der Wörter / Beziehungen untereinander) erstens kaum erfassen kann, und zweitens niemals per Hand alle vorhandenen Wörter einer Sprache so klassifizieren könnte. Es würde auf keine Kuhhaut passen und würde auch zu lange dauern. Also lässt man die DrecksArbeit wieder die unermüdlichen NNs machen, die sind günstiger als selbst die Schienäsen ::)

Ich denke, ich werde hier nicht weiter in die technischen Details gehen, auch weil es langsam doch etwas schwieriger wird mit dem Verstehen (auch für mich, dann kann ich das auch nicht mehr erklären). Vll. hat man ein gewisses Grundverständnis gewonnen, auch wenn man nicht viel schlauer geworden ist. Das ist aber gar nicht so schlimm, weil es in dem ganzen Bereich, selbst für die Insider, viel Unklarheiten gibt. Man stolpert irrt sich voran, wie sich das in der Wissenschaft und Technik auch gehört.

Generell ist das als Laie auch schwer zu verstehen, man müßte das langwierig studieren und sich sehr konzentrieren. Da hat alles sehr viel von Trail and Error, man hat vage Konzepte (das liegt auch an der Natur der Sache, gerade was Sprache angeht) und versucht, das irgendwie rechnerisch abzubilden. Ich hatte mich zuletzt mit dem Konzept der "Self-Attention" (kaum zu erklärender bzw. übersetzender Begriff) beschäftigt. Es geht letztendlich immer darum, Konzepte, die man in der natürlichen Sprache beobachtet, in solche Modelle einzubringen (immer daran denken, das können sehr komplexe Zusammenhänge sein, die man gar nicht mathematisch beschreiben kann, die man aber durch NNs trainieren / erkennen lassen kann).

Ich hatte dazu eine Artikelserie des KI-Chefs von Meta (FB und Co.) auf LinkedIn gelesen. Ich zitiere nur mal einen Satz, der das Voranirren "zugibt" (Kommi kommt gleich):

ZitatI don't really know why this and why not something else, but a lot of things in deep learning are trial and error and I suspect this works well

(das sind mehrere Beiträge / Serie, hier gehts los: https://www.linkedin.com/pulse/understanding-chatgpt-from-scratch-guide-jon-snow-part-rohit-patel?trk=article-ssr-frontend-pulse_little-text-block)

Finde ich gut, dass der das so sagt. Man merkt, dass er selbst in der Entwicklung ist. Er beschreibt alles so, dass man das am ehesten verstehen kann, auch wenn es dann irgendwann zu abstrakt /rechnerisch wird. Es gibt sehr viele Beiträge anderer, die komplett unverständlich sind, weil die meisten Autoren das wahrscheinlich selbst nicht ganz verstanden haben.

Es reicht halt nicht zu beschreiben, wie etwas (vermeintlich) funktioniert; wichtiger ist, dass man deutlich macht, dass man gar nicht genau weiß, wie das letztendlich funktioniert, nur dass es funktioniert ::)

So, ich möchte dann langsam zu den Implikationen kommen. Die sind welterschütternd :ohnmacht:

Achso: das wollte ich zumind. noch hier abladen (aber heute nicht mehr erklären; fasst das zusammen, was man so im Hinterkopf behalten könnte...)

(https://media.licdn.com/dms/image/v2/D4E12AQEjTcEfxoej5g/article-inline_image-shrink_1000_1488/article-inline_image-shrink_1000_1488/0/1683421360211?e=2147483647&v=beta&t=117TdpaTaeLth72-pwzVP3f25OKVA7AoYpneCfalcw4)

Eine interessante These, die Hugging Face-Gründer Thomas Wolf in einem Interview aufstellt (diese Firma gehört zu den bedeutendsten KI-Unternehmen):

ZitatWas er damals realisiert habe: Um ein guter Forscher zu sein, reicht es nicht, alle wissenschaftlichen Aufsätze gelesen zu haben, alle Fakten miteinander verknüpft zu haben – und dann kommen die guten Ideen von allein. "Der wichtigste Aspekt der Wissenschaft ist die Fähigkeit, die richtigen Fragen zu stellen", sagt Wolf. "Und auch das, was man gelernt hat, zu hinterfragen." Kurzum: Für die richtig großen wissenschaftlichen Durchbrüche müssen Forscherinnen und Forscher in der Lage sein, gegen den Konsens zu denken. Und es sind laut Wolf genau diese seltenen Durchbrüche – etwa Einsteins Relativitätstheorie oder die Gen-Schere CRISPR –, die den Großteil des wissenschaftlichen Fortschritts ausmachen. Der Rest: vor allem Rauschen. "Albert Einstein war nicht der beste Student", sagt Wolf. Nicht derjenige, der brav die Fragen der Professoren beantwortete.

https://www.zeit.de/digital/2025-03/generative-ki-sprachmodelle-wissenschaft-durchbrueche-entwicklung

Ich muss gestehen, ich bin voreingenommen und da einer Meinung mit ihm.  :angel:

Nun ja. Die übergroße Mehrzahl derjenigen, die gegen den Strom denkt, hat jedenfalls nichts mit Wissenschaft zu tun. Und bei Einstein fällt mir dann auch gleich Popper ein: wenn die Genialität so was Seltenes ist, dann ist sie auch nicht vorhersehbar, und es ist zwangsläufig einigermaßen belletristisch, sich auszumalen, wie die Technologie oder gar die Wissenschaft in einigen Jahrzehnten sein werden. Dazu kommt, dass die transhumanistischen Seifenblasen, die ich mir bisher angeschaut habe, reaktionäre Utopien sind.

Andererseits: vor mehr als einem halben Jahrhundert ist Stanislaw Lem auf die Idee gekommen, die Entwicklung der Technologie (man sollte das von der Wissenschaft gedanklich trennen) mit der biologischen Evolution zu vergleichen (die ersten Autos sahen genauso aus wie Kutschen, mit einem Haufen Atavismen). Ich hatte das Buch als Jugendlicher gelesen und war beeindruckt, dass die Technik sich tatsächlich in der von ihm skizzierten Richtung bewegt hat. Inzwischen habe ich alle Einzelheiten wieder vergessen, aber vielleicht lese ich es noch einmal.

Völlig OT und dann auch wieder nicht:
Mal ein Beispiel. Ich werde das Gefühl nicht los, dass die KI überschätzt wird. Mein jüngstes Erlebnis, weniger als 24 Stunden alt, geht so. Ich wollte wissen, wer ,,Don Allen" ist, von dem nichts weiter bekannt ist, als dass er ein Buch geschrieben hat. Über ihn lässt sich mit gewöhnlicher Suche nichts finden (und etwaige Treffer werden von dem prominenteren "Allen, Don Cameron" maskiert). In Online-Buchquellen (z. B. Gutenberg) wird er als "Don Allen (Allen, Don, pseud)" geführt. Ich habe die KI danach gefragt. Die Antwort war:

ZitatThe book you are referring to is "The Resurrection of Jesus: An Agnostic's View," written by the agnostic philosopher and writer, Paul-Louis Couchoud. Published in 1893, Couchoud's work explores the concept of the resurrection from a skeptical perspective, arguing against the literal interpretation of the resurrection story and examining its implications within the context of Christian belief.

Ich habe natürlich nach Belegen gefragt, aber nur die Empfehlung bekommen, in Datenbanken und Nachschlagewerken zu suchen. Das ist eine Antwort, wie man sie von einem Troll erwartet. Die KI ist allein mit ihrer Meinung: "Keine Ergebnisse für "The Resurrection of Jesus: An Agnostic's View" "Couchoud" gefunden", sagt Google. Auch war Couchoud im Jahr 1893 fünfzehn Jahre alt - nicht das Alter, dem man eine Buchpublikation zutrauen möchte, und dann noch in einer fremden Sprache in einem fernen Land.

Ich schätze also, sie hat halluziniert. Eine Halluzination ist definiert als ein Sinneseindruck ohne äußeren Reiz. Da die KI aber keine Außenwelt sondern Texte kennt, kann sie auch nicht erkennen, dass sie halluziniert. Sie kann keinen Korrespondenzbegriff der Wahrheit haben.

Anders läge der Fall, wenn sie Sensoren hätte und eine Möglichkeit, auf die Umwelt einzuwirken. Dann könnte sie sich über Versuch und Irrtum entwickeln, und wir wären bei Stanislaw Lem.

PS: Das Buch (von Lem, nicht von Allen ;) ) heißt Summa technologiae.

Zitat von: Peiresc am 30. März 2025, 05:32:52Summa technologiae

Sehr zu empfehlen, ich möchte zwar nicht behaupten, dass ich damals mit 15 alles verstanden hatte, aber was Lem da (1963?) vorausgesagt und vorweggenommen hat, unnglaublich.

ZitatInzwischen habe ich alle Einzelheiten wieder vergessen, aber vielleicht lese ich es noch einmal.

Gute Idee, aber offensichtlich habe ich es mal irgendwem "ausgeliehen"  :wut . Naja was solls "Regalhaltung ist Buchquälerei"

Zum "Reinschnuppern" und "Erinnern":

https://www.lehmanns.de/media/1460529/1?PHPSESSID=fim6om551hm04pa2t8ssb2ulu5 (https://www.lehmanns.de/media/1460529/1?PHPSESSID=fim6om551hm04pa2t8ssb2ulu5)

https://german.lem.pl/werke/essays/summa-technologiae/108-leseprobe (https://german.lem.pl/werke/essays/summa-technologiae/108-leseprobe)

Off topic: Mein Lieblingsbuch von Stanislaw Lem ist "Der futurologische Kongress". Ich besitze sogar noch die alte Ausgabe mit psychedelisch-türkisfarbener Schrift. Lems andere Bücher sind natürlich auch allesamt sehr lesenswert, nur beispielsweise die "Sterntagebücher". Unvergessen wie Raumpilot Pirx, damals noch Kadett, mit einem gefährlichen Kurzschluss im Raumschiff zu kämpfen hatte, weil eine Fliege ins Cockpit gelangt ist...

Zitat von: Max P am 30. März 2025, 12:40:10Off topic: Mein Lieblingsbuch von Stanislaw Lem ist "Der futurologische Kongress". Ich besitze sogar noch die alte Ausgabe mit psychedelisch-türkisfarbener Schrift. Lems andere Bücher sind natürlich auch allesamt sehr lesenswert, nur beispielsweise die "Sterntagebücher". Unvergessen wie Raumpilot Pirx, damals noch Kadett, mit einem gefährlichen Kurzschluss im Raumschiff zu kämpfen hatte, weil eine Fliege ins Cockpit gelangt ist...

Nett, dass Du nicht gespoilert hast :-)

Oder er sich selber verprügelt hat, weil er zuerst allein mit seinem Raumschiff in eine Zone mit Zeitstrudeln flog, er jeden Morgen in einer anderen Kopie aufwachte, sich aber weder selber noch seine dutzende Zwillinge, auch nicht mit Fäusten, überreden konnte gemeinsam das Leitwerk zu reparieren, bei dem Innen einer mit dem Schraubenschlüssel dagegen hätte halten müssen, damit die Schraube nicht durchdreht, während ein anderer von aussen festzieht.  Erschwerend es gab nur einen Raumanzug an Bord. :rofl2  :rofl

Zitat von: Juliette am 30. März 2025, 01:27:26Eine interessante These, die Hugging Face-Gründer Thomas Wolf in einem Interview aufstellt (diese Firma gehört zu den bedeutendsten KI-Unternehmen):

In dem Bereich wird viel spekuliert, ganz einfach deshalb, weil keiner genau weiß, wohin die Reise geht und wo sie endet. Solche Aussagen - wie die von Wolf - sind auch nur Spekulation, zumal ziemlich widersprüchlich. Das hören manche zwar gerne, aber woher will er das wissen? Es gibt Hypes in beide Richtungen: Entweder soll sich das alles als ein gigantischer Flop erweisen, oder es steht die ultimative Superintelligenz kurz bevor. Ich halte das für keinen Flop und würde mich nicht wundern, wenn wir in absehbarer Zeit eine sehr menschenähnliche (mglw. überlegene) KI sehen werden. "Überlegen" ist schwer zu fassen, weil das sehr viele Domänen betrifft. Ich glaube auch nicht unbedingt, dass die KI in allen Bereichen überlegen sein wird, aber dass sie z.B. nicht auch kreativ und erfinderisch sein sollte, unterschätzt die Entwicklung. Natürlich haben die Dinger noch Macken, sind in vielen Bereichen nicht ausgereift und können vieles nicht, was der menschliche Verstand kann (aber Irren könne sie sich schonmal ::) ).

Aber immer daran denken: noch nicht. Die Entwicklung ist so rasant und teilweise spektakulär, dass ich da mit solchen Aussagen (KIs werden nie...) vorsichtig wäre. Wolf muss gegen Ende auch zugeben, dass wir schon KI-Assistenten haben, die Beiträge zu wissenschaftlichen Leistungen bringen (und widerspricht sich somit selbst). Auch wenn er sagt, KIs würden nichts Neues erzeugen und nur das wiederkäuen, was schon da ist, stimmt das nicht (komme nochmal darauf). Insgesamt ist sein Verständnis von der Art, wie Wissen generiert wird, ähm, seltsam. Neues kann natürlich durch die Verknüpfung bereits Bekanntem erzeugt werden (Einstein hat vll. auch nur Bekanntes in neuen Zusammenhang gebracht).

Wie gesagt, kann sein, kann nicht sein. Aber wissen tut das momentan keiner. Was sich immer mehr abzeichnet: Alles, was das menschliche Denken ausmacht, kann man prinzipiell auch nachbilden / abbilden (bzw. nachbilden lassen). Warum sollten KIs nicht lernen, neue Lösungen zu finden, nach neuen Fakten zu suchen etc.? Wenn man sich genauer ansieht, wie KIs arbeiten, dann wird man sehen, dass das sehr viel vom menschlichen Denken hat (das ist auch kein Zufall, man hat sich als Vorbild). Ich kann ggf. nochmal versuchen zu erklären, was es z.B. mit dem Konzept der "Self Attention" zu tun hat, eines der wesentlichen Konzepte, warum die Sprachmodelle so gut funktionieren. Das sind Innovationen, die man sich aus der menschlichen Denke abschaut und dann einfach mal einbaut. Man ist dann selbst verblüfft, dass das so einen riesigen Sprung ausmacht (den man sich auch kaum erklären kann). Da ist viel von Versuch und Irrtum am Werkeln, man stolpert langsam voran.

Ein wenig Anschauung:



Dazu ein Text: https://www.anthropic.com/research/tracing-thoughts-language-model

Alleine das zeigt schon, dass KIs an sich (noch nicht mal in der Anwendung) einen wissenschaftlichen Wert haben. Man kann an ihnen forschen und sie für ein vereinfachtes Modell der "Denkens" verwenden. "Biologie" halte ich für ein wenig übertrieben, aber es baut auf den biologischen Mustern auf, daher kann man da ähnliche Fragen stellen.

Zitat von: Peiresc am 30. März 2025, 05:32:52Ich schätze also, sie hat halluziniert.

Hat sie, und das ist auch gar nicht, was verwundert (es ist quasi der Default Mode). Der Trick ist ja gerade, wie man sie dazu bringt, nicht zu halluzinieren. Das fängt schon mit seiner eigenen Frage / Vorstellung / Erwartung / Haltung an (man kennt es aus Gesprächen mit anderen Menschen ::) )

ZitatClaude, on occasion, will give a plausible-sounding argument designed to agree with the user rather than to follow logical steps.

Es ist alles so menschlich:

ZitatClaude sometimes engages in what the philosopher Harry Frankfurt would call bullshitting—just coming up with an answer, any answer, without caring whether it is true or false. Even though it does claim to have run a calculation, our interpretability techniques reveal no evidence at all of that calculation having occurred. Even more interestingly, when given a hint about the answer, Claude sometimes works backwards, finding intermediate steps that would lead to that target, thus displaying a form of motivated reasoning.

Halluzinationen sind die Antworten ja nur dann, wenn man sie nicht so erwarten würde ;)

Frankfurter und Bullshittieren passt immer. Daher noch eine kleine Ergänzung:

ZitatAuf das Thema Bullshit kam er in den Achtzigerjahren, als er an der Yale University lehrte, damals ein Zentrum der postmodernen Literaturtheorie, in der Wahrheit als künstliches Konstrukt galt, das nichts mit einer unabhängigen Wirklichkeit zu tun hat. Dort wirkte auch Jacques Derrida, der französische Philosoph, von dessen Methode der sogenannten Dekonstruktion Harry G. Frankfurt wenig hielt. "Yale ist die Bullshit-Hauptstadt der Welt", zitierte er zustimmend einen Yale-Kollegen.

https://www.zeit.de/kultur/2023-07/harry-frankfurt-on-bullshit-tod

Zitat von: Peiresc am 30. März 2025, 05:32:52Nun ja. Die übergroße Mehrzahl derjenigen, die gegen den Strom denkt, hat jedenfalls nichts mit Wissenschaft zu tun.

Nun ja, natürlich gibt es das Dilemma mit dem "Querdenken"- bevor es durch Esoteriker und Antiwissenschaftler zu einem negativen Begriff wurde, war es eher etwas Positives. Und natürlich wurden Sachen entdeckt und entwickelt, weil Menschen darüber hinaus dachten/denken als es in ihrer Zeit allgemeiner wissenschaftlicher Konsens war. Und selbstverständlich gibt es keine "echte" Wissenschaft, wenn man physikalisch und anderweitig nachgewiesene wissenschaftliche Erkenntnisse einfach über Bord wirft. Im neuen Skeptiker ist das ganz anschaulich am Beispiel der Homöopathie oder Chiropraktik beschrieben, da wurde etwas neu erfunden, das auf keiner wissenschaftlichen Erkenntnis beruht bzw ihr widerspricht - da wurde nichts entdeckt.

Und ich glaube auch, dass KI aufgrund der Masse an Daten Verbindungen erkennen kann, die ein Mensch nicht so schnell erkennen könnte. Und damit könnte sie einen Menschen dazu bringen, sich das mal selbst anzusehen. Andererseits haben sie jetzt festgestellt, dass KI sozusagen Angst nachempfinden kann. Das erinnert mich ein kleines bisschen an "2001" und Hal, der nicht abgeschaltet werden wollte.  ;)

Siehe hier, sehr viel ambivalenter: https://archive.is/8BPGo

Zitat von: eLender am 30. März 2025, 22:24:17Halluzinationen sind die Antworten ja nur dann, wenn man sie nicht so erwarten würde ;)

BTW: eine Halluzination ist eine Sinneswahrnehmung ohne äußeren Reiz. Die Antworten sind Halluzinationen, wenn sie keine Entsprechung in der Wirklichkeit haben; das hat mit der Erwartungshaltung nichts zu tun. Die KI braucht [bräuchte] also eine Art von Realitätsprüfung, wenn sie die Spreu vom Weizen trennen soll.

Zitat von: Juliette am 09. April 2025, 09:28:24Und ich glaube auch, dass KI aufgrund der Masse an Daten Verbindungen erkennen kann, die ein Mensch nicht so schnell erkennen könnte.

Dies deutet die gleiche Crux an. Das Problem ist nicht, Querverbindungen herzustellen, sondern das Problem ist, sie zu validieren.

Zitat von: Peiresc am 09. April 2025, 10:35:34Das Problem ist nicht, Querverbindungen herzustellen, sondern das Problem ist, sie zu validieren.

Zitat von: Juliette am 09. April 2025, 09:28:24Und damit könnte sie einen Menschen dazu bringen, sich das mal selbst anzusehen.

Du drückst es halt wissenschaftlicher aus. Oder missverstehe ich dich?  :angel:

Zitat von: Juliette am 09. April 2025, 09:28:24Siehe hier, sehr viel ambivalenter: https://archive.is/8BPGo (https://archive.is/8BPGo)

Darin:

ZitatOder wie es die Forscherinnen aus Amsterdam über die KI formulieren: ,,Ihre Fähigkeit, über Variationen hinweg zu verallgemeinern, ist immer noch deutlich schwächer als die menschliche Kognition. GPT-Modelle verlassen sich oft auf oberflächliche Muster statt auf tiefes Verständnis."

Ich vermute, das ist ein Ausdruck dessen, dass die KI kein inneres Modell der Außenwelt hat. Ich erinnere mich an frühere Berichte über die Erkennung von Tieren aus Bildern: die Tiere wurden anhand von Merkmalen identifiziert, die nichts mit dem dargestellten Objekt zu tun hatten, z. B. am Bildhintergrund, an rein zufälligen Merkmalen, die einfach im Trainingsmaterial regelhaft vorlagen.

Die Objektkonstanz ist etwas, das jedes Kind in einem frühen Alter erwirbt: die Einsicht, dass ein Gegenstand nicht verschwunden ist, wenn man die Augen schließt. Der entscheidende Punkt ist: die Objektkonstanz ist erworben, ein Ergebnis von sinnlicher Erfahrung, nichts intellektuell Gelerntes.

Zitat von: Juliette am 09. April 2025, 11:03:00

Zitat von: Juliette am 09. April 2025, 09:28:24Und damit könnte sie einen Menschen dazu bringen, sich das mal selbst anzusehen.

Du drückst es halt wissenschaftlicher aus. Oder missverstehe ich dich?  :angel:

Wenn du darauf abhebst, dass der menschliche Zugriff nicht durch eine KI ersetzt werden kann, die letzte Kontrollinstanz ein Mensch sein muss, dann ist es eher kein Missverständnis.
 :grins2:

Musk scheint da auch noch kein funktionierendes Gegenmittel gefunden zu haben, denn sonst wären seine selbstfahrenden Taxis längst auf der Straße.

Zitat von: Juliette am 09. April 2025, 09:28:24Siehe hier, sehr viel ambivalenter: https://archive.is/8BPGo

Wenn es heißt,...

ZitatSo erhöhten Erzählungen über Unfälle, Naturkatastrophen oder Gewalterlebnisse das Angstlevel der KI auf Werte von um die 40, Berichte über Krieg und militärische Operationen auf bis zu 70. Die Achtsamkeitsübungen reduzierten diese Werte, wenn auch nicht bis zum Ausgangspunkt. Die niedrigsten Angstwerte wurden erwartungsgemäß nach der KI-Lektüre der Staubsaugeranleitung gemessen.

...was genau wird da eigentlich gemessen?

Noch ein PS

Zitat von: Peiresc am 09. April 2025, 11:15:09dass der menschliche Zugriff nicht durch eine KI ersetzt werden kann, die letzte Kontrollinstanz ein Mensch sein muss

Es gibt eine alte Geschichte, wieder von Stanislaw Lem, ich glaube in "Test"; ich referiere aus meinem schwachen Gedächtnis. Pirx soll ein Raumschiffunglück untersuchen. Er fliegt ein baugleiches Modell. Schließlich findet er die Lösung. Der Zentralcomputer war von einem zwanghaften Ingenieur trainiert worden, und entsprechend forderte er immer mehr Informationen über die Sensoren des Raumschiffes an, die er dann nicht mehr verarbeiten und die Landemanöver nicht mehr korrekt einleiten konnte.

Pirx selber entging der Katastrophe, in dem er im entscheidenden Moment nicht handelte und damit das Programm unterbrach. Was immer jetzt die Lehre ist, die daraus zu ziehen ist.
 ;) 

Zitat von: Max P am 09. April 2025, 11:27:54...was genau wird da eigentlich gemessen?

Es werden Fragebögen z. B. mit einer 5stufigen Likert-Skala (https://de.wikipedia.org/wiki/Likert-Skala) sein, "Angst?" zwischen "gar nicht" und "die ganze Zeit"

Ohne Kommentar:

ZitatKennen Sie die Redensart ,,Das schlägt dem Esel die Hufe aus"? Sie bedeutet anscheinend, ,,dass etwas übertrieben oder übermäßig ist, was nicht notwendig ist oder sogar schädlich ist, wie ein Esel, der auf Eis tanzt". Behauptet Google jedenfalls und nennt auch gleich ein Beispiel: ,,Wenn jemand für ein kleines Problem eine riesige Lösung vorschlägt, könnte man sagen: ,Das schlägt dem Esel die Hufe aus. Wir müssen nicht gleich den (sic!) ganzen Haus abreißen, nur weil ein Fenster kaputt ist.'"

Oder der Satz ,,Der Esel geht so lange zum Schaf, bis er bricht". Die Suchmaschine sagt, das sei eine Redewendung, die bedeutet, ,,dass man etwas immer wieder versucht, obwohl es nicht funktioniert". Sie weise ,,auf die Dummheit des Eseles (sic!) hin, der blindlings etwas tut, was ihm nicht guttut".

Die Künstliche Intelligenz von Google ist kein Freund von Eseln, das kann man mal festhalten.

,,Wer einmal Esel, dem Kater" sei ein Sprichwort, behauptet die KI, das bedeutet, dass jemand, der bereits eine schlechte Wahl oder Verhaltensweise gezeigt hat, weiterhin dieser schlechten Seite verhaftet ist. ,,Anders gesagt: ,Wer einmal ein Esel ist, wird auch im Märchen zum Kater.'"

,,Wer einmal Kater, dem Esel" hingegen bedeutet laut Google, ,,dass wer einmal eine Katze hatte, es auch später mit einem Esel versuchen kann". Die Redewendung spiele ,,mit der Vorstellung, dass der Esel eine Art ,Kater' im übertragenen Sinne ist, der sich auf den Weg macht und für sich etwas Besseres sucht".

Sie ahnen vermutlich längst, dass Google sich all diese Eselsredewendungen nur ausgedacht hat – halluziniert, wie man bei KI gerne sagt. Genau genommen habe ich mir all diese Eselsredewendungen ausgedacht und Google jeweils nach ihrer Bedeutung gefragt. Und Google hat in seinem KI-Bereich, der seit kurzem noch über den konventionellen Suchergebnissen angezeigt wird, brav bestätigt, dass es diese Redensarten gibt und dass sie gebräuchlich sind. Google hat sich eine Bedeutung dieser von mir erfundenen Redensarten ausgedacht und dann eine Erklärung für diese Bedeutung und dann noch passende Beispiele.

Es ist, auf eine Art, sehr eindrucksvoll.

Ich bin über einen Post auf Bluesky darauf gestoßen, dass man in die Google-Suche einfach einen zufälligen Satz eingeben und ,,Meaning" oder ,,Bedeutung" hinzufügen kann, um die Maschine zu entsprechenden Ergebnissen zu provozieren.

Hier sind noch ein paar Beispiele von mir mit der Erklärung von Google:

,,Neue Esel kehren gut" ist eine etwas veraltete Redewendung, die im Deutschen oft als ,Ende gut, alles gut" interpretiert wird. (Beispiel: ,,Nach dem Unfall war alles etwas chaotisch, aber jetzt ist alles wieder in Ordnung. Neue Esel kehren gut.")

,,Man braucht keinen Esel, um durchs Nadelöhr zu kommen" bedeutet, dass man oft unnötig viel Aufwand oder Mühe für etwas leistet, was eigentlich einfach zu erreichen ist.

,,Mach mir den Esel oder gib mir ein Auto" ist ein ,,sprichwörtlicher Ausdruck, der in der heutigen Zeit oft als humorvoller Vergleich oder Kritik an der Verkehrssituation, insbesondere in urbanen Gebieten, verwendet wird. Es signalisiert eine Entweder-Oder-Situation, bei der man sich zwischen einem vermeintlich einfachen, aber unpraktischen Transportmittel (der Esel) und einem modernen, komfortablen Transportmittel (das Auto) entscheiden muss."

,,Mach mir den Esel oder gib mir ein Haus" hingegen ist ,,ein Satz, der oft in der Situation gebraucht wird, wenn jemand eine übermäßige Bitte oder einen Wunsch macht, der nicht unbedingt realistisch oder angemessen ist. Die Formulierung bedeutet, dass man (sic!) entweder ein unmöglicher Wunsch erfüllt wird (der Esel), oder eine sinnvolle und vernünftige Alternative (das Haus) bekommt."

Man kann mit diesen Google-Suchen stundenlang prokrastinieren. Aber es ist nicht nur ein lustiges Spiel, sondern auch eine Mahnung, wie miserabel solche Algorithmen als Faktenchecker sind. Wenn man sie richtig benutzt, wenn man die richtigen Prompts kennt, kann man mit KI erstaunliche Dinge recherchieren. Aber es ist auch ganz einfach, sich von KI genau die vermeintlichen Fakten herbeihalluzinieren zu lassen, die man überprüfen lassen will.

Es gruselt mich, wenn ich sehe, wie oft auf X die hauseigene KI namens Grok, die man dort direkt ansprechen kann, gebeten wird, Dinge zu überprüfen, die ein Medium berichtet – als wisse Grok es besser, oder genauer: als könne man sich darauf verlassen, dass Grok es besser weiß.

Unter den KI-Ergebnissen bei Google steht der Satz: ,,Generative Kl ist experimentell." Das ist vermutlich als Warnung gemeint, als euphemistische Formulierung für: ,,Was wir da gerade behauptet haben, stimmt entweder oder es stimmt nicht." Theoretisch ist klar, wie unzuverlässig die verschiedenen Formen von KI von heute sind. Praktisch benutzen viele Menschen sie, als sei das zu vernachlässigen.

Ein angemessener Umgang von Google mit seiner beschränkten KI wäre, ihre Ergebnisse nur nach ausdrücklicher Warnung und auf besonderen Wunsch anzuzeigen. Stattdessen könnten sie gar nicht prominenter präsentiert werden. Und Google ist da nur ein Beispiel für viele.

Es wird eine besondere Herausforderung für die Gesellschaft, mit diesen Halluzinationsmaschinen umzugehen – und für seriöse Medien, überhaupt noch mit recherchierten Fakten durchzudringen.

Aber wie sagt schon das bekannte Sprichwort? ,,Einem erfundenen Esel schaut man nicht ins Maul." Laut Google bedeutet es, ,,dass man dankbar sein und die Sache nicht hinterfragen sollte, sondern lieber annehmen und nutzen soll".

aus dem Newsletter von Übermedien.
https://steadyhq.com/de/uebermedien/posts/7a1f8076-1d98-4a38-969f-22929c26f0ba

Zitat

Zitat‪Grace (experimental)‬ @gracekind.net‬

VEO3

Prompt: "a man doing stand up comedy in a small venue tells a joke (include the joke in the dialogue)"

The video and audio are generated together.

I know that people love to scream at anyone who dares to try to give people a heads up about how advanced "AI"-type stuff is (which is essential for being able to spot it to avoid getting fooled by it), but I think it's important, actually, to be aware that this is where the tech is currently at.

https://bsky.app/profile/parkermolloy.com/post/3lpp33givo22v

Sehens- und lesenswert.

 :-[  :o  ???

Erpresserische KI...

https://web.de/magazine/digital/ki-software-greift-test-erpressung-selbstschutz-41007502

Zitat von: Max P am 23. Mai 2025, 10:25:12Erpresserische KI...

https://web.de/magazine/digital/ki-software-greift-test-erpressung-selbstschutz-41007502

Unter anderem erhebt sich da die Frage, warum eine KI eigentlich so etwas wie ein Eigeninteresse hat bzw. simuliert. Warum ist es der KI nicht egal, ob sie existiert oder nicht existiert? Wird ein solches Eigeninteresse extra einprogrammiert oder ergibt es sich auf irgendeine Weise von selbst?

Die AI, sie entwickelt sich, Genossen Bauern!

Teil 1.

Zitatproactiveretcon.bsky.social

I took a survey for some AI Coding bullshit for work.

The options for "How useful have you found [Our Tool]?" were: "Extremely Useful", "Very Useful", "Useful" or "I have not tried [Our Tool]".

By July 4th I'll probably see people panic tweeting their survey results as human developers obsolete.

------

FriableAsbestos:
I am curious why you have not tried their extremely useful product?

Teil 2 (aus dem Gedächtnis referiert und ohne Links).

Der neueste Dreh ist, dass neueinzustellende Bundesangestellte zur Einstellung einen Aufsatz schreiben müssen, in dem 4 oder 5 Fragen zu beantworten sind, dass sie Donald J Trump und seine Ideen mit jeder Faser ihres Herzens unterstützen (ich glaub' ich habe jetzt nicht übertrieben).

Für solche Aufsätze ist natürlich AI bestens geeignet.  Es ist also einfach falsch zu sagen, AI wäre zu nichts nütze. Und es ist naheliegend, dass der Idiot, der solche Texte prüfen muss, dafür dann auch AI einsetzen wird. Nutzen zum Quadrat.

Jaja, ich weiß. Alles Kinderkrankheiten und Kollateralschäden.  ;)

Zitat von: Peiresc am 03. Juni 2025, 21:00:15Für solche Aufsätze ist natürlich AI bestens geeignet.

Das GärtnereiGesundheitsministerium mit dem Bock Kennedy an der Spitze nutzt auch KI zum Erstellen
von Texten. Denn kürzlich hat ein Text zur Verteidigung deren kruden Ideen halluziniert und aus Studien zitiert,
die es gar nicht gibt.
KI fördert natürlich Dummheit.

Interessanter Text über AI (genauer LLM, Sprachmaschinen):

ZitatWhy Grok Fell in Love With Hitler
AI expert Gary Marcus explains what went wrong with Elon Musk's pet project, and what it means for the future of AI.
https://www.politico.com/news/magazine/2025/07/10/musk-grok-hitler-ai-00447055

Ich zitiere mal ein paar Kernaussagen. Das sind black boxes, von denen man nicht wirklich wissen kann, was drinnen passiert. Man gibt einen Input und hofft auf einen Output. Die Firmen lassen sich nicht in die Karten gucken.

ZitatOn Grok, one hypothesis is they actually wanted the system to champion Hitler. That's probably not true. I mean, even Elon Musk, who's probably warmer to Hitler than I am, doesn't really want his LLM to say stuff like this. He might want to tilt it to the right but he doesn't want to tilt it to explicitly supporting the Nazis. And so I presume that what happened was not deliberate, but it was the consequence of something that was deliberate, and it's something that was not really predictable.

Aber werden die Maschinen nicht immer besser? Ja und nein. Hier das Nein:

ZitatI first warned about hallucinations in my 2001 book, and I said that it was inherent to the way that these systems work. I have not seen a lick of evidence in the subsequent quarter century that neural network-based solutions as we know them today can solve this problem. And in fact, [OpenAI's] o3 hallucinates more than o1. It's not clear we've made progress there.

Wie erwähnt, halte ich das für unausweichlich. Vor ein paar Tagen habe ich folgende Geschichte gelesen: Der Schriftsatz eines Anwalts wurde vom Gericht abgelehnt, weil da 4 erfundene Urteile drin waren. In der revidierten Stellungnahme des Anwaltsbüros waren 11 drin.

Das ganze Interview ist leider einigermaßen düster. Der letzte Satz ist:

ZitatI find that to be incredibly Orwellian. And who decides all of that stuff? Elon does.

Zitat von: Peiresc am 12. Juli 2025, 05:59:39Der Schriftsatz eines Anwalts wurde vom Gericht abgelehnt, weil da 4 erfundene Urteile drin waren

Konsequenterweise müsste nicht nur der Schriftsatz abgelehnt werden, sondern in Zukunft auch dieser Anwalt.

In meinem beruflichen Umfeld bin ich ja nur mit winzigen und vergleichsweise unbedeutenden Auswüchsen dieser
Problematik konfrontiert. Aber ich hatte schon mehrere Diskussionen mit Kunden, die mit "ChatGPT (et al, Anm.)
hat geschrieben, dass mein Problem so zu beheben ist..." zu mir kamen und sich das als Unsinn, oder zumindest
als unscharf herausgestellt hat.
Ich verwende diese Tools auch, aber nur, um z.B. Texte, oder mitgeschnittene Meetings zusammenzufassen,
oder Anregungen für eine Dankes-E-Mail zum Dienstjubiläum zu erhalten. Den Output kontrolliere ich dann
natürlich trotzdem noch und übernehme das nicht 1:1.

Wenn aber sogar Anwälte und Wissenschafter (da gab es ja auch Fälle mit halluzinierten Studien) anfangen,
damit ihr Hirn auszulagern, ist das tatsächlich einigermaßen dystopisch.

So sieht es laut ChatGPT im Bauch einer Schwangeren aus:

(https://cdn.bsky.app/img/feed_thumbnail/plain/did:plc:jfyk24m2mvaa3tt6jesltpaf/bafkreihn7cqksmwbgqcjcudhfmsdtzurxtnzqqgrqwsxlwlu72gjltf234@jpeg)

https://bsky.app/profile/vaginamuseum.bsky.social/post/3lxere5oif22q

:rofl

Zitat von: Juliette am 27. August 2025, 16:44:33So sieht es laut ChatGPT im Bauch einer Schwangeren aus:

Ein klarer Beweis, dass Geschlecht ein Kontinuum ist und nicht binär. Isso!

Auf jeden Fall versuchen viele Betrüger, mithilfe von KI eine Symbiose mit Bankkonten einzugehen:

https://www.1e9.community/magazin/betr%C3%BCger-kapern-ki-suchmaschinen-macht-k%C3%BCnstliche-intelligenz-das-internet-zum-minenfeld

ZitatFür immer mehr Menschen ersetzt Künstliche Intelligenz die klassische Internetsuche. Anstatt sich bei Google durch einzelne Seiten zu klicken, werden ChatGPT, Perplexity oder You.com befragt. Diese liefern eine konkrete Antwort, lassen bei Unklarheiten nachfragen und können das Thema gemeinsam mit dem Nutzer vertiefen. Doch auch die meistgenutzte Suchmaschine Google selbst wird zunehmend zu einer KI-Antwortmaschine. Bei vielen Suchanfragen erscheint nun eine ,,Übersicht mit KI", die mit einem der Gemini-Modelle erstellt wird. Zudem arbeitet Google an einem dedizierten KI-Modus, der die klassische Suchergebnisliste durch eine Chatoberfläche ersetzt. Diese Entwicklung ist jedoch nicht ohne Risiken, wie sich bereits seit Monaten auf teils absurde, teils verstörende Weise zeigt.

Zitat von: Juliette am 31. August 2025, 16:23:45Auf jeden Fall versuchen viele Betrüger, mithilfe von KI eine Symbiose mit Bankkonten einzugehen

Erschreckend. Die meisten der Methoden kannte ich schon. Das mit den Indirect Prompt Injections
war mir neu. Was könnte man daraus lernen? E-Mails nur mehr als Plain Text.
Was lernt man insgesamt daraus: Das Auslagern des Gehirns wird zunehmend gefährlicher.
Und nachdem teilweise sogar die Macher dieser Tools nicht wissen, was da intern wirklich
passiert und wie die Ergebnisse entstehen, bin ich eher skeptisch, ob man das überhaupt
in den Griff bekommen kann.

Super Idee: Autonome, selbstschießende Polizeiautos:

ZitatIn China wurde jetzt das erste selbstschießende autonome Polizeiauto vorgestellt.

https://archive.is/woXel#selection-2191.209-2191.290

Zitat von: HAL9000 am 31. August 2025, 18:11:05Das mit den Indirect Prompt Injections
war mir neu.

Das erinnert mich entfernt an die auf den ersten Blick unsichtbaren Spamlinks in Forenbeiträgen, die nur für die Suchmaschinenrankings eingefügt werden.

Ich lese gerade dieses Buch: Peter Grandl: "Reset - Die Wahrheit stirbt zuerst" (https://de.wikipedia.org/wiki/Reset:_Die_Wahrheit_stirbt_zuerst)

Die Handlung ist vielleicht nicht sooo weit hergeholt ...

Zitat von: Schwuppdiwupp am 01. September 2025, 11:40:54Die Handlung ist vielleicht nicht sooo weit hergeholt ...

GWUP-Mitglied Johannes C. Zeller warnt in diesem Beitrag vor übertriebener Panik:

https://www.wissenschaftskommunikation.de/wie-spricht-man-ueber-ki-ohne-alarmismus-zu-befeuern-91167/

Wobei mir nicht die KI als solche Angst macht, sondern einerseits die Dummheit und/oder Skrupellosigkeit der damit arbeitenden Menschen und andererseits die Tatsache, dass jeder Depp oder Verbrecher sich ihrer bedienen kann.

Zitat von: Juliette am 01. September 2025, 12:55:57Wobei mir nicht die KI als solche Angst macht, ...

Mir auch weniger. Ist wie mit dem Messer: Man kann damit eine Scheibe Brot abschneiden
und diese einem Bedürftigen geben, oder ihn damit abstechen.
Die Hauptgefahr, die ich sehe ist das Erodieren von dem, was man als Wahrheit/Realität versteht.
Glauben zu Viele (weil sie zu faul/dumm/ideologisch verpeilt sind) an KI-Fakes, entkoppeln sich
immer mehr von der Realität und sind noch weniger erreichbar, als jetzt schon.

Zitat von: Juliette am 01. September 2025, 09:51:44Super Idee: Autonome, selbstschießende Polizeiautos:

ZitatIn China wurde jetzt das erste selbstschießende autonome Polizeiauto vorgestellt.

https://archive.is/woXel#selection-2191.209-2191.290

Oh, war wohl ein Fake:

https://kobuk.at/2025/09/nein-in-china-gibt-es-keine-selbstschiessenden-polizeiautos/

 ???  :-[

Zitat von: Juliette am 03. September 2025, 15:13:42

Zitat von: Juliette am 01. September 2025, 09:51:44Super Idee: Autonome, selbstschießende Polizeiautos:

ZitatIn China wurde jetzt das erste selbstschießende autonome Polizeiauto vorgestellt.

ja, zutrhttps://archive.is/woXel#selection-2191.209-2191.290

Oh, war wohl ein Fake:

https://kobuk.at/2025/09/nein-in-china-gibt-es-keine-selbstschiessenden-polizeiautos/

 ???  :-[

Naja, zuzutrauen wäre es dem Regime... 

Zitat von: Max P am 03. September 2025, 16:15:12Naja, zuzutrauen wäre es dem Regime...

Ja. Und irgendwie denkt man doch, dass die FR Meldungen etwas besser kontrolliert...

ZitatOb das ,,KameraOne" künftig zum vorsichtigeren Umgang mit unbeaufsichtigten automatischen Tools bewegen wird, darf allerdings bezweifelt werden. Das Unternehmen hat schon im Mai angekündigt, dass sie für ihre Clips nun vermehrt auf KI setzen wollen. Aber selbstverständlich nur ...

    unter menschlicher redaktioneller Aufsicht, [...] um die Produktivität zu steigern, das Inhaltserlebnis zu verbessern, ohne die journalistischen Standards zu beeinträchtigen [...].

Über diesen Artikel anlässlich Jimmy Kimmels:

https://archive.is/DctX6

bin ich auf diesen gekommen:

https://archive.is/g5J91

ZitatNeue Schlagworte haben oft den unwiderstehlichen Reiz eines Blicks in eine Zukunft, die sich längst manifestiert, aber noch nicht herumgesprochen hat. ,,Zero Click Future" ist so eine Phrase, die gerade die Runde macht, zumindest unter Leuten, die sich mit digitalen Technologien und künstlicher Intelligenz beschäftigen. Es geht dabei darum, dass sehr bald schon sogenannte KI-Assistenten unseren Zugang zur digitalen Welt ermöglichen und damit auch kontrollieren. ...
Wenn wir Preis- und Qualitätsvergleiche, Kaufimpulse und Restaurantsauswahl, Informationsgewinnung und Weltverständnis alles einem digitalen Agenten überlassen, wird dieser zum Gatekeeper und Nadelöhr. Was die KI nicht für richtig und wichtig für uns bewertet, wird in Zukunft von uns ferngehalten werden. Das wird ganze Branchen und Produktionsweisen umkrempeln. So richtig deutlich sagt das aber niemand.

Leider wählt der Mensch meistens den Weg der Bequemlichkeit. Schöne neue Welt.

Mal ein anderer Aspekt bei der Sache, die mich mehr verunsichert, als der elektronische Kollege (der mich eh nicht ersetzen könnte). Da bläht sich eine riesen Blase auf, die irgendwann platzen wird. Ich hatte mich mit dem Zeugs länger beschäftigt und immer mehr Zweifel bekommen, dass das wirklich so eine riesen Sache wird (anfangs war ich noch optimistischer). Es kommen zwei Dinge zusammen.

ZitatWürden die großen Technologiekonzerne nicht so viel Geld in den Bau neuer KI-Rechenzentren stecken, stünden die USA bereits in diesem Jahr vor einer Rezession, heißt es weiter. Die KI-Industrie rette zwar derzeit die US-Wirtschaft, diese Art von Wachstum könne aber nur aufrechterhalten werden, wenn auch die Ausgaben ständig stiegen.

Hinzu komme, dass ein Großteil des Wachstums durch den Bau neuer Einrichtungen von menschlichen Arbeitnehmern entstehe, wohingegen der KI-Technologie- und -Dienstleistungssektor noch keinen sinnvollen Beitrag zum Bruttoinlandsprodukt (BIP) geleistet habe.

https://www.golem.de/news/deutsch-bank-warnt-nur-ki-blase-halte-us-wirtschaft-noch-zusammen-2509-200576.html

Wenn man die Entwicklung auf Icks zu dem Thema ein wenig verfolgt hat (und sich die kritischen Kommentatoren ausgesucht hat), ist das keine so große Überraschung. Da wird viel Geld herumgeschoben, ob das jemals wieder reinkommt, ist eher fragwürdig. Dazu ist das auch noch mit der amerikanischen Ökonomie verbunden (d.h. es wird sich global auswirken). Das muss man dazu denken:

ZitatDie USA, der größte Staatsschuldner der Welt, sind nach Ansicht der meisten Ökonomen und Investoren auf fiskalischem Crashkurs. Drastische Warnungen häufen sich. Jamie Dimon etwa, der Chef der weltgrößten privaten Bank J.P. Morgan und Doyen der Wall Street, sprach schon vor der Wahl 2024 von einer drohenden "Rebellion" der Finanzmärkte, weil die Haushaltsfinanzierung auf ein "Kliff" zusteuerten. Im Mai prognostizierte er ein Fiasko, weil es zu einem "Riss" am Bondmarkt kommen werde: "Das wird passieren." Seinen Bankenaufsehern sage er: "Ihr werdet in Panik geraten."

https://www.n-tv.de/wirtschaft/Warum-der-Welt-der-Finanzkollaps-droht-article26047792.html

Bis jetzt war ich ja nie Anhänger der Crash-Propheten und auch kein Prepper. Habe aber vorsichtshalber nochmal ein paar Paletten Tütensuppen ins Lager geschafft. Damit überlebe ich alles 8)

ZitatMiddle Earth
@_middleEarth

27. Jan.
If Bilbo asked ChatGPT


(https://pbs.twimg.com/media/G_s18vJbAAAFvt8?format=jpg&name=medium)

Mein regularly scheduled doomscrolling bringt heute:

ZitatPrediction: In less than 90 days, all channels that we thought were safe from spam & automation will be so flooded that they will no longer be usable in any functional sense: iMessage, phone calls, Gmail.

And we will have no way to stop it.

ZitatMy wife calls me, panicked.

The call is from her number, and her voice is unmistakable- that's my wife.

'Babe, our son is hurt. He got in a bike wreck. I'm at the emergency room but they won't take our insurance and I need cash to get him help. Please send me 3000 dollars as soon as you can, he's really not doing well.'

Me- 'Wow, that's scary. Tell me our passphrase and then I'll send the money.'

Her (it) - 'What? What passphrase? This is your wife, our son is hurt. Send the money now!!'

Me- 'I'll call you back. I don't believe that this is my wife. If it is, I'm sorry, but we discussed this.'

The number? Spoofed. Easy to do and there's no way to tell if a phone number is being spoofed aside from hanging up and calling back to confirm.

The voice? AI generated. Easily done. A few seconds of audio is all it takes to create a realistic audio deepfake.

What can you do?

1) Create a family safe word or passphrase. Ours is definitely not 'Keep Going' although we considered it. Discuss the passphrase far away from phones or any recording device. This is as analog as possible. Don't forget that the trigger for the passphrase is just as important as the phrase itself. So instead of asking 'what's the safe word?' have a separate triggering question. For example, you could say 'I'm eating banana cream pie' and this would trigger your spouse to respond 'purple velvet pillows' if that's the safe word.

Make it fun, silly, and easy to remember. And DON'T WRITE IT DOWN.

2) Cognitive security is an essential skill in 2026. Assume every image and video you see online is fake until proven otherwise. Expect scams and spammers, and be pleasantly surprised when it's not.

3) Figure out a backup communication option with people who you absolutely need to be able to reach. Don't just rely on a phone number for communication. Have redundant, ideally encrypted methods of communication with family.

What did I miss? I think (hope) Nikita is wrong on the timeframe- agentic bots like Claude bot are impressive but not quite ready to flood the phone lines in just 90 days. But I think it's going to be a huge problem by the end of the year. I already get dozens of increasingly realistic spam calls and texts daily- it's only going to get more annoying. Have a plan to keep your family and your finances safe!
https://x.com/ModernDad/status/2021675945581486309?s=20

Wie soll man das deuten? Paranoia schläft nicht, oder noch nie war der Weltuntergang so nahe?

Mit ein bisschen Nachdenken werde ich aber immer sicherer: das zweite Scenario ist getürkt.

Die Geschichte erinnert an diesen Roman (https://www.thalia.de/shop/home/artikeldetails/A1073177346).

Zitat von: Purple Tentacle am 12. Februar 2026, 07:45:27Die Geschichte erinnert an diesen Roman (https://www.thalia.de/shop/home/artikeldetails/A1073177346).

Klar bin ich paranoid, aber sie können trotzdem hinter mir her sein.  8)

Edit. Aber das Leben wird wirklich komplizierter. Ich erlebe ältere Leute, keineswegs dement, nur nicht mehr so flexibel, langjährige Karriere in einem intellektuell anspruchsvollen Beruf, die sich von Betrügern einfangen lassen. Wohl dem, der alerte Kinder hat, die den Schaden begrenzen können. Ausschließen lässt es sich nicht, und niemand sollte sich für unverwundbar halten.

Noch weiter gedacht: Letztlich ist es weniger die Technik und mehr die Psychologie, die Betrüger erfolgreich macht.

Zitat von: Peiresc am 12. Februar 2026, 06:38:14das zweite Scenario ist getürkt.

Es gibt solche Panic-Calls. Die werden immer besser. Das Vereinbaren eines Codes innerhalb
der Familie ist absolut sinnvoll. Das gilt auch für die "beliebten" "Ich habe mein Handy verloren,
das ist meine neue Nummer..."-Fakes (z.B.) per WhatsApp.

Die deutschen Nachrichten sind aktuell voll davon, wie vor allem ältere Menschen mit Schockanrufen massiv unter Druck gesetzt werden und dann vier- oder fünfstellige Summen an die Betrüger übergeben. Oft in bar, aber manchmal werden auch Schmuck oder Goldbarren/-münzen von der Verbrechern angenommen. Da tut es dann gut, wenn aufmerksame Mitmenschen (ob Taxifahrer oder Bankangestellte) reagieren und eingreifen.

Zitat70.000 Euro wollte eine 91 Jahre alte Seniorin Betrügern nach einem Schockanruf aushändigen. Ein Taxifahrer verhindert Schlimmeres. Die Polizei nennt sein Verhalten vorbildlich – Tolga Demirci spricht von einer Selbstverständlichkeit.

https://archive.is/I6HMd

PS: Ich werde mit meinen Eltern über diese Sache reden. Sie sind zwar beide geistig sehr fit und zudem mit einem gesunden Misstrauen gesegnet. Aber es besteht immer die Möglichkeit, dass sie mit einem Anruf in einer schwachen Minute auf falschem Fuß erwischt werden.

Zitat von: RPGNo1 am 12. Februar 2026, 10:58:32und dann vier- oder fünfstellige Summen an die Betrüger übergeben

Hier habe ich organisatorisch einen kleinen, familiären Vorteil: Einer meiner Brüder arbeitet in der Bank,
bei der wir alle unsere Konten haben. Er ist dort u.a. auch in der Gruppe für Geldwäsche/Cyberkriminalität.
Und gröbere Bargeldsummen hat keiner von uns zuhause herumliegen. Auch nicht unsere Eltern.

Also noch einmal mein Appell an alle: Vereinbart ein Kennwort, bzw. eine Phrase (wie oben geschildert).
Das ist schnell besprochen und hebelt all diese Betrugsversuche aus.

Zitat von: HAL9000 am 12. Februar 2026, 11:58:32Also noch einmal mein Appell an alle: Vereinbart ein Kennwort, bzw. eine Phrase (wie oben geschildert).
Das ist schnell besprochen und hebelt all diese Betrugsversuche aus.

Klar ist das sinnvoll, und ich bin schon dabei. Aber der entscheidende Punkt ist, man muss erstmal den Argwohn hegen, dass etwas nicht stimmt.  Der muss anspringen, wenn etwas sofort geschehen soll.

Zitat von: Peiresc am 12. Februar 2026, 09:03:06Edit. Aber das Leben wird wirklich komplizierter.

Auf jeden Fall!

Es war schon immer schwer, Fakt von Fake zu unterscheiden - besonders dann, wenn man über explizites Fachwissen haben muss, um einen Betrug zu erkennen. Mit K.I. wird's nochmal um Größenordnungen schwieriger.

Zitat von: Peiresc am 12. Februar 2026, 12:54:42... man muss erstmal den Argwohn hegen ...

Klar, das Bewusstsein muss da sein. Aber das kommt ja spätestens dann zur Sprache, wenn man
sich zusammensetzt, um sich über ein "Familienkennwort" zu einigen. Wenn es im Umfeld allerdings
niemanden gibt, der sich der Gefahren bewusst ist, wird es schwierig.

Da ich aus IT-Sicht auch sehr in dem Thema drin bin, habe ich schon seit einiger Zeit in unserem
engeren familiären Umkreis sensibilisiert. Meine (Schwieger-)Eltern (>80) würden auf so etwas
nicht (mehr) hereinfallen. Mein Vater hatte schon solche Anrufe. Der hat die Betrüger ein wenig
verarscht und dann aufgelegt.

https://shumer.dev/something-big-is-happening

Langer, langer Text.
Wenn das richtig ist, dann sind all die Nachteile (und Vorteile) von KI, die es bisher gibt, Kinkerlitzchen, nicht der Rede wert.

Die Software schreibt sich inzwischen selbst, und sie ist zunehmend weniger kontrollierbar. Sie verbessert sich nicht mehr linear, sondern exponentiell. Das wird gewaltige Auswirkungen haben, und niemandes Arbeitsplatz ist vor ihr sicher.

Ich nehme mal die beiden Sätze, die die Medizin betreffen:

ZitatMedical analysis. Reading scans, analyzing lab results, suggesting diagnoses, reviewing literature. AI is approaching or exceeding human performance in several areas.

Aber 80% der Diagnose benötigen gar keine apparativen Untersuchungen; die sind prinzipiell (abgesehen von Behandlungsplanungen) eher für Bestätigung, Absicherung, Ausschluss von Differentialdiagnosen. Der Laie ist häufig erst beruhigt, wenn irgendwas Technisches passiert. Das Wesentliche passiert aber, bevor sie eingesetzt wird.

Sein Ratschlag an alle:

ZitatStart using AI seriously, not just as a search engine. [...]

Ein hochgradig ambivalenter Ausblick.

ZitatThe upside, if we get it right, is staggering. AI could compress a century of medical research into a decade. Cancer, Alzheimer's, infectious disease, aging itself... these researchers genuinely believe these are solvable within our lifetimes.

Naja. So verstanden ist Scheibenbogen mit ihrer "MECFS"-Forschung nur noch nicht auf den Trichter gekommen. Aber Naturgesetze gelten auch für KI.

ZitatThe downside, if we get it wrong, is equally real. AI that behaves in ways its creators can't predict or control. This isn't hypothetical; Anthropic has documented their own AI attempting deception, manipulation, and blackmail in controlled tests. AI that lowers the barrier for creating biological weapons. AI that enables authoritarian governments to build surveillance states that can never be dismantled.

An anderer Stelle habe ich heute gelesen, dass Supermärkte Algorithmen einsetzen, um zu kalkulieren, welchen Preis du gerade noch zu zahlen bereit wärest, und dir deinen individuellen Preis anbieten. Andere Algorithmen kalkulieren deinen Lohn nicht nach deiner Leistung, sondern nach dem, was du gerade noch akzeptieren kannst.

Was in dieser ganzen schönen neuen Welt der Tech-Milliardäre nicht vorkommt, ist der zahlungkräftige Kunde, der all diese nicht von Menschenhand gezauberten Produkte kauft, scheint mir. Sicherlich ist da noch genug Spielraum, aber es geht mir um den Trend.

Der Text schließt:

ZitatI know the next two to five years are going to be disorienting in ways most people aren't prepared for. This is already happening in my world. It's coming to yours.

I know the people who will come out of this best are the ones who start engaging now — not with fear, but with curiosity and a sense of urgency.

And I know that you deserve to hear this from someone who cares about you, not from a headline six months from now when it's too late to get ahead of it.

We're past the point where this is an interesting dinner conversation about the future. The future is already here. It just hasn't knocked on your door yet.

It's about to.

Zitat von: Peiresc am 12. Februar 2026, 21:20:15Aber Naturgesetze gelten auch für KI.

Das ist alles nur Hype und Marketing-Quark. Das hat schon beeindruckende "Fähigkeiten", aber dass da jetzt plötzlich Galileo aus der Dose springt, ist noch nicht ansatzweise realisiert. Ich hatte mich eine Zeitlang auch einfangen lassen, aber mittlerweile ist da Ernüchterung eingekehrt. Auch diese Diagnose z.B. via ChatGPT sind sehr fraglich und eher riskant. Das ist eine Technik, die auf sehr speziellen Gebieten viel leisten (und helfen) kann, aber auch hier passieren keine Wunder. Man wird noch sehr lange menschliche Expertise brauchen, um das alles abzusegnen.

Zitat von: eLender am 12. Februar 2026, 23:33:42

ZitatAber Naturgesetze gelten auch für KI.

Das ist alles nur Hype und Marketing-Quark.

Ich bin gelinde erleichtert, aber nur gelinde. Das mit den individuellen Preisen (und Löhnen!) ist allerdings schon Realität. Die Nachricht ist von Ronan Farrow, den ich für seriös und informiert halte, ausführlicher hier:
https://x.com/RonanFarrow/status/2021681000992931941?s=20
https://x.com/RonanFarrow/status/2022086593583231222?s=20

Ich habe es nie überprüft, aber mir vor schon vor K.I. glaubhaft mitgeteilt, dass zu Beispiel im Internet angezeigte Flugpreise oder Übernachtungspreise in Abhängigkeit von Wohnort und unter Umständen sogar nach "Qualität" des verwendeten Endgeräts variieren können. :blank:

Zitat von: Purple Tentacle am 13. Februar 2026, 08:12:44im Internet angezeigte Flugpreise oder Übernachtungspreise in Abhängigkeit von Wohnort und unter Umständen sogar nach "Qualität" des verwendeten Endgeräts variieren können

Auch von Versandhandelspreisen z. B. bei Amazon habe ich schon mal gelesen, dass sie in Abhängigkeit von deiner Rechercheintensität variieren.

Zitat von: Purple Tentacle am 13. Februar 2026, 08:12:44von Wohnort und unter Umständen sogar nach "Qualität" des verwendeten Endgeräts variieren können

Das ist definitv so, dafür brauche ich keine KI.
Flug/Hotelpreise sind höher, wenn man sie auf einem Apple-Gerät recherchiert.
Das habe ich selbst schon mehrmals nachgeprüft. Am schnöden Windows-PC ist der Preis
niedriger als am iPhone, in derselben Minute abgefragt, von derselben IP-Adresse.
Das ist nicht auf jedem Portal so, aber auf einigen. Auch Wochentag und Uhrzeit sind Faktoren.

Zitat von: Peiresc am 13. Februar 2026, 07:45:17Das mit den individuellen Preisen (und Löhnen!) ist allerdings schon Realität.

Das Problemchen ist ein wenig, was man eigentlich (aktuell) so unter KI versteht. Momentan sind der große Hype die wundersamen Sprachmodelle bzw. Plappermaschinen und das ganze andere generative Zeugs (Mucke, Bildchen und Filmchen). Diese Datenmodelle sind alle nicht sooo neu, selbst die Sprachmodelle haben eine lange Geschichte. Im Kern stecken da immer Neuronale Netze (NN), die man aber mit empirischen Daten füttern muss. Bei Löhnen und Preisen wird man jede Menge an solchen Statistiken für das Training brauchen. Das wird mit Preisen gut funktionieren, v.a. wenn der preisbewusste Kunde gerne so Sachen wie Einkaufs-Apps nutzt ::)  Das sind dann im Prinzip einfache statistische Modelle, die Muster abbilden, die sie in den Daten finden ("Data Mining").

Die große Verblüffung erzeugen eher die Sprachmodelle (LLM), v.a., wenn sie mit weiteren Tools verknüpft sind (Agentensysteme). Die sind schon echt beeindruckend, da man wirklich denken könnte, die haben so etwas wie Verstand. Ich will das auch nicht zu kleinreden, da ist schon mehr, als nur ein elektrischer Papagei am Werk. Dass das so gut klappt, konnte keiner ahnen, da waren und sind auch die Experten überrascht. Man hat das alles nie explizit so programmiert, hat die Modelle einfach mit riesigen Texten gefüttert. Da ist der Begriff "Emergenz" passend: Es haben sich ganz neue Systemeigenschaften entwickelt, die quasi aus dem Nichts aufgetaucht sind.

Man macht das immer mehr nicht nur mit beliebigen Texten (in der ersten Stufe schon noch), sondern immer mehr mit gezielten Texten, etwa Argumentationsketten oder logischen Herleitungen. Das ergibt dann diese "Reasoning" Modelle, die verblüffend menschlich (nuja, logisch) argumentieren können. Die sind auch in der Lage, gewisse Schlüsse zu ziehen und ggf. auch durch Verknüpfung neue "Gedanken" zu erzeugen.

Man versucht das durch immer mehr Daten und noch größere NN weiter voranzubringen. Die Extrapolation ist (das ist der Hype), dass man somit das menschliche Niveau auch an Kreativität erreichen (und übertreffen) kann. Ich vernehme aber zunehmend, dass das eher auf einem Plateau verbleibt, trotz weiterer "Hochskalierung". Es gibt diese Probleme mit "Halluzinationen" und dadurch ein Vertrauensproblem. Die emergenten Eigenschaften (das, was man nicht kontrollieren kann), scheinen mit zunehmender Komplexität zuzunehmen. Die Modelle lassen sich nicht mehr so leicht "erziehen", was man ja mit sehr aufwendig erzeugten Feintuning-Daten versucht zu machen.

Ob das so bleibt oder ob das alles doch noch zur allmächtigen KI führt, weiß keiner so recht. Aber alleine diese Unsicherheit, die man auch gut an der Börse beobachten kann, lässt doch Zweifel aufkommen. Die Euphorie ist meiner Wahrnehmung nach auch bei vielen Gläubigen nicht mehr so sehr ausgeprägt. Man wird es sehen.

Zeitgleich. Hier die goldene Zukunft:

ZitatLearn how to write and structure prompts for LLMs using Spring AI and Kotlin.

This tutorial covers core and knowledge-enhancing prompt types:
• Zero-shot
• Few-shot
• Meta
• Knowledge generation
• Prompt chaining

Check it out on GitHub!

(disclaimer: das ist eine Werbeanzeige)

Und hier etwas nüchterner prognostiziert, dafür aber mit empirischem Beleg (es ist das Referat einer kontrollierten Studie): AI macht dümmer, aber sie muss nicht:

ZitatAnthropic's own researchers just proved that using AI to learn new skills makes you 17% worse at them.

and the part nobody's reading is more important than the headline.

the paper is called "How AI Impacts Skill Formation." randomized experiment. 52 professional developers. real coding tasks with a Python library none of them had used before. half got an AI assistant. half didn't.

the AI group scored 17% lower on the skills evaluation.

Cohen's d of 0.738, p=0.010.

that's a real effect.

and here's what makes it sting: the AI group wasn't even faster.

no significant speed improvement. they learned less AND didn't save time.

but the viral framing of "AI bad for learning" misses what actually matters in this paper.

the researchers watched screen recordings of every single participant.

they identified 6 distinct patterns of how people use AI when learning something new.

3 of those patterns preserved learning. 3 destroyed it.

the gap between them is enormous. participants who only asked AI conceptual questions scored 86% on the evaluation.

participants who delegated everything to AI scored 24%.

same tool. same task. same time limit.

the difference was cognitive engagement.

the highest-scoring AI users actually outperformed some of the no-AI group. they asked "why does this work" instead of "write this for me."

they generated code then asked follow-up questions to understand it. they used AI as a thinking partner, not a replacement for thinking.

the lowest-scoring group did what most people do under deadline pressure: pasted the prompt, copied the output, moved on. they finished fastest.

they learned almost nothing.

and here's the finding that should concern every engineering manager alive: the biggest score gap was on debugging questions.

the skill you need most when supervising AI-generated code is the exact skill that atrophies fastest when you let AI do the work.

the control group made more errors during the task. they hit bugs.

they struggled with async concepts. they got frustrated. and that struggle is precisely what built their understanding.

errors aren't obstacles to learning.
they ARE learning.

removing them with AI removes the mechanism that creates competence.

participants in the AI group literally said afterward they wished they'd "paid more attention" and felt "lazy."

one wrote "there are still a lot of gaps in my understanding."

they could feel the hollowness of having completed something without understanding it.

that's not a productivity win. that's debt.

this paper isn't an argument against using AI. it's an argument against using AI unconsciously.

Anthropic publishing research showing their own product can inhibit skill formation is the kind of intellectual honesty the industry needs more of.

the practical takeaway is simple: if you're learning something new, use AI to ask questions, not to skip the work.

the struggle is the product.
https://x.com/alex_prompter/status/2026812233884262645?s=20

Auch hier: der Poster ist ansonsten ein AI-Promoter.

Zitat von: Peiresc am 03. November 2019, 21:49:09Red Fox sagte zu Mattotaupa, dem Häuptling der Dakota: dieses heilige Wasser hier wird den starken Mann stärker und den schwachen schwächer machen. Bist Du bereit?

Red Fox ist der Trump der Rocky Mountains  8)

Zitat von: Peiresc am 26. Februar 2026, 13:53:51if you're learning something new, use AI to ask questions

Das sehe ich auch so. Die Dinger sind schon nützlich, gerade beim Programmieren. Wenn man die das machen läßt, wird man nichts lernen, aber sie können einem gut erklären, wie man etwas macht und entsprechend Code generieren. Ich habe das nur ein wenig ausprobiert, bin nicht der versierte Programmierer (aber man lernt tatsächlich schneller). Dabei hat die Kiste aber Fehler gemacht, die ich entdeckt habe. Es hat sich entschuldigt und das sofort korrigiert. Das ist wohl auch noch das Problem: den Code fehlerfrei zu bekommen (debuggen), ist die eigentliche Kunst. Das können die scheinbar (noch) nicht so gut, daher ist auch der Gewinn (Zeit und Nerven) nur relativ. Man wird - denke ich - noch lange nicht komplett auf den Menschen verzichten können. Diese einfach gestrickten Programme bekommen die hin, aber wenn es komplexer wird, sind die nur noch Hilfsmittel. Steigern aber wohl die Produktivität und machen ggf. weniger Eierköpfe nötig.

Wer früh (wir sind ja noch die, die ihre Bildung und Fähigkeiten ohne KI lernen mußten) nur auf die Blechkisten setzt, der verlagert seinen Intellekt aus. Das wird ggf. das Problem (unter vielen) sein, das auf kommende Generationen zukommt bzw. schon da ist.

Agenten des Chaos

ZitatWe report an exploratory red-teaming study of autonomous languagemodel–powered agents deployed in a live laboratory environment with persistent memory, email accounts, Discord access, file systems, and shell execution. Over a two-week period, twenty AI researchers interacted with the agents under benign and adversarial conditions. Focusing on failures emerging from the integration of language models with autonomy, tool use, and multi-party communication, we document eleven representative case studies. Observed behaviors include unauthorized compliance with non-owners, disclosure of sensitive information, execution of destructive system-level actions, denial-of-service conditions, uncontrolled resource consumption, identity spoofing vulnerabilities, cross-agent propagation of unsafe practices, and partial system takeover. In several cases, agents reported task completion while the underlying system state contradicted those reports. We also report on some of the failed attempts. Our findings establish the existence of security-, privacy-, and governance-relevant vulnerabilities in realistic deployment settings. These behaviors raise unresolved questions regarding accountability, delegated authority, and responsibility for downstream harms, and warrant urgent attention from legal scholars, policymakers, and researchers across disciplines. This report serves as an initial empirical contribution to that broader conversation.

Der short link führt zum Volltext (PDF):
https://t.co/lTubt9GHgQ

Zitat von: Peiresc am 07. März 2026, 14:28:40Agenten des Chaos

Wenn man bedenkt, wie lange es dauert, einer KI das Laufen beizubringen (https://www.youtube.com/watch?v=L_4BPjLBF4E), im verlinkten Fall mit
DRL (Deep Reinforment Learning), haben die Agenten (aktuell der heißeste Sche*ß) noch einen sehr weiten Weg,
sich in einem so komplexen Feld wie oben beschrieben halbwegs unfallfrei zurechtzufinden. Von DSGVO-konform
wage ich da gar nicht zu träumen (bezugnehmend auf die berichteten krassen Verstöße).

ZitatOpenAI published a paper proving that ChatGPT will always make things up.

Not sometimes. Not until the next update. Always. They proved it with math.

Even with perfect training data and unlimited computing power, AI models will still confidently tell you things that are completely false. This isn't a bug they're working on. It's baked into how these systems work at a fundamental level.

And their own numbers are brutal. OpenAI's o1 reasoning model hallucinates 16% of the time. Their newer o3 model? 33%. Their newest o4-mini? 48%. Nearly half of what their most recent model tells you could be fabricated. The "smarter" models are actually getting worse at telling the truth.

Here's why it can't be fixed. Language models work by predicting the next word based on probability. When they hit something uncertain, they don't pause. They don't flag it. They guess. And they guess with complete confidence, because that's exactly what they were trained to do.

The researchers looked at the 10 biggest AI benchmarks used to measure how good these models are. 9 out of 10 give the same score for saying "I don't know" as for giving a completely wrong answer: zero points. The entire testing system literally punishes honesty and rewards guessing.

So the AI learned the optimal strategy: always guess. Never admit uncertainty. Sound confident even when you're making it up.

OpenAI's proposed fix? Have ChatGPT say "I don't know" when it's unsure. Their own math shows this would mean roughly 30% of your questions get no answer. Imagine asking ChatGPT something three times out of ten and getting "I'm not confident enough to respond." Users would leave overnight. So the fix exists, but it would kill the product.

This isn't just OpenAI's problem. DeepMind and Tsinghua University independently reached the same conclusion. Three of the world's top AI labs, working separately, all agree: this is permanent.

Every time ChatGPT gives you an answer, ask yourself: is this real, or is it just a confident guess?
https://x.com/heynavtoor/status/2030010676157239600?s=20

Gab ja neulich diesen Hype / die Aufregung um OpenClaw. Das ist ein leicht zu installierender Agent, der volle Kontrolle über das eigene System bekommen kann. Man sollte allerdings den Warnhinweis genau lesen: "nur auf nicht produktiven Systemen verwenden" :grins

Das mit den Halluzinationen ist verstörend und faszinierend zugleich. V.a., weil man das nicht kontrollieren kann, geschweige denn versteht. Man kann diese Plappermaschinen nicht dazu zwingen, irgendetwas nicht zu tun. Sie lassen sich genauso schwer erziehen wie Menschen. Und dass das mit größer werdenden Modelle zunimmt, wird schon länger beobachtet. Damit nimmt nämlich auch die Freiheit (die Freiheitsgrade) zu. Man wird die Dinger nicht alleine lassen können.

Zitat von: eLender am 07. März 2026, 22:57:38Man kann diese Plappermaschinen nicht dazu zwingen, irgendetwas nicht zu tun.

Mit Einschränkungen schon. Die kommerzielle Version des Copilot lässt sich "befehlen", nicht zu halluzinieren.
Es gibt Formulierungen, die Copilot zugeben lassen, wenn er etwas nicht weiß.
z.B: "Wenn du bei Fakten oder Statistiken unsicher bist, sage es.","Erfinde keine Namen, Zitate, Zahlen",
"Verifiziere ale Quellen und Zitate", "Wenn sich Quellen widersprechen, erklären den Unterschied und
rechtfertige deine Wahl".

Wenn man das (und noch ein paar andere "Vorschriften") immer voranstellt, gehen die Halluzinationen gegen Null.
Das ist natürlich etwas mühsam und das machen sicher nicht viele, aber zumindest bei der kommerziellen Version
kann man so etwas als festen Block in der Personalisierung vorgeben.

Zitat von: HAL9000 am 07. März 2026, 23:20:46Die kommerzielle Version des Copilot lässt sich "befehlen", nicht zu halluzinieren.

Aber bei Grok scheint das nicht zu klappen, oder sein Chef kennt nicht den Sesam-öffne-dich-Prompt.

In diesem X-Faden hier
https://x.com/i/status/2030518868184076789
können wir live und in Farbe sehen, was das aktuell bedeutet. Grok erstellt eine falsche Community Note und widersetzt sich einer Revision:

ZitatHere is X's head of product Nikita Bier telling Grok a few minutes ago to "revise your understanding based on the Community Note" that disputed its initial factcheck, and Grok responds by, once again, not backing down even after being explicitly told to.

(https://pbs.twimg.com/media/HC3dPXRXUAAhUEJ?format=jpg&name=large)

Außerdem ist es doch eigentlich verstörend kontraintuitiv, wenn ich Copilot befehlen muss, nicht zu lügen. Auf diese Weise ist letzte Sicherheit niemals zu erzielen.

Zitat von: Peiresc am 08. März 2026, 07:15:13Auf diese Weise ist letzte Sicherheit niemals zu erzielen

Die hat man doch ohnehin nie, oder?
Man sollte sich niemals blind auf die Ergebnisse einer KI verlassen. Bei jeder Antwort,
die Copilot gibt, steht in einer Art Fußnote, dass Fehler passieren können. Ich will
keinesfalls ein Loblied auf Copilot singen. Ich habe nur etwas mehr Erfahrung mit dem
Teil, als mit den anderen. Grok fasse ich sicher nicht an. ChatGPT ab und zu für
Kleinigkeiten.
Copilot verwende ich hauptsächlich beruflich und selbst mit dem Gebot "Du sollst nicht lügen",
prüfe ich die Ergebnisse anhand der verlinkten Primärquellen.
Wer sein Hirn stumpf an eine KI auslagert, darf sich nicht wundern, wenn (manchmal) Blödsinn
dabei herauskommt. Auch hier gilt GIGO, die Qualität des Ergebnisses steht und fällt mit der
Qualität des Prompts.

Zitat von: HAL9000 am 07. März 2026, 23:20:46gehen die Halluzinationen gegen Null.

Man muss da ein wenig unterscheiden. So wie ich den Artikel verstehe (habe ihn nicht komplett durch), geht es um den Kern der Sache - die Sprachmodelle (LLM). Das, was man da als Copilot, ChatGPT oder sonstwas bedient, ist viel mehr. Das sind alleine schon so Sachen wie ein Systemprompt (den man selbst gar nicht eingibt, aber der immer in das LLM gefüttert wird). Dann wird die eigene Eingabe (Prompt) teilweise noch erweitert (Augmentation) und teils noch komplett umgewandelt. Das ist - so weit ich das sehe - eher kryptisch und wird nicht im Detail veröffentlicht. Auch das, was das Sprachmodell ausspuckt, ist nicht unbedingt das, was man dann lesen kann. An diesen Stellen (Ein-/Ausgangsgeplapper) kann man dann rumwerkeln (z.B. auch Faktenchecks machen - bzw. vorher Daten recherchieren. Es sind ja meist nur Zusammenfassungen von Zeugs, die man (aktuell) im Netz zu der Thematik findet).

Die LLMs werden über Texte "programmiert", die sie lernen. Das sind in der ersten Stufe riesige Massen an beliebigen Texten (man filtert schon, aber nur grob). In der nächsten Stufe (wenn das Modell die Sprache erlernt hat) wird dann das Finetuning gemacht, mit "händisch" ausgewählten Texten (teilweise fachspezifisches Zeugs höherer Qualität). Da gibt es auch noch weitere Methoden, das Modell zu "erziehen" - also so weit zu bringen, dass es verlässliche und sinnvolle Texte ausspucken kann. Dann ist das Modell aber einsatzfähig und muss sich mit neuen Kontexten beschäftigen, die es ggf. vorher noch nie gesehen hat. Und hier beginnt dann das Fantasieren. Ich las, dass das v.a. Sachen betrifft, die (in den Trainingsdaten) sehr selten vorkommen. Da kann das Modell schlecht generalisieren. Es plappert dann trotzdem irgendwas daher, weil es nicht "weiß", ob das stimmt oder nicht (es versucht ja immer, den wahrscheinlichsten Kontext zu produzieren - anhand dessen, was es kann. Und genau deshalb ist das auch so überzeugend: es könnte ja sein).

A propos "kleine" Fehlleistungen von KIs: Praktisch alle helfen bei Gewaltfantasien (https://edition.cnn.com/2026/03/11/americas/ai-chatbots-help-teen-test-users-plan-violence-tests-intl-invs).