Denkpause bei Künstlicher Intelligenz?

[RPGNo1]

Ford holt Hunderte Ingenieure zurück – weil KI sie doch nicht ersetzen konnte

Kehrtwende beim US-Autobauer Ford: Rund 300 erfahrene Qualitätsprüfer wurden wieder eingestellt, weil automatisierte Systeme nicht gut genug waren. Die Kosten für Rückrufe und Garantieleistungen sollen seither zurückgehen.

https://www.spiegel.de/karriere/us-arbeitsmarkt-ford-holt-hunderte-ingenieure-zurueck-weil-ki-sie-doch-nicht-ersetzen-kann-a-8fdeb1b4-4d41-4bc8-9c5a-43a6e0b5430b

 

[RPGNo1]

Entwickler OpenAI übersah laut einem Medienbericht lange den Ausbruch und Hackerangriff seiner KI. Dabei soll der Konzern gewarnt gewesen sein, dass genau das passieren könne. Experten reagieren entsetzt.

https://www.spiegel.de/netzwelt/web/openai-ausgebrochenes-ki-modell-ging-tagelang-unbemerkt-auf-hacker-tour-a-fe0326a8-25f6-4b78-a77d-3aacee6d669f

[Purple Tentacle]

Puuuh, da kommt noch was auf uns zu ...

[ApooftGnegiol]

https://pivot-to-ai.com/2026/07/22/openai-hacks-huggingface-with-an-ai-allegedly/
"This was primarily a vibe code disaster." OpenAI hat das System nicht ordnungsgemäß isoliert, sondern eine Sandbox mit Sicherheitslücken "vibe-codiert", hinter der sich voller Zugriff auf das Internet befindet. HuggingFace war, wenn überhaupt, technisch noch schlimmer. Ihr gesamtes System scheint auf "Vibe-Codierung" zu basieren. Sie überprüfen die eingehenden Daten nicht richtig, sondern leiten sie direkt an einen Chatbot weiter. Der Chatbot nutzt dann die Infrastruktur und kann damit alles Mögliche anstellen. Fehleranalyse und -behebung erfolgen ebenfalls mithilfe von KI. OpenAI geht nun einen neuen Weg. "we are implementing strict controls in infrastructure configuration at the cost of research velocity."

Je mehr dieser neue niedrige Sicherheitsstandard zum Industriestandard wird, desto leichter kann KI "gefährlich" werden.

https://www.theregister.com/ai-and-ml/2026/07/23/openai-scored-an-own-goal-with-hugging-face-attack-showing-how-open-chinese-models-are-winning/5276699
Außerdem macht KI-Leitplanken diese "gefährlichen" Produkte unbrauchbar. Aber China kümmert sich nicht um KI-Leitplanken (außer für chinesische politische Zwecke).

OpenAI has acknowledged its models powered the autonomous agents that compromised Hugging Face infrastructure. It might be taken as a convoluted marketing stunt, were it not the perfect advertisement for China-based competition.

...
The compromise of HuggingFace's systems is no more surprising than locking a bear in a supermarket and finding a mess the following day. AI models are billed as artificial intelligence, but when they power agents handling tools in a loop to achieve some objective, it's the equivalent of a brute force attack – the agent will keep trying things until something works or breaks.

The surprising part came when Hugging Face sought to employ US frontier models to defend itself. It failed.

That should raise eyebrows.

"When we started the log analysis, we first used frontier models behind commercial APIs," the AI model-mart said in its blog post last week. "This did not work: the analysis required submitting large volumes of real attack commands, exploit payloads, and C2 artifacts, and these requests were blocked by the providers' safety guardrails, which cannot distinguish an incident responder from an attacker."

Stymied by model refusals – which developers have been complaining about for months – HuggingFace had to rely on GLM 5.2, an open-weight AI model made by China-based Z.ai, to conduct its forensic analysis. And it did so on its own infrastructure, so nothing sensitive got sent to a cloud-based model provider.

[eLender]

Man kann die KIs / Agenten wohl gut darauf ansetzten, Sicherheitslücken in Systemen zu entdecken. Das war ja neulich der große Hype um "Mythos" von Anthropic. Da wollte der Trump schnell noch eine Einschränkung - aber nur für "feindliche" Mächte. Ich las heute (irgendwo bei Heise), dass man nun generell einen "Kill Switch" für solche Agenten plant. Also dass die Regierung jederzeit Kontrolle über die KIs haben soll (sie gezielt abschalten können). Immer schwer zu sagen, was da gezielter Hype und was handfest ist.

Dass die Schienäsen auf Open Weight (man kann die Modelle - auch die Oberklasse - quasi frei nutzen, auch auf eigener Infrastruktur) setzten, ist aber eine gute Sache. Das tun die natürlich auch, um den Amis das Wasser abzugraben, aber es verhindert zumindest, dass sich schon wieder solche US-Oligopole bilden, die quasi alle Standards und Regeln setzen. Hier geht es auch um Geopolitik und Unabhängigkeit. In dem Punkt überlappen sich die Interessen der Europäer und Asiaten.

[ApooftGnegiol]

Man kann die KIs / Agenten wohl gut darauf ansetzten, Sicherheitslücken in Systemen zu entdecken. Das war ja neulich der große Hype um "Mythos" von Anthropic. Da wollte der Trump schnell noch eine Einschränkung - aber nur für "feindliche" Mächte. Ich las heute (irgendwo bei Heise), dass man nun generell einen "Kill Switch" für solche Agenten plant. Also dass die Regierung jederzeit Kontrolle über die KIs haben soll (sie gezielt abschalten können). Immer schwer zu sagen, was da gezielter Hype und was handfest ist.

Anthropic war nicht der Erste, dem dies gelang. Neben ihnen, OpenAI und anderen Branchenriesen gab es spezialisiertere Unternehmen, die ihnen voraus waren. Einige waren für das cURL-Projekt verwendet worden und haben mehrere hundert Fehler aufgedeckt. Danach fand Anthropic Mythos nur noch einen weiteren Fehler. (cURL hatte anfangs große Probleme, da es mit Spam-Fehlerberichten überflutet wurde, die reine Zeitverschwendung waren. Um die Flut einzudämmen, stellte man die Belohnung für gefundene Fehler ein. Doch dann wendete sich das Blatt, als Experten geeignete Werkzeuge korrekt einsetzten, anstatt dass unvorsichtige Nutzer Chatbots naiv verwendeten.)

Es handelt sich lediglich um Marketing, das "Mythos" als so gefährlich darstellt, dass es eingeschränkt werden muss. Anthropic wiederholte diese Botschaft jedoch so lange lautstark, bis das Weiße Haus sie ernst nahm (ups!).

Die Trump-Regierung hilft uns in Europa auf ihre Weise, indem sie zeigt, dass amerikanischen Cloud-Diensten nicht zu trauen ist, was hoffentlich zu neuen Entwicklungen hierzulande führt. Ein "Kill Switch" funktioniert nur, wenn Sie remote mit einem Dienst verbunden sind, nicht aber, wenn Sie ein System lokal betreiben.

Offene Modelle ermöglichen den lokalen Betrieb (sofern die Rechenleistung ausreicht). Sie erleichtern es Unternehmen zudem, Alternativen zu ausländischen Cloud-Diensten für KI zu entwickeln.

[ApooftGnegiol]

Ein ganz anderes Thema im Zusammenhang mit KI ist die mittlerweile offenkundige Wirtschaftsblase. Die neue Technologie wird überleben, aber fast alle derzeit bekannten KI-Unternehmen sind bereits zum Scheitern verurteilt.

Juli 2026: "Five Tech Giants Are Using Enron's Accounting Strategy to Conceal $1.65 Trillion in AI Debt"
https://finance.yahoo.com/technology/ai/articles/five-tech-giants-using-enron-184404206.html?guccounter=1

Das bisher auf https://isaiprofitable.com/ dargestellte allgemeine Finanzbild zeigt nicht alle bestehenden Probleme. Es vermittelt lediglich einen Überblick darüber, dass alle außer den Hardware-Herstellern (Nvidia und andere) zu den Verlierern gehören. Hardware-Unternehmen profitieren selbst dann, wenn die Blase platzt.

In früheren Nachrichten ging es darum, wie KI-Unternehmen in zirkulären Mustern massiv ineinander investieren. Solange keines der Unternehmen pleitegeht, sieht alles besser aus. Doch sobald das passiert, sieht die Lage für alle deutlich düsterer aus.

Oktober 2025: "OpenAI does deals to make a deal — and the money is getting worried"
https://pivot-to-ai.com/2025/10/10/openai-does-deals-to-make-a-deal-and-the-money-is-getting-worried/
Grafische Übersicht mit Quellen und aktuelleren Aktualisierungen: https://ai-circular-economy.com/

Die gesamte KI-Branche, oder zumindest alles, was unter amerikanischem Einfluss steht, basiert darauf, Dienstleistungen mit enormen Verlusten zu verkaufen, subventioniert durch Investorengelder. Um Gewinn zu erzielen, müssen die Preise massiv erhöht werden, ohne dabei Nutzer zu verlieren. Darüber hinaus erwarten die Investoren eine starke Expansion. Damit dies gelingt, ist eine unmögliche Erweiterung der Rechenleistung erforderlich, was wiederum eine unmögliche Erweiterung der Stromversorgung usw. voraussetzt.

[eLender]

Wirtschaftsblase

Das halte ich momentan für das größte Risiko. Es sind gigantische Investitionen und Hoffnungen, die sich möglicherweise nie erfüllen. KI ist da - und wird bleiben. Ob das jetzt den Megareibach produziert (nuja, Nvidia kann sich zurücklehnen), muss sich zeigen. Ja, es gibt da erhebliche Zweifel, die nicht von irgendwelchen Pessimisten stammen (es gibt dazu auch Analysen von großen Wirtschaftsberatern). Heute mal wieder so eine Meldung: Nvidia leiht OpenAI ne Menge Knete, damit die deren Produkte kaufen können. So sehen Blasen eigentlich aus.

[Max P]

https://x.com/42tw1tter1sd3ad/status/2083439497446834661

[eLender]

Ja, das hatte ich auch schon gehört. Da war ein kanadisches Unternehmen sehr aktiv, hat ganze Antiquariate aufgekauft und einigen Händlern einen vorzeitigen Ruhestand ermöglicht. Warum auch nicht, sowas liest eh kaum noch jemand, dann wenigstens die KIs. Ich kaufe manchmal auch alte Bücher, meist Lehrbücher, die ich günstig bekomme und die nur noch vor sich herschimmeln. Die Menschheit hat so viel publiziert, was keiner (oder nur ein kleiner Bruchteil der Menschen) überhaupt liest.

Das letzte Werk, das ich erstanden hatte, ist ziemlich theoretisch und wird auch innerhalb des Fachgebietes als zu sperrig gehandelt (es ist zu sehr bemüht, eine Logik oder eine begriffliche Fassung zu erzeugen). Die KI(s) hatten das übrigens schon gelesen, daher konnte ich mich mit einer KI darüber unterhalten. Die meinte auch, es wäre etwas sperrig und übertheoretisch

[eLender]

Mal ein paar Gedanken zu der Entwicklung. Die KI ist da, auch schon etwas länger. Aber das Leben hat sich nicht so dramatisch geändert, wie man das (teilweise) erwartet hatte (v.a. in Anbetracht der Erwartung, dass die KI keine Grenzen bzgl. der Intelligenz hätte). Auch Steven Pinker hat daran erinnert, dass Intelligenz nichts ist, das unendlich wächst. Es ist eher etwas, das einen perfekten Zustand erreichen kann. Aber auch das macht die Überintelligenz nicht zum Herrscher der Welt, man kann nicht alles wissen.

And yet...the world remains much the same. In lots of sci-fi books, as soon as artificial superintelligence arrives, it bootstraps itself to even more godlike intelligence in an explosive "singularity" that rapidly transforms the entire physical universe. Lots of people, especially "AI safety" and "effective altruist" types, expected things to play out basically the same way in reality. But looking around, not much has changed since we entered the intelligence explosion. There's a huge data center boom, and most people use AI on a daily basis, but we still live basically the same lives — driving to work or taking the train, sitting in front of a computer, scrolling on our phones, collecting a paycheck. People are staying in their jobs longer, but employment hasn't been disrupted in a significant way:

https://www.noahpinion.blog/p/what-will-more-intelligence-actually