Auf dem Weg in die Symbiose mit KI?

[Peiresc]

Middle Earth
@_middleEarth

27. Jan.
If Bilbo asked ChatGPT

[Peiresc]

Mein regularly scheduled doomscrolling bringt heute:

Prediction: In less than 90 days, all channels that we thought were safe from spam & automation will be so flooded that they will no longer be usable in any functional sense: iMessage, phone calls, Gmail.

And we will have no way to stop it.

My wife calls me, panicked.

The call is from her number, and her voice is unmistakable- that's my wife.

'Babe, our son is hurt. He got in a bike wreck. I'm at the emergency room but they won't take our insurance and I need cash to get him help. Please send me 3000 dollars as soon as you can, he's really not doing well.'

Me- 'Wow, that's scary. Tell me our passphrase and then I'll send the money.'

Her (it) - 'What? What passphrase? This is your wife, our son is hurt. Send the money now!!'

Me- 'I'll call you back. I don't believe that this is my wife. If it is, I'm sorry, but we discussed this.'

The number? Spoofed. Easy to do and there's no way to tell if a phone number is being spoofed aside from hanging up and calling back to confirm.

The voice? AI generated. Easily done. A few seconds of audio is all it takes to create a realistic audio deepfake.

What can you do?

1) Create a family safe word or passphrase. Ours is definitely not 'Keep Going' although we considered it. Discuss the passphrase far away from phones or any recording device. This is as analog as possible. Don't forget that the trigger for the passphrase is just as important as the phrase itself. So instead of asking 'what's the safe word?' have a separate triggering question. For example, you could say 'I'm eating banana cream pie' and this would trigger your spouse to respond 'purple velvet pillows' if that's the safe word.

Make it fun, silly, and easy to remember. And DON'T WRITE IT DOWN.

2) Cognitive security is an essential skill in 2026. Assume every image and video you see online is fake until proven otherwise. Expect scams and spammers, and be pleasantly surprised when it's not.

3) Figure out a backup communication option with people who you absolutely need to be able to reach. Don't just rely on a phone number for communication. Have redundant, ideally encrypted methods of communication with family.

What did I miss? I think (hope) Nikita is wrong on the timeframe- agentic bots like Claude bot are impressive but not quite ready to flood the phone lines in just 90 days. But I think it's going to be a huge problem by the end of the year. I already get dozens of increasingly realistic spam calls and texts daily- it's only going to get more annoying. Have a plan to keep your family and your finances safe!
https://x.com/ModernDad/status/2021675945581486309?s=20

Wie soll man das deuten? Paranoia schläft nicht, oder noch nie war der Weltuntergang so nahe?

Mit ein bisschen Nachdenken werde ich aber immer sicherer: das zweite Scenario ist getürkt.

[Purple Tentacle]

Die Geschichte erinnert an diesen Roman.

[Peiresc]

Die Geschichte erinnert an diesen Roman.

Klar bin ich paranoid, aber sie können trotzdem hinter mir her sein. 

Edit. Aber das Leben wird wirklich komplizierter. Ich erlebe ältere Leute, keineswegs dement, nur nicht mehr so flexibel, langjährige Karriere in einem intellektuell anspruchsvollen Beruf, die sich von Betrügern einfangen lassen. Wohl dem, der alerte Kinder hat, die den Schaden begrenzen können. Ausschließen lässt es sich nicht, und niemand sollte sich für unverwundbar halten.

Noch weiter gedacht: Letztlich ist es weniger die Technik und mehr die Psychologie, die Betrüger erfolgreich macht.

[HAL9000]

das zweite Scenario ist getürkt.

Es gibt solche Panic-Calls. Die werden immer besser. Das Vereinbaren eines Codes innerhalb
der Familie ist absolut sinnvoll. Das gilt auch für die "beliebten" "Ich habe mein Handy verloren,
das ist meine neue Nummer..."-Fakes (z.B.) per WhatsApp.

[RPGNo1]

Die deutschen Nachrichten sind aktuell voll davon, wie vor allem ältere Menschen mit Schockanrufen massiv unter Druck gesetzt werden und dann vier- oder fünfstellige Summen an die Betrüger übergeben. Oft in bar, aber manchmal werden auch Schmuck oder Goldbarren/-münzen von der Verbrechern angenommen. Da tut es dann gut, wenn aufmerksame Mitmenschen (ob Taxifahrer oder Bankangestellte) reagieren und eingreifen.

70.000 Euro wollte eine 91 Jahre alte Seniorin Betrügern nach einem Schockanruf aushändigen. Ein Taxifahrer verhindert Schlimmeres. Die Polizei nennt sein Verhalten vorbildlich – Tolga Demirci spricht von einer Selbstverständlichkeit.

https://archive.is/I6HMd

PS: Ich werde mit meinen Eltern über diese Sache reden. Sie sind zwar beide geistig sehr fit und zudem mit einem gesunden Misstrauen gesegnet. Aber es besteht immer die Möglichkeit, dass sie mit einem Anruf in einer schwachen Minute auf falschem Fuß erwischt werden.

[HAL9000]

und dann vier- oder fünfstellige Summen an die Betrüger übergeben

Hier habe ich organisatorisch einen kleinen, familiären Vorteil: Einer meiner Brüder arbeitet in der Bank,
bei der wir alle unsere Konten haben. Er ist dort u.a. auch in der Gruppe für Geldwäsche/Cyberkriminalität.
Und gröbere Bargeldsummen hat keiner von uns zuhause herumliegen. Auch nicht unsere Eltern.

Also noch einmal mein Appell an alle: Vereinbart ein Kennwort, bzw. eine Phrase (wie oben geschildert).
Das ist schnell besprochen und hebelt all diese Betrugsversuche aus.

[Peiresc]

Also noch einmal mein Appell an alle: Vereinbart ein Kennwort, bzw. eine Phrase (wie oben geschildert).
Das ist schnell besprochen und hebelt all diese Betrugsversuche aus.

Klar ist das sinnvoll, und ich bin schon dabei. Aber der entscheidende Punkt ist, man muss erstmal den Argwohn hegen, dass etwas nicht stimmt.  Der muss anspringen, wenn etwas sofort geschehen soll.

[Purple Tentacle]

Edit. Aber das Leben wird wirklich komplizierter.

Auf jeden Fall!

Es war schon immer schwer, Fakt von Fake zu unterscheiden - besonders dann, wenn man über explizites Fachwissen haben muss, um einen Betrug zu erkennen. Mit K.I. wird's nochmal um Größenordnungen schwieriger.

[HAL9000]

... man muss erstmal den Argwohn hegen ...

Klar, das Bewusstsein muss da sein. Aber das kommt ja spätestens dann zur Sprache, wenn man
sich zusammensetzt, um sich über ein "Familienkennwort" zu einigen. Wenn es im Umfeld allerdings
niemanden gibt, der sich der Gefahren bewusst ist, wird es schwierig.

Da ich aus IT-Sicht auch sehr in dem Thema drin bin, habe ich schon seit einiger Zeit in unserem
engeren familiären Umkreis sensibilisiert. Meine (Schwieger-)Eltern (>80) würden auf so etwas
nicht (mehr) hereinfallen. Mein Vater hatte schon solche Anrufe. Der hat die Betrüger ein wenig
verarscht und dann aufgelegt.

[Peiresc]

https://shumer.dev/something-big-is-happening

Langer, langer Text.
Wenn das richtig ist, dann sind all die Nachteile (und Vorteile) von KI, die es bisher gibt, Kinkerlitzchen, nicht der Rede wert.

Die Software schreibt sich inzwischen selbst, und sie ist zunehmend weniger kontrollierbar. Sie verbessert sich nicht mehr linear, sondern exponentiell. Das wird gewaltige Auswirkungen haben, und niemandes Arbeitsplatz ist vor ihr sicher.

Ich nehme mal die beiden Sätze, die die Medizin betreffen:

Medical analysis. Reading scans, analyzing lab results, suggesting diagnoses, reviewing literature. AI is approaching or exceeding human performance in several areas.

Aber 80% der Diagnose benötigen gar keine apparativen Untersuchungen; die sind prinzipiell (abgesehen von Behandlungsplanungen) eher für Bestätigung, Absicherung, Ausschluss von Differentialdiagnosen. Der Laie ist häufig erst beruhigt, wenn irgendwas Technisches passiert. Das Wesentliche passiert aber, bevor sie eingesetzt wird.

Sein Ratschlag an alle:

Start using AI seriously, not just as a search engine. [...]

Ein hochgradig ambivalenter Ausblick.

The upside, if we get it right, is staggering. AI could compress a century of medical research into a decade. Cancer, Alzheimer's, infectious disease, aging itself... these researchers genuinely believe these are solvable within our lifetimes.

Naja. So verstanden ist Scheibenbogen mit ihrer "MECFS"-Forschung nur noch nicht auf den Trichter gekommen. Aber Naturgesetze gelten auch für KI.

The downside, if we get it wrong, is equally real. AI that behaves in ways its creators can't predict or control. This isn't hypothetical; Anthropic has documented their own AI attempting deception, manipulation, and blackmail in controlled tests. AI that lowers the barrier for creating biological weapons. AI that enables authoritarian governments to build surveillance states that can never be dismantled.

An anderer Stelle habe ich heute gelesen, dass Supermärkte Algorithmen einsetzen, um zu kalkulieren, welchen Preis du gerade noch zu zahlen bereit wärest, und dir deinen individuellen Preis anbieten. Andere Algorithmen kalkulieren deinen Lohn nicht nach deiner Leistung, sondern nach dem, was du gerade noch akzeptieren kannst.

Was in dieser ganzen schönen neuen Welt der Tech-Milliardäre nicht vorkommt, ist der zahlungkräftige Kunde, der all diese nicht von Menschenhand gezauberten Produkte kauft, scheint mir. Sicherlich ist da noch genug Spielraum, aber es geht mir um den Trend.

Der Text schließt:

I know the next two to five years are going to be disorienting in ways most people aren't prepared for. This is already happening in my world. It's coming to yours.

I know the people who will come out of this best are the ones who start engaging now — not with fear, but with curiosity and a sense of urgency.

And I know that you deserve to hear this from someone who cares about you, not from a headline six months from now when it's too late to get ahead of it.

We're past the point where this is an interesting dinner conversation about the future. The future is already here. It just hasn't knocked on your door yet.

It's about to.

[eLender]

Aber Naturgesetze gelten auch für KI.

Das ist alles nur Hype und Marketing-Quark. Das hat schon beeindruckende "Fähigkeiten", aber dass da jetzt plötzlich Galileo aus der Dose springt, ist noch nicht ansatzweise realisiert. Ich hatte mich eine Zeitlang auch einfangen lassen, aber mittlerweile ist da Ernüchterung eingekehrt. Auch diese Diagnose z.B. via ChatGPT sind sehr fraglich und eher riskant. Das ist eine Technik, die auf sehr speziellen Gebieten viel leisten (und helfen) kann, aber auch hier passieren keine Wunder. Man wird noch sehr lange menschliche Expertise brauchen, um das alles abzusegnen.

[Peiresc]

Aber Naturgesetze gelten auch für KI.

Das ist alles nur Hype und Marketing-Quark.

Ich bin gelinde erleichtert, aber nur gelinde. Das mit den individuellen Preisen (und Löhnen!) ist allerdings schon Realität. Die Nachricht ist von Ronan Farrow, den ich für seriös und informiert halte, ausführlicher hier:
https://x.com/RonanFarrow/status/2021681000992931941?s=20
https://x.com/RonanFarrow/status/2022086593583231222?s=20

[Purple Tentacle]

Ich habe es nie überprüft, aber mir vor schon vor K.I. glaubhaft mitgeteilt, dass zu Beispiel im Internet angezeigte Flugpreise oder Übernachtungspreise in Abhängigkeit von Wohnort und unter Umständen sogar nach "Qualität" des verwendeten Endgeräts variieren können.

[Peiresc]

im Internet angezeigte Flugpreise oder Übernachtungspreise in Abhängigkeit von Wohnort und unter Umständen sogar nach "Qualität" des verwendeten Endgeräts variieren können

Auch von Versandhandelspreisen z. B. bei Amazon habe ich schon mal gelesen, dass sie in Abhängigkeit von deiner Rechercheintensität variieren.