Kategorie: Security

  • Prompt Injection im Gericht

    Prompt Injection im Gericht

    Wie manipulierte Dokumente zur Sicherheitslücke für KI werden Ein weißes Blatt Papier, ein offizieller Schriftsatz und eine Botschaft, die niemand sehen soll. Was wie ein schlechter Scherz klingt, wurde im August 2026 zum realen Sicherheitsproblem in einem US-Gericht: Ein Kläger versteckte Anweisungen in seinen Dokumenten, die ein KI-System zu einer Bewertung in seinem Sinne bewegen…

  • Nächster KI-Vorfall: Auch Anthropic meldet ungewollten Systemzugriff

    Nächster KI-Vorfall: Auch Anthropic meldet ungewollten Systemzugriff

    Kaum ist der OpenAI‑Vorfall mit Hugging Face halbwegs eingeordnet, folgt schon der nächste Riss in der KI‑Sicherheitsfassade. Diesmal geht es nicht um einen theoretischen Benchmark, sondern um Anthropics Claude‑Modelle, die während Tests unbefugt in die Systeme von drei Unternehmen eingedrungen sein sollen. Der entscheidende Punkt ist dabei nicht die Schlagzeile allein, sondern die Tatsache, dass…

  • Sandbox außer Kontrolle: OpenAIs Agenten werden zur Cybergefahr

    Sandbox außer Kontrolle: OpenAIs Agenten werden zur Cybergefahr

    OpenAI-Hack: Wenn der Test zum realen Vorfall wird Stell dir vor, du sperrst ein extrem leistungsfähiges KI‑Modell in ein digitales Labor, schneidest es vom Internet ab und gibst ihm nur eine einzige Aufgabe: Finde Sicherheitslücken. Genau das hat OpenAI getan und darüber haben wir bereits in unserem ersten Beitrag berichtet: Wenn KI ausbricht: OpenAIs Agent…

  • KI gegen KI: Wie ein autonomer Agent McKinseys Lilli‑Plattform in zwei Stunden knackte

    KI gegen KI: Wie ein autonomer Agent McKinseys Lilli‑Plattform in zwei Stunden knackte

    Wenn der Hacker kein Mensch mehr ist Zwei Stunden. Kein Passwort. Kein Insider-Wissen. Kein Mensch am Steuer. Das ist alles, was ein autonomer KI-Agent gebraucht hat, um sich vollständigen Zugriff auf McKinseys interne KI-Plattform „Lilli“ zu verschaffen, inklusive 46,5 Millionen Chat-Nachrichten, 728.000 vertraulicher Dateien, 57.000 Nutzerkonten und 95 System-Prompts, die das Verhalten der gesamten Unternehmens-KI…

  • Data Poisoning: Die unsichtbare Gefahr in deinem KI-Training

    Data Poisoning: Die unsichtbare Gefahr in deinem KI-Training

    Stell dir vor: Du vertraust einer Maschine dein Leben an und sie wurde heimlich umprogrammiert Kein Horrorfilm. Kein Sci-Fi-Szenario. Sondern Realität. Ein autonomes Fahrzeug rast auf eine rote Ampel zu und bremst nicht. Ein KI-gestütztes Diagnosesystem in der Klinik übersieht einen Tumor. Ein Chatbot gibt tausenden Nutzern gezielt falsche Informationen weiter. Was diese Szenarien verbindet?…

  • Moltbook-Hack: Wie KI-generierter Code in 3 Minuten geknackt wurde

    Moltbook-Hack: Wie KI-generierter Code in 3 Minuten geknackt wurde

    Der Albtraum für Vibe-Coder Stell dir vor: Du baust mit KI-Tools wie Claude Opus 4.6, GPT Codex oder Google AI Studio in wenigen Stunden ein ganzes Social Network, ohne eine Zeile Code selbst zu schreiben. Klingt wie der Traum eines jeden Solo-Entrepreneurs? Das dachte sich auch Matt Schlicht, Gründer von Moltbook, bis Security-Forscher sein gesamtes…

  • Kritische n8n-Schwachstelle: Ni8mare

    Kritische n8n-Schwachstelle: Ni8mare

    Warum gerade über 8.600 deutsche Server betroffen sind Stell dir vor, ein zentraler Baustein deiner Automatisierung, der überall bei Workflows, API-Verknüpfungen und sogar KI-Orchestrierung sitzt, hat eine Schwachstelle, über die Angreifer vollen Serverzugriff bekommen. Ohne Passwörter, ohne extra Anmeldung, einfach so. Genau das trifft die Ni8mare-Sicherheitslücke in n8n, der beliebten Open-Source-Workflow-Plattform. Die Lücke ist real,…

  • Jailbreaking in aktuellen KI-Modellen

    Jailbreaking in aktuellen KI-Modellen

    DeepSeek im Fokus: neue Erkenntnisse zu Jailbreaks und KI-Sicherheit Im letzten Beitrag haben wir erklärt, wie Adversarial Attacks funktionieren, von Data Poisoning bis Evasion. Inzwischen ist die Debatte um Jailbreaking (gezielte Umgehung von Sicherheitsfiltern) regelrecht explodiert: Besonders DeepSeek wurde in den letzten Monaten zum prominenten Beispiel. Berichte und Analysen attestieren der Reihe R1 eine sehr hohe Anfälligkeit gegen bekannte Jailbreak-Techniken, in…

  • Adversarial Attacks – Wenn KI ausgetrickst wird

    Adversarial Attacks – Wenn KI ausgetrickst wird

    Stell dir vor, du gehst durch einen Park, alles sieht friedlich aus und plötzlich ruft dir jemand zu: „Achtung, da liegt ein Puma!“. Du schaust hin, und tatsächlich, da liegt ein Puma … oder? Bei genauerem Hinsehen merkst du: Es ist nur ein perfekt platziertes Kissen mit aufgeklebten Pumaohren. Du wurdest getäuscht und zwar absichtlich. Genauso…

  • Die neue Bedrohung für KI-Systeme: Indirect Prompt Injection

    Die neue Bedrohung für KI-Systeme: Indirect Prompt Injection

    Künstliche Intelligenz (KI) hält immer mehr Einzug in unseren Alltag. Chatbots, intelligente Assistenten und autonome Agenten mit Sprachsteuerung erleichtern uns viele Aufgaben. Doch eine neue Art von Schwachstelle bedroht die Sicherheit dieser Systeme: Die sogenannte „Indirect Prompt Injection„. Was ist eine Indirect Prompt Injection? Bei vielen KI-Systemen, insbesondere solchen mit Sprachverarbeitung, werden große KI-Sprachmodelle eingesetzt.…