EU AI Act

Last updated: July 15, 2025

  1. Muss im Anruf kenntlich gemacht werden, dass es sich um ein KI-System handelt?

    Aktuell besteht noch keine gesetzliche Pflicht, Anrufe ausdrücklich als KI-gestützt kenntlich zu machen. Allerdings wird sich dies mit Inkrafttreten des EU AI Acts am 2. August 2026 ändern. Ab diesem Zeitpunkt muss klar und deutlich erkennbar sein, dass Endkunden mit einer KI interagieren und nicht mit einer menschlichen Person.

  2. In der Praxis bedeutet das:

    Spätestens bei der ersten Interaktion (also direkt zu Beginn eines Anrufs) muss den Endkunden eindeutig vermittelt werden, dass es sich um eine KI handelt. Ein auditiver Hinweis („Sie sprechen mit einem digitalen Assistenten“ oder „Dies ist ein KI-gestützter Anruf“) ist dafür ausreichend. Wichtig ist, dass für den durchschnittlich informierten und aufmerksamen Endkunden keine Verwechslungsgefahr mit einer echten Person besteht.

    Viele Kunden von telli setzen diese Transparenzmaßnahme bereits freiwillig um, um Vertrauen bei ihren Endkunden aufzubauen und frühzeitig rechtliche Anforderungen zu erfüllen.

  3. Welche Use Cases sind im Rahmen des EU AI Acts ohne Probleme erlaubt?

    Grundsätzlich erlaubt sind alle KI-Anwendungen, die kein hohes Risiko für die Grundrechte oder Sicherheit natürlicher Personen darstellen, zum Beispiel:

    • KI zur allgemeinen Kundenkommunikation, z.B. Terminvereinbarungen, Erinnerungen oder Status-Updates

    • KI als unterstützende Lösung für Kundenservice-Mitarbeiter, ohne eigenständige Entscheidungen über Personen

    • Standardisierte Befragungen ohne Bewertung sensibler persönlicher Merkmale (z.B. einfache Terminfragen, Verfügbarkeitsabfragen in Bewerbungsprozessen)

  4. Welche Use Cases sind laut EU AI Act explizit verboten?

    Verboten sind KI-Systeme, die potenziell Menschen manipulieren, täuschen oder deren Grundrechte beeinträchtigen, insbesondere:

    • Systeme zur sozialen Bewertung („Social Scoring“)

    • KI-Systeme, die Entscheidungen treffen oder unterstützen, die auf diskriminierenden oder sensiblen Merkmalen beruhen (z.B. ethnische Herkunft, politische Einstellung, Gesundheitsstatus)

    • KI-Anwendungen, die gezielt manipulatives oder täuschendes Verhalten anwenden

  5. Welche Use Cases gelten nach dem EU AI Act als „Hochrisiko“?

    Unter „Hochrisiko-KI“ fallen vor allem Anwendungen, die bedeutenden Einfluss auf das Leben natürlicher Personen haben können. Besonders relevant sind hierbei:

    • Biometrische Kategorisierung und Emotionserkennung

      z.B. KI-Systeme, die Personen nach sensiblen Attributen kategorisieren oder gezielt Emotionen erkennen, um Entscheidungen zu treffen oder Nutzerverhalten zu steuern.

    • Bewerbungs- und Einstellungsverfahren

      z.B. automatisierte Bewertung von Bewerbern durch Analyse ihrer Antworten oder emotionalen Reaktionen während eines Gesprächs.

    • Arbeitsverhältnisse und Mitarbeiterbewertungen

      KI, die zur Leistungserfassung, Bewertung oder Überwachung von Mitarbeitern eingesetzt wird und arbeitsrechtliche Konsequenzen (z.B. Kündigungen, Beförderungen) beeinflusst.

    • Zugang zu wesentlichen privaten und öffentlichen Dienstleistungen

      KI, die Einfluss auf Kreditvergabe, Versicherungen oder andere grundlegende Dienstleistungen nimmt.

    Wichtig: KI-Systeme, die Profiling natürlicher Personen durchführen (z.B. automatisierte Bewertung von Verhalten, Emotionen oder Sprache), gelten grundsätzlich immer als Hochrisiko.

  6. Unter welchen Bedingungen können diese Hochrisiko-KI-Use-Cases trotzdem eingesetzt werden?

    Ein KI-System, das formal unter die Hochrisiko-Kategorie fällt, könnte dennoch als nicht hochriskant eingestuft werden, wenn folgende Ausnahmen erfüllt sind (gemäß Art. 6 Abs. 3 KI-Verordnung):

    • Die KI übernimmt lediglich eine eng begrenzte Verfahrensaufgabe, ohne selbstständig relevante Entscheidungen zu treffen oder erheblichen Einfluss auf die Person zu nehmen.

    • Die KI dient nur dazu, eine menschliche Entscheidung zu verbessern oder zu ergänzen, trifft aber keine eigene autonome Entscheidung.

    • Die KI erkennt nur Entscheidungsmuster oder Abweichungen, ohne menschliche Bewertungen zu ersetzen oder direkt zu beeinflussen.

    • Die KI übernimmt lediglich eine vorbereitende Aufgabe für eine spätere menschliche Bewertung, z.B. sammelt sie lediglich strukturierte Informationen, die dann von einem Menschen bewertet werden.

    Wichtig: Auch bei Nutzung einer Ausnahme bleibt eine KI automatisch hochriskant, wenn sie direktes Profiling vornimmt oder selbstständig relevante Entscheidungen über natürliche Personen trifft.

  7. Praxisbeispiel: Ist die Nutzung von telli im Bewerbermanagement (z.B. für erste telefonische Vorabfragen) als Hochrisiko einzustufen?

    Grundsätzlich gelten KI-Systeme im Bewerbermanagement als Hochrisiko. Jedoch kann telli hier unter folgenden Bedingungen eine Ausnahme nutzen:

    • telli stellt Bewerbern ausschließlich standardisierte, allgemeine Fragen, ohne eine Bewertung von sensiblen persönlichen Merkmalen (z.B. Emotionen, Kommunikationsstil) vorzunehmen.

    • telli trifft keine eigenen Entscheidungen über die Bewerber, sondern sammelt nur strukturierte Antworten und stellt diese dem Unternehmen zur menschlichen Bewertung bereit.

    • Die finale Entscheidung über die Bewerber trifft stets ein Mensch, nicht die KI.

    Wenn diese Bedingungen erfüllt sind, wäre telli für diesen Use Case in der Regel nicht als Hochrisiko-KI einzustufen.

    Hinweis: Die FAQ-Antworten basieren auf der aktuellen rechtlichen Lage und Einschätzungen (März 2025). Da die EU-Kommission bis Februar 2026 mindestens detaillierte Leitlinien veröffentlicht, können sich einige hier aufgeführte Details in Zukunft noch ändern.