KI, eine helfende Hand für Unternehmen bei der Content-Moderation

Im heutigen digitalen Zeitalter werden täglich Milliarden von Inhalten auf Online-Plattformen und Websites hochgeladen.

Die Moder­ation dieses Materials war daher noch nie so kritisch und heraus­fordernd. Während die meisten dieser hochge­ladenen Inhalte positiv sein mögen, sehen wir auch eine wachsende Menge an schädlichem und illegalem Material – von Gewalt und Selbstver­letzung bis hin zu extrem­istischer Rhetorik, sexuell eindeutigen Bildern und Material zum sexuellen Missbrauch von Kindern (CSAM).

Der Umgang mit dieser Flut an schädlichen Inhalten ist mittler­weile eine entschei­dende Heraus­forderung für Unternehmen. Wer dazu nicht in der Lage (oder nicht willens) ist, muss mit erheblichen Strafen rechnen und setzt Kinder einem großen Risiko aus.

Das haben unsere eigenen Unter­suchungen ergeben Über ein Drittel (38 %) der Eltern wurden von ihren Kindern angesprochen, nachdem sie schädliche oder illegale Inhalte gesehen hattenViele greifen innerhalb von nur zehn Minuten, nachdem sie online gegangen sind, auf Materi­alien zu, die so anschaulich und schädlich sind wie CSAM.

Daher ist es an der Zeit, stärkere Anstren­gungen zur Inhaltsmod­er­ation zu unternehmen und dass Unternehmen über tradi­tionelle manuelle Moder­a­tions­methoden hinaus­gehen, die unprak­tisch und nicht skalierbar geworden sind. Stattdessen sollten sie die komple­men­tären Fähigkeiten der KI nutzen, die die Landschaft der Inhaltsmod­er­ation durch Automa­tisierung, verbesserte Genauigkeit und Skalier­barkeit verändern.

Allerdings sollten Unternehmen, die an der Nutzung von KI inter­essiert sind, wie bei jeder neuen Innovation sicher­stellen, dass sie die Technologie so imple­men­tieren, dass die Einhaltung geset­zlicher Vorschriften gewährleistet ist. Die Entschei­dungen, die Unternehmen heute treffen, werden einen massiven Einfluss auf ihre künftigen Abläufe haben.

Die helfende Hand der KI

KI hat die Content-Moder­a­tions­land­schaft drastisch verändert, indem sie das automa­tisierte Scannen von Bildern, vorab aufgeze­ich­neten Videos, Live-Streams und anderen Arten von Inhalten im laufenden Betrieb nutzt. Es kann Probleme wie Aktiv­itäten von Minder­jährigen in der Erwach­se­ne­nun­ter­haltung, Nacktheit, sexuelle Aktiv­itäten, extreme Gewalt, Selbstver­letzung und Hasssymbole auf Plattformen für benutzer­gener­ierte Inhalte, einschließlich sozialer Medien, identi­fizieren.

Die KI wird auf große Mengen an „Ground-Truth-Daten“ trainiert und sammelt und analysiert Erken­nt­nisse aus Archiven mit getaggten Bildern und Videos, die von Waffen bis hin zu expliziten Inhalten reichen. Die Genauigkeit und Wirksamkeit von KI-Systemen stehen in direktem Zusam­menhang mit der Qualität und Quantität dieser Daten. Einmal trainiert, kann die KI verschiedene Formen schädlicher Inhalte effektiv erkennen. Dies ist besonders wichtig in Live-Streaming-Szenarien, in denen die Moder­ation von Inhalten auf verschiedenen Plattformen mit unter­schiedlichen rechtlichen und Community-Standards möglich sein muss.

Ein automa­tisierter Ansatz beschle­unigt nicht nur den Moder­a­tionsprozess, sondern sorgt auch für Skalier­barkeit – ein entschei­dendes Merkmal in einer Zeit, in der eine rein menschliche Moder­ation angesichts der schieren Menge an Online-Inhalten unmöglich wäre.

Eine Synergie aus KI und Menschen

Die KI-Automa­tisierung bringt erhebliche Vorteile mit sich, da sie es Unternehmen ermöglicht, in großem Maßstab zu moderieren und die Kosten zu senken, da kein großes Moder­a­torenteam erforderlich ist. Allerdings erfordert selbst die fortschrit­tlichste Technologie menschliches Urteilsver­mögen, und KI ist für sich genommen noch lange nicht perfekt. Spezi­fische Nuancen und kontextbe­zogene Hinweise können Systeme verwirren und zu ungenauen Ergeb­nissen führen. Beispiel­sweise ist die KI möglicher­weise nicht in der Lage, zwischen einem Küchen­messer, das in einem Kochvideo verwendet wird, und einer Waffe, die bei einer Gewalttat verwendet wird, zu unter­scheiden, oder sie verwechselt eine Spielzeug­pistole in einem Werbespot für Kinder mit einer echten Schuss­waffe.

Wenn also die KI Inhalte als poten­ziell schädlich oder als Verstoß gegen Richtlinien kennze­ichnet, können menschliche Moder­a­toren eingreifen, um den Inhalt zu überprüfen und die endgültige Entscheidung zu treffen. Dieser hybride Ansatz stellt sicher, dass die KI zwar den Umfang der Inhaltsmod­er­ation erweitert und den Prozess ratio­nal­isiert, der Mensch jedoch die ultimative Autorität behält, insbesondere in komplexen Fällen.

In den kommenden Jahren wird die Komplexität der KI-Identi­fizierungs- und Verifizierung­stech­niken weiter zunehmen. Dazu gehört die Verbesserung der Genauigkeit der Zuordnung von Personen, die in verschiedenen Arten von Inhalten vorkommen, zu ihren Ausweis­doku­menten – ein nächster Schritt, um die Einwilligung sicherzustellen und die unbefugte Verbre­itung von Inhalten einzudämmen.

Dank ihrer Lernfähigkeit werden die Genauigkeit und Effizienz der KI ständig verbessert, mit dem Potenzial, den Bedarf an menschlichem Eingreifen im Zuge ihrer Weiter­en­twicklung zu verringern. Der menschliche Faktor wird jedoch weiterhin notwendig sein, insbesondere bei Einsprüchen und Streit­bei­legung im Zusam­menhang mit Entschei­dungen zur Inhaltsmod­er­ation. Den aktuellen KI-Technologien mangelt es nicht nur an einer differen­zierten Perspektive und einem differen­zierten Verständnis, sondern der Mensch kann auch als Kontrolle gegen mögliche algorith­mische Vorurteile oder Fehler dienen.

Die globale KI-Regulierungslandschaft

Da die KI weiter wächst und sich weiter­en­twickelt, werden sich viele Unternehmen an die Regulierungs­be­hörden wenden, um ihre Pläne zur Regulierung von KI-Anwen­dungen darzulegen. Die Europäische Union steht bei dieser Geset­zgebung an vorderster Front, da ihr Gesetz zur künstlichen Intel­ligenz im August 2024 in Kraft tritt. Das Gesetz gilt als bahnbrechend im Regulierungs­bereich und kategorisiert KI-Systeme in drei Typen: solche, die ein inakzept­ables Risiko darstellen, und solche, die als solche gelten Hochrisiko und eine dritte Kategorie mit minimalen Vorschriften.

Infolgedessen wurde ein KI-Büro eingerichtet, das die Umsetzung des Gesetzes überwachen soll und aus fünf Einheiten besteht: Regulierung und Compliance; Sicherheit; KI-Innovation und politische Koordinierung; Robotik und KI zum Wohle der Gesellschaft; und Exzellenz in der KI. Das Büro wird auch die Fristen überwachen, die bestimmte Unternehmen für die Einhaltung der neuen Vorschriften einhalten müssen. Diese reichen von sechs Monaten für verbotene KI-Systeme bis zu 36 Monaten für KI-Systeme mit hohem Risiko.

Unternehmen in der EU wird daher empfohlen, die Entwick­lungen in der Geset­zgebung genau zu beobachten, um die Auswirkungen auf ihre Geschäft­sak­tiv­itäten abzuschätzen und sicherzustellen, dass ihre KI-Systeme innerhalb der festgelegten Fristen konform sind. Auch für Unternehmen außerhalb der EU ist es von entschei­dender Bedeutung, darüber informiert zu bleiben, wie sich solche Vorschriften auf ihre Aktiv­itäten auswirken könnten, da die Geset­zgebung voraus­sichtlich nicht nur die Politik innerhalb der EU, sondern möglicher­weise auch im Vereinigten Königreich, in den USA und in anderen Regionen beein­flussen wird. Die in Großbri­tannien und den USA ansäs­sigen KI-Vorschriften werden diesem Beispiel folgen. Daher müssen Unternehmen sicher­stellen, dass sie am Puls der Zeit sind und dass alle Tools, die sie jetzt imple­men­tieren, wahrscheinlich auch in Zukunft den Compliance-Richtlinien dieser Länder entsprechen.

Ein kollaborativer Ansatz für ein sichereres Internet

Allerdings erfordert die erfol­greiche Imple­men­tierung von KI in der Inhaltsmod­er­ation auch ein starkes Engagement für kontinuier­liche Verbesserung. Es ist wahrscheinlich, dass Tools entwickelt werden, bevor irgendwelche Vorschriften in Kraft treten. Daher ist es wichtig, dass Unternehmen sie proaktiv überprüfen, um mögliche Vorurteile zu vermeiden, Fairness zu gewährleisten und die Privat­sphäre der Benutzer zu schützen. Organ­i­sa­tionen müssen außerdem in die kontinuier­liche Schulung menschlicher Moder­a­toren investieren, um die nuancierten Fälle, die zur Überprüfung durch KI gekennze­ichnet sind, effektiv zu bearbeiten.

Gleichzeitig müssen Lösungsan­bieter angesichts der psychol­o­gisch anspruchsvollen Natur der Inhaltsmod­er­a­tionsarbeit der psychischen Gesundheit ihrer menschlichen Moder­a­toren Priorität einräumen und ihnen solide psychol­o­gische Unter­stützung, Wellness-Ressourcen und Strategien zur Verfügung stellen, um eine längere Exposition gegenüber störenden Inhalten zu begrenzen.

Durch einen proak­tiven und verant­wor­tungsvollen Ansatz bei der KI-gestützten Inhaltsmod­er­ation können Online-Plattformen eine digitale Umgebung schaffen, die Kreativität, Verbindung und konstruk­tiven Dialog fördert und gleichzeitig Benutzer vor Schaden schützt.

Letztendlich bieten KI-gestützte Content-Moder­a­tionslö­sungen Unternehmen ein umfassendes Toolkit, um die Heraus­forderungen des digitalen Zeitalters zu meistern. Durch die Überwachung und Filterung riesiger Mengen an benutzer­gener­ierten Inhalten in Echtzeit unter­stützt diese hochmoderne Technologie Plattformen bei der Aufrechter­haltung einer sicheren und konformen Online-Umgebung und ermöglicht es ihnen, ihre Moder­a­tions­be­mühungen effizient zu skalieren.

Allerdings sollten Unternehmen beim Einsatz von KI wichtige Dokumente, Umset­zung­stermine und die Auswirkungen kommender Geset­zgebung genau im Auge behalten.

Bei effek­tiver Umsetzung kann KI als perfekter Partner für den Menschen fungieren und eine Content-Moder­a­tionslösung schaffen, die Kinder beim Zugriff auf das Internet schützt und als Eckpfeiler für die Schaffung eines sicheren Online-Ökosystems fungiert.