{"id":3245,"date":"2025-01-16T10:52:38","date_gmt":"2025-01-16T09:52:38","guid":{"rendered":"https:\/\/secret-cow-level.de\/wordpress\/?p=3245"},"modified":"2025-01-16T10:52:41","modified_gmt":"2025-01-16T09:52:41","slug":"garbage-in-garbage-out-bias-in-ki-systemen","status":"publish","type":"post","link":"https:\/\/secret-cow-level.de\/wordpress\/2025\/01\/garbage-in-garbage-out-bias-in-ki-systemen\/","title":{"rendered":"Garbage in, Garbage out \u2013 Bias in KI-Systemen"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Verzerrte Daten f\u00fchren zu verzerrten Entscheidungen. Das mag trivial klingen, aber die Auswirkungen auf KI-Systeme sind es nicht. Daten sind das Herzst\u00fcck von KI. Und wenn die Daten schon ein bisschen schief sind, wird das Ergebnis nicht gerade. Kurz: <strong>Garbage in, Garbage out<\/strong>. \ud83d\uddd1\ufe0f<\/p>\n\n\n\n<p>Am <a href=\"https:\/\/www.th-luebeck.de\/isy\" target=\"_blank\" rel=\"noopener\">Institut f\u00fcr Interaktive Systeme (ISy)<\/a> der Technischen Hochschule L\u00fcbeck nutzen und entwickeln wir KI-basierte Anwendungen und wollen das auch in Zukunft immer mehr tun \u2013 vom generierten Beschreibungstext bis hin zu Empfehlungssystemen. <strong>Wie sich Verzerrungen, sog. Biases, auf unsere Projekte auswirken<\/strong>, war das Thema eines <strong>Workshops<\/strong>, den ich im Rahmen unserer KI-Themenreihe gestaltet habe.<\/p>\n<h2>Slides zum Nach- und besser Machen als OER<\/h2>\n<p><span style=\"font-weight: 400;\"><div class=\"teachpress_pub_list\"><form name=\"tppublistform\" method=\"get\"><a name=\"tppubs\" id=\"tppubs\"><\/a><\/form><table class=\"teachpress_publication_list\"><tr class=\"tp_publication_simple tp_publication_simple_workshop\"><td class=\"tp_pub_image_left\" width=\"125\"><img decoding=\"async\" name=\"Bias in KI-Systemen\" src=\"https:\/\/secret-cow-level.de\/wordpress\/wp-content\/uploads\/2025\/01\/Logo-Institut-fuer-Interaktive-Systeme-ISy-THL.png\" width=\"120\" alt=\"Bias in KI-Systemen\" \/><\/td><td class=\"tp_pub_info_simple\"><span class=\"tp_pub_author_simple\"> Lorenz, Anja<\/span>: <span class=\"tp_pub_title_simple\"><a class=\"tp_title_link\" onclick=\"teachpress_pub_showhide('226','tp_links')\" style=\"cursor:pointer;\">Bias in KI-Systemen<\/a><\/span>. <span class=\"tp_pub_additional_simple\"><span class=\"tp_pub_additional_year\">2025<\/span>.<\/span> <span class=\"tp_pub_menu_simple\">(Typ: <span class=\"tp_pub_type tp_  workshop\">Workshop<\/span> | <span class=\"tp_abstract_link\"><a id=\"tp_abstract_sh_226\" class=\"tp_show\" onclick=\"teachpress_pub_showhide('226','tp_abstract')\" title=\"Zeige Abstract\" style=\"cursor:pointer;\">Abstract<\/a><\/span> | <span class=\"tp_resource_link\"><a id=\"tp_links_sh_226\" class=\"tp_show\" onclick=\"teachpress_pub_showhide('226','tp_links')\" title=\"Zeige Links und Ressourcen\" style=\"cursor:pointer;\">Links<\/a><\/span> | <span class=\"tp_bibtex_link\"><a id=\"tp_bibtex_sh_226\" class=\"tp_show\" onclick=\"teachpress_pub_showhide('226','tp_bibtex')\" title=\"Zeige BibTeX-Eintrag\" style=\"cursor:pointer;\">BibTeX<\/a><\/span>)<\/span><div class=\"tp_bibtex\" id=\"tp_bibtex_226\" style=\"display:none;\"><div class=\"tp_bibtex_entry\"><pre>@workshop{Lorenz2025,<br \/>\r\ntitle = {Bias in KI-Systemen},<br \/>\r\nauthor = {Anja Lorenz},<br \/>\r\nurl = {https:\/\/doi.org\/10.5281\/zenodo.14669796<br \/>\r\nhttps:\/\/kurzlinks.de\/isy-bias-workshop<br \/>\r\nhttps:\/\/secret-cow-level.de\/wordpress\/2025\/01\/garbage-in-garbage-out-bias-in-ki-systemen\/},<br \/>\r\nyear  = {2025},<br \/>\r\ndate = {2025-01-15},<br \/>\r\nurldate = {2025-01-15},<br \/>\r\nabstract = {Verzerrte Daten f\u00fchren zu verzerrten Entscheidungen, oder kurz: Garbage in, Garbage out. Am Institut f\u00fcr Interaktive Systeme nutzen und entwickeln wir auch selbst Anwendungen, die auf KI-Technologien basieren. Daher sollten wir uns bewusst sein, dass diese immer Verzerrungen (Biases) unterliegen.<br \/>\r\n<br \/>\r\nIm Workshop steigen wir allgemein in das Thema ein und reflektieren, welche Konsequenzen das f\u00fcr unsere Arbeit hat. Wir lernen die Methoden \"Diversity Personas\" und \"De-Biasing durch Prompting\" kennen und schauen, inwieweit sie uns beim Erkennen und Abmildern von Biases helfen k\u00f6nnen.},<br \/>\r\nhowpublished = {Teil einer internen Workshop-Reihe am Institut f\u00fcr Interaktive Systeme der TH L\u00fcbeck},<br \/>\r\nkeywords = {},<br \/>\r\npubstate = {published},<br \/>\r\ntppubtype = {workshop}<br \/>\r\n}<br \/>\r\n<\/pre><\/div><p class=\"tp_close_menu\"><a class=\"tp_close\" onclick=\"teachpress_pub_showhide('226','tp_bibtex')\">Schlie\u00dfen<\/a><\/p><\/div><div class=\"tp_abstract\" id=\"tp_abstract_226\" style=\"display:none;\"><div class=\"tp_abstract_entry\">Verzerrte Daten f\u00fchren zu verzerrten Entscheidungen, oder kurz: Garbage in, Garbage out. Am Institut f\u00fcr Interaktive Systeme nutzen und entwickeln wir auch selbst Anwendungen, die auf KI-Technologien basieren. Daher sollten wir uns bewusst sein, dass diese immer Verzerrungen (Biases) unterliegen.<br \/>\r\n<br \/>\r\nIm Workshop steigen wir allgemein in das Thema ein und reflektieren, welche Konsequenzen das f\u00fcr unsere Arbeit hat. Wir lernen die Methoden &quot;Diversity Personas&quot; und &quot;De-Biasing durch Prompting&quot; kennen und schauen, inwieweit sie uns beim Erkennen und Abmildern von Biases helfen k\u00f6nnen.<\/div><p class=\"tp_close_menu\"><a class=\"tp_close\" onclick=\"teachpress_pub_showhide('226','tp_abstract')\">Schlie\u00dfen<\/a><\/p><\/div><div class=\"tp_links\" id=\"tp_links_226\" style=\"display:none;\"><div class=\"tp_links_entry\"><ul class=\"tp_pub_list\"><li><i class=\"fas fa-globe\"><\/i><a class=\"tp_pub_list\" href=\"https:\/\/doi.org\/10.5281\/zenodo.14669796\" title=\"https:\/\/doi.org\/10.5281\/zenodo.14669796\" target=\"_blank\">https:\/\/doi.org\/10.5281\/zenodo.14669796<\/a><\/li><li><i class=\"fas fa-globe\"><\/i><a class=\"tp_pub_list\" href=\"https:\/\/kurzlinks.de\/isy-bias-workshop\" title=\"https:\/\/kurzlinks.de\/isy-bias-workshop\" target=\"_blank\">https:\/\/kurzlinks.de\/isy-bias-workshop<\/a><\/li><li><i class=\"fas fa-globe\"><\/i><a class=\"tp_pub_list\" href=\"https:\/\/secret-cow-level.de\/wordpress\/2025\/01\/garbage-in-garbage-out-bias-in-ki-systemen\/\" title=\"https:\/\/secret-cow-level.de\/wordpress\/2025\/01\/garbage-in-garbage-out-bias-in-ki-[...]\" target=\"_blank\">https:\/\/secret-cow-level.de\/wordpress\/2025\/01\/garbage-in-garbage-out-bias-in-ki-[...]<\/a><\/li><\/ul><\/div><p class=\"tp_close_menu\"><a class=\"tp_close\" onclick=\"teachpress_pub_showhide('226','tp_links')\">Schlie\u00dfen<\/a><\/p><\/div><\/td><\/tr><\/table><\/div><\/span><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Einstieg mit Bildern<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Ich wollte das Thema greifbar machen und habe deshalb mit einem Bildbeispiel gestartet: Schwarzer Arzt\/Wei\u00dfer Patient. Danke an Nele Hirsch f\u00fcr die <a href=\"https:\/\/ebildungslabor.de\/blog\/besseres-prompting-hilft-nur-bedingt-gegen-bias\/\" data-type=\"link\" data-id=\"https:\/\/ebildungslabor.de\/blog\/besseres-prompting-hilft-nur-bedingt-gegen-bias\/\">Inspiration aus ihrem Blog<\/a>! \ud83d\ude4f<\/p>\n\n\n\n<p>Danach ging\u2019s ans Eingemachte: Was bedeutet Bias konkret f\u00fcr unsere Arbeit? Wir haben diskutiert, <strong>wie Verzerrungen in unseren Daten entstehen<\/strong> k\u00f6nnen und welche <strong>Konsequenzen<\/strong> sie vielleicht haben. Dabei haben wir uns <strong>sowohl als Nutzer*innen<\/strong> von KI-Tools (z. B. ChatGPT) <strong>als auch als Entwickler*innen<\/strong> (z. B. Empfehlungssysteme f\u00fcr unsere Lernplattformen) betrachtet.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Methoden gegen Bias: Diversity Personas und Prompting<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Im Workshop haben wir zwei Methoden ausprobiert, die ich durch einen <a href=\"https:\/\/ki-campus.org\/courses\/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung\" data-type=\"link\" data-id=\"https:\/\/ki-campus.org\/courses\/methoden_der_bias-reduktion-fuer-eine-sozialverantwortliche-ki-gestaltung\">Kurs auf dem KI-Campus<\/a> kennengelernt habe:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Diversity Personas:<\/strong> Eine Methode, die dabei hilft, verschiedene Perspektiven bei der Entwicklung von KI-Systemen einzubringen.<\/li>\n\n\n\n<li><strong>De-Biasing durch Prompting:<\/strong> Eine Technik, um KI-Tools dazu zu bringen, einen Teil der Verzerrungen selbst zu beseitigen, als &#8222;Fighting Fire with Fire&#8220;.<\/li>\n<\/ul>\n\n\n\n<p>Beide Methoden haben uns geholfen, Bias besser zu verstehen und dar\u00fcber nachzudenken, wie wir ihn abmildern k\u00f6nnen. Die Ergebnisse waren <strong>fast nie 100%ig zufriedenstellend<\/strong>, aber zeigten gut auf, in welche Richtung es gehen kann und vielleicht auch sollte. Ich gehe davon aus, dass die KI-Tools vor allem beim De-Biasing besser werden, ich werde es also immer mal wieder ausprobieren.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Einige Erkenntnisse aus der Diskussion<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Ich habe den Workshop selbst geleitet und es gibt kein Protokoll dazu, aber aus dem Ged\u00e4chtnis habe ich vor allem folgende Erkenntnisse mitgenommen:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>In unseren Projekten geht es h\u00e4ufig um Digitalisierung an den Hochschulen und wir erreichen Hochschulangeh\u00f6rige auch besser als andere Zielgruppen. Im Ergebnis sind die Daten, die wir haben (bspw. Nutzende unserer Plattformen, Evaluationen etc.) mit einer <strong>starken \u00dcberbetonung von Akademiker:innen<\/strong> belastet. Das ist nicht schlimm, wenn wir Hochschulprojekte betrachten, aber bspw. der <a href=\"https:\/\/dlc.sh\/\" data-type=\"link\" data-id=\"https:\/\/dlc.sh\/\">Digital Learning Campus<\/a> soll ja alle B\u00fcrger*innen ansprechen, dann werden unsere bisherigen Daten nicht ausreichen.<\/li>\n\n\n\n<li><strong>Wir arbeiten viel mit digital affinen Menschen<\/strong>. Menschen, die weniger technikaffin sind, k\u00f6nnen in unseren Daten und unserer Wahrnehmung schnell durchs Raster fallen.<\/li>\n\n\n\n<li>Bei Umfragen und Evaluationen tritt oft der <a href=\"https:\/\/de.wikipedia.org\/wiki\/Survivorship_Bias\" data-type=\"link\" data-id=\"https:\/\/de.wikipedia.org\/wiki\/Survivorship_Bias\"><strong>Survivorship Bias<\/strong><\/a> auf: Wir bekommen Feedback nur von denen, die es bis zur Umfrage geschafft haben \u2013 aber nicht von denen, die schon vorher ausgestiegen sind.<\/li>\n\n\n\n<li>Abmildern von Bias bleibt schwierig: Wie schafft man es, <strong>diversere Ergebnisse<\/strong> zu erzielen, <strong>ohne dabei neue Stereotype zu erzeugen<\/strong> oder <strong>unrealistische Szenarien<\/strong> zu erhalten? \u201eDer Mensch im Rollstuhl\u201c als Klischee f\u00fcr alle Menschen mit k\u00f6rperlichen und kognitiven Einstellungen ist so ein Beispiel, das man auch im Beitragsbild oben sehen kann: Wenn es dann auf einmal 6 Menschen im Rollstuhl gibt, ist das Bild ebenfalls schr\u00e4g.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Verbesserungspotenzial f\u00fcr den Workshop selbst<\/h2>\n\n\n\n<p>Bisher sehe ich keine Wiederholungen f\u00fcr diesen konkreten Workshop, dennoch m\u00f6chte ich festhalten, was ich bei einem n\u00e4chsten Mal anders machen w\u00fcrde:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Ich w\u00fcrde mir <strong>mehr Zeit verschaffen<\/strong>. Wir haben uns f\u00fcr die Workshop-Reihe jeweils eine Stunde reserviert. Leider konnten wir nur etwas zeitverz\u00f6gert starten (merke: bei Hybrid-Formaten den Raum vorher reservieren und nicht nur vorher da sein, sonst hat ihn ggf. jemand anders reserviert), das brachte mich etwas in Zeitnot. Aber auch so h\u00e4tte ich vielleicht ein kurzes Video mit den Grundlagen vorab versenden k\u00f6nnen, damit wir schneller in den Austausch starten k\u00f6nnen. Das h\u00e4tte aber zur Folge gehabt, dass sich die Kolleg*innen vorbereiten m\u00fcssen, was ich gern vermeide, da es zus\u00e4tzlichen Workload erzeugt.<\/li>\n\n\n\n<li>Ich glaube, ich bin zu lange zu allgemein geblieben. Ich wollte anschauliche Beispiele nennen, damit alle das Grundproblem besser erfassen. Ich h\u00e4tte mich aber durchaus trauen k\u00f6nnen, <strong>schneller die Anwendung auf eigene Projekte anzuregen und zu diskutieren<\/strong>.<\/li>\n\n\n\n<li>Manche Punkte h\u00e4tte ich <strong>besser und expliziter erkl\u00e4ren<\/strong> sollen, vor allem, warum ich sie in Verbindung mit KI-Systemen f\u00fcr wichtig halte. \u201eIn meinem Kopf war das klar\u201c ist halt nicht immer genug.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Fazit<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Ich habe sowohl am Anfang als auch am Ende des Workshops gesagt:<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\">\n<p class=\"wp-block-paragraph\">Das Gebiet ist <strong>riesig<\/strong> und es gibt <strong>keine L\u00f6sung<\/strong> f\u00fcr das Problem.<\/p>\n<\/blockquote>\n\n\n\n<p class=\"wp-block-paragraph\">Alles in allem war der Workshop ein guter Einstieg in ein Thema und es wird wichtig bleiben, dass wir achtsam bzgl. solcher Verzerrungen sind. Wir wollen fairere und inklusivere Systeme bauen, die f\u00fcr m\u00f6glichst viele Menschen zug\u00e4nglich und n\u00fctzlich sind. Hierf\u00fcr m\u00fcssen wir zuerst unsere eigenen Biases erkennen \u2013 und das geht nur, wenn wir bewusst hinschauen und uns dar\u00fcber austauschen.<\/p>\n\n\n","protected":false},"excerpt":{"rendered":"<p>Verzerrte Daten f\u00fchren zu verzerrten Entscheidungen. Das mag trivial klingen, aber die Auswirkungen auf KI-Systeme sind es nicht. Daten sind das Herzst\u00fcck von KI. Und wenn die Daten schon ein bisschen schief sind, wird das Ergebnis nicht gerade. Kurz: Garbage in, Garbage out.<\/p>\n","protected":false},"author":1,"featured_media":3267,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_crdt_document":"","_metis_text_type":"standard","_metis_text_length":7176,"_post_count":0,"footnotes":""},"categories":[340,366,19],"tags":[367,368,370,371,343,154,372,203],"class_list":["post-3245","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-artificial-intelligence","category-dlc","category-workshops","tag-ai","tag-bias","tag-digital-learning-campus-dlc","tag-institut-fuer-interaktive-systeme-isy","tag-ki","tag-presentation","tag-technische-hochschule-luebeck","tag-workshop"],"_links":{"self":[{"href":"https:\/\/secret-cow-level.de\/wordpress\/wp-json\/wp\/v2\/posts\/3245","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/secret-cow-level.de\/wordpress\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/secret-cow-level.de\/wordpress\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/secret-cow-level.de\/wordpress\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/secret-cow-level.de\/wordpress\/wp-json\/wp\/v2\/comments?post=3245"}],"version-history":[{"count":21,"href":"https:\/\/secret-cow-level.de\/wordpress\/wp-json\/wp\/v2\/posts\/3245\/revisions"}],"predecessor-version":[{"id":3270,"href":"https:\/\/secret-cow-level.de\/wordpress\/wp-json\/wp\/v2\/posts\/3245\/revisions\/3270"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/secret-cow-level.de\/wordpress\/wp-json\/wp\/v2\/media\/3267"}],"wp:attachment":[{"href":"https:\/\/secret-cow-level.de\/wordpress\/wp-json\/wp\/v2\/media?parent=3245"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/secret-cow-level.de\/wordpress\/wp-json\/wp\/v2\/categories?post=3245"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/secret-cow-level.de\/wordpress\/wp-json\/wp\/v2\/tags?post=3245"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}