PROBABLY PRIVATE

Justice vs. AI Discrimination

Now, for privacy! I have followed the trial of the George Floyd murder daily and am now relieved by the verdict. It also reminded me that I had been promising myself for months that I would write something about "Big Data’s Disparate Impact". The research is now 5 years old, but is still relevant. The Floyd murder is an example of the continued inequalities and injustices in our world, and the verdict is an example of why we need broader reaching justice and law.

Let me summarize the work briefly:

As we may all know by now, “big data” or larger amounts of data implies discrimination. Algorithms can also have a discriminatory effect, highlighting and reinforcing inequalities. If we use this large amount of data with “discriminatory” algorithms, we’ve essentially built an automated injustice machine, even if we didn’t intend to do so. The authors go into the topic in detail. They describe how this discrimination or introduction of biases also works with data labeling, feature engineering and target variable selection in order to amplify inequalities.

Then the authors suggest that Title IX and other anti-discrimination laws are not really suitable for regulating algorithms, models and “big data”. Title IX is well known for its regulation of sports clubs and university sports teams; usually to fight inequalities in spending and amenities between men's and women's teams. Title IX is also known in the Employment Act and the Financial Regulation Act for “Disparate Impact” and “Disparate Treatment”. These are legal tests that show whether there is either intent to discriminate or a statistical tendency to discriminate (even when there is no intent). As with many laws, it’s difficult to predict whether discrimination could be legally handled without being a lawyer. You have to collect as many examples as possible, find a good lawyer, organize with other colleagues and build collective power if possible.

As we know, it’s difficult to prove that an algorithm or model is discriminatory, even when we have collected enough data to be able to show the result statistically. First we need to find a way to present the model with lots of examples. To do that, we also need to know what features the model is using so that we can test them. It is often not that easy to change these characteristics accurately because we are unfamiliar with the hidden patterns. For example, in the United States, many zip codes are proxies for race. So you have to know what characteristics the discriminated group has and how they are used in the model. With deep learning this is even more difficult because often no features are engineered directly, and the larger the model, the more peculiarities that can result.

In the third part of the research, the authors explain the difficulties in creating reform measures. First, as I mentioned, there are the technical difficulties that appear in data mining or machine learning. Complex amounts of data, social and structural inequalities in data, discriminatory target variables and data proxies that secretly report gender, race, age and other information. Second, there are “external” difficulties, or legal and theoretical obstacles, that stand in the way. When we correct structural inequalities, it can seem like we are holding back privileged people. For example, if we create a new exam that is more equitable between different races, genders or ages, then the previous “majority” may get lower scores than before. If the results are too unequal, then the privileged person can use the law and prove the new test to be “unequal treatment”. Then we are stuck between a rock and a hard place. We know we need to do more to address historical inequalities, but it is quite difficult to find a legal path that is really appropriate.

The authors ask, would it be okay if an employer hires almost no women because the model says they will leave the position faster than men do? We want to say no, but why? When the employer has a valid reason, which is that the model is better than people with their own prejudices. Since the model said yes at least once to hiring a woman, we cannot prove why the treatment in the eye of the law is unequal, even if it seems morally or ethically clear. We need a lot more evidence for this, and it often cannot be produced. If we think about the many published debates we have now in the AI space, what has changed from a legal perspective? As I see it, unfortunately not much. We can say that maybe with GDPR we can get more transparency, examine the models more closely or control automated decisions, but almost no one has complained about this in the judiciary. It’s great that we now have more attention and shared knowledge around the issues, but we also need laws that can be used to protect people and groups. And the ones we have now are not prepared for it.

When we talk about regulatory interventions, we need to look at the big picture. There are so many uses of personal data and AI that are problematic. We now have AI that can “identify” our feelings (thanks to Amazon Halo), that spread white supremacy and right-wing extremism (thanks to YouTube and other social media), that tracks and spies on Communities of Color (thanks to Dataminr). From my point of view, we cannot separate justice from data protection either. As the IAPP Report of Facial Recognition Technology says:

"Efforts to protect the right to privacy have long shared the same goals as efforts to preserve other fundamental rights. Stated differently, technologies that pose risks to privacy can also pose risks to other fundamental rights."

Clearview AI and its work with many law enforcement and government agencies is a good example of the problematic links between data protection, artificial intelligence and human rights.

I'm looking forward to new initiatives from organizers fighting for more trustworthy AI, but I'm afraid the focus may be too narrow. What if, instead of regulating “ethical AI”, we had a ban on automated decisions made from personal data? That seems “impossible”, but a regulation that has to do only with AI and only with discrimination has the same problems that we have with Title IX now... I am not alone with this opinion - Kate Crawford explains in this one Nature article that we need laws for questionable AI use like emotion recognition now because the ever-increasing reach of these types of AI doesn't seem to be stopping anytime soon.

There are a few examples from the current news of how we can regulate differently or make laws. The ACLU is suing for unlawful arrest based on false facial recognition results. And here in Europe, politicians are recommending new laws to restrict AI use and regulate it more closely. There is, of course, a lot of criticism and ambiguity around that proposal because the new law is very broadly defined, but the debate is also an important part of this transformation.

Ungerechtigkeiten und KI-Regulierung

Hallo Freund:innen und Leser:innen,

Es ist lange her seit ich letztes Mal einen Newsletter geschrieben habe. Wie wir alle wissen, haben die letzten Monate sehr viel Energie gebraucht. Hier in Deutschland sind wir immer wieder im Lockdown. Wir sind immer wieder in zu vielen Zoom-Meetings. Wir sind alle müder als früher.

Das ist normal und natürlich. Ich versuche mich mit Selbstmitgefühl und auch Empathie für andere zu stärken. Wir werden eventuell wieder ein “normales” Leben und normale Energie haben. Aber, bis dahin, habt einfach Mitgefühl, atmet ein, atmet aus, habt Geduld, bleibt offen und so locker wie möglich.

Jetzt, zur Privatsphäre! Ich bin täglich der Gerichtsverhandlung von dem Mord von George Floyd gefolgt und bin jetzt erleichtet von dem Urteil. Es hat mich auch erinnert, dass ich seit Monaten mir selbst versprochen habe etwas über "Big Data’s Disparate Impact" zu schreiben. Die Forschungsarbeit ist jetzt 5 Jahre alt, aber die ist immer noch aktuell. Der Mord Floyds ist ein Beispiel für die immer bleibenden Ungleichheiten und Ungerechtigkeiten unserer Welt, und das Urteil ist ein Beispiel warum wir Recht und Gerechtigkeit brauchen.

Ich fasse die Arbeit kurz zusammen:

Wie wir vielleicht jetzt alle wissen, “Big Data” oder größere Datenmengen implizieren Diskriminierung. Algorithmen könnten auch diskriminierend wirken, Ungleichheiten hervorheben und verstärken. Wenn wir diese vielen Daten mit “diskriminierenden” Algorithmen nutzen, dann haben wir eine automatisierte Unrecht-Machine gebaut, auch wenn wir das nicht beabsichtigt haben. Die Verfasser vertiefen das Thema sehr gut. Sie beschreiben wie es auch mit Labeling oder Bescheinigung, Feature Engineering und Auswahl der Zielvariable funktioniert, um Ungleichheiten zu verstärken.

Dann schlagen die Verfasser vor, dass Title IX und andere Anti-diskriminierungsgesetze nicht wirklich geeignet sind, Algorithmen, Modelle und “Big Data” zu regulieren. Title IX ist sehr bekannt bei Sport-Vereinen und Universitätssportvereinen; normalerweise um gegen Ungleichheiten bei Spenden und Beihilfe zwischen Männer- und Frauenteams zu kämpfen. Title IX ist auch bekannt beim Beschäftigungsgesetz und beim Finanzregulierungsgesetz wegen “Disparate Impact” und “Disparate Treatment”. Diese sind gesetzliche Prüfungen, die zeigen, ob entweder die Absicht zur Diskriminierung oder eine statistische Tendenz zur Diskriminierung vorliegt (ebenso wenn keine Absicht vorliegt). Wie bei vielen Gesetzen, ist es bei Title IX schwer vorherzusehen, ob eine Diskriminierung gesetzlich bearbeitet werden kann. Man muss viel beweisen, eine gute Anwältin finden, mit anderen Kollegen organisieren und eine kollektive Macht aufbauen, wenn möglich.

Wie wir wissen, ist es dann schwer zu prüfen, dass ein Algorithmus oder ein Modell diskriminierend wirkt, sogar wenn wir genug Daten gesammelt haben, das Ergebnis statistisch zeigen zu können. Zuerst müssen wir einen Weg finden, das Modell mit vielen Beispielen zu präsentieren. Zunächst müssen wir wissen, welche Merkmale das Modell prüft, sodass wir sie testen können. Es ist oft nicht so einfach, diese Merkmale richtig zu ändern, weil uns viele Muster unbekannt sind. Zum Beispiel hängen in den Vereinigten Staaten viele Postleitzahlen mit Rassen zusammen. So man muss dann auch wissen, welche Merkmale die diskriminierende Gruppe hat und wie sie als Konsequenz in den Modellen benutzt werden. Mit Deep Learning ist das dann auch schwerer, weil oft keine Merkmale direkt benutzt werden, und je größer das Modell, desto mehr Eigenarten sind im Ergebnis zu erkennen.

Im dritten Teil der Forschungsarbeit, erklären die Verfasser die Schwierigkeiten Reformmaßnahmen zu schaffen. Erst, wie ich eingangs erwähnt habe, sind die technischen Schwierigkeiten, die im Data Mining oder maschinellen Lernen erscheinen. Komplexe Datenmengen, soziale und strukturelle Ungleichheiten in Daten, diskriminierende Zielvariablen und Data-Proxies, die heimlich Geschlecht, Rasse, Alter und andere Informationen melden.

Zweitens, sind es “externe” Schwierigkeiten, oder, gesetzliche und theoretische Hindernisse, die im Weg stehen. Wenn wir strukturelle Ungleichheiten korrigieren, kann es so scheinen, als ob wir privilegierte Menschen zurückhalten. Zum Beispiel, wenn wir eine neue Prüfung erstellen, die gerechter zwischen unterschiedlichen Rassen, Geschlecht oder Alter ist, dann kann die vorherige “Mehrheit” niedrigere Resultate als vorher erhalten. Wenn die Resultate zu ungleich sind, dann kann eben der privilegierte Mensch das Gesetz nutzen, und die neue Prüfung als “ungleiche Behandlung” beweisen. Dann sind wir wieder im Mittelalter. Wir wissen, dass wir mehr tun müssen die historischen Ungleichheiten zu bekämpfen, aber es ist ziemlich schwer einen gesetzlichen Weg zu finden, der wirklich geeignet ist.

Die Verfasser fragen: Wäre es in Ordnung, wenn ein Arbeitgeber fast keine Frauen einstellt, weil das Modell sagt, dass sie die Stelle schneller verlassen werden als Männer? Wir wollen Nein sagen, aber warum? Wenn der Arbeitgeber einen zulässigen Grund hat, nämlich, dass das Modell besser ist als Menschen mit Vorurteilen. Weil das Modell einmal Ja gesagt hat, eine Frau einzustellen, können wir nicht beweisen, warum die Behandlung im Auge des Gesetzes ungleich ist, sogar wenn es moralisch oder ethisch klar scheint. Dafür brauchen wir viel mehr Beweise und die sind oft nicht zu erbringen.

Wenn wir über die vielen veröffentlichten Debatten nachdenken, die wir jetzt im KI-Bereich haben, was hat sich von gesetzlicher Perspektive geändert? Wie ich es sehe, leider nicht viel. Wir erklären, dass wir vielleicht mit DSGVO mehr Transparenz kriegen können, die Modelle näher zu prüfen oder automatisierte Entscheidungen zu kontrollieren, aber fast niemand hat im Gerichtswesen bisher darüber geklagt. Ich glaube es ist gut, dass wir jetzt mehr Aufmerksamkeit und geteiltes Wissen über die Themen haben, aber wir brauchen auch Gesetze, die genutzt werden können Menschen und Gruppen zu schützen. Und die, die wir jetzt haben, sind nicht dafür vorbereitet.

Wenn wir über regulatorische Interventionen reden, müssen wir das Gesamtbild sehen. Es gibt so viele Anwendungen von persönlichen Daten und KI, die merkwürdig sind. Wir haben jetzt KI, die unsere Gefühle “identifizieren” kann (Danke Amazon Halo), die White Supremacy und Rechtsextremismus verbreitet (Danke YouTube und andere Soziale Media), die Communities of Color verfolgt und ausspioniert (Danke Dataminr). Aus meiner Sicht können wir auch nicht Gerechtigkeit von Datenschutz trennen. Wie die IAPP Bericht von Gesichtserkennungs-Technologie sagt:

“Die Bemühungen zum Schutz des Rechts auf Privatsphäre verfolgen seit langem dieselben Ziele wie die Bemühungen zur Wahrung anderer Grundrechte. Anders ausgedrückt können Technologien, die ein Risiko für die Privatsphäre darstellen, auch ein Risiko für andere Grundrechte darstellen.”

Es ist mir klar, dass Technologie, die mit Privatsphäre und KI arbeitet, oft zweifelhaft ist. Clearview AI und ihre Arbeit mit vielen Polizeibehörden und staatlichen Stellen sind ein gutes Beispiel für die problematischen Verbindungen zwischen Datenschutz, künstlicher Intelligenz und Menschenrechten.

Ich freue mich auf neue Bewegungen von Organisator:innen, die für vertrauenswürdigere KI kämpfen, aber ich fürchte der Schwerpunkt ist vielleicht zu eng ausgerichtet. Was wäre, wenn wir statt einer Regulierung für “ethische KI” ein Verbot für automatisierte Entscheidungen von persönlichen Datenmengen hätten? Das scheint “unmöglich” zu sein, aber eine Regulierung, die nur mit KI und nur mit Diskriminierung zu tun hat, hat dann die gleichen Probleme die wir mit Title IX jetzt haben… Ich bin nicht allein mit dieser Meinung - Kate Crawford erklärt in diesem Nature Artikel, dass wir Gesetze für fragwürdige KI-Nutzung wie Gefühlserkennung jetzt brauchen, weil die ständig wachsende Reichweite dieser KI nicht zu stoppen zu sein scheint.

Es gibt ein paar Beispiele aus der aktuellen Nachrichten, wie wir anders regulieren oder Gesetze geben können. Ein Fall aus den Vereinigten Staaten klagt gegen falschen Gesichtserkennungsergebnisse, die ein Mann ungerecht verhaftet hat. Und hier in Europa, Politiker:innen verfassen neue Gesetze, KI-Nutzung zu beschränken und näher regulieren. Es gibt, natürlich, viel Kritik und Unklarheit, weil der neue Gesetzesentwurf sehr breit definiert ist, aber die Debatte ist auch ein wichtiges Teil dieser Transformation.

Ich würde mich auch sehr freuen eure Meinungen zu hören. Soll “Big Tech” sich selbst regulieren? Werden neue Gesetze helfen? Wie sieht es in anderen Ländern aus? Bitte sprecht mich an und stellt eure Fragen. :)

I would also be very happy to hear your opinions. Should “Big Tech” self-regulate? Will new laws help? What is it like in other countries? Feel free to write back or send out a Tweet, sharing your ideas and questions. :)