Statusbericht

zum Projekt

11130870514_61ac00880e_o

Einige Monate ist unsere Initiative AlgorithmWatch nun alt. Die positive Resonanz auf unsere Gründung hat uns gefreut. Denn sie belegt, dass nicht nur wir uns die Frage stellen, wie eine Gesellschaft mit automatisierten, auf Algorithmen basierten Entscheidungen umgehen soll. Wir sind als Initiative bereits zu Tagungen und Diskussionsveranstaltungen eingeladen worden, auf denen wir uns mit anderen vernetzt haben, die die gleichen Ziel verfolgen.

Wir haben die letzten Wochen vor allem mit zwei Dingen verbracht: Einen ersten Workshop vorzubereiten, der jetzt im September stattfinden wird und der Frage nachgehen soll, welche Algorithmen überhaupt „gewatchted“ werden sollten (siehe dazu auch diese Sammlung). Zentral wird dafür sein, eine Kategorisierung von ADM (algorithmic decision making) zu entwickeln und ethische Kriterien entlang dieser Kategorien zu formulieren. Besagter Workshop wird durch das Bucerius-Lab der ZEIT-Stiftung unterstützt; es ist das erste Ergebnis von diversen Gesprächen mit potenziellen Geldgebern, die wir führen. Letztlich geht es darum, unserem Manifest und „Mission Statement“ Taten folgen zu lassen.

Zum anderen arbeiten wir daran, AlgorithmWatch einen institutionellen Rahmen zu geben; es wird voraussichtlich auf eine gemeinnützige Gesellschaft hinauslaufen. Wir werden es uns nicht leisten können, sofort eine Geschäftsstelle zu etablieren. Aber wir schauen uns derzeit nach einem Mitarbeiter/ einer Mitarbeiterin um, der/die uns beim Tagesgeschäft und der Website unterstützen kann, aber auch bei der Weiterentwicklung von Themenfeldern, Antragstellung und mehr.

Neben Verweisen auf die Arbeiten anderer, haben wir eine Studie unseres Kooperationspartners Nick Diakopolous  (et al.) übersetzt und veröffentlicht, daneben zwei erste Arbeitspapiere von Katharina Zweig – eine erste Studie folgt in den nächsten Tagen.

Wir schauen also guten Mutes auf die Zeit nach der Sommerpause. Wir hoffen, bald erste Schritte beim praktischen „watchen“ von algorithmenbasierten Entscheidungsprozessen zeigen zu können.

Weiterhin freuen wir uns über Feedback, Kritik und Kooperationsanfragen und wünschen Euch noch einen schönen Spätsommer.

2. Arbeitspapier: Überprüfbarkeit von Algorithmen

Arbeitspapier

Unser zweites Arbeitspapier „Überprüfbarkeit von Algorithmen“ stellt zuerst die fünf möglichen Klassen von Fehlverhalten von Algorithmen vor, aus denen minimale Kriterien an die Transparenz von Algorithmen abgeleitet werden können, um Überprüfbarkeit zu ermöglichen.mikro

Alle Begriffe (kursiv fett gesetzte Worte) werden in der Begriffsklärung  weiter unten erläutert. Das Arbeitspapier schließt mit dem Verweis auf weiterführende Literatur.

Der Text steht unter einer Creative Commons-Lizenz (Creative Commons License CC BY 4.0 Prof. Dr. K.A. Zweig, AlgorithmWatch.org) .


Überprüfbarkeit – Fehlerquellen – Transparenz

Von der Entwicklung eines Algorithmus bis zu seiner Anwendung und den Handlungen, die auf seinen Ergebnissen basieren, sind oftmals eine große Menge verschiedener Subjekte beteiligt (s. Abbildung 1): Die meisten Algorithmen werden von Wissenschaftlern entwickelt, entweder im akademischen Bereich, im öffentlichen Dienst oder in Firmen. Dies sind entweder Wissenschaftler, die aus einem bestimmten Fachgebiet kommen und für die ihnen vorliegenden Daten neue Analysemethoden entwickeln, z.B. BioinformatikerInnen, oder es sind MathematikerInnen und InformatikerInnen, die ganz allgemein mathematische Probleme mit Hilfe von Algorithmen lösen.

Weiterlesen

Die ethischen Abgründe der Big-Data-Forschung

News
RP-P-OB-86.777

Als Lernen noch eine rein menschliche Angelegenheit war.

„Ein Datensatz, den man aus dem Netz herunterladen kann, ist gemeinfrei („in the public domain“), auch wenn er ursprünglich illegal beschafft wurde, so dass seine Nutzung keiner Genehmigung durch eine Ethikkommission bedarf.“ Das ist die (natürlich übersetzte) originale Antwort eines Forschers auf die Frage von Kalev Leetaru danach, wie Forscher die ethischen Implikationen von Untersuchungen an großen Datensätzen einschätzen. Der sehr lange, hervorragend recherchierte Beitrag von Leetaru, Senior Fellow am George Washington University Center for Cyber & Homeland Security, liefert ein Panoptikum an Aussagen – und vor allem Aussageverweigerungen – der größten Universitäten, Forschungseinrichtungen und Unternehmen der USA zum Thema. Leetarus Fazit: „Es existiert kein eindeutiger Prozess, der es ermöglicht, die ethischen Rechtfertigungen für ein bestimmtes Forschungsprojekt zu prüfen, selbst wenn es von der National Science Foundation aus Steuern finanziert wurde.“ Ganz abgesehen davon, dass viele davon eindeutig nicht gerechtfertigt werden können und daher nach ihrer Veröffentlichung auch wieder  zurück gezogen wurden, weil es einen Sturm der Entrüstung durch andere Forscher gegeben hatte.

Aus der Sicht von Algorithm Watch besonders interessant sind Leetarus Recherchen zum Machine Learning:

Even research which is conducted within the university setting is increasingly pushing up against new ethical frontiers in the creation of machine learning algorithms based on vast pools of human-created training data. For example, several researchers I spoke with mentioned situations where colleagues had taken large datasets licensed to the university for strictly non-commercial use or collected from human subjects for strictly academic research and used them to construct large machine learning computer models. These models were then licensed from the university to the faculty member’s private startup, where they were then used for commercial gain. In at least some cases, protected human subjects data was used to create a computer model for academic research, which was approved by IRB, but that model was then allegedly subsequently licensed by the university for commercial use to the faculty member’s startup. None of the researchers were privy to whether IRB had approved the commercial licensing or if that occurred without IRB knowledge and they argued that the very nature of a machine learning model deidentifies such data to the point that it should no longer be considered human subjects data. Even in cases where existing “public” licensed datasets were used for IRB exempt projects, this creates a highly novel ethical and legal landscape as universities leverage their unique academic status to acquire large datasets under free or vastly reduced licensing schemes and then transform that data into commercial products. At what point is human subjects data sufficiently transformed to the point that it no longer is subject to IRB approval? Should IRBs review all commercial licensing of algorithms, datasets and software from universities for ethical oversight?

The ethical abyss of big data research

News
RP-P-OB-86.777

When learning was still a predominantly human undertaking.

“If a dataset can be downloaded from the web, regardless of whether it originated from a breach or other illegal activity, it is considered to be in the public domain and falls under the IRB exemption for public domain datasets.”

This is only one of many staggering assessments Kalev Leetaru got in response to his requests to data scientists and researchers, universities, research institutions, and research funders, asking them to elaborate on how they assured that their use of big data sets were ethically tenable. Leetaru, Senior Fellow at the George Washington University Center for Cyber & Homeland Security, was confronted with a plethora of answers – almost all explaining why the addressed would be unable to explain their reasoning. All this at a time when a number of high profile studies had to be retracted after publication in reaction to a firestorm of criticism by other researchers (who have a more accurate ethical compass, apparently).

Looking at Leetarus article, we find his findings concerning machine learning particularily illuminating:

Even research which is conducted within the university setting is increasingly pushing up against new ethical frontiers in the creation of machine learning algorithms based on vast pools of human-created training data. For example, several researchers I spoke with mentioned situations where colleagues had taken large datasets licensed to the university for strictly non-commercial use or collected from human subjects for strictly academic research and used them to construct large machine learning computer models. These models were then licensed from the university to the faculty member’s private startup, where they were then used for commercial gain. In at least some cases, protected human subjects data was used to create a computer model for academic research, which was approved by IRB, but that model was then allegedly subsequently licensed by the university for commercial use to the faculty member’s startup. None of the researchers were privy to whether IRB had approved the commercial licensing or if that occurred without IRB knowledge and they argued that the very nature of a machine learning model deidentifies such data to the point that it should no longer be considered human subjects data. Even in cases where existing “public” licensed datasets were used for IRB exempt projects, this creates a highly novel ethical and legal landscape as universities leverage their unique academic status to acquire large datasets under free or vastly reduced licensing schemes and then transform that data into commercial products. At what point is human subjects data sufficiently transformed to the point that it no longer is subject to IRB approval? Should IRBs review all commercial licensing of algorithms, datasets and software from universities for ethical oversight?

Die unsichtbare Macht: Der Stern über Algorithmen und Algorithm Watch

Allgemein

FirefoxDer Stern widmet der mangelnden Transparenz und Überprüfbarkeit algortihmisch gesteuerter Prozesse eine Story im aktuellen Heft: Datenkontrolle: DIE UNSICHTBARE MACHT. Algorithmen bestimmen, welche Nachrichten Facebook oder Google anzeigen und wer Kredit bekommt – im Geheimen. Autor Dirk Liedtke hat auch mit Algorithm Watch gesprochen:

„Wir wollen den Firmen auf die Finger gucken und für mehr Transparenz sorgen“, sagt Katharina Zweig, Informatikprofessorin an der TU Kaiserslautern. Sie gehört zu den vier Gründern von Algorithmwatch, neben den Berliner Journalisten Lorenz Matzat und Matthias Spielkamp sowie der Philosophin Lorena Jaume-Palasì von der Ludwig- Maximilians-Universität München. „Neutral“ seien Formeln nie, heißt es im Manifest der digitalen Bürgerrechtler: Schon heute behandeln Algorithmen bei Google und Facebook Nutzer unterschiedlich.

Der komplette Artikel kann im Heft oder im (kostenpflichtigen) E-Paper gelesen werden.

Brainstorming

Kooperation

telescope_d_herschellIn English

Wir bitten um Eure Mitarbeit: In dieser Tabelle sammeln wir konkrete Algorithmen, aber auch Themengebiete, in denen Algorithm Accountability Bedeutung zu kommt. Angelehnt an unser ADM Manifest suchen wir solche Algorithmen, die Bürgerrechte und die Allgemeinheit unmittelbar betreffen. Wir würden uns freuen, wenn ihr helft, diese Liste mit zu füllen. Sie wird öffentlich bleiben und allen zur Verfügung stehen. Wir werden in wenigen Wochen die Liste auswerten und daraus für uns mögliche Schritte sowie Ansatzpunkte entwickeln.

English:

We kindly ask for your assistance. In this spreadsheet we are collecting sources and types of algorithms as well as use cases for algorithmic accountability . We are looking for descriptive, predictive and prescriptive algorithms that have a direct effect on the public good or civil liberties (see our ADM Manifesto).  We would very much appreciate your help in extending this list! It will remain public and open to anyone interested. In the coming weeks and months we will evaluate the suggestions and develop potential next steps and approaches for research and inquiry.

Wir müssen Maßstäbe für Verantwortlichkeit definieren

Interview

RP-P-1911-3380Natali Helberger ist Professorin für Informationsrecht am Institut für Informationsrecht (IVIR) der Universität Amsterdam. Sie untersucht die Schnittstellen von Technologie und Informationsrecht und der sich wandelnden Rolle des Nutzers. Wir sprachen mit ihr über die Fragen, wie gut der Begriff „Algorithmus“ geeignet ist, neue Entwicklungen zu fassen, welchen rechtlichen Herausforderungen wir gegenüber stehen und wie wir Beurteilungskriterien für unseren Umgang mit algorithmisch gesteuerten Prozessen entwickeln können.

Was sind die Chancen und Herausforderungen, die mit Algorithmen einhergehen?

Die Chancen und Herausforderung liegen in der Kombination von Algorithmen, Big Data, stark verbesserten Computern und Speicherkapazitäten sowie wissenschaftlichem Fortschritt, zum Beispiel auf dem Gebiet des maschinellen Lernens. Diese Kombination erlaubt es uns, mit Daten Dinge zu tun, die wir früher nicht konnten. Wir können intelligenter suchen, Epidemien vorhersagen, große Mengen von Twitter-Daten durchforsten, um Hinweise auf neue Entwicklungen oder Trends zu bekommen, die Nachrichten an persönliche Interessen anzupassen und vieles mehr. Diese Entwicklungen schaffen Chancen für viele spannende neue Dienste und Anwendung.
Weiterlesen

Algorithmen entscheiden nicht. Die Entscheidung bleibt unsere Angelegenheit.

Interview
The Great Hall of the Binnenhof, The Hague, during the Great Assembly of the States-General in 1651

The Great Hall of the Binnenhof, The Hague, during the Great Assembly of the States-General in 1651

Können Algorithmen sinnvoll getestet werden? Wer sollte das tun? Was, wenn maschinelles Lernen ins Spiel kommt? Ein Gespräch mit Agata Królikowski, Sprecherin der Fachgruppe „Internet und Gesellschaft“ der Deutschen Gesellschaft für Informatik, über Black Boxes, den Heartbleed-Bug und die Frage, welche Ausbildung InformatikerInnen haben sollten.

Was ist das Neue an Algorithmen? Inwiefern gibt es hier Herausforderungen, die über das hinausgehen, was in den letzten Jahren schon unter dem Schlagwort Big Data praktiziert und diskutiert wird?

Big Data ist immer noch das zentrale Thema. Mustererkennung, Analyse von verborgenen Regelmäßigkeiten: das alles wird mit Big Data gemacht. Aber wir sind eigentlich immer noch dabei, mit Algorithmen zu experimentieren, die aus Big Data Smart Data machen können, um Geräte so miteinander kommunizieren zu lassen, dass sie den Alltag des Menschen wirklich verbessern. Hier sind vor allem Algorithmen des maschinellen Lernens im Einsatz. Ein zentrales Beispiel ist die Spracherkennung, wie sie mittlerweile in die meisten Mobiltelefone integriert ist. Der Anwendungsbereich für Algorithmen zur Verarbeitung von Big Data hat ungeheures Potenzial. Eine große Herausforderung ist aber immer noch die Zuverlässigkeit. Das war es aber von Anfang an – und wird auf absehbare Zeit auch so bleiben.

Weiterlesen

Algorithms make no value judgements – except the ones designed by humans

News

Koning-Karel-II-van-Engeland-960px

„Judgments, when being made by humans, can never be considered value-neutral.“ Says Danny Yadron, technology reporter for Guardian US in his article Facebook controversy shows journalists are more complicated than algorithms. True enough. The problem with his article: The underlying assumption that in contrast to human curation, algorithmic curation is value neutral. It is not.

Weiterlesen