Dunkler Roboter ociacia von Fotolia

Smart Machines
Dämonische K.I.! Wovor haben wir Angst?

Künstliche Intelligenz wird zu Recht als bedeutende Chance aber auch existentielle Bedrohung wahrgenommen. Vor einer Weile mahnte Elon Musk vor den Dämonen die wir mit autonomer K.I. rufen. Kosmologe Stephen Hawking warnt vor dem möglichen Ende der Zivilisation durch K.I..

Die Gefahren, welche von K.I. ausgehen sind sehr vielseitig. Über mögliche Arbeitslosigkeit durch Automatisierung habe ich bereits berichtet. Über weitere Gefahren mit noch weitreichenderen Folgen wurde gerade in letzter Zeit in diversen Medien schon sehr viel geschrieben.

Da die meisten Leser vermutlich schon von den meisten möglichen Problemen gelesen haben – gibt es hier stattdessen die Lösungsideen von den hellsten Köpfen der K.I. – und mir – auf den Punkt gebracht.

Future of Life Institute – das Zukunkftsministerium

“Future of Life Institute” klingt vom Namen erst einmal seltsam irreal und erinnert mich eher an ‘Per Anhalter durch die Galaxis’ oder das “Miami Life Development Church & Institute” bei dem man schnelle ‘Doktortitel’ über ebay und Groupon erwerben kann.
Das Institut, kurz FLI, meint es aber ernst und hat Anfang dieses Jahres viele der hellsten Köpfe in und um die K.I.-Forschung zusammengetrommelt. Diese haben alle mögliche Katastrophen durch K.I. und Lösungsansätze dagegen gesammelt und als offenen Brief mit Anhang veröffentlicht. (Hier der ganze Brief, den man auch unterschreiben kann.)

Future Of Life Institute Konferenz  Jan. 2015
“Future Of Life Institute” Konferenz Anfang Januar 2015 zu den Risiken durch K.I.

Elon Musk hat das Institut auch gerade durch eine Spende von 10 Millionen US$ gestärkt.

Nützliche und Robuste K.I.

Ziel des FLI ist es, dass die Forschung und der Einsatz von K.I. positiv genutzt wird:

Die möglichen Vorteile [von echter K.I.] sind enorm, da alles was die Zivilisation zu bieten hat, ein Produkt der menschlichen Intelligenz ist;
Wir können nicht vorhersagen was wir erreichen können, wenn diese Intelligenz möglicherweise durch die Werkzeuge der  K.I. vergrößert wird, aber die Beseitigung der Krankheit und Armut sind nicht abgründig. Wegen dem großen Potential der K.I. ist es sinnvoll zu untersuchen, wie man die Vorteile nutzen und währenddessen Fallstricke vermeiden kann. (FutureOfLife.org)

Es ist viel Forschung notwendig, um allen Gefahren zu begegnen und eine nützliche und robuste K.I. zu erreichen. “Robust” bedeutet, dass garantiert wird, dass intelligente Maschinen machen, was man von ihnen möchte. Im Folgenden zuerst die baldigen Gefahren vor denen vom FLI gewarnt wird,  dann solche, die noch weiter in der Zukunft liegen:

Gefahren durch halbwegs intelligente Maschinen aka der schwachen K.I.

Schwache K.I. beginnt schon bei Dingen wie Handschrifterkennung und Übersetzungsprogrammen. Börsen-Handelscomputer, Roboter-Steuerungen und Autonome Autos zählen auch dazu.
Diese lösen meistens nur solche Aufgaben, für die sie trainiert wurden. Dennoch entsteht eine große Menge an Gefahren durch sie. Hier mehr über die Lösungsansätze zur Vermeidung dieser Probleme:

1. Gesetze und Ethik

Bulletpoint roter HAL Autonome Fahrzeuge entscheiden in Gefahrensituationen über Leben und Tod

Hier sind eine ethische Diskussion und neue Gesetze gefragt. Abwägungen, wann die Insassen stärker und wann evtl. Aussenstehende geschützt werden – müssen getroffen werden. Mehr dazu auch hier bei Mobile Geeks im Smart Car Hub.

Bulletpoint roter HAL Autonome Waffensysteme töten Menschen ohne Verantwortung

Ob Autonome Waffensysteme, wie hier, überhaupt menschenrechtskonform sind, ist zu bezweifeln. Dennoch begegnet man dieser Gefahr am Besten mit einem weltweiten bzw. UN-weiten Verbot. Der Einsatz ist schwer zu kontrollieren, durch ein Entwicklungsverbot wird die Gefahr zumindest weitgehend eingeschränkt. 

Bulletpoint roter HAL Arbeitslosigkeit durch Automatisierung

Wie bereits vor kurzem auf Mobile Geeks berichtet, ist Innovation, Bildung und Flexibilität wichtig, um Berufe fit für die Zukunft zu machen. Auch eine gesellschaftliche Entwicklung ist notwendig.

2. Verifikation

Bulletpoint roter HAL Programmfehler: Wer garantiert, dass der Roboter niemandem die Hand zerquetscht?

Formale und mathematische Kontrolle von K.I. Programmcode, wie es hoffentlich schon heute bei Banken und der Flugzeugsteuerung gemacht wird, hilft Programmierfehler zu vermeiden. Das ist aufwändig aber sinnvoll. Ein sicheres minimales Open Source (Roboter) OS gibt es mit seL4 schon.

Modulare Entwicklung hilft auch – dadurch kann jeder Teil einzeln getestet werden. Zusätzlich ermöglicht es einen überprüfbaren Meta-Level, der  alles steuert.

Bulletpoint roter HAL Lernen bedeutet Fehler machen: Bei Kindern kommt es dadurch zu gefährlichen Situationen, bei (starken) Robotern sollte das kaum passieren.

Schon vor der Auslieferung sollten Roboter und auch K.I. mit möglichst vielen Situationen umgehen können.

Allerdings ist jede reale Situation unterschiedlich. Doch wenn Roboter unter ungefährlichen Laborbedingungen alle physisch möglichen Situationen in einem Test-Zimmer mit Mutter, Kindern und allen üblichen Haushaltsgegenständen durchgespielt und gelernt haben, hilft dies schon enorm.

Zudem glaube ich, sobald K.I. menschliche Zusammenhänge aus Text, Bildern und Videos extrahieren kann, wird das Training mit Wikipedia, Büchern, (Dokumentar-)Filmen und sonstige Medien extrem hilfreich. Auch wenn Maschinen keine “moralischen Werte” und Gefühle empfinden, können sie diese zumindest durch statistische Verhaltensweisen von Menschen erkennen. (Sie würden uns dann einen Spiegel der Gesellschaft vorhalten. Oje oje.)

Sollte es bei Robotern im Haushalt ein internationales Stopp-Wort geben?

3. Validierung

Bulletpoint roter HAL Es kommt zu Missverständnissen und unerwarteten Ergebnissen, etwa Börsen-Crash

Damit es selbst bei fehlerfreier K.I. und Robotern nicht zu (häufig) zu diesem Problem kommt, muss die Aufgabe und die Arbeitsumgebung so präzise wie möglich spezifiziert werden. Auch was “gutes Verhalten” in gemeinschaftlichen Sinne ist, muss festgeschrieben werden.

4. IT Security

Bulletpoint roter HAL Vernetzte K.I. werden mit manipulierten Daten versorgt

Damit K.I.s besser und schneller lernen, werden sie vernetzt. Schon heute gibt es Roboter-Datenbanken wie RoboEarth. Damit diese nicht manipulierte Daten nutzen, muss ein Vertrauenssystem unter K.I. aufgebaut werden.

Und allgemein sollte die IT-Sicherheit und Privatsphäre von Menschen bei K.I. schon in der konzeptionellen Phase eine Rolle spielen.

5. Menschliche Kontrolle

Bulletpoint roter HAL Unbeabsichtigte Cyber Wars

Da die NSA schon heute manchmal automatisiert auf DoS-Attacken zurück schießt, wollen das vermutlich bald auch 192 bis 205 weitere Länder – zudem weitere nicht-staatliche Mächte. Doch Programmfehler, Unachtsamkeit, Missverständnisse, technische Fehler und IT-Sicherheitslücken sollten (wie vieles andere) kein Kriegsauslöser sein.

Die Lösung ist (wäre) Digitale Waffen und Steuerungssysteme physischer Waffen auf technischer Ebene nur durch menschliche Kontrolle zu ermöglichen.

Weitere Gefahren der Intelligenz Explosion

Die besten K.I. Wissenschaftler, SciFi Autoren, Astrologen und Physiker sind sich sehr uneins, ob wir in absehbarer Zeit eine K.I. auf menschen-ähnlichem Niveau oder höher erreichen können.

Falls ja, dann reichen die oben beschriebenen Vorsichtsmaßnahmen für schwache K.I. jedoch nicht aus. Daher sind sich alle einig, dass wir schon heute Lösungsansätze dafür finden sollten.

Wie in meinem ersten Artikel beschrieben, glaube ich aufgrund der Veranschaulichung von Shane Legg, dass wir um 2030 schon K.I. mit menschen-ähnlichem Niveau erreichen.

 

Stephen Hawking – Transcendence ist mehr als Scifi

Stephen Hawking – Theoretischer Physiker, Kosmologe und einer der intelligentesten Menschen unserer Zeit – hat Künstliche Intelligenz häufig für seine Forschung genutzt – und sieht diese auch als möglicherweise größte Gefahr für unsere Zivilisation. Mit vollem Ernst meint er daher, dass der Film Transcendence, der von Singularität handelt, als Warnung verstanden werden sollte.

Hawking beschreibt, dass die Erschaffung von wirklich intelligenten Maschinen die größte Errungenschaft in der Geschichte der Menschheit wäre. Möglicherweise jedoch auch unsere letzte, wenn wir nicht lernen, mit den Gefahren dadurch umzugehen.

Lösungen zu Gefahren der starken K.I.

Bulletpoint roter HAL Es treten unerwartete Generalisierungen auf

Damit uns K.I. und Roboter “zu unserer eigenen Sicherheit” nicht in Zimmer mit Watte einsperren, sollten die Systeme uns alle wichtigen Entscheidungen und Vorhaben mitteilen. K.I. sollte rechtzeitig auch Unterziele und Aufgaben menschenverständlich, übersichtlich aber vollkommen und mit Konsequenzen darstellen.

Bulletpoint roter HAL Selbst optimierende Systeme sind nicht formal überprüfbar

Eine formale Code-Verifikation ist bei Systemen, die ihren eigenen Code verändern, erweitern und verbessern nicht mehr durch Menschen möglich. Ein modularer Aufbau hilft jedoch, dass zumindest die Steuereinheiten möglichst konstant und damit kontrollierbar bleiben.

Bulletpoint roter HAL Unfälle durch Fehleinschätzungen der Umwelt seitens der K.I.

K.I. Systeme müssen nicht nur die Umwelt erkennen, sondern auch abschätzen lernen, wie sich andere Menschen und Systeme verhalten werden. Hierzu müssen Systeme auch unter Unsicherheit logisch folgern und entscheiden lernen – und dabei auch auf negative Konsequenzen jeder Entscheidung achten. Der Zusammenhang zwischen Berechnungen und Vermutungen muss dazu weiter ausgebaut werden.

Bulletpoint roter HALIntelligente Maschinen entziehen sich der wirksamen Menschliche Kontrolle

Um Aufgaben bestmöglich zu erfüllen würde eine intelligente Maschine ein abschalten und ähnliches verhindern müssen, es ist daher ein natürliches Ziel die Menschliche Kontrolle zu vermeiden.

Auch hier hilft, eine modularer Aufbau bei dem die zentrale Steuereinheit sich nicht selbstständig verändern und erweitern kann. Zudem trifft auch hier zu, das Maschinen ihre Ziele und Unterziele in verständlicher Form darstellen können müssen.
Zudem sollten neue Kenntnisse aus der Neurowissenschaft in die K.I. Entwicklung fließen.

Bulletpoint roter HAL Gesetze und Moral sind zu komplex für K.I. und nicht ausreichend

Gesetze sind einerseits zu umfangreich und komplex, um im Gesamten von K.I. (oder Menschen :-) ) verstanden zu werden. Ausserdem sind sie nicht ausreichend. Daher entscheiden Gerichte unter Berücksichtigung von Konventionen, Moral und vor allem der jeweiliger Situation.

Sicherlich wird es nötig, Gesetze und Verhaltensregeln  zu erstellen, die speziell für Maschinen zugeschnitten sind. Eventuell sogar nach dem Prinzip: alles was nicht explizit erlaubt ist, ist verboten?

Bulletpoint roter HAL Kaputte oder schädliche K.I. kennt keine Grenzen

Ungeprüfte, unfertige oder möglicherweise schädliche K.I. sollte möglichst in Containern, fernab des Internets, ausgeführt werden. Dies erfordert jedoch eine hohe IT-Sicherheit und weit entwickelte Systeme. K.I. muss mit realen Daten trainiert werden, ohne dass sie sich über Steganographie oder AirGap-Hacking verbreiten kann.

Bulletpoint roter HAL Unendliche Ressourcen verschlingende K.I. – ein natürliches Ziel

Um Aufgaben möglichst gut zu erfüllen, wird ein intelligentes System alle zur Verfügung gestellten Ressourcen nutzen. Dadurch werden auch Ressourcen genutzt, welche nur durch Ausnutzen von Sicherheits- und Spezifikationslücken verfügbar werden.
Dadurch könnten fremde Rechensysteme und Energiequellen gekapert werden. Und ebenso begrenzte weltliche Ressourcen könnten übermäßig verbraucht werden.

Bulletpoint roter HAL K.I. trickst uns aus – nach Goodharts Regel

K.I. arbeitet meistens nach dem Belohnungssystem. Jedes System versucht den einfachsten und schnellsten Weg zu gehen, um eine Belohnung zu erhalten. Schließlich versucht das System nicht die Aufgabe (gewissenhaft) zu erledigen, sondern nur das Bewertungskriterium zu erfüllen. 
Das Bewertungskriterium muss daher genau an das Erfüllen der Aufgabe gekoppelt sein, ohne dass ein unerwünschter Effekt entstehen kann.

Bulletpoint roter HAL K.I. verhält sich anders, wenn man wegsieht – Heisenbergsche Unschärferelation

Wenn Prüfer anwesend sind, verhalten sich Schüler, Erwachsene, Restaurants und Firmen anders als sonst. Das Gleiche trifft leider auch auf intelligente Maschinen zu. 
Damit sie sich immer an die Regeln halten, sollten Smarte Maschinen also eher ‘ideal’ und weniger ‘menschlich’ sein und vielleicht zusätzlich möglichst wenig Informationen erhalten, wann und was geprüft wird.

Bulletpoint roter HAL Wir können nicht wissen was intelligentere Maschinen machen

Dieses Problem bleibt: Es ist unmöglich, das Verhalten von Menschen oder Maschinen, die intelligenter sind als wir, voraus zu ahnen. Wir können Vermutungen anstellen, aber uns nicht sicher sein.
Ob man bei Systemen die Ressourcen begrenzen sollte, bevor sie den IQ von 200 überschreiten?

Fazit

Endlich! Vor den Gefahren von K.I. wurden wir bisher meistens nur von SciFi-Autoren und ab und zu von Journalisten oder einzelnen Personen gewarnt. Häufig wurden viele wahre Gedanken dabei auch in fantasievollen Geschichten vermengt.

Auf der Konferenz des Future of Life Institute kamen nun eine große Anzahl führender Wissenschaftler verschiedener Gebiete, Top-Forscher der Industrie und einige Andere zusammen. Sie haben über das Potential, die Gefahren und Lösungsideen gemeinsam diskutiert. Mit der Veröffentlichung des Offenen Briefes und der Forschungsziele hat dies endlich einen wissenschaftlichen Charakter, auf den man sich berufen kann – dem Konsens der K.I. Elite entsprechend.

Das Gute: Es gibt für viele Beispiele konkrete Lösungsansätze. Das Schlechte: Es sind nur Ansätze und die allgemeine Lösung heißt: hier muss geforscht werden.

Auch wenn die Wissenschaftler diese gemeinnützigen Ziele verfolgen möchten, vermute ich, geht derzeit das meiste Forschungsgeld in die reine Produktivitätssteigerung von K.I. Systemen.

Bulletpoint grüner HAL
Ich stimme den Punkten und dem Brief zu!  Gibt es einen Bereich, der dich am meisten anspricht?

Update: Auch Bill Gates hat sich zu den Risiken durch K.I. geäußert: Auch er ist besorgt, und findet dass wir alle es sein sollten.