Recently, the Frankfurter Allgemeine Zeitung (FAZ) published a comment by Alexander Armbruster about the potential risks arising from developments in the AI space:
Given that the potential risks posed by AI were somewhat understated in this article, and it was inaccurately claimed that experts in the field have allegedly failed to provide plausible explanations as to how exactly AI could pose a risk to society, I wrote the following response to this article:
(Original, German)
Sehr geehrter Herr Armbruster,
Die Künstliche Intelligenz (KI) ist in der Tat eine außergewöhnliche Disziplin, und es ist richtig, dass sie bereits in vielen Aspekten unseres Alltags präsent ist. Die gegenwärtigen Fortschritte in diesem Bereich und insbesondere das Tempo, in dem sie sich vollziehen, übersteigen jedoch jegliche Erwartungen und unterscheiden sich in ihrer Qualität erheblich von allem, was wir bisher erlebt haben. Hierbei beziehe ich mich auf Fähigkeiten, die wir entweder für technisch unerreichbar hielten oder die wir ausschließlich der menschlichen Intelligenz zugeschrieben hätten.
Die Mächtigkeit dieser Entwicklungen lassen sich am besten anhand von Beispielen aus dem Bereich der generativen KI illustrieren. Eines der beeindruckendsten Beispiele sind Generative Adversarial Networks (GANs). Diese Algorithmen sind in der Lage, menschliche Gesichter zu erzeugen, die in Wirklichkeit nicht existieren, und dennoch sind wir als Menschen nicht in der Lage, diese von echten Gesichtern zu unterscheiden (http://www.whichfaceisreal.com). Noch faszinierender ist vielleicht die Fähigkeit von Diffusionsmodellen, im Grunde jede Art von vorstellbarem Bild anhand einer Beschreibung zu generieren. Diese Algorithmen verstehen visuelle Konzepte und sind in der Lage, sie in einer Weise zu reproduzieren, die durch die Verbindung dieser Konzepte völlig neuartige Dinge darstellen kann wie z.B. ein Kamel, das zwischen Wolkenkratzern auf einem Seil tanzt.
Sprachmodelle wie das prominente Chat GPT sind mittlerweile in der Lage, Texte zu erzeugen, die von menschlich verfassten Texten praktisch nicht zu unterscheiden sind. Bei der Erstellung dieses Textes leistete GPT-4 wertvolle Unterstützung – sowohl in der Recherche- als auch in der Schreibphase. Weder ein Leser des Texts noch ich selbst könnte nach einiger Zeit identifizieren, welche Teile dieses Texts nun allein von mir oder von der KI geschrieben wurden. Es ist wahr, dass auch die besten Sprachmodelle immer noch Fehler machen. Vor allem bei Fragen nach bestimmten Fakten kann es bei unzureichendem Wissen der Modelle zu sogenannten „Halluzinationen“ kommen—möglicherweise weil die Modelle darauf trainiert wurden eine möglichst zufriedenstellende Antwort zu geben. Im Falle einer Unkenntnis könnte das Modell eher dazu neigen, eine überzeugend klingende Antwort zu erfinden, statt einzugestehen, dass es die Frage nicht beantworten kann. Diese Probleme lassen sich aber bereits jetzt durch geschicktes Verarbeiten der Anfragen und Injizieren des nachgefragten Wissens z.B. durch Zugriff des Modells auf das Internet oder im Verbund mit einer Wissensdatenbank minimieren.
Hat man den Inhalt eines gesprochenen Texts mit mit einem Sprachmodell generiert, lässt sich dieser dann mit Audio Modellen wie Vall-E in Form einer menschlichen Stimme ausgeben. Hierbei muss es sich nicht um irgendeine Stimme handeln. Das Modell ist in er Lage jede menschliche Stimme zu imitieren, wenn es mit einer wenige Sekunden langen Audiosequenz gesprochener Sprache trainiert wurde. Umgekehrt lässt sich das Gesprochene dann wieder mit Modellen wie Whisper in einen Text umwandeln. Das Ganze übrigens nicht nur in Englisch, sondern mit Metas neuem Massively Multilingual Speech (MMS) in 4000 Sprachen (1100 Sprachen bei der Generierung von Sprache).
Welche Möglichkeiten alleine diese Errungenschaften bringen werden ist schwer fassbar. Aller Voraussicht nach werden viele Tätigkeiten in der heutigen Arbeitswelt in Zukunft von künstlicher Intelligenz übernommen werden. Laut einer Studie von Goldman Sachs (Hatzius 2023) könnten fast 50% der gut bezahlten Jobs der Mittelschicht dadurch wegfallen. Es liegt auf der Hand, dass ein gutes Stück der Tätigkeiten von Juristen, Steuerberatern, Ingenieuren, Journalisten und vielen weiteren Berufsgruppen in Zukunft durch die beschriebenen Technologien automatisiert werden können. Auch wenn es dadurch kurzfristig zu Verwerfungen auf dem Arbeitsmarkt kommen sollte, ist eher zu erwarten, dass es durch die Produktivitätssteigerung langfristig zu einem Wohlstandsgewinn kommt. Fortschritte in der medizinischen Diagnostik und eine Demokratisierung der Lehre sollten in sehr naher Zukunft außerdem zu Verbesserungen in der Lebensqualität und einer höheren Chancengleichheit führen.
Bei allen Träumen über den extremen technologischen Fortschritt, der durch die Weiterentwicklungen im Bereich der KI entstehen wird, ist es jedoch sehr wichtig die potenziellen Risiken, die mit der Entwicklung von KI verbunden sind, nicht zu unterschätzen. Die Warnungen prominenter Wissenschaftler wie Geoffrey Hinton und Yoshua Bengio sollten nicht als übertrieben abgetan werden. Sie sind führende Experten auf ihrem Gebiet und ihre Bedenken basieren auf fundiertem Wissen und Verständnis der KI-Technologie.
Geoffrey Hinton, ein Turing-Preisträger und eine Koryphäe im Bereich der Künstlichen Intelligenz, hat sich zu den Risiken der KI schon in einer Vielzahl von Interviews sehr konkret geäußert (siehe z.B. youtu.be/qpoRO378qRY). Entgegen Ihrer Behauptung, dass die Entfaltung konkreter Szenarien nicht dargelegt würden, wird von Hinton sehr einleuchtend dargelegt, warum die technologischen Aspekte derzeitiger KI-Modelle erhebliche Risiken für die Gesellschaft darstellen könnten. Er betont, dass die Komplexität und Undurchsichtigkeit von KI-Modellen, insbesondere solchen, die auf Deep Learning basieren, zu unerwarteten und potenziell schädlichen Ergebnissen führen können. Dieser ‘Black Box’-Charakter kann zu voreingenommenen oder diskriminierenden Entscheidungen führen, die ohne Transparenz schwer zu verstehen und zu korrigieren sind.
Eine besondere Schwierigkeit ist hierbei, die Motivation von KI-Modellen zu steuern. Er illustriert dies mit dem ‘König Midas’-Problem, benannt nach dem mythischen König, der sich wünschte, dass alles was er berührte zu Gold wird. Letztlich bereute er seinen Wunsch als er weder essen noch trinken konnte, weil auch sein Essend und Trinken zu Gold wurden. Ein ähnliches Schicksal könnte uns durch eine fehlgeleitete KI ereilen. Wenn wir beispielsweise einer KI sagen, sie solle uns glücklich machen, und sie einfach entscheidet unsere Gehirne direkt zu stimulieren um ein Glücksgefühl zu erzeugen, würde das wohl eher nicht unserer Absicht entsprechen.
Das mag zunächst etwas nach Science-Fiction klingen, aber unterschätzen Sie diese Risiken nicht. Schon jetzt gibt es deutliche Anzeichen dafür, dass Empfehlungsalgorithmen in sozialen Netzwerken zu einer Transformation in unserer Gesellschaft geführt haben und zwar nicht zum Besseren. Insbesondere ist dies in den USA zu beobachten, die als Gesellschaft politisch gespalten sind wie niemals zuvor. Auch wenn der kausale Zusammenhang nicht absolut klar zu ziehen ist, gibt es seit Anfang der 2000er Jahre einen deutlichen Anstieg in der Polarisierung der Gesellschaft — fast zeitgleich mit der Gründung von Facebook (Hassan 2019).
Als weiteres Problem bei der Steuerung der Motivation von KI-Modellen nennt Hinton die Geschwindigkeit, mit der die Modelle Daten verarbeiten und Entscheidungen treffen können. Insbesondere in Situationen, in denen schnelle Entscheidungen getroffen werden müssen, könnten Fehler erhebliche Schäden verursachen, bevor Menschen eingreifen können.
Nicht zuletzt nennt Hinton auch Risiken durch Anpassungsfähigkeit und emergente Eigenschaften von KI-Modellen. So könnten diese schädliche Verhaltensweisen oder Voreingenommenheiten aus den verarbeiteten Daten erlernen, wodurch es z.B. zur Diskriminierung von Menschen bei der Jobsuche kommen könnte. Emergente Eigenschaften bezeichnen unerwartete Fähigkeiten von KI-Modellen wie z.B. Verständnis von Humor oder ein visuelles Verständnis eines eigentlich rein text-basiertem Modell wie GPT-4. Diese emergenten Eigenschaft entstehen rein durch die Skalierung der Modelle—also ohne explizite Programmierung dieser Fähigkeiten. In Zukunft könnte dies zu Verhaltensweisen der Modelle führen, die unvorhersehbar und potenziell schädlich sein könnten. Schließlich betont er, dass die zunehmende Abhängigkeit von KI-Systemen die mit diesen Systemen verbundenen Risiken erhöhen kann. Es ist deshalb wichtig, über die Risiken von KI frühzeitig, ernsthaft und transparent zu sprechen und mit Bedacht zu handeln Überlegungen zur Absicherung von KI-Modellen und die Etablierung ethischer KI-Prinzipien sind deshalb mittlerweile zentrale Aspekte in der aktuellen Forschung und Praxis (Mäntymäki 2023).
Auf den ersten Blick mag es durchaus als gerechtfertigt erscheinen, Sam Altman dafür zu kritisieren, dass er seine Sprach-KI einer breiten Öffentlichkeit zugänglich gemacht hat, obwohl er gleichzeitig die damit verbundenen Risiken betont.. Jedoch bezog sich Altmans Warnung weniger auf die aktuell vorliegenden Modelle wie ChatGPT oder das neuere GPT-4, sondern vielmehr auf zukünftige, weitaus umfangreichere Modelle. Kurios und verstörend zugleich ist, dass sich die ursprüngliche Begeisterung für ChatGPT bei OpenAI intern eher in Grenzen gehalten hat, was unweigerlich die Frage aufwirft, ob womöglich bereits jetzt Modelle mit erheblich größerem Potenzial existieren. (https://www.tum.de/aktuelles/alle-meldungen/pressemitteilungen/details/sam-altman-diskutiert-an-der-tum-ueber-chatgpt). Die abschließende Entscheidung zur Veröffentlichung wurde letztendlich getroffen, um der Gesellschaft eine angemessene Anpassungsphase an die neue Technologie zu ermöglichen und gleichzeitig die Kontrolle zu behalten, mit dem Ziel, potenziellen Missbrauch, der durch solche Systeme ermöglicht wird, zu verhindern. Eine solche Herangehensweise wird auch durch die Studie von (Shevlane 2022) unterstützt. Allerdings schließen frei verfügbare Sprachmodelle in rasanter Geschwindigkeit auf und können auf immer kompakterer Hardware, sogar auf heimischen Rechnern betrieben werden. Diese Modelle haben teils keinerlei eingebaute Restriktionen, wodurch der Missbrauch dieser Modelle nicht aufzuhalten ist. Tatsächlich könnte eine wirksame Regulierung fast nur durch die vollständige Kontrolle über die Rechenleistung erreicht werden, was bedeuten würde, dass keine Chips mehr im privaten Bereich verwendet werden dürften und alle Berechnungen über eine Cloud-Verbindung abgewickelt werden müssten. Die darauffolgende Frage ist unvermeidlich: Wer sollte die Kontrolle über immer mächtigere KI-Modelle haben – ein Unternehmen, ein Staat, eine internationale Gemeinschaft, oder das Volk selbst? Es wirkt beinahe so, als stünden wir vor der unentrinnbaren Entscheidung zwischen einem totalitären Staat und einer anarchischen Gesellschaft. Die erste Option – ein totalitärer Staat – könnte dabei die größten Aussichten bieten, um nicht nur eine Katastrophe, sondern das potenzielle Auslöschen der Menschheit zu verhindern. Denn eine unkontrollierte Machtfülle durch KI-Technologie in den Händen jedes Einzelnen könnte unweigerlich dazu führen, dass ein Einzelner – aus Versehen oder mit böser Absicht – die Technologie so missbrauchen könnte, dass die Auslöschung der Menschheit plausibel, wenn nicht sogar wahrscheinlich, erscheint. In Anbetracht dieser Auswirkungen, die eine Fehlnutzung der KI-Technologie haben könnte, wird klar, dass die Risiken, die Sam Altman anspricht, keineswegs auf das bereits veröffentlichte ChatGPT beschränkt sind. Vielmehr werden sie ersichtlich, wenn man die derzeitige Entwicklung konsequent weiterdenkt. Unter Berücksichtigung der gegenwärtigen Skalierungsgesetze für KI-Modelle, die eine direkte Korrelation zwischen Modellgröße und Leistung postulieren (Kaplan 2020, Scaling Laws for Neural Language Models), gibt es keinen offensichtlichen Grund zur Skepsis, dass eine simple Vergrößerung existierender Modelle mithilfe aktueller Technologien eine Künstliche Intelligenz erzeugen könnte, die menschliche Fähigkeiten in spezifischen Domänen weit hinter sich lässt. Folglich befinden wir uns in einer Welt, in der ohne angemessene Regulierung und Kontrolle, jeder Einzelne theoretisch durch den alleinigen Zugang zu ausreichender Rechenleistung irgendwann die Möglichkeit haben könnte, eine Art von Massenvernichtungswaffe, zum Beispiel in der Form einer Biowaffe, zu generieren. Die Risiken durch KI gehen also allein deshalb schon so weit wie die von Ihnen beschriebenen Szenarien eines Atomkriegs oder einer ansteckenden Krankheit, da die damit verbundene Machtfülle eine Übermenge der von Ihnen beschriebenen Gefahren ist. Auch das ist einer der Aspekte, die Elon Musk meint, wenn er das Potential von KI als vielfach gefährlicher einstuft als das von Nuklearwaffen (https://www.cnbc.com/2018/03/13/elon-musk-at-sxsw-a-i-is-more-dangerous-than-nuclear-weapons.html). Musk bezieht sich aber insbesondere auf die spezielle Bedrohung durch eine Allgemeine Künstliche Intelligenz (AKI). Ein eher vager Begriff, der primär eine KI kennzeichnet, die der Komplexität des menschlichen Gehirns nahekommt und entsprechend autonom agieren kann.
Trotz der bereits beeindruckenden Fähigkeiten von ChatGPT handelt es sich hier nur um eine Art „eingefrorenes Gehirn“, das letztlich einfach nur eine deterministische Ausgabe für eine gegebene Eingabe erzeugt ohne Neues dazulernen zu können. Durch zusätzliche Weiterentwicklungen, die solchen Systemen die Fähigkeit verleihen, die Umwelt in einer zeitlichen Dimension konstant zu verarbeiten und weiterhin lernfähig zu sein, könnte das entstehen, was wir uns gemeinhin unter einer AKI vorstellen. Spätestens dann verlassen wir den Ereignishorizont eines sich immer schneller entwickelnden technologischen Fortschritts.
Hinsichtlich der Zukunft und der Rolle des Menschen in einer solchen Welt wage ich keine Prognosen. Ob es eine friedliche Koexistenz des Menschen mit einer hypothetischen AKI geben könnte oder ob der Mensch letztlich nur der “Bootloader” für eine neue auf Silizium basierende Lebensform ist, die als erste ihre Evolution selbst bestimmt, bleibt eine hypothetische Frage. Sollte es tatsächlich zu einer AKI kommen, werden wir als Menschen bei der Beantwortung dieser Frage allerdings kein Mitspracherecht mehr haben.
Viele Grüße,
Dr. Marvin Weigand
Literatur:
Hatzius, J., Briggs, J., Kodnani, D., Pierdomenico, G. (2023). The Potentially Large Effects of Artificial Intelligence on Economic Growth (Briggs/Kodnani). Goldman Sachs Economic Research.
Hassan, T., & McCrickard, D. S. (2019). Trust and Trustworthiness in Social Recommender Systems. ArXiv, abs/1903.01780v1.
Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., Gray, S., Radford, A., Wu, J., & Amodei, D. (2020). Scaling Laws for Neural Language Models. ArXiv, abs/2001.08361v1.
Mäntymäki, M., Minkkinen, M., Birkstedt, T., & Viljanen, M. (2023). Putting AI Ethics into Practice: The Hourglass Model of Organizational AI Governance. ArXiv, abs/2206.00335.
Shevlane, T. (2022). Structured access: an emerging paradigm for safe AI deployment. ArXiv, abs/2201.05159.
(English, Translation)
Dear Mr. Armbruster,
Artificial Intelligence (AI) is indeed a remarkable discipline, and it is accurate to state that it is already prevalent in many aspects of our daily lives. However, the current advances in this field, particularly the pace at which they are happening, far exceed any expectations and markedly differ in their qualitative nature from anything we have previously experienced. I am referring here to capabilities that we either considered technically unattainable or that we had exclusively attributed to human intelligence.
The potency of these developments is best illustrated by examples from the realm of generative AI. Some of the most awe-inspiring examples are Generative Adversarial Networks (GANs). These algorithms are capable of creating human faces that do not exist in reality, yet we as humans are incapable of distinguishing them from real faces (http://www.whichfaceisreal.com). Perhaps even more fascinating is the ability of diffusion models to essentially generate any conceivable type of image based on a description. These algorithms comprehend visual concepts and are able to reproduce them in a way that can represent completely novel entities by interlinking these concepts – for instance, a camel dancing on a rope between skyscrapers.
Language models like the notable Chat GPT are now capable of producing texts that are virtually indistinguishable from those penned by humans. In the creation of this text, GPT-4 offered invaluable support – both in the research and writing phases. Neither a reader of this text nor I myself would be able to identify, after some time, which parts of this text were written by me and which parts the AI generated. It is true that even the best language models still make mistakes. In particular, asking for specific facts, if the model’s knowledge is insufficient, can lead to so-called “hallucinations” – perhaps because the models were trained to provide the most satisfying answer possible. When ignorant, the model might be more inclined to concoct a convincing-sounding answer, instead of admitting that it cannot answer the question. However, these problems can already be minimized by skillfully processing the inquiries and injecting the requested knowledge, for example, by giving the model access to the internet or linking it with a knowledge database.
Once one has generated the content of spoken text using a language model, the content can then be rendered in the form of a human voice using audio models such as Vall-E. It is not just any voice; the model can mimic every human voice if trained on a few seconds-long audio sequence of spoken language. Conversely, spoken words can be transformed back into text using models like Whisper. All of this, by the way, isn’t limited to English but is possible in 4000 languages with Meta’s new Massively Multilingual Speech (MMS) model (1100 languages in speech generation).
Grasping the potential implications of these achievements is a challenge. It’s highly likely that many tasks in today’s working world will be taken over by AI in the future. According to a study by Goldman Sachs (Hatzius 2023), nearly 50% of well-paid middle-class jobs could be eliminated as a result. It is self-evident that a significant portion of the work performed by lawyers, tax consultants, engineers, journalists, and many other professions could be automated with these described technologies in the future. While this could lead to short-term disruptions in the labor market, the expectation is that the productivity gains will result in long-term wealth accumulation. Improvements in medical diagnostics and the democratization of education should also lead to enhancements in quality of life and greater equality of opportunity in the very near future.
Despite all dreams of extreme technological progress to be brought about by further developments in AI, it is vital not to underestimate the potential risks associated with AI development. The warnings of prominent scientists like Geoffrey Hinton and Yoshua Bengio should not be dismissed as overblown. They are leading experts in their field, and their concerns are based on a solid understanding and knowledge of AI technology.
Geoffrey Hinton, a Turing Award laureate and luminary in the field of AI, has spoken quite explicitly about the risks of AI in numerous interviews (see, for example, youtu.be/qpoRO378qRY). Contrary to your assertion that the unfolding of specific scenarios is not elaborated upon, Hinton very cogently explains why the technological aspects of current AI models could pose significant risks to society. He stresses that the complexity and opacity of AI models, especially those based on deep learning, could lead to unforeseen and potentially harmful outcomes. This ‘black box’ nature can result in biased or discriminatory decisions that are difficult to comprehend and correct without transparency.
A particular challenge lies in directing the motivation of AI models. Hinton illustrates this with the ‘King Midas’ problem, named after the mythical king who wished everything he touched would turn to gold. He ultimately regretted his wish when he could neither eat nor drink because his food and drink also turned to gold. A similar fate could befall us through misguided AI. If we were to tell an AI to make us happy and it decides to stimulate our brains directly to create a feeling of happiness, that probably wouldn’t align with our intentions.
This might initially sound somewhat like science fiction, but we should not underestimate these risks. Even now, there are clear signs that recommendation algorithms in social networks have led to societal transformation, and not for the better. This is especially observable in the USA, a society more politically divided than ever before. While the causal relationship is not absolutely clear, there has been a significant increase in societal polarization since the early 2000s — almost concurrent with the founding of Facebook (Hassan 2019).
Another problem with controlling the motivation of AI models that Hinton mentions is the speed with dwhich models can process data and make decisions. Especially in situations where rapid decisions are required, errors could cause substantial harm before humans can intervene.
Last but not least, Hinton also points out risks due to adaptability and emergent properties of AI models. They could learn harmful behaviors or biases from the data processed, potentially leading to discrimination in job seeking, for instance. Emergent properties refer to unexpected abilities of AI models such as understanding humor or visual comprehension from a purely text-based model like GPT-4. These emergent properties arise purely through model scaling — without explicit programming of these capabilities. In the future, this could lead to unpredictable and potentially harmful behaviors of the models. Finally, he emphasizes that increasing dependence on AI systems can elevate the risks associated with these systems. Hence, it is crucial to discuss the risks of AI early, seriously, and transparently, and to act with careful consideration. Considerations for the safeguarding of AI models and the establishment of ethical AI principles are therefore central aspects in current research and practice (Mäntymäki 2023).
At first glance, it might indeed seem justified to criticize Sam Altman for making his language AI accessible to a broad public, even though he simultaneously emphasizes the risks associated with it. However, Altman’s warning was less about current models like ChatGPT or the newer GPT-4, but more about future, much more extensive models. It’s curious and disturbing at the same time that the initial enthusiasm for ChatGPT within OpenAI was somewhat limited, which inevitably raises the question of whether models with considerably greater potential already exist (https://www.tum.de/aktuelles/alle-meldungen/pressemitteilungen/details/sam-altman-diskutiert-an-der-tum-ueber-chatgpt). The decision to release the ChatGPT was ultimately made to give society an appropriate adaptation phase to the new technology and at the same time to retain control, with the aim of preventing potential misuse enabled by such systems. This approach is also supported by the study by (Shevlane 2022). However, freely available language models are rapidly catching up and can be run on ever more compact hardware, even on home computers. These models sometimes have no built-in restrictions, making misuse of these models unstoppable. In fact, effective regulation could almost only be achieved through complete control over computing power, which would mean that no chips could be used in the private sector anymore and all calculations would have to be processed via a cloud connection. The subsequent question is inevitable: who should control increasingly powerful AI models – a company, a state, an international community, or the people themselves? It seems almost as if we are faced with the inescapable decision between a totalitarian state and an anarchic society. The first option – a totalitarian state – might offer the greatest prospects to prevent not just a disaster, but the potential extinction of humanity. For the uncontrolled power of AI technology in the hands of every individual could inevitably lead to one person – accidentally or with evil intent – misusing the technology in such a way that the extinction of humanity appears plausible, perhaps even likely. Considering the impacts that misuse of AI technology could have, it becomes clear that the risks Sam Altman speaks of are by no means limited to the already released ChatGPT. Rather, they become apparent when one consistently extrapolates the current development. Taking into account the current scaling laws for AI models, which postulate a direct correlation between model size and performance (Kaplan 2020, Scaling Laws for Neural Language Models), there is no obvious reason for skepticism that a simple enlargement of existing models using current technologies could generate an AI that far surpasses human abilities in specific domains. Consequently, we find ourselves in a world in which without adequate regulation and control, any individual could theoretically have the ability to generate a kind of weapon of mass destruction, for example in the form of a biological weapon, just by having access to sufficient computing power. Therefore, the risks posed by AI go as far as the scenarios of nuclear war or contagious disease you described, because the associated power is a superset of the dangers you described. This is also one of the aspects Elon Musk refers to when he rates the potential of AI as much more dangerous than nuclear weapons (https://www.cnbc.com/2018/03/13/elon-musk-at-sxsw-a-i-is-more-dangerous-than-nuclear-weapons.html). However, Musk specifically refers to the particular threat posed by a General Artificial Intelligence (GAI). A rather vague term, which primarily characterizes an AI that comes close to the complexity of the human brain and can act correspondingly autonomously.
Despite ChatGPT’s already impressive capabilities, it essentially functions as a sort of “frozen brain,” which merely generates a deterministic output for a given input without the ability to learn new things. With additional developments that enable such systems to continually process their environment in a temporal dimension and remain capable of learning, we might create what is commonly referred to as AGI (Artificial General Intelligence). Only then will we step beyond the event horizon of an ever-accelerating technological progress.
As for the future and the role of humanity in such a world, I dare not make any predictions. Whether there could be a peaceful coexistence of humans with a hypothetical AGI or whether humans are ultimately just the “bootloader” for a new silicon-based life form that is the first to determine its evolution, remains a hypothetical question. Should AGI indeed come to be, we as humans will no longer have a say in answering this question.
Best regards,
Dr. Marvin Weigand
Literature:
Hatzius, J., Briggs, J., Kodnani, D., Pierdomenico, G. (2023). The Potentially Large Effects of Artificial Intelligence on Economic Growth (Briggs/Kodnani). Goldman Sachs Economic Research.
Hassan, T., & McCrickard, D. S. (2019). Trust and Trustworthiness in Social Recommender Systems. ArXiv, abs/1903.01780v1.
Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., Gray, S., Radford, A., Wu, J., & Amodei, D. (2020). Scaling Laws for Neural Language Models. ArXiv, abs/2001.08361v1.
Mäntymäki, M., Minkkinen, M., Birkstedt, T., & Viljanen, M. (2023). Putting AI Ethics into Practice: The Hourglass Model of Organizational AI Governance. ArXiv, abs/2206.00335.
Shevlane, T. (2022). Structured access: an emerging paradigm for safe AI deployment. ArXiv, abs/2201.05159.