유발 하라리 (2024) 넥서스: 석기 시대부터 AI까지 정보 네트워크의 간략한 역사

Notes #BrainDump

2024-08-21 Bibliography bib nexus scarysmart c330 c900

(유발 하라리 2024)

“넥서스: 석기 시대부터 AI까지 정보 네트워크의 간략한 역사” 유발 하라리 2024
A Brief History of Information Networks from the Stone Age to AI

YUVAL NOAH HARARI 자연스레 어노테이션을 하라.

Prologue 프롤로그

INFORMATION PROBLEM

We have named our species Homo sapiens—the wise human. But it is debatable how well we have lived up to the name.

우리는 우리 종의 이름을 현명한 인간, 즉 호모 사피엔스라고 명명했습니다. 하지만 우리가 그 이름에 걸맞게 잘 살아왔는지는 논란의 여지가 있습니다.

Over the last 100,000 years, we Sapiens have certainly accumulated enormous power. Just listing all our discoveries, inventions, and conquests would fill volumes. But power isn’t wisdom, and after 100,000 years of discoveries, inventions, and conquests humanity has pushed itself into an existential crisis. We are on the verge of ecological collapse, caused by the misuse of our own power. We are also busy creating new technologies like artificial intelligence (AI) that have the potential to escape our control and enslave or annihilate us. Yet instead of our species uniting to deal with these existential challenges, international tensions are rising, global cooperation is becoming more difficult, countries are stockpiling doomsday weapons, and a new world war does not seem impossible.

지난 10만 년 동안 우리 사피엔스는 분명 엄청난 힘을 축적해 왔습니다. 우리가 발견하고 발명하고 정복한 모든 것을 나열하기만 해도 책이 꽉 찰 정도입니다. 그러나 힘은 지혜가 아니며, 10만 년 동안의 발견과 발명, 정복 끝에 인류는 실존적 위기에 직면했습니다. 우리는 우리 자신의 힘을 오용하여 생태계의 붕괴를 목전에 두고 있습니다. 우리는 또한 우리의 통제를 벗어나 우리를 노예로 만들거나 전멸시킬 가능성이 있는 인공지능(AI)과 같은 새로운 기술을 개발하느라 바쁘게 움직이고 있습니다. 그러나 이러한 실존적 도전에 대처하기 위해 인류가 단결하는 대신 국제적 긴장이 고조되고, 글로벌 협력이 더욱 어려워지고, 각국이 최후의 무기를 비축하고, 새로운 세계대전이 불가능해 보이지는 않습니다.

If we Sapiens are so wise, why are we so self-destructive? At a deeper level, although we have accumulated so much information about everything from DNA molecules to distant galaxies, it doesn’t seem that all this information has given us an answer to the big questions of life: Who are we? What should we aspire to? What is a good life, and how should we live it? Despite the stupendous amounts of information at our disposal, we are as susceptible as our ancient ancestors to fantasy and delusion. Nazism and Stalinism are but two recent examples of the mass insanity that occasionally engulfs even modern societies. Nobody disputes that humans today have a lot more information and power than in the Stone Age, but it is far from certain that we understand ourselves and our role in the universe much better.

우리 사피엔스가 그렇게 현명하다면 왜 그렇게 자멸적인 걸까요? 더 깊은 수준에서 보면, 우리는 DNA 분자부터 먼 은하까지 모든 것에 대한 많은 정보를 축적해 왔지만 이 모든 정보가 삶의 큰 질문에 대한 해답을 제공하지는 못한 것 같습니다: 우리는 누구인가? 우리는 무엇을 열망해야 할까요? 좋은 삶이란 무엇이며, 우리는 어떻게 살아야 할까요? 엄청난 양의 정보에도 불구하고 우리는 고대 조상들처럼 환상과 착각에 빠지기 쉽습니다. 나치즘과 스탈린주의는 현대 사회에서도 때때로 대중의 광기에 휩싸인 최근의 두 가지 예에 불과합니다. 오늘날 인간이 석기 시대보다 훨씬 더 많은 정보와 힘을 가지고 있다는 사실에 이의를 제기하는 사람은 아무도 없지만, 우리 자신과 우주에서 우리의 역할을 훨씬 더 잘 이해하고 있는지는 확실하지 않습니다.

Why are we so good at accumulating more information and power, but far less successful at acquiring wisdom? Throughout history many traditions have believed that some fatal flaw in our nature tempts us to pursue powers we don’t know how to handle. The Greek myth of Phaethon told of a boy who discovers that he is the son of Helios, the sun god. Wishing to prove his divine origin, Phaethon demands the privilege of driving the chariot of the sun. Helios warns Phaethon that no human can control the celestial horses that pull the solar chariot. But Phaethon insists, until the sun god relents. After rising proudly in the sky, Phaethon indeed loses control of the chariot. The sun veers off course, scorching all vegetation, killing numerous beings, and threatening to burn the earth itself. Zeus intervenes and strikes Phaethon with a thunderbolt. The conceited human drops from the sky like a falling star, himself on fire. The gods reassert control of the sky and save the world.

우리는 왜 더 많은 정보와 힘을 축적하는 데는 능숙하지만 지혜를 얻는 데는 훨씬 덜 성공할까요? 역사적으로 많은 전통에서는 우리 본성의 치명적인 결함이 우리가 어떻게 다룰지 모르는 힘을 추구하도록 유혹한다고 믿어 왔습니다. 그리스 신화에 나오는 파이톤 신화는 자신이 태양신 헬리오스의 아들이라는 사실을 알게 된 한 소년의 이야기입니다. 자신의 신성한 기원을 증명하고 싶은 페이톤은 태양의 전차를 운전할 수 있는 특권을 달라고 요구합니다. 헬리오스는 페이톤에게 태양의 전차를 끄는 천상의 말들은 인간이 조종할 수 없다고 경고합니다. 하지만 페이톤은 태양신이 물러설 때까지 고집을 부립니다. 하늘에서 당당히 떠오른 페이톤은 실제로 전차를 제어하지 못합니다. 태양은 경로를 이탈하여 모든 초목을 태우고 수많은 생명체를 죽이고 지구 자체를 불태우겠다고 위협합니다. 제우스가 개입해 벼락으로 페이톤을 내리칩니다. 교만한 인간은 하늘에서 떨어지는 별처럼 떨어지고 자신도 불에 타 죽습니다. 신들은 하늘의 지배권을 되찾고 세상을 구합니다.

Two thousand years later, when the Industrial Revolution was making its first steps and machines began replacing humans in numerous tasks, Johann Wolfgang von Goethe published a similar cautionary tale titled “The Sorcerer’s Apprentice.” Goethe’s poem (later popularized as a Walt Disney animation starring Mickey Mouse) tells how an old sorcerer leaves a young apprentice in charge of his workshop and gives him some chores to tend to while he is gone, like fetching water from the river. The apprentice decides to make things easier for himself and, using one of the sorcerer’s spells, enchants a broom to fetch the water for him. But the apprentice doesn’t know how to stop the broom, which relentlessly fetches more and more water, threatening to flood the workshop. In panic, the apprentice cuts the enchanted broom in two with an ax, only to see each half become another broom. Now two enchanted brooms are inundating the workshop with water. When the old sorcerer returns, the apprentice pleads for help: “The spirits that I summoned, I now cannot rid myself of again.” The sorcerer immediately breaks the spell and stops the flood. The lesson to the apprentice—and to humanity—is clear: never summon powers you cannot control.

2천 년 후, 산업혁명이 첫발을 내딛고 기계가 수많은 작업에서 인간을 대체하기 시작했을 때 요한 볼프강 폰 괴테는 “마법사의 견습생"이라는 제목의 비슷한 교훈적인 동화를 발표했습니다. 괴테의 시(나중에 미키 마우스 주연의 월트 디즈니 애니메이션으로 유명해짐)는 늙은 마법사가 젊은 제자에게 작업장을 맡기고 그가 없는 동안 강에서 물을 길어오는 등 몇 가지 집안일을 시키는 내용을 담고 있습니다. 제자는 스스로 일을 더 쉽게 하기로 결심하고 마법사의 주문 중 하나를 사용하여 빗자루에 마법을 걸어 물을 길어 오기로 합니다. 하지만 제자는 빗자루를 멈출 방법을 알지 못했고, 빗자루는 점점 더 많은 물을 가져와 작업장에 물이 넘칠 위기에 처합니다. 당황한 견습생은 도끼로 마법이 걸린 빗자루를 두 동강 내고, 각각의 반쪽이 다른 빗자루가 되는 것을 보게 됩니다. 이제 마법에 걸린 빗자루 두 개가 작업장을 물로 가득 채우고 있습니다. 늙은 마법사가 돌아오자 제자는 도움을 청합니다: “제가 소환한 정령들을 이제 다시는 없앨 수 없습니다.” 마법사는 즉시 주문을 풀고 홍수를 멈춥니다. 제자와 인류에게 주는 교훈은 분명합니다. 자신이 통제할 수 없는 힘은 절대 소환하지 말라는 것입니다.

What do the cautionary fables of the apprentice and of Phaethon tell us in the twenty-first century? We humans have obviously refused to heed their warnings. We have already driven the earth’s climate out of balance and have summoned billions of enchanted brooms, drones, chatbots, and other algorithmic spirits that may escape our control and unleash a flood of unintended consequences.

제자와 페이톤의 우화는 21세기를 살아가는 우리에게 어떤 교훈을 주고 있을까요? 우리 인간은 분명히 그들의 경고에 귀를 기울이지 않았습니다. 우리는 이미 지구의 기후를 균형에서 벗어나게 만들었고 수십억 개의 마법에 걸린 빗자루, 드론, 챗봇 및 기타 알고리즘 영혼을 소환하여 우리의 통제를 벗어나 의도하지 않은 결과를 초래할 수 있습니다.

What should we do, then? The fables offer no answers, other than to wait for some god or sorcerer to save us. This, of course, is an extremely dangerous message. It encourages people to abdicate responsibility and put their faith in gods and sorcerers instead. Even worse, it fails to appreciate that gods and sorcerers are themselves a human invention—just like chariots, brooms, and algorithms. The tendency to create powerful things with unintended consequences started not with the invention of the steam engine or AI but with the invention of religion. Prophets and theologians have repeatedly summoned powerful spirits that were supposed to bring love and joy but ended up flooding the world with blood.

그럼 어떻게 해야 할까요? 우화는 신이나 마법사가 우리를 구해줄 때까지 기다리는 것 외에는 답을 제시하지 않습니다. 물론 이것은 매우 위험한 메시지입니다. 사람들이 책임을 포기하고 대신 신과 마법사를 믿도록 부추기기 때문입니다. 더 나쁜 것은 신과 마법사도 전차, 빗자루, 알고리즘처럼 인간이 만든 발명품이라는 사실을 인식하지 못한다는 점입니다. 의도하지 않은 결과를 초래하는 강력한 것을 만들어내는 경향은 증기기관이나 인공지능의 발명이 아니라 종교의 발명과 함께 시작되었습니다. 선지자와 신학자들은 사랑과 기쁨을 가져다주어야 할 강력한 영혼을 반복해서 소환했지만 결국에는 세상을 피로 물들였습니다.

The Phaethon myth and Goethe’s poem fail to provide useful advice because they misconstrue the way humans gain power. In both fables, a single human acquires enormous power, but is then corrupted by hubris and greed. The conclusion is that our flawed individual psychology makes us abuse power. What this crude analysis misses is that human power is never the outcome of individual initiative. Power always stems from cooperation between large numbers of humans.

페이톤 신화와 괴테의 시가 유용한 조언을 제공하지 못하는 이유는 인간이 권력을 얻는 방식을 잘못 해석하고 있기 때문입니다. 두 우화 모두 한 인간이 막강한 권력을 얻지만 오만과 탐욕으로 타락합니다. 결론은 인간의 결함 있는 개인 심리가 권력을 남용하게 만든다는 것입니다. 이 조잡한 분석이 놓치고 있는 것은 인간의 권력은 결코 개인이 주도한 결과물이 아니라는 점입니다. 권력은 항상 다수의 인간 간의 협력에서 비롯됩니다.

Accordingly, it isn’t our individual psychology that causes us to abuse power. After all, alongside greed, hubris, and cruelty, humans are also capable of love, compassion, humility, and joy. True, among the worst members of our species, greed and cruelty reign supreme and lead bad actors to abuse power. But why would human societies choose to entrust power to their worst members? Most Germans in 1933, for example, were not psychopaths. So why did they vote for Hitler?

따라서 권력을 남용하게 만드는 것은 개인의 심리가 아닙니다. 결국 인간은 탐욕, 오만, 잔인함과 함께 사랑, 연민, 겸손, 기쁨을 느낄 수 있는 존재이기도 합니다. 사실, 우리 종의 최악의 구성원 중에는 탐욕과 잔인함이 지배적이며 나쁜 행위자가 권력을 남용하도록 이끌기도 합니다. 하지만 인간 사회는 왜 최악의 구성원에게 권력을 맡기기로 선택할까요? 예를 들어 1933년 당시 대부분의 독일인은 사이코패스가 아니었습니다. 그렇다면 왜 그들은 히틀러에게 투표했을까요?

Our tendency to summon powers we cannot control stems not from individual psychology but from the unique way our species cooperates in large numbers. The main argument of this book is that humankind gains enormous power by building large networks of cooperation, but the way these networks are built predisposes them to use power unwisely. Our problem, then, is a network problem.

우리가 통제할 수 없는 힘을 소환하려는 경향은 개인의 심리가 아니라 우리 종의 독특한 집단 협력 방식에서 비롯됩니다. 이 책의 주요 주장은 인류가 대규모 협력 네트워크를 구축함으로써 엄청난 힘을 얻었지만, 이러한 네트워크가 구축되는 방식 때문에 힘을 현명하지 않게 사용하게 된다는 것입니다. 그렇다면 우리의 문제는 네트워크 문제입니다.

Even more specifically, it is an information problem. Information is the glue that holds networks together. But for tens of thousands of years, Sapiens built and maintained large networks by inventing and spreading fictions, fantasies, and mass delusions—about gods, about enchanted broomsticks, about AI, and about a great many other things. While each individual human is typically interested in knowing the truth about themselves and the world, large networks bind members and create order by relying on fictions and fantasies. That’s how we got, for example, to Nazism and Stalinism. These were exceptionally powerful networks, held together by exceptionally deluded ideas. As George Orwell famously put it, ignorance is strength.

더 구체적으로 말하면 정보 문제입니다. 정보는 네트워크를 하나로 묶는 접착제입니다. 하지만 사피엔스는 수만 년 동안 신, 마법에 걸린 빗자루, 인공지능 등 수많은 허구, 환상, 대중의 망상을 발명하고 퍼뜨려 대규모 네트워크를 구축하고 유지해 왔습니다. 인간 개개인은 일반적으로 자신과 세상에 대한 진실을 알고 싶어 하지만, 대규모 네트워크는 허구와 환상에 의존하여 구성원을 묶고 질서를 만들어냅니다. 예를 들어 나치즘과 스탈린주의가 그렇게 탄생한 것이죠. 나치즘과 스탈린주의는 매우 강력한 네트워크로서, 매우 기만적인 아이디어로 결속되어 있었습니다. 조지 오웰의 유명한 말처럼 무지가 곧 힘입니다.

The fact that the Nazi and Stalinist regimes were founded on cruel fantasies and shameless lies did not make them historically exceptional, nor did it preordain them to collapse. Nazism and Stalinism were two of the strongest networks humans ever created. In late 1941 and early 1942, the Axis powers came within reach of winning World War II. Stalin eventually emerged as the victor of that war,¹ and in the 1950s and 1960s he and his heirs also had a reasonable chance of winning the Cold War. By the 1990s liberal democracies had gained the upper hand, but this now seems like a temporary victory. In the twenty-first century, some new totalitarian regime may well succeed where Hitler and Stalin failed, creating an all-powerful network that could prevent future generations from even attempting to expose its lies and fictions. We should not assume that delusional networks are doomed to failure. If we want to prevent their triumph, we will have to do the hard work ourselves.

나치와 스탈린주의 정권이 잔인한 환상과 뻔뻔한 거짓말에 기반을 두었다고 해서 역사적으로 예외적이거나 붕괴를 예견한 것은 아닙니다. 나치즘과 스탈린주의는 인류가 만들어낸 가장 강력한 네트워크 중 하나였습니다. 1941년 말과 1942년 초, 추축국은 제2차 세계대전의 승리가 눈앞에 다가왔습니다. 스탈린은 결국 전쟁의 승리자로 부상했고,¹ 1950년대와 1960년대에는 스탈린과 그의 후계자들도 냉전에서 승리할 가능성이 상당히 높았습니다. 1990년대에는 자유민주주의가 우위를 점했지만 이는 일시적인 승리로 보입니다. 21세기에는 히틀러와 스탈린이 실패한 곳에서 새로운 전체주의 정권이 성공하여 미래 세대가 그 거짓과 허구를 폭로하려는 시도조차 하지 못하게 하는 강력한 네트워크를 구축할 수도 있습니다. 우리는 망상적 네트워크가 실패할 운명이라고 가정해서는 안 됩니다. 그들의 승리를 막으려면 우리 스스로 노력해야 할 것입니다.

THE NAIVE VIEW OF INFORMATION

It is difficult to appreciate the strength of delusional networks because of a broader misunderstanding about how big information networks—whether delusional or not—operate. This misunderstanding is encapsulated in something I call “the naive view of information.” While fables like the myth of Phaethon and “The Sorcerer’s Apprentice” present an overly pessimistic view of individual human psychology, the naive view of information disseminates an overly optimistic view of large-scale human networks.

망상 네트워크의 힘을 제대로 이해하기 어려운 이유는 망상이든 아니든 간에 대규모 정보 네트워크가 어떻게 작동하는지에 대한 광범위한 오해 때문입니다. 이러한 오해는 제가 “정보에 대한 순진한 시각"이라고 부르는 것에 요약되어 있습니다. 페이톤 신화나 “마법사의 제자"와 같은 우화가 개별 인간 심리에 대해 지나치게 비관적인 시각을 제시하는 반면, 정보에 대한 순진한 시각은 대규모 인간 네트워크에 대해 지나치게 낙관적인 시각을 퍼뜨리고 있습니다.

The naive view argues that by gathering and processing much more information than individuals can, big networks achieve a better understanding of medicine, physics, economics, and numerous other fields, which makes the network not only powerful but also wise. For example, by gathering information on pathogens, pharmaceutical companies and health-care services can determine the true causes of many diseases, which enables them to develop more effective medicines and to make wiser decisions about their usage. This view posits that in sufficient quantities information leads to truth, and truth in turn leads to both power and wisdom. Ignorance, in contrast, seems to lead nowhere. While delusional or deceitful networks might occasionally arise in moments of historical crisis, in the long term they are bound to lose to more clear-sighted and honest rivals. A health-care service that ignores information about pathogens, or a pharmaceutical giant that deliberately spreads disinformation, will ultimately lose out to competitors that make wiser use of information. The naive view thus implies that delusional networks must be aberrations and that big networks can usually be trusted to handle power wisely.

순진한 견해는 대규모 네트워크가 개인보다 훨씬 더 많은 정보를 수집하고 처리함으로써 의학, 물리학, 경제학 및 기타 여러 분야에 대한 더 나은 이해를 달성하여 네트워크를 강력할 뿐만 아니라 현명하게 만들 수 있다고 주장합니다. 예를 들어, 제약회사와 의료 서비스는 병원균에 대한 정보를 수집함으로써 많은 질병의 진정한 원인을 파악할 수 있으며, 이를 통해 보다 효과적인 의약품을 개발하고 의약품 사용에 대해 더 현명한 결정을 내릴 수 있습니다. 이 관점은 충분한 양의 정보는 진실로 이어지고, 진실은 다시 힘과 지혜로 이어진다고 가정합니다. 이와는 대조적으로 무지는 아무 것도 이끌어내지 못하는 것처럼 보입니다. 망상적이거나 기만적인 네트워크는 역사적 위기의 순간에 가끔 등장할 수 있지만, 장기적으로는 더 명확하고 정직한 라이벌에게 패배할 수밖에 없습니다. 병원균에 대한 정보를 무시하는 의료 서비스나 고의적으로 허위 정보를 퍼뜨리는 거대 제약회사는 결국 정보를 현명하게 활용하는 경쟁자에게 패배할 것입니다. 따라서 이러한 순진한 견해는 망상적 네트워크는 반드시 일탈이며 대규모 네트워크는 일반적으로 권력을 현명하게 다룰 수 있다고 믿을 수 있다는 것을 의미합니다.

The naive view of information

Of course, the naive view acknowledges that many things can go wrong on the path from information to truth. We might make honest mistakes in gathering and processing the information. Malicious actors motivated by greed or hate might hide important facts or try to deceive us. As a result, information sometimes leads to error rather than truth. For example, partial information, faulty analysis, or a disinformation campaign might lead even experts to misidentify the true cause of a particular disease.

물론 순진한 견해는 정보에서 진실로 가는 과정에서 많은 일이 잘못될 수 있다는 점을 인정합니다. 정보를 수집하고 처리하는 과정에서 정직한 실수를 할 수도 있습니다. 탐욕이나 증오에 동기를 부여받은 악의적인 행위자는 중요한 사실을 숨기거나 우리를 속이려고 할 수 있습니다. 그 결과 정보가 진실이 아닌 오류로 이어지는 경우가 있습니다. 예를 들어, 부분적인 정보, 잘못된 분석 또는 허위 정보 캠페인으로 인해 전문가조차도 특정 질병의 진정한 원인을 잘못 파악할 수 있습니다.

However, the naive view assumes that the antidote to most problems we encounter in gathering and processing information is gathering and processing even more information. While we are never completely safe from error, in most cases more information means greater accuracy. A single doctor wishing to identify the cause of an epidemic by examining a single patient is less likely to succeed than thousands of doctors gathering data on millions of patients. And if the doctors themselves conspire to hide the truth, making medical information more freely available to the public and to investigative journalists will eventually reveal the scam. According to this view, the bigger the information network, the closer it must be to the truth.

그러나 순진한 견해는 정보를 수집하고 처리할 때 발생하는 대부분의 문제에 대한 해독제가 더 많은 정보를 수집하고 처리하는 것이라고 가정합니다. 오류로부터 완전히 안전할 수는 없지만 대부분의 경우 더 많은 정보는 더 높은 정확도를 의미합니다. 한 명의 의사가 한 명의 환자를 진찰하여 전염병의 원인을 파악하려는 것은 수천 명의 의사가 수백만 명의 환자 데이터를 수집하는 것보다 성공할 가능성이 낮습니다. 그리고 의사들이 진실을 숨기려고 음모를 꾸민다면 대중과 탐사보도 기자들이 의료 정보를 더 자유롭게 이용할 수 있게 되면 결국 사기가 드러날 것입니다. 이 관점에 따르면 정보 네트워크가 클수록 진실에 더 가까워질 수 있습니다.

Naturally, even if we analyze information accurately and discover important truths, this does not guarantee we will use the resulting capabilities wisely. Wisdom is commonly understood to mean “making right decisions,” but what “right” means depends on value judgments that differ between diverse people, cultures, or ideologies. Scientists who discover a new pathogen may develop a vaccine to protect people. But if the scientists—or their political overlords—believe in a racist ideology that advocates that some races are inferior and should be exterminated, the new medical knowledge might be used to develop a biological weapon that kills millions.

물론 정보를 정확하게 분석하고 중요한 진실을 발견한다고 해서 그 결과물을 현명하게 사용한다는 보장은 없습니다. 지혜는 일반적으로 ‘올바른 결정을 내리는 것’을 의미하지만, ‘올바른’이라는 것은 다양한 사람, 문화 또는 이념에 따라 가치 판단이 달라질 수 있습니다. 새로운 병원체를 발견한 과학자가 백신을 개발하여 사람들을 보호할 수 있습니다. 그러나 과학자나 그들의 정치적 지배자가 일부 인종이 열등하므로 박멸해야 한다는 인종 차별적 이념을 믿는다면, 새로운 의학 지식이 수백만 명을 죽이는 생물학적 무기를 개발하는 데 사용될 수 있습니다.

In this case too, the naive view of information holds that additional information offers at least a partial remedy. The naive view thinks that disagreements about values turn out on closer inspection to be the fault of either the lack of information or deliberate disinformation. According to this view, racists are ill-informed people who just don’t know the facts of biology and history. They think that “race” is a valid biological category, and they have been brainwashed by bogus conspiracy theories. The remedy to racism is therefore to provide people with more biological and historical facts. It may take time, but in a free market of information sooner or later truth will prevail.

이 경우에도 정보에 대한 순진한 견해는 추가 정보가 적어도 부분적인 해결책을 제공한다고 주장합니다. 순진한 견해는 가치관에 대한 의견 불일치는 자세히 살펴보면 정보 부족이나 고의적인 허위 정보로 인한 것으로 밝혀진다고 생각합니다. 이 관점에 따르면 인종 차별주의자들은 생물학과 역사에 대한 사실을 잘 모르는 정보에 무지한 사람들입니다. 그들은 ‘인종’이 유효한 생물학적 범주라고 생각하며, 가짜 음모론에 세뇌되어 있습니다. 따라서 인종 차별에 대한 해결책은 사람들에게 더 많은 생물학적, 역사적 사실을 제공하는 것입니다. 시간이 걸리겠지만 정보의 자유 시장에서는 조만간 진실이 우세할 것입니다.

The naive view is of course more nuanced and thoughtful than can be explained in a few paragraphs, but its core tenet is that information is an essentially good thing, and the more we have of it, the better. Given enough information and enough time, we are bound to discover the truth about things ranging from viral infections to racist biases, thereby developing not only our power but also the wisdom necessary to use that power well.

물론 순진한 견해는 몇 단락으로 설명하기에는 미묘하고 사려 깊지만, 그 핵심은 정보는 본질적으로 좋은 것이며 더 많이 가질수록 더 좋다는 것입니다. 충분한 정보와 충분한 시간이 주어지면 바이러스 감염부터 인종 차별적 편견에 이르기까지 다양한 사안에 대한 진실을 발견하고, 이를 통해 우리의 힘뿐만 아니라 그 힘을 잘 사용하는 데 필요한 지혜도 키울 수 있습니다.

This naive view justifies the pursuit of ever more powerful information technologies and has been the semiofficial ideology of the computer age and the internet. In June 1989, a few months before the fall of the Berlin Wall and of the Iron Curtain, Ronald Reagan declared that “the Goliath of totalitarian control will rapidly be brought down by the David of the microchip” and that “the biggest of Big Brothers is increasingly helpless against communications technology….Information is the oxygen of the modern age….It seeps through the walls topped with barbed wire. It wafts across the electrified, booby-trapped borders. Breezes of electronic beams blow through the Iron Curtain as if it was lace.”² In November 2009, Barack Obama spoke in the same spirit on a visit to Shanghai, telling his Chinese hosts, “I am a big believer in technology and I’m a big believer in openness when it comes to the flow of information. I think that the more freely information flows, the stronger the society becomes.”3

이러한 순진한 견해는 더욱 강력한 정보 기술의 추구를 정당화하며 컴퓨터 시대와 인터넷의 준 공식적인 이데올로기가 되어 왔습니다. 베를린 장벽과 철의 장막이 무너지기 몇 달 전인 1989년 6월, 로널드 레이건은 “전체주의 통제의 골리앗은 마이크로칩의 다윗에 의해 빠르게 무너질 것"이며 “빅브라더 중 가장 큰 존재인 빅브라더는 통신 기술 앞에서 점점 무력해질 것"이라고 선언했습니다….. 정보는 현대의 산소입니다…. 철조망으로 둘러싸인 벽을 뚫고 스며듭니다. 전기가 흐르고 부비트랩이 설치된 국경을 가로지릅니다. 전자빔의 산들바람이 마치 레이스처럼 철의 장막을 뚫고 들어옵니다.”² 2009년 11월, 상하이를 방문한 버락 오바마는 중국 주최 측에 “저는 기술을 믿으며 정보의 흐름에 있어서도 개방성을 믿습니다. 정보의 흐름이 자유로울수록 사회가 더 강해진다고 생각합니다.“3

Entrepreneurs and corporations have often expressed similarly rosy views of information technology. Already in 1858 an editorial in The New Englander about the invention of the telegraph stated, “It is impossible that old prejudices and hostilities should longer exist, while such an instrument has been created for an exchange of thought between all the nations of the earth.”4 Nearly two centuries and two world wars later, Mark Zuckerberg said that Facebook’s goal “is to help people to share more in order to make the world more open and to help promote understanding between people.”5

기업가들과 기업들은 종종 정보 기술에 대해 비슷하게 장밋빛 전망을 내놓았습니다. 이미 1858년 뉴잉글랜더의 사설은 전신 발명에 대해 “지구상의 모든 국가 간에 생각을 교환할 수 있는 도구가 만들어졌는데 오래된 편견과 적대감이 더 이상 존재한다는 것은 불가능하다.“4 거의 2세기와 두 차례의 세계대전이 끝난 후, 마크 저커버그는 Facebook의 목표는 “사람들이 더 많이 공유하여 세상을 더 개방적이고 사람들 간의 이해를 증진하도록 돕는 것"이라고 말했습니다.“5

In his 2024 book, The Singularity Is Nearer, the eminent futurologist and entrepreneur Ray Kurzweil surveys the history of information technology and concludes that “the reality is that nearly every aspect of life is getting progressively better as a result of exponentially improving technology.” Looking back at the grand sweep of human history, he cites examples like the invention of the printing press to argue that by its very nature information technology tends to spawn “a virtuous circle advancing nearly every aspect of human well-being, including literacy, education, wealth, sanitation, health, democratization and reduction in violence.”6

저명한 미래학자이자 기업가인 레이 커즈와일은 2024년에 출간한 저서 ‘특이점이 가까워졌다’에서 정보 기술의 역사를 조사하고 “기하급수적으로 발전하는 기술의 결과로 삶의 거의 모든 측면이 점진적으로 개선되고 있는 것이 현실"이라고 결론지었습니다. 그는 인류의 역사를 되돌아보며 인쇄기의 발명과 같은 예를 들며 정보 기술은 본질적으로 “문해력, 교육, 부, 위생, 건강, 민주화, 폭력 감소 등 인간 복지의 거의 모든 측면을 발전시키는 선순환을 낳는 경향이 있다"고 주장합니다.6

The naive view of information is perhaps most succinctly captured in Google’s mission statement “to organize the world’s information and make it universally accessible and useful.” Google’s answer to Goethe’s warnings is that while a single apprentice pilfering his master’s secret spell book is likely to cause disaster, when a lot of apprentices are given free access to all the world’s information, they will not only create useful enchanted brooms but also learn to handle them wisely.

정보에 대한 순진한 시각은 “전 세계의 정보를 정리하여 보편적으로 접근 가능하고 유용하게 만드는 것"이라는 Google의 사명 선언문에 가장 간결하게 담겨 있습니다. 괴테의 경고에 대한 Google의 대답은 한 명의 제자가 스승의 비밀 주문서를 훔치면 재앙을 초래할 수 있지만, 많은 제자가 세상의 모든 정보에 자유롭게 접근할 수 있다면 유용한 마법 빗자루를 만들 뿐만 아니라 현명하게 다루는 방법도 배울 수 있을 것이라는 것입니다.

GOOGLE VERSUS GOETHE

It must be stressed that there are numerous cases when having more information has indeed enabled humans to understand the world better and to make wiser use of their power. Consider, for example, the dramatic reduction in child mortality. Johann Wolfgang von Goethe was the eldest of seven siblings, but only he and his sister Cornelia got to celebrate their seventh birthday. Disease carried off their brother Hermann Jacob at age six, their sister Catharina Elisabeth at age four, their sister Johanna Maria at age two, their brother Georg Adolf at age eight months, and a fifth, unnamed brother was stillborn. Cornelia then died from disease aged twenty-six, leaving Johann Wolfgang as the sole survivor from their family.7

더 많은 정보를 갖게 됨으로써 인간이 세상을 더 잘 이해하고 자신의 힘을 더 현명하게 사용할 수 있게 된 사례는 무수히 많다는 점을 강조하지 않을 수 없습니다. 예를 들어 아동 사망률의 극적인 감소를 생각해 보세요. 요한 볼프강 폰 괴테는 7남매 중 장남이었지만, 그와 그의 여동생 코넬리아만이 일곱 번째 생일을 축하할 수 있었습니다. 형 헤르만 야콥은 여섯 살에, 누나 카타리나 엘리자베스는 네 살에, 여동생 요한나 마리아는 두 살에, 동생 게오르크 아돌프는 8개월에 질병으로 세상을 떠났고 이름 없는 다섯 번째 동생은 사산했습니다. 그 후 코넬리아는 스물여섯 살에 질병으로 사망했고, 요한 볼프강만이 가족 중 유일한 생존자로 남았습니다.7

Johann Wolfgang von Goethe went on to have five children of his own, of whom all but the eldest son—August—died within two weeks of their birth. In all probability the cause was incompatibility between the blood groups of Goethe and his wife, Christiane, which after the first successful pregnancy led the mother to develop antibodies to the fetal blood. This condition, known as rhesus disease, is nowadays treated so effectively that the mortality rate is less than 2 percent, but in the 1790s it had an average mortality rate of 50 percent, and for Goethe’s four younger children it was a death sentence.8

요한 볼프강 폰 괴테는 다섯 명의 자녀를 두었는데, 장남인 아우구스트를 제외한 모든 자녀가 출생 후 2주 이내에 사망했습니다. 아마도 괴테와 그의 아내 크리스티안느의 혈액형이 맞지 않아서 첫 임신에 성공한 후 어머니가 태아의 혈액에 항체를 갖게 된 것이 원인일 가능성이 높습니다. 광우병으로 알려진 이 질환은 오늘날에는 치료가 매우 효과적으로 이루어져 사망률이 2% 미만이지만 1790년대에는 평균 사망률이 50%에 달했고 괴테의 네 자녀에게는 사형선고와도 같았습니다.8

Altogether in the Goethe family—a well-to-do German family in the late eighteenth century—the child survival rate was an abysmal 25 percent. Only three out of twelve children reached adulthood. This horrendous statistic was not exceptional. Around the time Goethe wrote “The Sorcerer’s Apprentice” in 1797, it is estimated that only about 50 percent of German children reached age fifteen,9 and the same was probably true in most other parts of the world.10 By 2020, 95.6 percent of children worldwide lived beyond their fifteenth birthday,11 and in Germany that figure was 99.5 percent.12 This momentous achievement would not have been possible without collecting, analyzing, and sharing massive amounts of medical data about things like blood groups. In this case, then, the naive view of information proved to be correct.

18세기 후반 독일의 부유한 가정이었던 괴테 가문의 전체 아동 생존율은 25%라는 형편없는 수치를 기록했습니다. 열두 명의 자녀 중 세 명만이 성인이 되었습니다. 이 끔찍한 통계는 예외가 아니었습니다. 괴테가 “마술사의 제자"를 집필한 1797년 무렵에는 독일 아동의 약 50%만이 15세에 도달한 것으로 추정되며,9 다른 대부분의 지역에서도 마찬가지였을 것입니다.10 2020년까지 전 세계 아동의 95.6%가 15세 생일 이후까지 살았고,11 독일에서는 그 비율이 99.5%였습니다.12 혈액형 등 방대한 양의 의료 데이터를 수집, 분석, 공유하지 않았다면 이 중대한 성과는 불가능했을 것입니다. 이 사례에서는 정보에 대한 순진한 시각이 옳았다는 것이 증명되었습니다.

However, the naive view of information sees only part of the picture, and the history of the modern age was not just about reducing child mortality. In recent generations humanity has experienced the greatest increase ever in both the amount and the speed of our information production. Every smartphone contains more information than the ancient Library of Alexandria13 and enables its owner to instantaneously connect to billions of other people throughout the world. Yet with all this information circulating at breathtaking speeds, humanity is closer than ever to annihilating itself.

그러나 정보에 대한 순진한 시각은 그림의 일부만을 보는 것이며, 현대의 역사는 단순히 아동 사망률을 낮추는 데 그치지 않았습니다. 최근 몇 세대에 걸쳐 인류는 정보 생산의 양과 속도 모두에서 사상 최대의 증가를 경험했습니다. 모든 스마트폰에는 고대 알렉산드리아 도서관13보다 더 많은 정보가 담겨 있으며, 스마트폰 소유자는 전 세계 수십억 명의 다른 사람들과 즉각적으로 연결할 수 있습니다. 하지만 이 모든 정보가 놀라운 속도로 유통되면서 인류는 그 어느 때보다 멸종 위기에 처해 있습니다.

Despite—or perhaps because of—our hoard of data, we are continuing to spew greenhouse gases into the atmosphere, pollute rivers and oceans, cut down forests, destroy entire habitats, drive countless species to extinction, and jeopardize the ecological foundations of our own species. We are also producing ever more powerful weapons of mass destruction, from thermonuclear bombs to doomsday viruses. Our leaders don’t lack information about these dangers, yet instead of collaborating to find solutions, they are edging closer to a global war.

엄청난 양의 데이터에도 불구하고, 아니 어쩌면 그 때문에 우리는 계속해서 온실가스를 대기로 내뿜고, 강과 바다를 오염시키고, 숲을 벌채하고, 서식지 전체를 파괴하고, 수많은 종을 멸종으로 몰아가고, 우리 자신의 생태적 기반을 위태롭게 하고 있습니다. 또한 열핵폭탄에서 종말의 바이러스에 이르기까지 더욱 강력한 대량 살상 무기를 생산하고 있습니다. 우리의 지도자들은 이러한 위험에 대한 정보가 부족하지 않지만, 해결책을 찾기 위해 협력하기는커녕 오히려 세계 전쟁에 가까워지고 있습니다.

Would having even more information make things better—or worse? We will soon find out. Numerous corporations and governments are in a race to develop the most powerful information technology in history—AI. Some leading entrepreneurs, like the American investor Marc Andreessen, believe that AI will finally solve all of humanity’s problems. On June 6, 2023, Andreessen published an essay titled “Why AI Will Save the World,” peppered with bold statements like “I am here to bring the good news: AI will not destroy the world, and in fact may save it” and “AI can make everything we care about better.” He concluded, “The development and proliferation of AI—far from a risk that we should fear—is a moral obligation that we have to ourselves, to our children, and to our future.”14

더 많은 정보가 있으면 상황이 나아질까요, 아니면 더 나빠질까요? 곧 알게 될 것입니다. 수많은 기업과 정부가 역사상 가장 강력한 정보 기술인 AI를 개발하기 위한 경쟁에 뛰어들고 있습니다. 미국의 투자자 마크 안드레센과 같은 일부 선도적인 기업가들은 AI가 마침내 인류의 모든 문제를 해결할 것이라고 믿습니다. 2023년 6월 6일, 안드레센은 “AI가 세상을 구할 이유"라는 제목의 에세이를 발표하면서 “나는 좋은 소식을 전하기 위해 여기 있습니다.“라는 대담한 문장으로 마무리했습니다: AI는 세상을 파괴하지 않을 것이며, 오히려 세상을 구할 수도 있다”, “AI는 우리가 아끼는 모든 것을 더 좋게 만들 수 있다"와 같은 대담한 문구를 담았습니다. 그는 “AI의 개발과 확산은 우리가 두려워해야 할 위험이 아니라 우리 자신과 자녀, 그리고 미래에 대한 도덕적 의무입니다.“14라고 결론지었습니다.

Ray Kurzweil concurs, arguing in The Singularity Is Nearer that “AI is the pivotal technology that will allow us to meet the pressing challenges that confront us, including overcoming disease, poverty, environmental degradation, and all of our human frailties. We have a moral imperative to realize this promise of new technologies.” Kurzweil is keenly aware of the technology’s potential perils, and analyzes them at length, but believes they could be mitigated successfully.15

레이 커즈와일은 ‘특이점이 가까워졌다’에서 “AI는 질병, 빈곤, 환경 파괴, 인간의 모든 약점을 극복하는 등 우리가 직면한 시급한 과제를 해결할 수 있는 중추적인 기술"이라고 주장하며 이에 동의합니다. 우리는 이러한 신기술의 약속을 실현해야 할 도덕적 의무가 있습니다.” 커즈와일은 기술의 잠재적 위험성을 예리하게 인식하고 있으며, 이를 자세히 분석하고 있지만 이를 성공적으로 완화할 수 있다고 믿습니다.15

Others are more skeptical. Not only philosophers and social scientists but also many leading AI experts and entrepreneurs like Yoshua Bengio, Geoffrey Hinton, Sam Altman, Elon Musk, and Mustafa Suleyman have warned the public that AI could destroy our civilization.16 A 2024 article co-authored by Bengio, Hinton, and numerous other experts noted that “unchecked AI advancement could culminate in a large-scale loss of life and the biosphere, and the marginalization or even extinction of humanity.”17 In a 2023 survey of 2,778 AI researchers, more than a third gave at least a 10 percent chance to advanced AI leading to outcomes as bad as human extinction.18 In 2023 close to thirty governments—including those of China, the United States, and the U.K.—signed the Bletchley Declaration on AI, which acknowledged that “there is potential for serious, even catastrophic, harm, either deliberate or unintentional, stemming from the most significant capabilities of these AI models.”19 By using such apocalyptic terms, experts and governments have no wish to conjure a Hollywood image of killer robots running in the streets and shooting people. Such a scenario is unlikely, and it merely distracts people from the real dangers. Rather, experts warn about two other scenarios.

회의적인 시각을 가진 사람들도 있습니다. 철학자와 사회과학자뿐만 아니라 요슈아 벤지오, 제프리 힌튼, 샘 알트만, 일론 머스크, 무스타파 술레이만 등 많은 주요 AI 전문가와 기업가들도 AI가 우리 문명을 파괴할 수 있다고 대중에게 경고했습니다.16 2024년 벤지오, 힌튼 및 기타 여러 전문가가 공동 집필한 기사에서 “무분별한 AI 발전은 대규모 인명 및 생물권 손실, 인류의 소외 또는 멸종으로 이어질 수 있다"고 지적했습니다.17 2,778명의 AI 연구원을 대상으로 한 2023년 설문조사에서 3분의 1 이상이 AI 발전이 인류 멸종만큼 나쁜 결과를 초래할 확률이 10% 이상이라고 답했습니다.18 2023년에 중국, 미국, 영국을 포함한 30개 가까운 정부가 “이러한 AI 모델의 가장 중요한 기능으로 인해 고의적이든 비의도적이든 심각한, 심지어 재앙적인 피해가 발생할 가능성이 있다"고 인정하는 블레츨리 선언에 서명했습니다.19 전문가와 정부는 이러한 묵시록적인 용어를 사용함으로써 킬러 로봇이 거리를 돌아다니며 사람을 쏘는 할리우드 이미지를 떠올리고 싶지 않을 것입니다. 이러한 시나리오는 실현 가능성이 낮으며 실제 위험으로부터 사람들의 주의를 분산시킬 뿐입니다. 오히려 전문가들은 두 가지 다른 시나리오에 대해 경고합니다.

First, the power of AI could supercharge existing human conflicts, dividing humanity against itself. Just as in the twentieth century the Iron Curtain divided the rival powers in the Cold War, so in the twenty-first century the Silicon Curtain—made of silicon chips and computer codes rather than barbed wire—might come to divide rival powers in a new global conflict. Because the AI arms race will produce ever more destructive weapons, even a small spark might ignite a cataclysmic conflagration.

첫째, 인공지능의 힘은 기존의 인간 갈등을 더욱 증폭시켜 인류를 스스로 분열시킬 수 있습니다. 20세기에 철의 장막이 냉전 시대 강대국을 분열시켰던 것처럼, 21세기에는 철조망 대신 실리콘 칩과 컴퓨터 코드로 만들어진 실리콘 장막이 새로운 글로벌 분쟁을 일으켜 강대국을 분열시킬 수 있습니다. AI 군비 경쟁은 더욱 파괴적인 무기를 생산할 것이기 때문에 작은 불씨로도 대격변을 일으킬 수 있습니다.

Second, the Silicon Curtain might come to divide not one group of humans from another but rather all humans from our new AI overlords. No matter where we live, we might find ourselves cocooned by a web of unfathomable algorithms that manage our lives, reshape our politics and culture, and even reengineer our bodies and minds—while we can no longer comprehend the forces that control us, let alone stop them. If a twenty-first-century totalitarian network succeeds in conquering the world, it may be run by nonhuman intelligence, rather than by a human dictator. People who single out China, Russia, or a post-democratic United States as their main source for totalitarian nightmares misunderstand the danger. In fact, Chinese, Russians, Americans, and all other humans are together threatened by the totalitarian potential of nonhuman intelligence.

둘째, 실리콘 커튼이 인간을 한 집단과 다른 집단으로 나누는 것이 아니라 모든 인간을 새로운 인공지능의 지배자로부터 분리하는 날이 올 수도 있습니다. 우리가 어디에 살든, 우리는 우리의 삶을 관리하고, 정치와 문화를 재편하고, 심지어 우리의 몸과 마음을 재설계하는 헤아릴 수 없는 알고리즘의 그물망에 갇힌 채 우리를 통제하는 힘을 더 이상 이해할 수 없게 될지도 모릅니다(이를 막기는커녕 이해할 수도 없습니다). 21세기 전체주의 네트워크가 전 세계를 정복하는 데 성공한다면, 그것은 인간 독재자가 아니라 비인간 지능에 의해 운영될지도 모릅니다. 중국, 러시아 또는 민주화 이후 미국을 전체주의 악몽의 주요 원인으로 지목하는 사람들은 그 위험성을 잘못 이해하고 있습니다. 사실 중국, 러시아, 미국, 그리고 다른 모든 인류는 비인간 지능의 전체주의적 잠재력에 의해 함께 위협을 받고 있습니다.

Given the magnitude of the danger, AI should be of interest to all human beings. While not everyone can become an AI expert, we should all keep in mind that AI is the first technology in history that can make decisions and create new ideas by itself. All previous human inventions have empowered humans, because no matter how powerful the new tool was, the decisions about its usage always remained in our hands. Knives and bombs do not themselves decide whom to kill. They are dumb tools, lacking the intelligence necessary to process information and make independent decisions. In contrast, AI has the required intelligence to process information by itself, and therefore replace humans in decision making.

위험의 규모를 고려할 때, AI는 모든 인류가 관심을 가져야 합니다. 모두가 AI 전문가가 될 수는 없지만, AI는 스스로 결정을 내리고 새로운 아이디어를 창출할 수 있는 역사상 최초의 기술이라는 점을 명심해야 합니다. 이전의 모든 인류의 발명은 새로운 도구가 아무리 강력하더라도 그 사용에 대한 결정은 항상 인간의 손에 달려 있었기 때문에 인간에게 힘을 실어주었습니다. 칼과 폭탄은 그 자체로 누구를 죽일지 결정하지 않습니다. 정보를 처리하고 독립적인 결정을 내리는 데 필요한 지능이 부족한 멍청한 도구일 뿐입니다. 반면, AI는 스스로 정보를 처리하는 데 필요한 지능을 갖추고 있어 의사 결정에서 인간을 대체할 수 있습니다.

Its mastery of information also enables AI to independently generate new ideas, in fields ranging from music to medicine. Gramophones played our music, and microscopes revealed the secrets of our cells, but gramophones couldn’t compose new symphonies, and microscopes couldn’t synthesize new drugs. AI is already capable of producing art and making scientific discoveries by itself. In the next few decades, it will likely gain the ability even to create new life-forms, either by writing genetic code or by inventing an inorganic code animating inorganic entities.

AI는 정보에 대한 숙달을 통해 음악에서 의학에 이르기까지 다양한 분야에서 새로운 아이디어를 독자적으로 창출할 수 있습니다. 축음기는 음악을 재생하고 현미경은 세포의 비밀을 밝혀냈지만 축음기는 새로운 교향곡을 작곡할 수 없었고 현미경은 새로운 약물을 합성할 수 없었습니다. AI는 이미 스스로 예술을 창조하고 과학적 발견을 할 수 있는 능력을 갖추고 있습니다. 향후 수십 년 안에 유전자 코드를 작성하거나 무기물을 움직이는 무기 코드를 발명하여 새로운 생명체를 창조할 수 있는 능력까지 갖추게 될 것입니다.

Even at the present moment, in the embryonic stage of the AI revolution, computers already make decisions about us—whether to give us a mortgage, to hire us for a job, to send us to prison. This trend will only increase and accelerate, making it more difficult to understand our own lives. Can we trust computer algorithms to make wise decisions and create a better world? That’s a much bigger gamble than trusting an enchanted broom to fetch water. And it is more than just human lives we are gambling on. AI could alter the course not just of our species’ history but of the evolution of all life-forms.

AI 혁명의 초기 단계인 지금 이 순간에도 컴퓨터는 이미 우리에게 대출을 해줄지, 일자리를 구해줄지, 감옥에 보낼지 등 우리에 대한 결정을 내리고 있습니다. 이러한 추세는 점점 더 가속화될 것이며, 우리 자신의 삶을 이해하기는 더욱 어려워질 것입니다. 컴퓨터 알고리즘이 현명한 결정을 내리고 더 나은 세상을 만들 것이라고 믿을 수 있을까요? 그것은 마법에 걸린 빗자루가 물을 가져다줄 것이라고 믿는 것보다 훨씬 더 큰 도박입니다. 그리고 우리가 도박하는 것은 인간의 목숨 그 이상입니다. AI는 인류의 역사뿐만 아니라 모든 생명체의 진화 과정을 바꿀 수 있습니다.

WEAPONIZING INFORMATION

In 2016, I published Homo Deus, a book that highlighted some of the dangers posed to humanity by the new information technologies. That book argued that the real hero of history has always been information, rather than Homo sapiens, and that scientists increasingly understand not just history but also biology, politics, and economics in terms of information flows. Animals, states, and markets are all information networks, absorbing data from the environment, making decisions, and releasing data back. The book warned that while we hope better information technology will give us health, happiness, and power, it may actually take power away from us and destroy both our physical and our mental health. Homo Deus hypothesized that if humans aren’t careful, we might dissolve within the torrent of information like a clump of earth within a gushing river, and that in the grand scheme of things humanity will turn out to have been just a ripple within the cosmic dataflow.

2016년에 저는 새로운 정보 기술이 인류에게 가져올 위험성을 강조한 책 ‘호모 데우스’를 출간한 바 있습니다. 이 책에서는 역사의 진정한 주인공은 호모 사피엔스가 아니라 정보였으며, 과학자들은 역사뿐 아니라 생물학, 정치, 경제를 정보 흐름의 관점에서 점점 더 많이 이해하고 있다고 주장했습니다. 동물, 국가, 시장은 모두 정보 네트워크이며, 환경으로부터 데이터를 흡수하여 의사 결정을 내리고 데이터를 다시 방출합니다. 이 책은 더 나은 정보 기술이 우리에게 건강, 행복, 권력을 가져다주기를 바라지만, 실제로는 우리의 힘을 빼앗아 신체적, 정신적 건강을 모두 파괴할 수 있다고 경고합니다. 호모 데우스는 인간이 조심하지 않는다면 분출하는 강물 속의 흙 덩어리처럼 정보의 급류 속에서 녹아내릴 수 있으며, 결국 인류는 우주의 데이터 흐름 속에서 파문에 불과한 존재가 될 것이라는 가설을 세웠습니다.

In the years since Homo Deus was published, the pace of change has only accelerated, and power has indeed been shifting from humans to algorithms. Many of the scenarios that sounded like science fiction in 2016—such as algorithms that can create art, masquerade as human beings, make crucial life decisions about us, and know more about us than we know about ourselves—are everyday realities in 2024.

호모 데우스가 출간된 이후 몇 년 동안 변화의 속도는 더욱 빨라졌고, 실제로 권력은 인간에서 알고리즘으로 이동하고 있습니다. 예술을 창조하고, 인간으로 가장하고, 인생의 중요한 결정을 내리고, 우리 자신에 대해 아는 것보다 더 많은 것을 알고 있는 알고리즘 등 2016년에는 공상과학 소설처럼 들렸던 많은 시나리오가 2024년에는 일상적인 현실이 되었습니다.

Many other things have changed since 2016. The ecological crisis has intensified, international tensions have escalated, and a populist wave has undermined the cohesion of even the most robust democracies. Populism has also mounted a radical challenge to the naive view of information. Populist leaders such as Donald Trump and Jair Bolsonaro, and populist movements and conspiracy theories such as QAnon and the anti-vaxxers, have argued that all traditional institutions that gain authority by claiming to gather information and discover truth are simply lying. Bureaucrats, judges, doctors, mainstream journalists, and academic experts are elite cabals that have no interest in the truth and are deliberately spreading disinformation to gain power and privileges for themselves at the expense of “the people.” The rise of politicians like Trump and movements like QAnon has a specific political context, unique to the conditions of the United States in the late 2010s. But populism as an antiestablishment worldview long predated Trump and is relevant to numerous other historical contexts now and in the future. In a nutshell, populism views information as a weapon.20

2016년 이후 많은 변화가 있었습니다. 생태 위기가 심화되고 국제적 긴장이 고조되었으며 포퓰리즘의 물결이 가장 견고한 민주주의 국가들의 결속력마저 약화시켰습니다. 포퓰리즘은 또한 정보에 대한 순진한 시각에 급진적인 도전을 제기했습니다. 도널드 트럼프와 자이르 보우소나루 같은 포퓰리스트 지도자들과 큐아논, 안티백신론자들과 같은 포퓰리스트 운동 및 음모론자들은 정보를 수집하고 진실을 발견한다고 주장하며 권위를 얻는 모든 전통적인 기관이 단순히 거짓말이라고 주장해왔습니다. 관료, 판사, 의사, 주류 언론인, 학계 전문가들은 진실에는 관심이 없고 “국민"을 희생시키면서 자신들을 위한 권력과 특권을 얻기 위해 고의적으로 허위 정보를 퍼뜨리는 엘리트 집단이라는 것입니다 트럼프와 같은 정치인과 QAnon과 같은 운동의 부상은 2010년대 후반 미국의 상황이라는 특정한 정치적 맥락을 가지고 있습니다. 그러나 반기득권 세계관으로서의 포퓰리즘은 트럼프보다 훨씬 이전부터 존재했으며 현재와 미래의 수많은 다른 역사적 맥락과도 관련이 있습니다. 간단히 말해, 포퓰리즘은 정보를 무기로 간주합니다.20

The populist view of information

In its more extreme versions, populism posits that there is no objective truth at all and that everyone has “their own truth,” which they wield to vanquish rivals. According to this worldview, power is the only reality. All social interactions are power struggles, because humans are interested only in power. The claim to be interested in something else—like truth or justice—is nothing more than a ploy to gain power. Whenever and wherever populism succeeds in disseminating the view of information as a weapon, language itself is undermined. Nouns like “facts” and adjectives like “accurate” and “truthful” become elusive. Such words are not taken as pointing to a common objective reality. Rather, any talk of “facts” or “truth” is bound to prompt at least some people to ask, “Whose facts and whose truth are you referring to?”

포퓰리즘의 극단적인 버전에서는 객관적인 진실은 전혀 존재하지 않으며 모든 사람이 경쟁자를 정복하기 위해 ‘자신만의 진실’을 가지고 있다고 가정합니다. 이 세계관에 따르면 권력만이 유일한 현실입니다. 인간은 오직 권력에만 관심이 있기 때문에 모든 사회적 상호작용은 권력투쟁입니다. 진실이나 정의와 같은 다른 것에 관심이 있다는 주장은 권력을 얻기 위한 계략에 지나지 않습니다. 포퓰리즘이 언제 어디서든 정보를 무기로 삼는 관점을 전파하는 데 성공할 때마다 언어 자체는 훼손됩니다. ‘사실’과 같은 명사와 ‘정확한’, ‘진실한’과 같은 형용사는 애매해집니다. 이러한 단어들은 일반적인 객관적 현실을 가리키는 것으로 받아들여지지 않습니다. 오히려 “사실” 또는 “진실"에 대해 이야기하면 적어도 일부 사람들은 “누구의 사실과 누구의 진실을 말하는 건가요?“라고 질문할 수밖에 없습니다

It should be stressed that this power-focused and deeply skeptical view of information isn’t a new phenomenon and it wasn’t invented by anti-vaxxers, flat-earthers, Bolsonaristas, or Trump supporters. Similar views have been propagated long before 2016, including by some of humanity’s brightest minds.21 In the late twentieth century, for example, intellectuals from the radical left like Michel Foucault and Edward Said claimed that scientific institutions like clinics and universities are not pursuing timeless and objective truths but are instead using power to determine what counts as truth, in the service of capitalist and colonialist elites. These radical critiques occasionally went as far as arguing that “scientific facts” are nothing more than a capitalist or colonialist “discourse” and that people in power can never be really interested in truth and can never be trusted to recognize and correct their own mistakes.22

정보에 대한 이러한 권력 중심적이고 매우 회의적인 관점은 새로운 현상이 아니며 안티백신론자, 플랫이어, 볼소나리스타 또는 트럼프 지지자들이 만들어낸 것이 아니라는 점을 강조하고 싶습니다. 비슷한 견해는 2016년 훨씬 이전부터 인류의 가장 명석한 지성인들에 의해 전파되어 왔습니다.21 예를 들어, 20세기 후반에 미셸 푸코와 에드워드 사이드 같은 급진 좌파 지식인들은 병원과 대학 같은 과학 기관이 시대를 초월한 객관적인 진리를 추구하는 것이 아니라 자본주의와 식민주의 엘리트를 위해 무엇이 진실인지 결정하는 데 권력을 사용하고 있다고 주장했죠. 이러한 급진적인 비판은 때때로 ‘과학적 사실’은 자본주의 또는 식민주의 ‘담론’에 지나지 않으며 권력을 가진 사람들은 진실에 진정으로 관심이 없고 자신의 실수를 인식하고 수정할 수 있다고 결코 신뢰할 수 없다는 주장까지 나아갔습니다.22

This particular line of radical leftist thinking goes back to Karl Marx, who argued in the mid-nineteenth century that power is the only reality, that information is a weapon, and that elites who claim to be serving truth and justice are in fact pursuing narrow class privileges. In the words of the 1848 Communist Manifesto, “The history of all hitherto existing societies is the history of class struggles. Freeman and slave, patrician and plebeian, lord and serf, guildmaster and journeyman, in a word, oppressor and oppressed stood in constant opposition to one another, carried on an uninterrupted, now hidden, now open, fight.” This binary interpretation of history implies that every human interaction is a power struggle between oppressors and oppressed. Accordingly, whenever anyone says anything, the question to ask isn’t, “What is being said? Is it true?” but rather, “Who is saying this? Whose privileges does it serve?”

이러한 급진 좌파의 사고방식은 19세기 중반에 권력이 유일한 현실이고, 정보가 무기이며, 진실과 정의를 위해 봉사한다고 주장하는 엘리트들이 실제로는 좁은 계급 특권을 추구한다고 주장한 칼 마르크스에게까지 거슬러 올라갑니다. 1848년 공산당 선언의 말처럼, “지금까지 존재하는 모든 사회의 역사는 계급 투쟁의 역사입니다. 자유인과 노예, 귀족과 평민, 영주와 농노, 길드장과 여행자, 한마디로 억압자와 피억압자는 서로 끊임없이 대립하며 때로는 숨기고 때로는 공개하는 싸움을 멈추지 않고 계속했습니다.” 역사에 대한 이러한 이분법적 해석은 모든 인간의 상호작용이 억압자와 피억압자 간의 권력 투쟁이라는 것을 의미합니다. 따라서 누군가가 어떤 말을 할 때마다 “무슨 말을 하고 있는가?“가 아니라 “그 말이 사실인가? 사실인가?“가 아니라 “누가 이런 말을 하는가? 누구의 특권을 위한 것인가?“가 되어야 합니다

Of course, right-wing populists such as Trump and Bolsonaro are unlikely to have read Foucault or Marx, and indeed present themselves as fiercely anti-Marxist. They also greatly differ from Marxists in their suggested policies in fields like taxation and welfare. But their basic view of society and of information is surprisingly Marxist, seeing all human interactions as a power struggle between oppressors and oppressed. For example, in his inaugural address in 2017 Trump announced that “a small group in our nation’s capital has reaped the rewards of government while the people have borne the cost.”23 Such rhetoric is a staple of populism, which the political scientist Cas Mudde has described as an “ideology that considers society to be ultimately separated into two homogeneous and antagonistic groups, ‘the pure people’ versus ‘the corrupt elite.’”24 Just as Marxists claimed that the media functions as a mouthpiece for the capitalist class, and that scientific institutions like universities spread disinformation in order to perpetuate capitalist control, populists accuse these same institutions of working to advance the interests of the “corrupt elites” at the expense of “the people.”

물론 트럼프나 보우소나루와 같은 우파 포퓰리스트들은 푸코나 마르크스를 읽지 않았을 가능성이 높으며, 실제로 자신을 격렬한 반마르크스주의자로 내세우고 있습니다. 또한 이들은 조세나 복지와 같은 분야에서 마르크스주의자들과 큰 차이를 보이는 정책을 제안하기도 합니다. 그러나 사회와 정보에 대한 그들의 기본적인 관점은 놀랍게도 마르크스주의적이며, 모든 인간의 상호작용을 억압자와 피억압자 간의 권력 투쟁으로 보고 있습니다. 예를 들어, 2017년 취임 연설에서 트럼프는 “우리나라 수도에 있는 소수의 집단이 정부의 혜택을 누리는 반면 국민은 비용을 부담했다.“23 이러한 수사는 포퓰리즘의 주요 수사로, 정치학자 캐스 머드는 “사회를 궁극적으로 ‘순수한 국민’ 대 ‘부패한 엘리트’라는 두 동질적이고 적대적인 집단으로 구분하는 이념"이라고 설명했습니다 “24 마르크스주의자들이 언론이 자본가 계급의 대변인 역할을 하고 대학과 같은 과학 기관이 자본주의 지배를 영속화하기 위해 허위 정보를 퍼뜨린다고 주장한 것처럼, 포퓰리스트들은 같은 기관이 ‘국민’을 희생시키면서 ‘부패 엘리트’의 이익을 증진하기 위해 일한다고 비난합니다.”

Present-day populists also suffer from the same incoherency that plagued radical antiestablishment movements in previous generations. If power is the only reality, and if information is just a weapon, what does it imply about the populists themselves? Are they too interested only in power, and are they too lying to us to gain power?

오늘날의 포퓰리스트들 역시 이전 세대의 급진적 반체제 운동을 괴롭혔던 것과 같은 일관성 결여로 고통받고 있습니다. 권력이 유일한 현실이고 정보가 무기에 불과하다면 포퓰리스트들은 무엇을 의미하는 것일까요? 그들은 권력에만 너무 관심이 있고, 권력을 얻기 위해 우리에게 거짓말을 하는 것일까요?

Populists have sought to extricate themselves from this conundrum in two different ways. Some populist movements claim adherence to the ideals of modern science and to the traditions of skeptical empiricism. They tell people that indeed you should never trust any institutions or figures of authority—including self-proclaimed populist parties and politicians. Instead, you should “do your own research” and trust only what you can directly observe by yourself.25 This radical empiricist position implies that while large-scale institutions like political parties, courts, newspapers, and universities can never be trusted, individuals who make the effort can still find the truth by themselves.

포퓰리스트들은 두 가지 방식으로 이 수수께끼에서 벗어나려고 노력해 왔습니다. 일부 포퓰리즘 운동은 현대 과학의 이상과 회의적인 경험주의의 전통을 고수한다고 주장합니다. 이들은 자칭 포퓰리즘 정당과 정치인을 포함한 어떤 기관이나 권위 있는 인물을 절대 신뢰해서는 안 된다고 사람들에게 말합니다. 대신 “스스로 연구"하고 직접 관찰할 수 있는 것만 신뢰해야 합니다.25 이러한 급진적 경험주의의 입장은 정당, 법원, 신문, 대학과 같은 대규모 기관은 절대 신뢰할 수 없지만, 노력하는 개인은 스스로 진실을 찾을 수 있다는 것을 의미합니다.

This approach may sound scientific and may appeal to free-spirited individuals, but it leaves open the question of how human communities can cooperate to build health-care systems or pass environmental regulations, which demand large-scale institutional organization. Is a single individual capable of doing all the necessary research to decide whether the earth’s climate is heating up and what should be done about it? How would a single person go about collecting climate data from throughout the world, not to mention obtaining reliable records from past centuries? Trusting only “my own research” may sound scientific, but in practice it amounts to believing that there is no objective truth. As we shall see in chapter 4, science is a collaborative institutional effort rather than a personal quest.

이러한 접근 방식은 과학적으로 들릴 수 있고 자유분방한 개인에게 어필할 수 있지만, 대규모의 제도적 조직이 필요한 의료 시스템을 구축하거나 환경 규제를 통과시키기 위해 인류 공동체가 어떻게 협력할 수 있는지에 대한 의문을 남깁니다. 한 개인이 지구 기후의 온난화 여부와 그에 대한 대책을 결정하는 데 필요한 모든 연구를 수행할 수 있을까요? 지난 수세기 동안의 신뢰할 만한 기록을 확보하는 것은 말할 것도 없고, 전 세계의 기후 데이터를 한 사람이 어떻게 수집할 수 있을까요? ‘나만의 연구’만을 신뢰하는 것은 과학적으로 들릴지 모르지만, 실제로는 객관적인 진실이 없다고 믿는 것과 같습니다. 4장에서 살펴보겠지만, 과학은 개인적인 탐구라기보다는 기관의 협력적인 노력입니다.

An alternative populist solution is to abandon the modern scientific ideal of finding the truth via “research” and instead go back to relying on divine revelation or mysticism. Traditional religions like Christianity, Islam, and Hinduism have typically characterized humans as untrustworthy power-hungry creatures who can access the truth only thanks to the intervention of a divine intelligence. In the 2010s and early 2020s populist parties from Brazil to Turkey and from the United States to India have aligned themselves with such traditional religions. They have expressed radical doubt about modern institutions while declaring complete faith in ancient scriptures. The populists claim that the articles you read in The New York Times or in Science are just an elitist ploy to gain power, but what you read in the Bible, the Quran, or the Vedas is absolute truth.26

또 다른 포퓰리즘적 해결책은 ‘연구’를 통해 진리를 찾으려는 현대 과학의 이상을 포기하고 신의 계시나 신비주의에 의존하는 것입니다. 기독교, 이슬람교, 힌두교와 같은 전통 종교는 일반적으로 인간을 신성한 지성의 개입을 통해서만 진리에 접근할 수 있는 신뢰할 수 없는 권력에 굶주린 존재로 묘사해 왔습니다. 2010년대와 2020년대 초반에 브라질에서 터키, 미국에서 인도에 이르기까지 포퓰리즘 정당은 이러한 전통 종교에 동조했습니다. 이들은 고대 경전에 대한 완전한 믿음을 선언하면서 현대 제도에 대해 급진적인 의구심을 표명했습니다. 포퓰리스트들은 뉴욕 타임즈나 사이언스에서 읽는 기사는 권력을 얻기 위한 엘리트주의자들의 계략에 불과하지만 성경, 꾸란, 베다에서 읽는 내용은 절대적인 진리라고 주장합니다.26

A variation on this theme calls on people to put their trust in charismatic leaders like Trump and Bolsonaro, who are depicted by their supporters either as the messengers of God27 or as possessing a mystical bond with “the people.” While ordinary politicians lie to the people in order to gain power for themselves, the charismatic leader is the infallible mouthpiece of the people who exposes all the lies.28 One of the recurrent paradoxes of populism is that it starts by warning us that all human elites are driven by a dangerous hunger for power, but often ends by entrusting all power to a single ambitious human.

이 주제의 변형은 사람들이 트럼프나 보우소나루와 같은 카리스마적 지도자를 신뢰하도록 요구하는데, 이들은 지지자들에 의해 신의 사자27 또는 “국민"과 신비로운 유대감을 가진 존재로 묘사됩니다 평범한 정치인들은 권력을 잡기 위해 국민에게 거짓말을 하지만, 카리스마적 지도자는 모든 거짓말을 폭로하는 국민의 대변자입니다.28 포퓰리즘의 반복되는 역설 중 하나는 모든 인간 엘리트가 위험한 권력욕에 의해 움직인다는 경고로 시작하지만 종종 모든 권력을 야망에 찬 한 사람에게 맡기는 것으로 끝나는 경우가 많다는 점입니다.

We will explore populism at greater depth in chapter 5, but at this point it is important to note that populists are eroding trust in large-scale institutions and international cooperation just when humanity confronts the existential challenges of ecological collapse, global war, and out-of-control technology. Instead of trusting complex human institutions, populists give us the same advice as the Phaethon myth and “The Sorcerer’s Apprentice”: “Trust God or the great sorcerer to intervene and make everything right again.” If we take this advice, we’ll likely find ourselves in the short term under the thumb of the worst kind of power-hungry humans, and in the long term under the thumb of new AI overlords. Or we might find ourselves nowhere at all, as Earth becomes inhospitable for human life.

5장에서 포퓰리즘에 대해 더 자세히 살펴보겠지만, 지금 이 시점에서 포퓰리스트들은 인류가 생태계의 붕괴, 세계대전, 통제 불능의 기술이라는 실존적 도전에 직면한 상황에서 대규모 제도와 국제 협력에 대한 신뢰를 약화시키고 있다는 점에 주목하는 것이 중요합니다. 포퓰리스트들은 복잡한 인간 제도를 신뢰하는 대신 페이톤 신화나 ‘마법사의 제자’와 같은 조언을 합니다: “신이나 위대한 마법사가 개입하여 모든 것을 다시 바로잡아줄 것이라고 믿으라"고 말입니다 이 조언을 받아들인다면 단기적으로는 최악의 권력욕에 사로잡힌 인간들의 지배를 받게 될 것이고, 장기적으로는 새로운 인공지능의 지배를 받게 될 것입니다. 아니면 지구가 인간이 살 수 없는 환경이 되어 더 이상 살 곳이 없어질지도 모릅니다.

If we wish to avoid relinquishing power to a charismatic leader or an inscrutable AI, we must first gain a better understanding of what information is, how it helps to build human networks, and how it relates to truth and power. Populists are right to be suspicious of the naive view of information, but they are wrong to think that power is the only reality and that information is always a weapon. Information isn’t the raw material of truth, but it isn’t a mere weapon, either. There is enough space between these extremes for a more nuanced and hopeful view of human information networks and of our ability to handle power wisely. This book is dedicated to exploring that middle ground.

카리스마 넘치는 지도자나 이해할 수 없는 인공지능에게 권력을 넘겨주지 않으려면 먼저 정보가 무엇인지, 정보가 인적 네트워크를 구축하는 데 어떻게 도움이 되는지, 정보가 진실과 권력과 어떤 관계가 있는지 더 잘 이해해야 합니다. 포퓰리스트들이 정보에 대한 순진한 시각을 의심하는 것은 옳지만, 권력만이 유일한 현실이며 정보가 항상 무기라고 생각하는 것은 잘못된 생각입니다. 정보는 진실의 원료는 아니지만 단순한 무기도 아닙니다. 이 두 극단 사이에는 인간 정보 네트워크와 권력을 현명하게 다루는 우리의 능력에 대한 보다 미묘하고 희망적인 관점을 위한 충분한 공간이 있습니다. 이 책은 그 중간 지점을 탐구하는 데 전념하고 있습니다.

THE ROAD AHEAD

The first part of this book surveys the historical development of human information networks. It doesn’t attempt to present a comprehensive century-by-century account of information technologies like script, printing presses, and radio. Instead, by studying a few examples, it explores key dilemmas that people in all eras faced when trying to construct information networks, and it examines how different answers to these dilemmas shaped contrasting human societies. What we usually think of as ideological and political conflicts often turn out to be clashes between opposing types of information networks.

이 책의 첫 번째 파트에서는 인류 정보 네트워크의 역사적 발전 과정을 살펴봅니다. 문자, 인쇄기, 라디오와 같은 정보 기술에 대한 세기별 포괄적인 설명은 시도하지 않습니다. 대신 몇 가지 사례를 연구함으로써 모든 시대의 사람들이 정보 네트워크를 구축하려고 할 때 직면했던 주요 딜레마를 탐구하고, 이러한 딜레마에 대한 다양한 해답이 어떻게 대조적인 인간 사회를 형성했는지를 살펴봅니다. 우리가 일반적으로 이념적, 정치적 갈등이라고 생각하는 것은 종종 서로 반대되는 유형의 정보 네트워크 간의 충돌로 드러납니다.

Part 1 begins by examining two principles that have been essential for large-scale human information networks: mythology and bureaucracy. Chapters 2 and 3 describe how large-scale information networks—from ancient kingdoms to present-day states—have relied on both mythmakers and bureaucrats. The stories of the Bible, for example, were essential for the Christian Church, but there would have been no Bible if church bureaucrats hadn’t curated, edited, and disseminated these stories. A difficult dilemma for every human network is that mythmakers and bureaucrats tend to pull in different directions. Institutions and societies are often defined by the balance they manage to find between the conflicting needs of their mythmakers and their bureaucrats. The Christian Church itself split into rival churches, like the Catholic and Protestant churches, which struck different balances between mythology and bureaucracy.

1장에서는 대규모 인간 정보 네트워크에 필수적이었던 두 가지 원칙, 즉 신화와 관료주의를 살펴보는 것으로 시작합니다. 2장과 3장에서는 고대 왕국부터 현대 국가에 이르기까지 대규모 정보 네트워크가 신화와 관료주의에 어떻게 의존해왔는지 설명합니다. 예를 들어, 성경의 이야기는 기독교 교회에 필수적인 것이었지만 교회 관료들이 이러한 이야기를 선별하고 편집하고 전파하지 않았다면 성경은 존재하지 않았을 것입니다. 모든 인적 네트워크의 어려운 딜레마는 신화 창조자와 관료가 서로 다른 방향으로 나아가는 경향이 있다는 것입니다. 기관과 사회는 종종 신화 창조자와 관료의 상충되는 요구 사이에서 균형을 찾는 데 성공함으로써 정의됩니다. 기독교 교회도 가톨릭 교회와 개신교 교회처럼 라이벌 교회로 분열되어 신화와 관료주의 사이에서 서로 다른 균형을 유지했습니다.

Chapter 4 then focuses on the problem of erroneous information and on the benefits and drawbacks of maintaining self-correcting mechanisms, such as independent courts or peer-reviewed journals. The chapter contrasts institutions that relied on weak self-correcting mechanisms, like the Catholic Church, with institutions that developed strong self-correcting mechanisms, like scientific disciplines. Weak self-correcting mechanisms sometimes result in historical calamities like the early modern European witch hunts, while strong self-correcting mechanisms sometimes destabilize the network from within. Judged in terms of longevity, spread, and power, the Catholic Church has been perhaps the most successful institution in human history, despite—or perhaps because of—the relative weakness of its self-correcting mechanisms.

4장에서는 잘못된 정보의 문제와 독립적인 법원이나 동료 심사 저널과 같은 자정 메커니즘을 유지하는 것의 장점과 단점에 대해 중점적으로 다룹니다. 이 장에서는 가톨릭 교회와 같이 약한 자기 교정 메커니즘에 의존하는 기관과 과학 분야처럼 강력한 자기 교정 메커니즘을 개발한 기관을 대조합니다. 약한 자기 교정 메커니즘은 때때로 초기 근대 유럽의 마녀사냥과 같은 역사적 재앙을 초래하는 반면, 강력한 자기 교정 메커니즘은 때때로 네트워크를 내부로부터 불안정하게 만듭니다. 가톨릭 교회는 수명과 세력 확장, 권력 측면에서 볼 때, 자기 교정 메커니즘이 상대적으로 약함에도 불구하고, 아니 어쩌면 그 때문에 인류 역사상 가장 성공적인 기관으로 평가받아왔습니다.

After part 1 surveys the roles of mythology and bureaucracy, and the contrast between strong and weak self-correcting mechanisms, chapter 5 concludes the historical discussion by focusing on another contrast—between distributed and centralized information networks. Democratic systems allow information to flow freely along many independent channels, whereas totalitarian systems strive to concentrate information in one hub. Each choice has both advantages and shortcomings. Understanding political systems like the United States and the U.S.S.R. in terms of information flows can explain much about their differing trajectories.

1부에서 신화와 관료주의의 역할, 강력한 자정 메커니즘과 약한 자정 메커니즘의 대비를 살펴본 후, 5장에서는 분산형 정보 네트워크와 중앙 집중형 정보 네트워크 간의 또 다른 대비에 초점을 맞추어 역사적 논의를 마무리합니다. 민주적 시스템은 정보가 여러 독립적인 채널을 따라 자유롭게 흐르도록 허용하는 반면, 전체주의 시스템은 하나의 허브에 정보를 집중시키려고 노력합니다. 각 선택에는 장점과 단점이 모두 있습니다. 미국과 소련과 같은 정치 시스템을 정보 흐름의 관점에서 이해하면 서로 다른 궤적에 대해 많은 것을 설명할 수 있습니다.

This historical part of the book is crucial for understanding present-day developments and future scenarios. The rise of AI is arguably the biggest information revolution in history. But we cannot understand it unless we compare it with its predecessors. History isn’t the study of the past; it is the study of change. History teaches us what remains the same, what changes, and how things change. This is as relevant to information revolutions as to every other kind of historical transformation. Thus, understanding the process through which the allegedly infallible Bible was canonized provides valuable insight about present-day claims for AI infallibility. Similarly, studying the early modern witch hunts and Stalin’s collectivization offers stark warnings about what might go wrong as we give AIs greater control over twenty-first-century societies. A deep knowledge of history is also vital to understand what is new about AI, how it is fundamentally different from printing presses and radio sets, and in what specific ways future AI dictatorship could be very unlike anything we have seen before.

이 책의 역사적 부분은 현재의 발전 상황과 미래 시나리오를 이해하는 데 매우 중요합니다. AI의 등장은 역사상 가장 큰 정보 혁명임에 틀림없습니다. 하지만 이전 세대와 비교하지 않고서는 이해할 수 없습니다. 역사는 과거를 연구하는 것이 아니라 변화를 연구하는 학문입니다. 역사는 우리에게 무엇이 변하지 않고, 무엇이 변하며, 어떻게 변하는지를 가르쳐 줍니다. 이는 다른 모든 종류의 역사적 변화와 마찬가지로 정보 혁명과도 관련이 있습니다. 따라서 무오류라고 주장되는 성경이 정경화되는 과정을 이해하면 오늘날 인공지능의 무오류 주장에 대한 귀중한 통찰력을 얻을 수 있습니다. 마찬가지로, 초기 근대 마녀사냥과 스탈린의 집단화를 연구하는 것은 21세기 사회에 인공지능이 더 큰 통제권을 갖게 될 때 어떤 일이 일어날 수 있는지에 대한 엄중한 경고를 제공합니다. 또한 역사에 대한 깊은 지식은 AI의 새로운 점, 인쇄기나 라디오 세트와 근본적으로 어떻게 다른지, 미래의 AI 독재가 이전과는 매우 다른 방식으로 이루어질 수 있는지를 이해하는 데 필수적입니다.

The book doesn’t argue that studying the past enables us to predict the future. As emphasized repeatedly in the following pages, history is not deterministic, and the future will be shaped by the choices we all make in coming years. The whole point of writing this book is that by making informed choices, we can prevent the worst outcomes. If we cannot change the future, why waste time discussing it?

이 책은 과거를 연구함으로써 미래를 예측할 수 있다고 주장하지 않습니다. 다음 페이지에서 반복해서 강조하듯이 역사는 결정론적이지 않으며, 미래는 우리 모두가 앞으로 몇 년 동안 어떤 선택을 하느냐에 따라 결정될 것입니다. 이 책을 쓰는 요점은 정보에 입각한 선택을 함으로써 최악의 결과를 막을 수 있다는 것입니다. 미래를 바꿀 수 없다면 미래를 논의하는 데 왜 시간을 낭비할까요?

Building upon the historical survey in part 1, the book’s second part—“The Inorganic Network”—examines the new information network we are creating today, focusing on the political implications of the rise of AI. Chapters 6–8 discuss recent examples from throughout the world—such as the role of social media algorithms in instigating ethnic violence in Myanmar in 2016–17—to explain in what ways AI is different from all previous information technologies. Examples are taken mostly from the 2010s rather than the 2020s, because we have gained a modicum of historical perspective on events of the 2010s.

1부의 역사적 조사를 바탕으로 이 책의 두 번째 파트인 ‘무기 네트워크’에서는 오늘날 우리가 만들어가고 있는 새로운 정보 네트워크를 살펴보고 AI의 부상이 갖는 정치적 함의에 초점을 맞춥니다. 6~8장에서는 2016년 미얀마에서 발생한 인종 폭력을 선동한 소셜 미디어 알고리즘의 역할 등 전 세계의 최근 사례를 통해 AI가 이전의 모든 정보 기술과 어떤 점에서 다른지 설명합니다. 2020년대가 아닌 2010년대 사례를 주로 사용하는 이유는 2010년대 사건에 대한 역사적 관점을 어느 정도 확보했기 때문입니다.

Part 2 argues that we are creating an entirely new kind of information network, without pausing to reckon with its implications. It emphasizes the shift from organic to inorganic information networks. The Roman Empire, the Catholic Church, and the U.S.S.R. all relied on carbon-based brains to process information and make decisions. The silicon-based computers that dominate the new information network function in radically different ways. For better or worse, silicon chips are free from many of the limitations that organic biochemistry imposes on carbon neurons. Silicon chips can create spies that never sleep, financiers that never forget, and despots that never die. How will this change society, economics, and politics?

2부에서는 우리가 완전히 새로운 종류의 정보 네트워크를 만들고 있다고 주장하며, 그 의미에 대한 고민을 멈추지 않습니다. 유기적 정보 네트워크에서 무기적 정보 네트워크로의 전환을 강조합니다. 로마 제국, 가톨릭 교회, 소련은 모두 탄소 기반의 두뇌에 의존하여 정보를 처리하고 의사 결정을 내렸습니다. 새로운 정보 네트워크를 지배하는 실리콘 기반 컴퓨터는 근본적으로 다른 방식으로 작동합니다. 좋든 나쁘든, 실리콘 칩은 유기 생화학이 탄소 뉴런에 부과하는 많은 한계에서 자유롭습니다. 실리콘 칩은 잠들지 않는 스파이, 절대 잊지 않는 금융가, 절대 죽지 않는 독재자를 만들 수 있습니다. 이것이 사회, 경제, 정치를 어떻게 변화시킬까요?

The third and final part of the book—“Computer Politics”—examines how different kinds of societies might deal with the threats and promises of the inorganic information network. Will carbon-based life-forms like us have a chance of understanding and controlling the new information network? As noted above, history isn’t deterministic, and for at least a few more years we Sapiens still have the power to shape our future.

이 책의 세 번째이자 마지막 부분인 ‘컴퓨터 정치’에서는 다양한 종류의 사회가 무기 정보 네트워크의 위협과 약속에 어떻게 대처할 수 있는지 살펴봅니다. 우리와 같은 탄소 기반 생명체가 새로운 정보 네트워크를 이해하고 통제할 수 있을까요? 위에서 언급했듯이 역사는 결정론적이지 않으며, 적어도 몇 년 동안은 우리 사피엔스가 우리의 미래를 만들어갈 수 있는 힘이 남아 있습니다.

Accordingly, chapter 9 explores how democracies might deal with the inorganic network. How, for example, can flesh-and-blood politicians make financial decisions if the financial system is increasingly controlled by AI and the very meaning of money comes to depend on inscrutable algorithms? How can democracies maintain a public conversation about anything—be it finance or gender—if we can no longer know whether we are talking with another human or with a chatbot masquerading as a human?

따라서 9장에서는 민주주의가 무기물 네트워크를 어떻게 다룰 수 있는지 살펴봅니다. 예를 들어, 금융 시스템이 점점 더 인공지능에 의해 통제되고 돈의 의미 자체가 이해할 수 없는 알고리즘에 의존하게 된다면 실제 정치인들은 어떻게 재정적 결정을 내릴 수 있을까요? 우리가 더 이상 다른 사람과 대화하고 있는지 아니면 인간을 가장한 챗봇과 대화하고 있는지 알 수 없다면 민주주의는 어떻게 금융이든 성별이든 모든 것에 대한 공적인 대화를 유지할 수 있을까요?

Chapter 10 explores the potential impact of the inorganic network on totalitarianism. While dictators would be happy to get rid of all public conversations, they have their own fears of AI. Autocracies are based on terrorizing and censoring their own agents. But how can a human dictator terrorize an AI, censor its unfathomable processes, or prevent it from seizing power to itself?

10장에서는 무기 네트워크가 전체주의에 미칠 수 있는 잠재적 영향에 대해 살펴봅니다. 독재자들은 모든 공개적인 대화를 없애고 싶어 하지만 인공지능에 대한 두려움을 가지고 있습니다. 독재 정권은 자신의 요원들을 위협하고 검열하는 데 기반을 두고 있습니다. 하지만 인간 독재자가 어떻게 인공지능을 공포에 떨게 하고, 인공지능의 이해할 수 없는 과정을 검열하고, 인공지능이 스스로 권력을 장악하는 것을 막을 수 있을까요?

Finally, chapter 11 explores how the new information network could influence the balance of power between democratic and totalitarian societies on the global level. Will AI tilt the balance decisively in favor of one camp? Will the world split into hostile blocs whose rivalry makes all of us easy prey for an out-of-control AI? Or can we unite in defense of our common interests?

마지막으로 11장에서는 새로운 정보 네트워크가 글로벌 차원에서 민주주의 사회와 전체주의 사회 사이의 권력 균형에 어떤 영향을 미칠 수 있는지 살펴봅니다. 인공지능이 어느 한 진영에 결정적으로 유리하게 균형을 기울일까요? 세계가 적대적인 두 진영으로 나뉘어 경쟁으로 인해 우리 모두가 통제 불능의 AI의 쉬운 먹잇감이 될까요? 아니면 공동의 이익을 지키기 위해 단결할 수 있을까요?

But before we explore the past, present, and possible futures of information networks, we need to start with a deceptively simple question. What exactly is information?

하지만 정보 네트워크의 과거와 현재, 그리고 가능한 미래를 살펴보기 전에 믿을 수 없을 정도로 간단한 질문부터 시작해야 합니다. 정보란 정확히 무엇일까요?

구글번역: 프롤로그

정보 문제

우리는 우리 종의 이름을 호모 사피엔스(현명한 인간)라고 명명했습니다. 그러나 우리가 그 이름에 걸맞게 얼마나 잘 살아왔는지는 논쟁의 여지가 있습니다.

지난 10만년 동안 우리 사피엔스는 확실히 엄청난 힘을 축적해 왔습니다. 우리의 모든 발견, 발명, 정복을 나열하는 것만으로도 많은 양이 채워질 것입니다. 그러나 힘은 지혜가 아니며, 10만년 동안의 발견, 발명, 정복 끝에 인류는 실존적 위기에 빠졌습니다. 우리는 우리 힘의 남용으로 인해 생태학적 붕괴의 위기에 처해 있습니다. 우리는 또한 우리의 통제를 벗어나 우리를 노예로 만들거나 전멸시킬 수 있는 잠재력을 지닌 인공지능(AI)과 같은 신기술을 개발하느라 바쁘다. 그러나 이러한 실존적 도전에 대처하기 위해 인류가 단결하는 대신 국제적 긴장이 고조되고, 글로벌 협력이 더욱 어려워지고, 국가들이 최후의 심판 무기를 비축하고 있으며, 새로운 세계 대전이 불가능해 보이지 않습니다.

우리 사피엔스가 그토록 현명하다면 왜 우리는 그렇게 자기 파괴적인가? 더 깊은 수준에서 보면, 우리는 DNA 분자부터 먼 은하까지 모든 것에 대해 너무 많은 정보를 축적했지만, 이 모든 정보가 인생의 큰 질문인 ‘우리는 누구인가?‘에 대한 답을 제공한 것 같지 않습니다. 우리는 무엇을 열망해야 합니까? 좋은 삶이란 무엇이며, 우리는 어떻게 살아야 하는가? 우리가 마음대로 사용할 수 있는 정보의 양이 엄청남에도 불구하고 우리는 고대 조상만큼이나 환상과 망상에 취약합니다. 나치즘과 스탈린주의는 때때로 현대 사회조차 휩쓸고 있는 대규모 광기의 최근 두 가지 사례에 불과합니다. 오늘날 인간이 석기 시대보다 훨씬 더 많은 정보와 힘을 가지고 있다는 사실에는 누구도 이의를 제기하지 않지만, 우리가 자신과 우주에서의 우리의 역할을 훨씬 더 잘 이해하고 있다는 것은 확실하지 않습니다.

왜 우리는 더 많은 정보와 권력을 축적하는 데 능숙하지만 지혜를 얻는 데는 성공하지 못하는 걸까요? 역사를 통틀어 많은 전통에서는 우리 본성의 치명적인 결함이 우리가 어떻게 다루어야 할지 모르는 힘을 추구하도록 유혹한다고 믿어 왔습니다. 그리스 신화의 파에톤(Phaethon)은 자신이 태양신 헬리오스(Helios)의 아들임을 알게 된 소년에 관한 이야기입니다. 파에톤은 자신의 신성한 기원을 증명하기 위해 태양 전차를 운전할 특권을 요구합니다. Helios는 Phaethon에게 어떤 인간도 태양 전차를 끄는 천상의 말을 제어할 수 없다고 경고합니다. 그러나 파에톤은 태양신이 누그러질 때까지 주장합니다. 자랑스럽게 하늘로 솟아오른 파에톤은 실제로 전차의 통제력을 잃습니다. 태양은 방향을 틀어 모든 초목을 태우고 수많은 존재를 죽이고 지구 자체를 불태우겠다고 위협합니다. 제우스가 개입하여 벼락으로 파에톤을 공격합니다. 자만심 가득한 인간은 별똥별처럼 하늘에서 떨어져 자신도 불타오릅니다. 신들은 하늘의 지배권을 다시 주장하고 세상을 구합니다.

2000년 후, 산업 혁명이 첫 단계를 밟고 수많은 작업에서 기계가 인간을 대체하기 시작했을 때 요한 볼프강 폰 괴테는 “마법사의 견습생"이라는 제목의 비슷한 경고 이야기를 출판했습니다. 괴테의 시(나중에 미키 마우스 주연의 월트 디즈니 애니메이션으로 대중화됨)는 늙은 마법사가 자신의 작업장을 맡게 되는 젊은 견습생을 남겨두고 그가 없는 동안 강에서 물을 긷는 것과 같은 집안일을 그에게 맡기는 방법을 이야기합니다. 견습생은 일을 더 쉽게 만들기로 결정하고 마법사의 주문 중 하나를 사용하여 빗자루에 마법을 걸어 물을 길어오게 합니다. 그러나 견습생은 끊임없이 점점 더 많은 물을 길어 작업장에 물이 넘칠 위험이 있는 빗자루를 막을 방법을 모릅니다. 겁에 질린 견습생은 마법에 걸린 빗자루를 도끼로 둘로 자르고, 반쪽이 또 다른 빗자루로 변하는 것을 보게 됩니다. 이제 마법에 걸린 빗자루 두 마리가 작업장에 물을 가득 채우고 있습니다. 늙은 마법사가 돌아오자 견습생은 “내가 소환한 영혼들을 이제 다시는 없앨 수 없습니다.”라고 도움을 간청합니다. 마법사는 즉시 주문을 풀고 홍수를 멈춥니다. 견습생과 인류에게 주는 교훈은 분명합니다. 통제할 수 없는 힘을 소환하지 마십시오.

견습생과 파에톤의 경고 우화는 21세기 우리에게 무엇을 말해주는가? 우리 인간은 분명히 그들의 경고에 귀를 기울이기를 거부해 왔습니다. 우리는 이미 지구의 기후를 균형에서 벗어나게 만들었고, 우리의 통제를 벗어나 의도하지 않은 결과를 초래할 수 있는 수십억 개의 마법에 걸린 빗자루, 드론, 챗봇 및 기타 알고리즘 영혼을 소환했습니다.

그러면 우리는 어떻게 해야 합니까? 우화는 어떤 신이나 마법사가 우리를 구원해주기를 기다리는 것 외에는 답을 제시하지 않습니다. 물론 이것은 매우 위험한 메시지이다. 그것은 사람들이 책임을 포기하고 대신 신과 마법사를 믿도록 장려합니다. 더 나쁜 것은 신과 마법사도 마차, 빗자루, 알고리즘처럼 인간이 발명한 것이라는 점을 인식하지 못한다는 점입니다. 의도하지 않은 결과를 가져오는 강력한 것을 만들어내려는 경향은 증기기관이나 AI의 발명이 아니라 종교의 발명에서 시작되었습니다. 선지자들과 신학자들은 사랑과 기쁨을 가져다줄 것으로 기대되었으나 결국 세상을 피로 물들이게 하는 강력한 영들을 반복해서 소환해 왔습니다.

파에톤 신화와 괴테의 시는 인간이 권력을 얻는 방식을 오해하기 때문에 유용한 조언을 제공하지 못합니다. 두 우화 모두에서 한 인간은 막대한 권력을 얻었으나 오만과 탐욕으로 인해 타락하게 됩니다. 결론은 우리의 결함이 있는 개인 심리가 권력을 남용하게 만든다는 것입니다. 이 조잡한 분석이 놓치고 있는 점은 인간의 힘이 결코 개인의 주도권의 결과가 아니라는 점입니다. 권력은 항상 수많은 인간의 협력에서 비롯됩니다.

따라서 우리가 권력을 남용하게 만드는 것은 개인의 심리가 아닙니다. 결국, 인간에게는 탐욕, 오만, 잔인함 외에도 사랑, 연민, 겸손, 기쁨도 있습니다. 사실, 우리 종족 중 최악의 구성원들 사이에서는 탐욕과 잔인함이 가장 지배적이며 나쁜 행위자들이 권력을 남용하도록 유도합니다. 그런데 왜 인간 사회는 최악의 구성원에게 권력을 맡기기로 선택할까요? 예를 들어, 1933년 독일인 대부분은 사이코패스가 아니었습니다. 그렇다면 그들은 왜 히틀러에게 투표했는가?

우리가 통제할 수 없는 힘을 소환하려는 경향은 개인의 심리가 아니라 우리 종족이 대규모로 협력하는 독특한 방식에서 비롯됩니다. 이 책의 주요 주장은 인류가 대규모 협력 네트워크를 구축함으로써 막대한 권력을 얻지만, 이러한 네트워크가 구축되는 방식은 인류가 권력을 현명하지 않게 사용하게 만든다는 것입니다. 그렇다면 우리의 문제는 네트워크 문제입니다.

더 구체적으로 말하면 정보의 문제이다. 정보는 네트워크를 하나로 묶는 접착제입니다. 그러나 수만 년 동안 사피엔스는 신, 마법에 걸린 빗자루, AI 및 기타 수많은 것들에 대한 허구, 환상, 대규모 망상을 발명하고 퍼뜨림으로써 대규모 네트워크를 구축하고 유지했습니다. 각 개인은 일반적으로 자신과 세상에 대한 진실을 아는 데 관심이 있지만 대규모 네트워크는 허구와 환상에 의존하여 구성원을 묶고 질서를 만듭니다. 예를 들어 이것이 우리가 나치즘과 스탈린주의에 도달한 방법입니다. 이것들은 유난히 기만적인 생각들로 결합된 유난히 강력한 네트워크였습니다. 조지 오웰이 말했듯이, 무지는 힘이다.

나치와 스탈린주의 정권이 잔혹한 환상과 파렴치한 거짓말 위에 세워졌다는 사실이 그들을 역사적으로 예외적으로 만들지도 않았고, 그들이 붕괴하도록 운명지지도 않았습니다. 나치즘과 스탈린주의는 인류가 만든 가장 강력한 네트워크 중 두 가지였습니다. 1941년 말과 1942년 초에 추축국은 제2차 세계 대전의 승리를 눈앞에 두었습니다. 스탈린은 결국 그 전쟁의 승리자로 등장했고¹ 1950년대와 1960년대에 그와 그의 후계자들도 냉전에서 승리할 합리적인 기회를 가졌습니다. 1990년대에는 자유 민주주의가 우위를 점했지만 지금은 일시적인 승리처럼 보입니다. 21세기에는 일부 새로운 전체주의 정권이 히틀러와 스탈린이 실패한 곳에서 성공하여 미래 세대가 자신의 거짓말과 허구를 폭로하려는 시도조차 하지 못하도록 막을 수 있는 강력한 네트워크를 만들 수도 있습니다. 우리는 망상 네트워크가 실패할 운명이라고 가정해서는 안 됩니다. 그들의 승리를 막고 싶다면 우리 스스로 열심히 노력해야 할 것입니다.

정보에 대한 순진한 견해

망상 여부에 관계없이 대규모 정보 네트워크가 어떻게 작동하는지에 대한 더 넓은 오해로 인해 망상 네트워크의 강점을 평가하기가 어렵습니다. 이러한 오해는 내가 “정보에 대한 순진한 관점"이라고 부르는 것으로 요약됩니다. 파에톤 신화나 ‘마법사의 견습생’과 같은 우화는 개인의 인간 심리에 대해 지나치게 비관적인 시각을 제시하는 반면, 정보에 대한 순진한 시각은 대규모 인간 네트워크에 대해 지나치게 낙관적인 시각을 퍼뜨립니다.

순진한 견해는 빅 네트워크가 개인이 할 수 있는 것보다 훨씬 더 많은 정보를 수집하고 처리함으로써 의학, 물리학, 경제 및 기타 여러 분야에 대한 더 나은 이해를 얻을 수 있으며, 이것이 네트워크를 강력할 뿐만 아니라 현명하게 만든다고 주장합니다. 예를 들어, 제약 회사와 의료 서비스 업체는 병원체에 대한 정보를 수집함으로써 많은 질병의 실제 원인을 파악할 수 있으며, 이를 통해 보다 효과적인 의약품을 개발하고 의약품 사용에 대해 보다 현명한 결정을 내릴 수 있습니다. 이 견해는 충분한 양의 정보가 진실로 이어지고, 진실은 힘과 지혜로 이어진다고 가정합니다. 대조적으로 무지는 아무데도 이끌지 못하는 것 같습니다. 망상적이거나 기만적인 네트워크는 역사적 위기의 순간에 가끔 발생할 수 있지만, 장기적으로는 더 명료하고 정직한 경쟁자에게 패배할 수밖에 없습니다. 병원체에 대한 정보를 무시하는 의료 서비스나 의도적으로 허위 정보를 퍼뜨리는 거대 제약 회사는 결국 정보를 현명하게 활용하는 경쟁업체에게 패하게 됩니다. 따라서 순진한 견해는 망상적 네트워크는 반드시 일탈적이어야 하며 대규모 네트워크는 일반적으로 권력을 현명하게 처리할 수 있다고 신뢰할 수 있다는 것을 의미합니다.

정보에 대한 순진한 견해

물론 순진한 견해는 정보에서 진실로 나아가는 과정에서 많은 일이 잘못될 수 있다는 점을 인정합니다. 우리는 정보를 수집하고 처리하는 과정에서 정직한 실수를 저지를 수도 있습니다. 탐욕이나 증오를 동기로 삼은 악의적인 행위자는 중요한 사실을 숨기거나 우리를 속이려고 할 수도 있습니다. 결과적으로 정보는 때로는 진실보다는 오류로 이어지기도 합니다. 예를 들어, 부분적인 정보, 잘못된 분석 또는 허위 정보 캠페인으로 인해 전문가조차도 특정 질병의 실제 원인을 잘못 식별할 수 있습니다.

그러나 순진한 견해는 정보를 수집하고 처리하면서 우리가 직면하는 대부분의 문제에 대한 해결책은 더 많은 정보를 수집하고 처리하는 것이라고 가정합니다. 오류로부터 완전히 안전할 수는 없지만 대부분의 경우 정보가 많을수록 정확성이 높아집니다. 한 명의 환자를 검사하여 전염병의 원인을 파악하려는 한 명의 의사는 수백만 명의 환자에 대한 데이터를 수집하는 수천 명의 의사보다 성공할 가능성이 적습니다. 그리고 의사들 스스로가 진실을 은폐하기 위해 공모한다면 의료 정보를 대중과 조사 기자들에게 더 자유롭게 공개하는 것은 결국 사기를 드러낼 것입니다. 이 견해에 따르면, 정보 네트워크가 클수록 진실에 더 가까워져야 합니다.

당연히 정보를 정확하게 분석하여 중요한 진실을 발견하더라도 이것이 결과로 얻은 기능을 현명하게 사용한다는 보장은 없습니다. 지혜는 일반적으로 “올바른 결정을 내리는 것"을 의미하는 것으로 이해되지만, “올바른"이 의미하는 바는 다양한 사람, 문화 또는 이념에 따라 달라지는 가치 판단에 따라 달라집니다. 새로운 병원체를 발견한 과학자들은 사람들을 보호하기 위한 백신을 개발할 수도 있습니다. 그러나 과학자나 그들의 정치적 지배자들이 일부 인종은 열등하며 멸종되어야 한다고 옹호하는 인종차별 이데올로기를 믿는다면, 새로운 의학 지식은 수백만 명의 목숨을 앗아갈 생물학적 무기를 개발하는 데 사용될 수 있습니다.

이 경우에도 정보에 대한 순진한 견해는 추가 정보가 최소한 부분적인 해결책을 제공한다고 주장합니다. 순진한 견해는 가치에 대한 불일치가 자세히 조사해 보면 정보 부족이나 고의적인 허위 정보로 인해 발생한다고 생각합니다. 이 견해에 따르면, 인종차별주의자는 생물학과 역사의 사실을 전혀 모르는 무식한 사람들입니다. 그들은 ‘인종’이 유효한 생물학적 범주라고 생각하고, 가짜 음모론에 세뇌당했습니다. 따라서 인종차별에 대한 해결책은 사람들에게 더 많은 생물학적, 역사적 사실을 제공하는 것입니다. 시간이 걸릴 수 있지만 정보의 자유 시장에서는 조만간 진실이 승리할 것입니다.

물론 순진한 견해는 몇 문단에서 설명할 수 있는 것보다 더 미묘하고 사려 깊지만, 그 핵심 교리는 정보는 본질적으로 좋은 것이고 정보가 많을수록 더 좋다는 것입니다. 충분한 정보와 충분한 시간이 주어지면 우리는 바이러스 감염부터 인종 차별적 편견에 이르기까지 모든 것에 대한 진실을 발견하고 이를 통해 우리의 힘뿐만 아니라 그 힘을 잘 사용하는 데 필요한 지혜도 발전시킬 수 있습니다.

이러한 순진한 견해는 더욱 강력한 정보 기술의 추구를 정당화하며 컴퓨터 시대와 인터넷의 반공식적인 이데올로기가 되었습니다. 베를린 장벽과 철의 장막이 무너지기 몇 달 전인 1989년 6월, 로널드 레이건은 “전체주의 지배의 골리앗은 마이크로칩의 다윗에 의해 급속히 무너질 것”이라고 선언했다. 통신 기술에 점점 더 무력해지고… 정보는 현대의 산소다… 철조망이 쳐진 벽을 뚫고 새어나옵니다. 그것은 전기가 통하고 부비트랩이 설치된 국경을 가로질러 떠다닙니다. 마치 레이스처럼 철의 장막을 뚫고 전자빔의 바람이 분다.” 기술과 정보의 흐름에 있어 개방성을 굳게 믿습니다. 정보가 자유롭게 흐를수록 사회는 더욱 강해진다고 생각합니다.”3

기업가와 기업은 정보 기술에 대해 비슷한 장밋빛 견해를 표현하는 경우가 많습니다. 이미 1858년에 전신의 발명에 관한 The New Englander의 사설에서는 다음과 같이 말했습니다. “이러한 도구가 지구상의 모든 국가 사이의 사상 교환을 위해 만들어졌는데도 오래된 편견과 적대감이 더 이상 존재한다는 것은 불가능합니다. ”4 거의 200년이 지나고 두 차례의 세계 대전이 있은 후 Mark Zuckerberg는 Facebook의 목표는 “사람들이 더 많은 것을 공유하여 세상을 더 개방적으로 만들고 사람들 간의 이해를 증진하도록 돕는 것”이라고 말했습니다.5

저명한 미래학자이자 기업가인 Ray Kurzweil은 2024년 저서 The Singularity Is Nearer에서 정보 기술의 역사를 조사하고 “현실은 기하급수적인 기술 개선의 결과로 삶의 거의 모든 측면이 점진적으로 좋아지고 있다는 것"이라고 결론지었습니다. 인류 역사의 대대적인 흐름을 되돌아보면서 그는 인쇄술의 발명과 같은 사례를 인용하여 정보 기술이 본질적으로 “읽기 능력, 교육을 포함하여 인간 복지의 거의 모든 측면을 발전시키는 선순환”을 낳는 경향이 있다고 주장합니다. , 부, 위생, 건강, 민주화 및 폭력 감소.”6

정보에 대한 순진한 관점은 아마도 “세계의 정보를 정리하여 보편적으로 접근 가능하고 유용하게 만든다"는 Google의 사명 선언문에 가장 간결하게 담겨 있을 것입니다. 괴테의 경고에 대한 구글의 대답은 단 한 명의 견습생이 주인의 비밀 주문서를 훔치는 것은 재앙을 초래할 가능성이 높지만, 많은 견습생들이 세상의 모든 정보에 무료로 접근할 수 있게 되면 유용한 마법의 빗자루를 만들 뿐만 아니라 마법이 부여된 빗자루도 배울 수 있다는 것입니다. 현명하게 처리하십시오.

구글 대 괴테

더 많은 정보를 갖게 되면서 인간이 세상을 더 잘 이해하고 자신의 힘을 더 현명하게 사용할 수 있게 된 사례가 실제로 많다는 점을 강조해야 합니다. 예를 들어, 유아 사망률의 급격한 감소를 생각해 보십시오. 요한 볼프강 폰 괴테(Johann Wolfgang von Goethe)는 일곱 형제 중 장남이었지만, 그와 그의 여동생 코르넬리아(Cornelia)만이 일곱 번째 생일을 축하하게 되었습니다. 질병으로 인해 그들의 형제 헤르만 야콥(6세), 여동생 카타리나 엘리자베스(4세), 여동생 요한나 마리아(2세), 형제 게오르그 아돌프(8개월), 이름이 알려지지 않은 다섯 번째 형제가 사산되었습니다. 그 후 Cornelia는 26세의 나이에 질병으로 사망했으며 Johann Wolfgang은 가족 중 유일한 생존자였습니다.7

요한 볼프강 폰 괴테(Johann Wolfgang von Goethe)는 다섯 명의 자녀를 두었는데, 장남인 어거스트(August)를 제외하고는 모두 태어난 지 2주 만에 사망했습니다. 아마도 그 원인은 괴테와 그의 아내 크리스티안 사이의 혈액형 불일치 때문이었을 것입니다. 이로 인해 첫 번째 임신에 성공한 후 어머니는 태아 혈액에 대한 항체를 갖게 되었습니다. 붉은 털병으로 알려진 이 질환은 현재 매우 효과적으로 치료되어 사망률이 2% 미만이지만, 1790년대에는 평균 사망률이 50%였으며 괴테의 어린 네 자녀에게는 사형 선고였습니다.8

18세기 후반 독일의 부유한 가정이었던 괴테 가문 전체의 아동 생존율은 25%에 불과했습니다. 열두 명의 어린이 중 세 명만이 성인이 되었습니다. 이 끔찍한 통계는 예외적이지 않았습니다. 1797년 괴테가 “마법사의 견습생"을 썼을 무렵, 독일 어린이의 약 50%만이 15세에 도달한 것으로 추산되며,9 아마도 세계 대부분의 다른 지역에서도 마찬가지일 것입니다.10 2020년까지 독일 어린이의 95.6% 전 세계 어린이들은 15세 생일 이후에도 살았으며11 독일에서는 그 수치가 99.5%였습니다.12 이러한 중대한 성취는 혈액형과 같은 것에 관한 막대한 양의 의료 데이터를 수집, 분석, 공유하지 않았다면 불가능했을 것입니다. 이 경우 정보에 대한 순진한 견해가 올바른 것으로 판명되었습니다.

그러나 정보에 대한 순진한 시각은 그림의 일부만을 보고 있으며, 현대의 역사는 단순히 유아 사망률을 줄이는 것만을 의미하지는 않습니다. 최근 세대에서 인류는 정보 생산의 양과 속도 모두에서 사상 최대의 증가를 경험했습니다. 모든 스마트폰에는 고대 알렉산드리아 도서관13보다 더 많은 정보가 포함되어 있으며 소유자는 전 세계 수십억 명의 다른 사람들과 즉시 연결할 수 있습니다. 하지만 이 모든 정보가 숨막히는 속도로 순환하면서 인류는 그 어느 때보다 멸망에 가까워졌습니다.

우리가 축적한 데이터에도 불구하고 또는 아마도 그 때문에 우리는 계속해서 온실가스를 대기 중으로 배출하고, 강과 바다를 오염시키고, 숲을 벌채하고, 서식지 전체를 파괴하고, 수많은 종을 멸종시키고, 우리 자신의 생태 기반을 위태롭게 하고 있습니다. 종. 우리는 또한 열핵폭탄부터 종말 바이러스에 이르기까지 더욱 강력한 대량 살상 무기를 생산하고 있습니다. 우리 지도자들은 이러한 위험에 대한 정보가 부족하지 않지만 해결책을 찾기 위해 협력하는 대신 세계 전쟁에 점점 더 가까워지고 있습니다.

정보가 더 많으면 상황이 좋아질까요, 아니면 나빠질까요? 우리는 곧 알게 될 것입니다. 수많은 기업과 정부가 역사상 가장 강력한 정보 기술인 AI를 개발하기 위해 경쟁하고 있습니다. 미국 투자자 Marc Andreessen과 같은 일부 주요 기업가들은 AI가 마침내 인류의 모든 문제를 해결할 것이라고 믿습니다. 2023년 6월 6일, Andreessen은 “AI가 세상을 구할 이유"라는 제목의 에세이를 발표했습니다. 여기에는 “나는 좋은 소식을 전하기 위해 여기에 있습니다. AI는 세상을 파괴하지 않을 것이며 실제로 세상을 구할 수도 있습니다"와 같은 대담한 진술이 포함되어 있습니다. “AI는 우리가 관심을 갖는 모든 것을 더 좋게 만들 수 있습니다.” 그는 “우리가 두려워해야 할 위험과는 거리가 먼 AI의 개발과 확산은 우리 자신과 자녀, 미래에 대한 도덕적 의무입니다.”14라고 결론지었습니다.

Ray Kurzweil도 이에 동의하며 The Singularity Is Nearer에서 “AI는 질병, 빈곤, 환경 파괴 및 인간의 모든 약점을 극복하는 등 우리가 직면한 시급한 과제를 해결할 수 있게 해주는 중추적인 기술입니다. 우리에게는 신기술의 약속을 실현해야 하는 도덕적 의무가 있습니다.” Kurzweil은 기술의 잠재적 위험을 예리하게 인식하고 이를 자세히 분석하지만 성공적으로 완화될 수 있다고 믿습니다.15

다른 사람들은 더 회의적입니다. 철학자와 사회과학자뿐만 아니라 Yoshua Bengio, Geoffrey Hinton, Sam Altman, Elon Musk, Mustafa Suleyman과 같은 많은 주요 AI 전문가 및 기업가도 AI가 우리 문명을 파괴할 수 있다고 대중에게 경고했습니다.16 Bengio가 공동 집필한 2024년 기사 , Hinton 및 기타 수많은 전문가들은 “검증되지 않은 AI 발전은 대규모의 생명과 생물권 손실, 인류의 소외 또는 심지어 멸종으로 이어질 수 있다”고 지적했습니다. 17 2,778명의 AI 연구자를 대상으로 한 2023년 조사에서 세 번째는 AI를 발전시켜 인간 멸종만큼 나쁜 결과를 초래할 가능성을 최소 10% 제공했습니다.18 2023년에는 중국, 미국, 영국을 포함해 거의 30개 정부가 AI에 관한 블레츨리 선언에 서명했습니다. “이러한 AI 모델의 가장 중요한 기능으로 인해 고의적이든 아니든 심각하고 심지어 재앙적인 피해가 발생할 가능성이 있습니다.“19 이러한 묵시적인 용어를 사용함으로써 전문가와 정부는 헐리우드에서 킬러의 이미지를 만들어내고 싶지 않습니다. 거리를 달리며 사람들을 쏘는 로봇. 그러한 시나리오는 일어날 가능성이 낮으며 단지 실제 위험으로부터 사람들의 주의를 분산시킬 뿐입니다. 오히려 전문가들은 두 가지 다른 시나리오에 대해 경고합니다.

첫째, AI의 힘은 기존 인간 갈등을 과급시켜 인류를 분열시킬 수 있습니다. 20세기에 철의 장막이 냉전 시대에 경쟁 세력을 분열시켰던 것처럼, 21세기에는 철조망이 아닌 실리콘 칩과 컴퓨터 코드로 만들어진 실리콘 장막이 경쟁 세력을 새로운 세력으로 분열시킬 수도 있습니다. 세계적인 갈등. AI 군비 경쟁은 더욱 파괴적인 무기를 생산할 것이기 때문에 작은 불꽃이라도 엄청난 화재를 일으킬 수 있습니다.

둘째, 실리콘 커튼은 한 그룹의 인간을 다른 그룹의 인간 그룹으로 나누는 것이 아니라 모든 인간을 새로운 AI 군주로부터 나누게 될 수 있습니다. 우리가 어디에 살고 있든, 우리의 삶을 관리하고, 정치와 문화를 재편하고, 심지어 몸과 마음을 재설계하는 헤아릴 수 없는 알고리즘의 거미줄에 갇혀 있는 자신을 발견할 수도 있습니다. 하지만 우리는 우리를 통제하는 힘을 더 이상 이해할 수 없습니다. 그들을 멈춰라. 21세기 전체주의 네트워크가 세계를 정복하는 데 성공한다면, 인간 독재자가 아닌 비인간 지능에 의해 운영될 수도 있습니다. 전체주의적 악몽의 근원지로 중국, 러시아, 민주화 이후의 미국을 꼽는 사람들은 그 위험을 오해하고 있습니다. 사실 중국인, 러시아인, 미국인, 그리고 다른 모든 인류는 비인간 지능의 전체주의적 잠재력에 의해 함께 위협받고 있습니다.

위험의 규모를 고려하면 AI는 모든 인류의 관심 대상이 되어야 합니다. 누구나 AI 전문가가 될 수는 없지만 AI는 스스로 의사결정을 내리고 새로운 아이디어를 창출할 수 있는 역사상 최초의 기술이라는 점을 명심해야 한다. 이전의 모든 인간 발명품은 인간에게 권한을 부여했습니다. 새로운 도구가 아무리 강력하더라도 그 사용에 대한 결정은 항상 우리 손에 남아 있기 때문입니다. 칼과 폭탄 자체가 누구를 죽일지 결정하지 않습니다. 정보를 처리하고 독립적인 결정을 내리는 데 필요한 지능이 부족한 멍청한 도구입니다. 이와 대조적으로 AI는 스스로 정보를 처리하는 데 필요한 지능을 갖추고 있어 의사 결정에서 인간을 대체합니다.

또한 AI의 정보 숙달을 통해 AI는 음악에서 의학에 이르기까지 다양한 분야에서 독립적으로 새로운 아이디어를 생성할 수 있습니다. 축음기는 우리의 음악을 연주했고 현미경은 우리 세포의 비밀을 드러냈지만 축음기는 새로운 교향곡을 작곡할 수 없었고 현미경은 새로운 약물을 합성할 수 없었습니다. AI는 이미 스스로 예술 작품을 제작하고 과학적 발견을 할 수 있습니다. 앞으로 수십 년 안에 유전자 코드를 작성하거나 무기 개체에 생명을 불어넣는 무기 코드를 발명함으로써 새로운 생명체를 창조할 수 있는 능력도 얻게 될 것입니다.

AI 혁명의 초기 단계인 현재 순간에도 컴퓨터는 이미 우리에게 대출을 줄 것인지, 직업을 위해 고용할 것인지, 감옥에 보낼 것인지 등 우리에 대한 결정을 내립니다. 이러한 추세는 더욱 증가하고 가속화되어 우리 자신의 삶을 이해하기가 더욱 어려워질 것입니다. 현명한 결정을 내리고 더 나은 세상을 만들기 위해 컴퓨터 알고리즘을 신뢰할 수 있습니까? 그것은 마법의 빗자루를 믿고 물을 길러오는 것보다 훨씬 더 큰 도박입니다. 그리고 우리가 도박을 하고 있는 것은 인간의 생명 그 이상입니다. AI는 우리 종의 역사뿐만 아니라 모든 생명체의 진화 과정을 바꿀 수 있습니다.

무기화 정보

2016년에 나는 새로운 정보 기술이 인류에 미치는 몇 가지 위험을 강조한 책인 호모 데우스(Homo Deus)를 출판했습니다. 그 책은 역사의 진정한 영웅은 호모 사피엔스가 아니라 항상 정보였으며, 과학자들은 점점 더 역사뿐만 아니라 생물학, 정치, 경제도 정보 흐름의 관점에서 이해하고 있다고 주장했습니다. 동물, 상태, 시장은 모두 정보 네트워크로서 환경에서 데이터를 흡수하고, 결정을 내리고, 데이터를 다시 공개합니다. 그 책에서는 우리가 더 나은 정보 기술이 우리에게 건강과 행복, 힘을 주기를 바라지만 실제로는 우리에게서 힘을 앗아가고 우리의 신체적, 정신적 건강을 모두 파괴할 수도 있다고 경고했습니다. 호모 데우스는 만약 인간이 조심하지 않는다면, 우리는 쏟아지는 강 속의 흙덩어리처럼 정보의 급류 속에 녹아버릴 것이며, 사물의 거대한 계획에서 인류는 단지 우주 속의 물결에 불과한 것으로 판명될 것이라고 가설을 세웠습니다. 데이터플로우.

호모 데우스(Homo Deus)가 출판된 이후 몇 년 동안 변화의 속도는 더욱 가속화되었으며 실제로 권력은 인간에서 알고리즘으로 이동하고 있습니다. 예술을 창조하고, 인간으로 가장하고, 우리에 대해 중요한 삶의 결정을 내리고, 우리 자신에 대해 아는 것보다 우리에 대해 더 많이 알 수 있는 알고리즘과 같이 2016년에는 공상 과학 소설처럼 들리던 많은 시나리오가 2024년에는 일상의 현실이 되었습니다.

2016년 이후 많은 것들이 변했습니다. 생태 위기가 심화되고, 국제적 긴장이 고조되었으며, 포퓰리즘 물결이 가장 강력한 민주주의 국가의 결속력을 약화시켰습니다. 포퓰리즘은 또한 정보에 대한 순진한 견해에 급진적인 도전을 제기했습니다. 도널드 트럼프(Donald Trump), 자이르 보우소나루(Jair Bolsonaro)와 같은 포퓰리즘 지도자들과 QAnon, 안티백서(anti-vaxxers)와 같은 포퓰리즘 운동과 음모론자들은 정보를 수집하고 진실을 발견한다고 주장함으로써 권위를 얻는 모든 전통적인 기관들은 단순히 거짓말을 하고 있다고 주장해 왔습니다. 관료, 판사, 의사, 주류 언론인, 학계 전문가들은 진실에 관심이 없고 의도적으로 ‘국민’을 희생하여 권력과 특권을 얻기 위해 허위 정보를 퍼뜨리는 엘리트 도당입니다. 트럼프와 같은 정치인과 QAnon과 같은 운동의 부상은 2010년대 후반 미국의 상황에 고유한 특정한 정치적 맥락을 가지고 있습니다. 그러나 반체제 세계관으로서의 포퓰리즘은 트럼프보다 오래 전부터 존재했으며 현재와 미래의 수많은 다른 역사적 맥락과 관련이 있습니다. 간단히 말해서, 포퓰리즘은 정보를 무기로 간주합니다.20

정보에 대한 포퓰리즘적 관점

좀 더 극단적인 형태의 포퓰리즘은 객관적인 진실은 전혀 없으며 모든 사람이 경쟁자를 물리치기 위해 휘두르는 “자신만의 진실"을 가지고 있다고 가정합니다. 이 세계관에 따르면 권력은 유일한 현실이다. 인간은 오직 권력에만 관심이 있기 때문에 모든 사회적 상호작용은 권력투쟁입니다. 진실이나 정의 같은 다른 것에 관심이 있다는 주장은 권력을 얻으려는 계략에 지나지 않습니다. 포퓰리즘이 정보관을 무기로 확산시키는 데 성공할 때마다 언어 자체는 훼손된다. ‘사실’과 같은 명사와 ‘정확한’, ‘진실한’과 같은 형용사는 파악하기 어려워집니다. 그러한 말은 공통의 객관적 현실을 가리키는 것으로 간주되지 않습니다. 오히려, “사실”이나 “진실”에 관해 이야기하면 적어도 일부 사람들은 “당신은 누구의 사실과 누구의 진실을 말하는 것입니까?”라고 묻게 될 것입니다.

이러한 권력 중심적이고 정보에 대한 매우 회의적인 견해는 새로운 현상이 아니며 백신 반대자, 평평한 지구론자, 볼소나리스타 또는 트럼프 지지자들에 의해 발명된 것이 아니라는 점을 강조해야 합니다. 인류의 가장 총명한 정신을 포함하여 2016년 이전에 비슷한 견해가 전파되었습니다.21 예를 들어, 20세기 후반에 미셸 푸코(Michel Foucault)와 에드워드 사이드(Edward Said)와 같은 급진좌파 지식인들은 병원이나 대학과 같은 과학 기관이 시대를 초월한 것을 추구하지 않는다고 주장했습니다. 객관적인 진실을 주장하는 대신 자본주의와 식민주의 엘리트를 위해 무엇이 진실로 간주되는지 결정하기 위해 권력을 사용하고 있습니다. 이러한 급진적 비판은 때때로 “과학적 사실”은 자본주의나 식민주의 “담론”에 지나지 않으며 권력을 가진 사람들은 결코 진실에 관심을 가질 수 없으며 자신의 실수를 인식하고 바로잡는다는 것을 결코 신뢰할 수 없다고 주장하는 데까지 이르렀습니다. 22

이러한 급진 좌파 사고의 특별한 노선은 19세기 중반 칼 마르크스(Karl Marx)로 거슬러 올라갑니다. 그는 권력이 유일한 현실이고, 정보는 무기이며, 진실과 정의에 봉사한다고 주장하는 엘리트들은 실제로 좁은 범위를 추구하고 있다고 주장했습니다. 수업 특권. 1848년 공산당 선언에는 “지금까지 존재했던 모든 사회의 역사는 계급투쟁의 역사이다. 자유인과 노예, 귀족과 평민, 영주와 농노, 길드 마스터와 직인, 한마디로 억압자와 피억압자는 끊임없이 서로 반대하며, 때로는 숨겨진, 때로는 공개적인 투쟁을 중단 없이 수행했습니다.” 역사에 대한 이러한 이분법적 해석은 인간의 모든 상호작용이 억압자와 피억압자 사이의 권력 투쟁임을 의미합니다. 따라서 누군가가 무슨 말을 할 때마다 물어야 할 질문은 “무슨 말을 하고 있는가?”가 아닙니다. 사실인가요?” 오히려 “누가 이런 말을 하는 거지? 누구의 특권에 도움이 되나요?”

물론 트럼프나 보우소나루와 같은 우익 포퓰리스트들은 푸코나 마르크스를 읽은 적이 없을 것이며, 실제로 스스로를 극도로 반마르크스주의자로 내세우고 있습니다. 그들은 또한 조세나 복지와 같은 분야에서 제안된 정책에 있어서도 마르크스주의자들과 크게 다릅니다. 그러나 사회와 정보에 대한 그들의 기본 견해는 놀랍게도 마르크스주의적입니다. 모든 인간 상호 작용을 억압자와 피억압자 사이의 권력 투쟁으로 보는 것입니다. 예를 들어, 트럼프는 2017년 취임 연설에서 “우리나라 수도의 소수 그룹이 정부의 보상을 얻었고 국민은 그 대가를 짊어졌다”고 발표했습니다. 23 이러한 수사는 포퓰리즘의 핵심이며, 정치학자 Cas Mudde가 주장한 것입니다. 사회가 궁극적으로 ‘순수한 사람들’과 ‘부패한 엘리트’라는 두 개의 동질적이고 적대적인 그룹으로 분리된다고 생각하는 이데올로기입니다. ”24 마르크스주의자들이 미디어가 자본가 계급의 대변자 역할을 하고 대학과 같은 과학 기관이 자본주의 통제를 영속시키기 위해 허위 정보를 퍼뜨린다고 주장한 것처럼, 포퓰리스트는 이러한 기관이 “부패한 엘리트"의 이익을 증진하기 위해 노력한다고 비난합니다. ‘국민’을 희생해서요.

오늘날의 포퓰리스트들은 또한 이전 세대의 급진적인 반체제 운동을 괴롭혔던 동일한 불일치로 고통받고 있습니다. 권력이 유일한 현실이고, 정보가 단지 무기라면, 이것이 포퓰리스트들 자신에 대해 무엇을 의미하는가? 그들은 너무 권력에만 관심이 있는 걸까요, 권력을 얻기 위해 우리에게 너무 거짓말을 하는 걸까요?

포퓰리스트들은 두 가지 다른 방법으로 이 난제에서 벗어나려고 노력해 왔습니다. 일부 포퓰리즘 운동은 현대 과학의 이상과 회의적 경험주의 전통을 고수한다고 주장합니다. 그들은 자칭 포퓰리즘 정당과 정치인을 포함하여 어떤 기관이나 권위 있는 인물도 절대 믿어서는 안 된다고 사람들에게 말합니다. 대신, “스스로 조사”하고 직접 관찰할 수 있는 것만 신뢰해야 합니다.25 이러한 급진적인 경험주의적 입장은 정당, 법원, 신문, 대학과 같은 대규모 기관은 결코 신뢰할 수 없지만, 개인은 신뢰할 수 없다는 것을 의미합니다. 노력을 하면 스스로 진실을 찾을 수 있습니다.

이러한 접근 방식은 과학적으로 들릴 수 있고 자유분방한 개인에게 어필할 수 있지만, 인간 공동체가 의료 시스템을 구축하거나 대규모 제도적 조직을 요구하는 환경 규정을 통과시키기 위해 어떻게 협력할 수 있는지에 대한 질문을 열어 둡니다. 한 개인이 지구의 기후가 뜨거워지고 있는지 여부와 그에 대해 무엇을 해야 하는지 결정하는 데 필요한 모든 연구를 수행할 수 있습니까? 한 사람이 지난 몇 세기 동안 신뢰할 수 있는 기록을 얻는 것은 물론 전 세계의 기후 데이터를 어떻게 수집할 수 있겠습니까? “나 자신의 연구”만을 신뢰하는 것은 과학적으로 들릴지 모르지만 실제로는 객관적인 진실이 없다고 믿는 것과 같습니다. 4장에서 살펴보겠지만 과학은 개인적인 탐구라기보다는 제도적 공동 노력이다.

대안적인 포퓰리즘적 해결책은 ‘연구’를 통해 진실을 찾는 현대 과학적 이상을 버리고 대신 신의 계시나 신비주의에 의존하는 것입니다. 기독교, 이슬람교, 힌두교와 같은 전통 종교는 일반적으로 인간을 신성한 지능의 개입 덕분에 진실에 접근할 수 있는 신뢰할 수 없는 권력에 굶주린 생물로 묘사해 왔습니다. 2010년대와 2020년대 초 브라질에서 터키, 미국에서 인도에 이르기까지 포퓰리즘 정당들은 이러한 전통 종교에 동참했습니다. 그들은 고대 경전에 대한 완전한 믿음을 선언하면서 현대 제도에 대해 근본적인 의심을 표명했습니다. 포퓰리스트들은 당신이 뉴욕 타임즈나 사이언스에서 읽는 기사는 권력을 얻으려는 엘리트주의적 계략일 뿐이지만 성경, 꾸란, 베다에서 읽는 것은 절대적인 진실이라고 주장합니다.26

이 주제의 변형은 사람들에게 트럼프와 보우소나루와 같은 카리스마 넘치는 지도자를 신뢰하도록 요구합니다. 이들은 지지자들에 의해 신의 사자로 묘사되거나27 “국민"과 신비로운 유대 관계를 맺고 있는 것으로 묘사됩니다. 일반 정치인들이 스스로 권력을 얻기 위해 국민에게 거짓말을 하는 반면, 카리스마 넘치는 지도자는 모든 거짓말을 폭로하는 국민의 틀림없는 대변자입니다.28 포퓰리즘의 반복되는 역설 중 하나는 모든 인간 엘리트가 권력에 대한 위험한 갈증에 이끌려 모든 권력을 야심 찬 한 인간에게 맡기는 경우가 많습니다.

우리는 5장에서 포퓰리즘을 더 깊이 탐구할 것이지만, 이 시점에서 인류가 생태학적 붕괴, 세계 전쟁, 외부 세계의 실존적 도전에 직면하고 있는 바로 그 순간 포퓰리스트들이 대규모 제도와 국제 협력에 대한 신뢰를 침식하고 있다는 점에 주목하는 것이 중요합니다. 제어 기술. 복잡한 인간 제도를 신뢰하는 대신, 포퓰리스트들은 파에톤 신화와 “마법사의 견습생"과 같은 조언을 우리에게 제공합니다. “개입하여 모든 것을 다시 바로잡을 신이나 위대한 마법사를 신뢰하십시오.” 이 조언을 받아들인다면, 우리는 단기적으로는 권력에 굶주린 최악의 인간들의 손아귀에 들어가고, 장기적으로는 새로운 AI 대군주들의 손아귀에 들어가게 될 것입니다. 아니면 지구가 인간이 살기에 적합하지 않게 되면서 우리는 아무데도 가지 못하게 될 수도 있습니다.

카리스마 넘치는 리더나 불가해한 AI에게 권력을 양보하지 않으려면 먼저 정보가 무엇인지, 정보가 인간 네트워크 구축에 어떻게 도움이 되는지, 정보가 진실과 권력과 어떻게 연관되는지를 더 잘 이해해야 합니다. 포퓰리스트들이 정보에 대한 순진한 시각을 의심하는 것은 옳지만, 권력이 유일한 현실이고 정보가 항상 무기라고 생각하는 것은 옳지 않습니다. 정보는 진실의 원료도 아니지만, 단순한 무기도 아닙니다. 인간의 정보 네트워크와 권력을 현명하게 처리하는 능력에 대해 좀 더 미묘하고 희망적인 시각을 제공하기 위해 이러한 극단 사이에는 충분한 공간이 있습니다. 이 책은 그 중간 지점을 탐구하는 데 전념하고 있습니다.

앞으로 나아갈 길

이 책의 첫 번째 부분에서는 인간 정보 네트워크의 역사적 발전을 조사합니다. 스크립트, 인쇄기, 라디오와 같은 정보 기술에 대한 포괄적인 세기별 설명을 제시하려고 시도하지 않습니다. 대신 몇 가지 사례를 연구함으로써 모든 시대의 사람들이 정보 네트워크를 구축하려고 할 때 직면했던 주요 딜레마를 탐구하고 이러한 딜레마에 대한 서로 다른 대답이 대조되는 인간 사회를 어떻게 형성했는지 조사합니다. 우리가 흔히 이념적, 정치적 갈등이라고 생각하는 것이 서로 반대되는 유형의 정보 네트워크 간의 충돌로 나타나는 경우가 많습니다.

1부에서는 대규모 인간 정보 네트워크에 필수적인 두 가지 원칙, 즉 신화와 관료제를 검토하는 것으로 시작합니다. 2장과 3장은 고대 왕국부터 현대 국가에 이르기까지 대규모 정보 네트워크가 신화 창조자와 관료 모두에게 어떻게 의존해왔는지 설명합니다. 예를 들어, 성경의 이야기는 기독교 교회에 필수적이었지만, 교회 관료들이 이러한 이야기를 큐레이팅, 편집, 전파하지 않았다면 성경은 없었을 것입니다. 모든 인간 네트워크의 어려운 딜레마는 신화 창조자와 관료가 서로 다른 방향으로 나아가는 경향이 있다는 것입니다. 기관과 사회는 신화 창조자와 관료의 상충되는 요구 사이에서 찾는 균형에 의해 정의되는 경우가 많습니다. 기독교 교회 자체는 가톨릭 교회와 개신교 교회와 같은 경쟁 교회로 분열되어 신화와 관료주의 사이에서 서로 다른 균형을 유지했습니다.

그런 다음 4장은 잘못된 정보의 문제와 독립 법원이나 동료 심사 저널과 같은 자체 수정 메커니즘을 유지하는 것의 이점과 단점에 중점을 둡니다. 이 장에서는 가톨릭 교회처럼 약한 자기 교정 메커니즘에 의존하는 기관과 과학 분야처럼 강력한 자기 교정 메커니즘을 개발한 기관을 대조합니다. 약한 자기 수정 메커니즘은 때때로 초기 현대 유럽의 마녀사냥과 같은 역사적 재난을 초래하는 반면, 강력한 자기 수정 메커니즘은 때때로 내부에서 네트워크를 불안정하게 만듭니다. 수명, 확산, 권력 측면에서 판단해 볼 때, 가톨릭 교회는 자체 교정 메커니즘이 상대적으로 약함에도 불구하고 아마도 인류 역사상 가장 성공적인 기관이었을 것입니다.

1부에서 신화와 관료주의의 역할, 강력한 자기 수정 메커니즘과 약한 자기 수정 메커니즘의 대조를 조사한 후 5장에서는 또 다른 대조, 즉 분산 정보 네트워크와 중앙 집중식 정보 네트워크 간의 대조에 초점을 맞춰 역사적 논의를 마무리합니다. 민주주의 체제에서는 정보가 여러 독립적인 채널을 통해 자유롭게 흐르도록 허용하는 반면, 전체주의 체제에서는 정보를 하나의 허브에 집중시키려고 노력합니다. 각 선택에는 장점과 단점이 모두 있습니다. 정보 흐름 측면에서 미국과 소련 같은 정치 체제를 이해하면 서로 다른 궤적에 대해 많은 것을 설명할 수 있습니다.

이 책의 역사적 부분은 현재의 발전과 미래 시나리오를 이해하는 데 매우 중요합니다. AI의 부상은 틀림없이 역사상 가장 큰 정보 혁명입니다. 그러나 전임자와 비교하지 않으면 그것을 이해할 수 없습니다. 역사는 과거에 대한 연구가 아닙니다. 그것은 변화에 대한 연구이다. 역사는 우리에게 무엇이 변하지 않고, 무엇이 변하며, 사물이 어떻게 변하는지 가르쳐 줍니다. 이는 다른 모든 종류의 역사적 변화와 마찬가지로 정보 혁명과도 관련이 있습니다. 따라서 오류가 없다고 주장되는 성경이 정경화되는 과정을 이해하는 것은 AI 오류가 없다는 오늘날의 주장에 대한 귀중한 통찰력을 제공합니다. 마찬가지로, 초기 현대 마녀사냥과 스탈린의 집단화에 대한 연구는 AI에게 21세기 사회에 대한 더 큰 통제권을 부여할 때 무엇이 잘못될 수 있는지에 대한 엄연한 경고를 제공합니다. AI의 새로운 점, AI가 인쇄기 및 라디오 세트와 근본적으로 어떻게 다른지, 미래의 AI 독재가 어떤 특정한 방식으로 이전에 본 것과 매우 다를 수 있는지 이해하려면 역사에 대한 깊은 지식도 중요합니다.

이 책은 과거를 연구하면 미래를 예측할 수 있다고 주장하지 않습니다. 다음 페이지에서 반복적으로 강조되듯이, 역사는 결정론적이지 않으며, 미래는 우리 모두가 앞으로 내리는 선택에 따라 형성될 것입니다. 이 책을 쓰는 목적은 정보에 입각한 선택을 함으로써 최악의 결과를 예방할 수 있다는 것입니다. 미래를 바꿀 수 없다면 왜 그것에 대해 논의하는 데 시간을 낭비합니까?

1부의 역사적 조사를 바탕으로 이 책의 두 번째 부분인 “무기 네트워크"에서는 AI 부상의 정치적 의미에 초점을 맞춰 오늘날 우리가 만들고 있는 새로운 정보 네트워크를 조사합니다. 6~~8장은 AI가 이전의 모든 정보 기술과 어떤 점에서 다른지 설명하기 위해 2016~~17년 미얀마에서 인종 폭력을 조장한 소셜 미디어 알고리즘의 역할과 같은 전 세계의 최근 사례를 논의합니다. 2020년대보다는 2010년대 사례를 주로 사용했는데, 그 이유는 우리가 2010년대 사건에 대해 어느 정도 역사적 관점을 얻었기 때문입니다.

2부에서는 우리가 그 의미를 고려하지 않고 완전히 새로운 종류의 정보 네트워크를 만들고 있다고 주장합니다. 이는 유기적 정보 네트워크에서 무기적 정보 네트워크로의 전환을 강조합니다. 로마 제국, 가톨릭 교회, 소련은 모두 정보를 처리하고 결정을 내리는 데 탄소 기반 두뇌에 의존했습니다. 새로운 정보 네트워크를 지배하는 실리콘 기반 컴퓨터는 근본적으로 다른 방식으로 작동합니다. 좋든 나쁘든, 실리콘 칩은 유기 생화학이 탄소 뉴런에 부과하는 많은 제한으로부터 자유롭습니다. 실리콘 칩은 잠들지 않는 스파이, 결코 잊지 않는 금융가, 결코 죽지 않는 독재자를 만들 수 있습니다. 이것이 사회, 경제, 정치를 어떻게 변화시킬 것인가?

이 책의 세 번째이자 마지막 부분인 “컴퓨터 정치"에서는 다양한 사회가 무기물 정보 네트워크의 위협과 가능성에 어떻게 대처할 수 있는지 조사합니다. 우리와 같은 탄소 기반 생명체가 새로운 정보 네트워크를 이해하고 제어할 수 있는 기회를 갖게 될까요? 위에서 언급했듯이 역사는 결정론적이지 않으며 적어도 몇 년 동안 우리 사피엔스는 여전히 우리의 미래를 형성할 힘을 가지고 있습니다.

따라서 9장에서는 민주주의가 무기적 네트워크를 어떻게 다룰 수 있는지 탐구합니다. 예를 들어, 금융 시스템이 점점 AI에 의해 통제되고 돈의 의미 자체가 불가해한 알고리즘에 의존하게 된다면, 실제 정치인들이 어떻게 재정적 결정을 내릴 수 있을까요? 우리가 다른 사람과 대화하고 있는지 아니면 인간으로 가장하는 챗봇과 대화하고 있는지 더 이상 알 수 없다면 민주주의 국가는 어떻게 금융이든 성별이든 무엇이든 공개 대화를 유지할 수 있습니까?

10장은 무기물 네트워크가 전체주의에 미치는 잠재적인 영향을 탐구합니다. 독재자들은 공개 대화를 모두 없애고 싶어하지만 AI에 대한 두려움도 갖고 있습니다. 독재정치는 자신의 대리인을 테러하고 검열하는 데 기반을 두고 있습니다. 하지만 인간 독재자가 어떻게 AI를 위협하고, AI의 불가해한 프로세스를 검열하고, AI가 스스로 권력을 장악하는 것을 막을 수 있습니까?

마지막으로 11장에서는 새로운 정보 네트워크가 글로벌 수준에서 민주 사회와 전체주의 사회 사이의 권력 균형에 어떻게 영향을 미칠 수 있는지 탐구합니다. AI가 결정적으로 한 진영에 유리하게 균형을 기울일까요? 세상은 경쟁으로 인해 우리 모두가 통제 불능 AI의 먹이가 되기 쉬운 적대적인 블록으로 분열될 것입니까? 아니면 공동의 이익을 수호하기 위해 단결할 수 있습니까?

그러나 정보 네트워크의 과거, 현재, 가능한 미래를 탐구하기 전에 믿을 수 없을 정도로 간단한 질문부터 시작해야 합니다. 정보란 정확히 무엇인가?

딥엘번역: 프롤로그

정보 문제

우리는 우리 종의 이름을 지혜로운 인간, 즉 호모 사피엔스라고 명명했습니다. 하지만 우리가 그 이름에 걸맞게 잘 살아왔는지는 논란의 여지가 있습니다.

2천 년 후, 산업혁명이 첫발을 내딛고 기계가 수많은 작업에서 인간을 대체하기 시작했을 때 요한 볼프강 폰 괴테는 “마법사의 견습생"이라는 제목의 비슷한 교훈적인 동화를 발표했습니다. 괴테의 시(나중에 미키 마우스 주연의 월트 디즈니 애니메이션으로 유명해짐)는 늙은 마법사가 젊은 제자에게 작업장을 맡기고 그가 없는 동안 강에서 물을 길어오는 등 몇 가지 집안일을 시키는 내용을 담고 있습니다. 제자는 스스로 일을 더 쉽게 하기로 결심하고 마법사의 주문 중 하나를 사용하여 빗자루에 마법을 걸어 물을 길어 오기로 합니다. 하지만 제자는 빗자루를 멈출 방법을 알지 못했고, 빗자루는 점점 더 많은 물을 가져와 작업장에 물이 넘칠 위기에 처합니다. 당황한 견습생은 도끼로 마법이 걸린 빗자루를 두 동강 내고, 각각의 반쪽이 다른 빗자루가 되는 것을 보게 됩니다. 이제 마법에 걸린 빗자루 두 개가 작업장을 물로 가득 채우고 있습니다. 늙은 마법사가 돌아오자 제자는 도움을 청합니다: “제가 소환한 정령들을 이제 다시는 제거할 수 없습니다.” 마법사는 즉시 주문을 풀고 홍수를 멈춥니다. 제자와 인류에게 주는 교훈은 분명합니다. 자신이 통제할 수 없는 힘은 절대 소환하지 말라는 것이죠.

그럼 어떻게 해야 할까요? 우화는 신이나 마법사가 우리를 구해줄 때까지 기다리는 것 외에는 답을 제시하지 않습니다. 물론 이것은 매우 위험한 메시지입니다. 사람들이 책임을 포기하고 대신 신과 마법사를 믿도록 부추기기 때문입니다. 더 큰 문제는 신과 마법사도 전차, 빗자루, 알고리즘처럼 인간의 발명품이라는 사실을 인식하지 못한다는 점입니다. 의도하지 않은 결과를 초래하는 강력한 것을 만들어내는 경향은 증기기관이나 인공지능의 발명이 아니라 종교의 발명과 함께 시작되었습니다. 선지자와 신학자들은 사랑과 기쁨을 가져다주어야 할 강력한 영혼을 반복해서 소환했지만 결국에는 세상을 피로 물들였습니다.

더 구체적으로 말하면 정보 문제입니다. 정보는 네트워크를 하나로 묶어주는 접착제입니다. 하지만 사피엔스는 수만 년 동안 신, 마법에 걸린 빗자루, 인공지능 등 수많은 허구, 환상, 대중의 망상을 발명하고 퍼뜨려 대규모 네트워크를 구축하고 유지해 왔습니다. 인간 개개인은 일반적으로 자신과 세상에 대한 진실을 알고 싶어 하지만, 대규모 네트워크는 허구와 환상에 의존하여 구성원들을 묶고 질서를 만들어냅니다. 예를 들어 나치즘과 스탈린주의가 그렇게 탄생한 것이죠. 나치즘과 스탈린주의는 매우 강력한 네트워크로서, 매우 기만적인 아이디어로 결속되어 있었습니다. 조지 오웰의 유명한 말처럼 무지가 곧 힘입니다.

나치와 스탈린주의 정권이 잔인한 환상과 뻔뻔한 거짓말에 기반을 두었다고 해서 역사적으로 예외적이거나 붕괴를 예견한 것은 아닙니다. 나치즘과 스탈린주의는 인류가 만들어낸 가장 강력한 네트워크 중 하나였습니다. 1941년 말과 1942년 초, 추축국은 제2차 세계대전의 승리가 눈앞에 다가왔습니다. 결국 스탈린은 전쟁의 승리자로 부상했고¹, 1950년대와 1960년대에는 스탈린과 그의 후계자들도 냉전에서 승리할 가능성이 상당히 높았습니다. 1990년대에는 자유민주주의가 우위를 점했지만 이는 일시적인 승리로 보입니다. 21세기에는 히틀러와 스탈린이 실패한 곳에서 새로운 전체주의 정권이 성공하여 미래 세대가 그 거짓과 허구를 폭로하려는 시도조차 하지 못하게 하는 강력한 네트워크를 구축할 수도 있습니다. 우리는 망상적 네트워크가 실패할 운명이라고 가정해서는 안 됩니다. 그들의 승리를 막으려면 우리 스스로 노력해야 할 것입니다.

정보에 대한 순진한 시각

망상 네트워크의 힘을 제대로 이해하기 어려운 이유는 망상이든 아니든 간에 대규모 정보 네트워크가 작동하는 방식에 대한 광범위한 오해 때문입니다. 이러한 오해는 제가 “정보에 대한 순진한 관점"이라고 부르는 것에 요약되어 있습니다. 페이톤 신화나 ‘마법사의 제자’와 같은 우화가 개별 인간 심리에 대해 지나치게 비관적인 시각을 제시하는 반면, 정보에 대한 순진한 시각은 대규모 인간 네트워크에 대해 지나치게 낙관적인 시각을 퍼뜨리고 있습니다.

정보에 대한 순진한 시각

그러나 순진한 견해는 정보를 수집하고 처리할 때 발생하는 대부분의 문제에 대한 해독제가 더 많은 정보를 수집하고 처리하는 것이라고 가정합니다. 오류로부터 완전히 안전할 수는 없지만 대부분의 경우 더 많은 정보는 더 높은 정확도를 의미합니다. 한 명의 의사가 한 명의 환자를 진찰하여 전염병의 원인을 파악하려는 것은 수천 명의 의사가 수백만 명의 환자 데이터를 수집하는 것보다 성공할 가능성이 낮습니다. 그리고 의사들이 진실을 숨기려고 음모를 꾸민다면 대중과 탐사보도 기자들이 의료 정보를 더 자유롭게 이용할 수 있도록 하면 결국 사기가 드러날 것입니다. 이 관점에 따르면 정보 네트워크가 클수록 진실에 더 가까워질 수 있습니다.

물론 정보를 정확하게 분석하고 중요한 진실을 발견한다고 해서 그 결과물을 현명하게 사용한다는 보장은 없습니다. 지혜는 일반적으로 ‘올바른 결정을 내리는 것’을 의미하지만, ‘올바른’이라는 것은 다양한 사람, 문화 또는 이념에 따라 가치 판단이 달라질 수 있습니다. 새로운 병원체를 발견한 과학자는 사람들을 보호하기 위해 백신을 개발할 수 있습니다. 그러나 과학자나 그들의 정치적 지배자가 일부 인종이 열등하므로 박멸해야 한다는 인종차별적 이데올로기를 믿는다면, 새로운 의학 지식이 수백만 명을 죽이는 생물학적 무기를 개발하는 데 사용될 수 있습니다.

물론 순진한 견해는 몇 단락으로 설명하기에는 미묘하고 사려 깊지만, 그 핵심은 정보는 본질적으로 좋은 것이며, 더 많이 가질수록 더 좋다는 것입니다. 충분한 정보와 충분한 시간이 주어지면 바이러스 감염부터 인종 차별적 편견에 이르기까지 다양한 사안에 대한 진실을 발견하고, 이를 통해 우리의 힘뿐만 아니라 그 힘을 잘 사용하는 데 필요한 지혜도 키울 수 있습니다.

이러한 순진한 견해는 더욱 강력한 정보 기술의 추구를 정당화하며 컴퓨터 시대와 인터넷의 준 공식적인 이데올로기가 되어 왔습니다. 베를린 장벽과 철의 장막이 무너지기 몇 달 전인 1989년 6월, 로널드 레이건은 “전체주의 통제의 골리앗은 마이크로칩의 다윗에 의해 빠르게 무너질 것"이며 “빅브라더 중 가장 큰 존재인 빅브라더는 통신 기술 앞에서 점점 무력해질 것"이라고 선언했습니다….. 정보는 현대의 산소입니다…. 철조망으로 둘러싸인 벽을 뚫고 스며듭니다. 전기가 흐르고 부비트랩이 설치된 국경을 가로지릅니다. 전자빔의 산들바람이 마치 레이스처럼 철의 장막을 뚫고 들어옵니다.”² 2009년 11월 상하이를 방문한 버락 오바마는 중국 주최 측에 “저는 기술을 믿으며 정보의 흐름에 있어서도 개방성을 믿습니다. 정보의 흐름이 자유로울수록 사회가 더 강해진다고 생각합니다.“3

구글 대 괴테

요한 볼프강 폰 괴테는 다섯 명의 자녀를 두었는데, 장남 아우구스트를 제외한 모든 자녀가 출생 후 2주 이내에 사망했습니다. 아마도 괴테와 그의 아내 크리스티안느의 혈액형이 맞지 않아 첫 임신에 성공한 후 산모가 태아 혈액에 대한 항체를 갖게 된 것이 원인일 가능성이 높습니다. 광우병으로 알려진 이 질환은 오늘날에는 치료가 매우 효과적으로 이루어져 사망률이 2% 미만이지만 1790년대에는 평균 사망률이 50%에 달했고 괴테의 네 자녀에게는 사형선고와도 같았습니다.8

18세기 후반 독일의 부유한 가정이었던 괴테 가문의 전체 아동 생존율은 25%라는 형편없는 수치를 기록했습니다. 열두 명의 자녀 중 세 명만이 성인이 되었습니다. 이 끔찍한 통계는 예외가 아니었습니다. 괴테가 “마법사의 제자"를 집필한 1797년 무렵에는 독일 아동의 약 50%만이 15세에 도달한 것으로 추정되며,9 다른 대부분의 지역에서도 마찬가지였을 것입니다.10 2020년까지 전 세계 아동의 95.6%가 15세 이상 살았고,11 독일에서는 그 비율이 99.5%였습니다.12 혈액형 등 방대한 양의 의료 데이터를 수집, 분석, 공유하지 않았다면 이 중대한 성과는 불가능했을 것입니다. 이 사례에서는 정보에 대한 순진한 시각이 옳았다는 것이 증명되었습니다.

회의적인 시각을 가진 사람들도 있습니다. 철학자와 사회과학자뿐만 아니라 요슈아 벤지오, 제프리 힌튼, 샘 알트만, 일론 머스크, 무스타파 술레이만 등 많은 주요 AI 전문가와 기업가들도 AI가 우리 문명을 파괴할 수 있다고 대중에게 경고했습니다.16 2024년 벤지오, 힌튼 및 기타 여러 전문가가 공동 집필한 기사에서 “무분별한 AI 발전은 대규모 인명 및 생물권 손실, 인류의 소외 또는 멸종으로 이어질 수 있다"고 지적했습니다.17 2,778명의 AI 연구원을 대상으로 한 2023년 설문조사에서 3분의 1 이상이 AI 발전이 인류 멸종만큼 나쁜 결과를 초래할 확률이 10% 이상이라고 답했습니다.18 2023년 중국, 미국, 영국을 포함한 약 30개 정부는 “이러한 AI 모델의 가장 중요한 기능으로 인해 고의적이든 비의도적이든 심각한, 심지어 재앙적인 피해가 발생할 가능성이 있다"고 인정하는 블레클리 선언에 서명했습니다.19 전문가와 정부는 이러한 묵시록적인 용어를 사용함으로써 킬러 로봇이 거리를 돌아다니며 사람을 쏘는 할리우드 이미지를 떠올리고 싶지 않을 것입니다. 이러한 시나리오는 실현 가능성이 낮으며 실제 위험으로부터 사람들의 주의를 분산시킬 뿐입니다. 오히려 전문가들은 두 가지 다른 시나리오에 대해 경고합니다.

AI 혁명의 초기 단계에 있는 지금 이 순간에도 컴퓨터는 이미 우리에게 대출을 해줄지, 일자리를 구할지, 감옥에 보낼지 등 우리에 대한 결정을 내리고 있습니다. 이러한 추세는 점점 더 가속화될 것이며, 우리 자신의 삶을 이해하기는 더욱 어려워질 것입니다. 컴퓨터 알고리즘이 현명한 결정을 내리고 더 나은 세상을 만들 것이라고 믿을 수 있을까요? 그것은 마법에 걸린 빗자루가 물을 가져다줄 것이라고 믿는 것보다 훨씬 더 큰 도박입니다. 그리고 우리가 도박하는 것은 인간의 목숨 그 이상입니다. AI는 인류의 역사뿐만 아니라 모든 생명체의 진화 과정을 바꿀 수 있습니다.

정보 무기화

호모 데우스가 출간된 이후 몇 년 동안 변화의 속도는 더욱 빨라졌고, 실제로 권력은 인간에서 알고리즘으로 이동하고 있습니다. 2016년에는 공상과학 소설처럼 들렸던 알고리즘이 예술을 창조하고, 인간으로 가장하고, 인생의 중요한 결정을 내리고, 우리 자신에 대해 아는 것보다 더 많은 것을 알고 있는 등 많은 시나리오가 2024년에는 일상적인 현실이 될 것입니다.

2016년 이후 많은 변화가 있었습니다. 생태 위기가 심화되고 국제적 긴장이 고조되었으며 포퓰리즘의 물결이 가장 견고한 민주주의 국가들의 결속력마저 약화시켰습니다. 포퓰리즘은 또한 정보에 대한 순진한 시각에 급진적인 도전을 제기했습니다. 도널드 트럼프와 자이르 보우소나루 같은 포퓰리스트 지도자들과 큐아논, 안티백신론자들과 같은 포퓰리스트 운동 및 음모론자들은 정보를 수집하고 진실을 발견한다고 주장하며 권위를 얻는 모든 전통적인 기관이 단순히 거짓말이라고 주장해왔습니다. 관료, 판사, 의사, 주류 언론인, 학계 전문가들은 진실에는 관심이 없고 “국민"을 희생시키면서 자신들을 위한 권력과 특권을 얻기 위해 고의적으로 허위 정보를 퍼뜨리는 엘리트 집단이라는 것입니다. 트럼프와 같은 정치인과 QAnon과 같은 운동의 부상은 2010년대 후반 미국의 상황이라는 특정한 정치적 맥락을 가지고 있습니다. 그러나 반기득권 세계관으로서의 포퓰리즘은 트럼프보다 훨씬 이전부터 존재했으며 현재와 미래의 수많은 다른 역사적 맥락과도 관련이 있습니다. 간단히 말해, 포퓰리즘은 정보를 무기로 간주합니다.20

정보에 대한 포퓰리즘적 시각

물론 트럼프나 보우소나루와 같은 우파 포퓰리스트들은 푸코나 마르크스를 읽지 않았을 가능성이 높으며, 실제로 자신을 격렬한 반마르크스주의자로 내세우고 있습니다. 또한 이들은 조세나 복지와 같은 분야에서 마르크스주의자들과 큰 차이를 보이는 정책을 제안하기도 합니다. 그러나 사회와 정보에 대한 그들의 기본적인 관점은 놀랍게도 마르크스주의적이며, 모든 인간의 상호작용을 억압자와 피억압자 간의 권력 투쟁으로 보고 있습니다. 예를 들어, 2017년 취임 연설에서 트럼프는 “우리나라 수도에 있는 소수의 집단이 정부의 혜택을 누리는 반면 국민은 비용을 부담했다.“23 이러한 수사는 포퓰리즘의 주요 수사로, 정치학자 캐스 머드는 “사회를 궁극적으로 ‘순수한 국민’ 대 ‘부패한 엘리트’라는 두 동질적이고 적대적인 집단으로 구분하는 이념"이라고 설명했습니다. “24 마르크스주의자들이 언론이 자본가 계급의 대변인 역할을 하고 대학과 같은 과학 기관이 자본주의 지배를 영속화하기 위해 허위 정보를 퍼뜨린다고 주장한 것처럼, 포퓰리스트들은 같은 기관이 ‘국민’을 희생시키면서 ‘부패 엘리트’의 이익을 증진하기 위해 일한다고 비난합니다.”

이 주제의 변형은 사람들이 트럼프나 보우소나루와 같은 카리스마적 지도자를 신뢰하도록 요구하는데, 이들은 지지자들에 의해 신의 사자27 또는 “국민"과 신비로운 유대감을 가진 존재로 묘사됩니다. 평범한 정치인들은 권력을 잡기 위해 국민에게 거짓말을 하지만, 카리스마적 지도자는 모든 거짓말을 폭로하는 국민의 대변자입니다.28 포퓰리즘의 반복되는 역설 중 하나는 모든 인간 엘리트가 위험한 권력욕에 의해 움직인다는 경고로 시작하지만 종종 모든 권력을 야망에 찬 한 사람에게 맡기는 것으로 끝나는 경우가 많다는 점입니다.

5장에서 포퓰리즘에 대해 더 자세히 살펴보겠지만, 지금 이 시점에서 포퓰리스트들은 인류가 생태계의 붕괴, 세계대전, 통제 불능의 기술이라는 실존적 도전에 직면한 상황에서 대규모 제도와 국제 협력에 대한 신뢰를 약화시키고 있다는 점에 주목하는 것이 중요합니다. 포퓰리스트들은 복잡한 인간 제도를 신뢰하는 대신 페이톤 신화나 ‘마법사의 제자’와 같은 조언을 합니다: “신이나 위대한 마법사가 개입하여 모든 것을 다시 바로잡아줄 것이라고 믿으라"고 말입니다. 이 조언을 받아들인다면 단기적으로는 최악의 권력욕에 사로잡힌 인간의 손아귀에, 장기적으로는 새로운 인공지능 지배자의 손아귀에 놓이게 될 가능성이 높습니다. 아니면 지구가 인간이 살 수 없는 환경이 되어 더 이상 살 곳이 없어질지도 모릅니다.

앞으로 나아갈 길

1장에서는 대규모 인간 정보 네트워크에 필수적이었던 두 가지 원칙, 즉 신화와 관료제를 살펴보는 것으로 시작합니다. 2장과 3장에서는 고대 왕국부터 현대 국가에 이르기까지 대규모 정보 네트워크가 신화와 관료주의에 어떻게 의존해왔는지 설명합니다. 예를 들어, 성경의 이야기는 기독교 교회에 필수적인 것이었지만 교회 관료들이 이 이야기를 선별하고 편집하고 전파하지 않았다면 성경은 존재하지 않았을 것입니다. 모든 인적 네트워크의 어려운 딜레마는 신화 창조자와 관료가 서로 다른 방향으로 나아가는 경향이 있다는 것입니다. 기관과 사회는 종종 신화 창조자와 관료의 상충되는 요구 사이에서 균형을 찾는 데 성공함으로써 정의됩니다. 기독교 교회도 가톨릭 교회와 개신교 교회처럼 라이벌 교회로 분열되어 신화와 관료주의 사이에서 서로 다른 균형을 유지했습니다.

4장에서는 잘못된 정보의 문제와 독립적인 법원이나 동료 심사 저널과 같은 자정 메커니즘을 유지하는 것의 장점과 단점에 대해 중점적으로 다룹니다. 이 장에서는 가톨릭 교회와 같이 약한 자기 교정 메커니즘에 의존하는 기관과 과학 분야처럼 강력한 자기 교정 메커니즘을 개발한 기관을 대조합니다. 약한 자기 교정 메커니즘은 때때로 초기 근대 유럽의 마녀사냥과 같은 역사적 재앙을 초래하는 반면, 강력한 자기 교정 메커니즘은 때때로 네트워크를 내부로부터 불안정하게 만듭니다. 가톨릭 교회는 그 수명과 확산, 권력의 측면에서 볼 때, 자기 교정 메커니즘이 상대적으로 약함에도 불구하고, 아니 어쩌면 그 때문에 인류 역사상 가장 성공적인 기관이 되었을 것입니다.

1부에서 신화와 관료주의의 역할, 강력한 자정 메커니즘과 약한 자정 메커니즘의 대비를 살펴본 후, 5장에서는 분산형 정보 네트워크와 중앙집중형 정보 네트워크의 또 다른 대비에 초점을 맞춰 역사적 논의를 마무리합니다. 민주적 시스템은 정보가 여러 독립적인 채널을 따라 자유롭게 흐르도록 허용하는 반면, 전체주의 시스템은 하나의 허브에 정보를 집중시키려고 노력합니다. 각 선택에는 장점과 단점이 모두 있습니다. 미국과 소련과 같은 정치 시스템을 정보 흐름의 관점에서 이해하면 서로 다른 궤적에 대해 많은 것을 설명할 수 있습니다.

이 책의 역사적 부분은 현재의 발전 상황과 미래 시나리오를 이해하는 데 매우 중요합니다. AI의 등장은 역사상 가장 큰 정보 혁명임에 틀림없습니다. 하지만 이전 세대와 비교하지 않으면 이해할 수 없습니다. 역사는 과거를 연구하는 것이 아니라 변화를 연구하는 학문입니다. 역사는 우리에게 무엇이 변하지 않고, 무엇이 변하며, 어떻게 변하는지를 가르쳐 줍니다. 이는 다른 모든 종류의 역사적 변화와 마찬가지로 정보 혁명과도 관련이 있습니다. 따라서 무오류라고 주장되는 성경이 정경화되는 과정을 이해하면 오늘날 인공지능의 무오류 주장에 대한 귀중한 통찰력을 얻을 수 있습니다. 마찬가지로, 초기 근대 마녀사냥과 스탈린의 집단화를 연구하는 것은 21세기 사회에 인공지능이 더 큰 통제권을 갖게 될 때 어떤 일이 일어날 수 있는지에 대한 엄중한 경고를 제공합니다. 또한 역사에 대한 깊은 지식은 AI의 새로운 점, 인쇄기나 라디오 세트와 근본적으로 어떻게 다른지, 미래의 AI 독재가 이전과는 매우 다른 어떤 방식으로 이루어질 수 있는지 이해하는 데 필수적입니다.

1부의 역사적 조사를 바탕으로 이 책의 두 번째 파트인 ‘무기물 네트워크’에서는 오늘날 우리가 만들어가고 있는 새로운 정보 네트워크를 살펴보고, AI의 부상이 갖는 정치적 함의에 초점을 맞춥니다. 6~~8장에서는 2016~~2017년 미얀마에서 인종 폭력을 선동한 소셜 미디어 알고리즘의 역할 등 전 세계의 최근 사례를 통해 AI가 이전의 모든 정보 기술과 어떤 점에서 다른지 설명합니다. 2020년대가 아닌 2010년대 사례를 주로 사용하는 이유는 2010년대 사건에 대한 역사적 관점을 어느 정도 확보했기 때문입니다.

이 책의 세 번째이자 마지막 부분인 ‘컴퓨터 정치’에서는 다양한 종류의 사회가 무기 정보 네트워크의 위협과 약속에 어떻게 대처할 수 있는지 살펴봅니다. 인간과 같은 탄소 기반 생명체가 새로운 정보 네트워크를 이해하고 통제할 수 있을까요? 위에서 언급했듯이 역사는 결정론적이지 않으며, 적어도 몇 년 동안은 우리 사피엔스에게 미래를 만들어갈 힘이 남아 있습니다.

따라서 9장에서는 민주주의가 무기물 네트워크를 어떻게 다룰 수 있는지 살펴봅니다. 예를 들어, 금융 시스템이 점점 더 인공지능에 의해 통제되고 돈의 의미 자체가 이해할 수 없는 알고리즘에 의존하게 된다면, 실제 정치인들은 어떻게 재정적 결정을 내릴 수 있을까요? 우리가 더 이상 다른 사람과 대화하고 있는지 아니면 인간을 가장한 챗봇과 대화하고 있는지 알 수 없다면 민주주의는 어떻게 금융이든 성별이든 모든 것에 대한 공적인 대화를 유지할 수 있을까요?

Related-Notes

References

유발 하라리. 2024. 넥서스: 석기 시대부터 Ai까지 정보 네트워크의 간략한 역사. https://www.yes24.com/Product/Goods/125085308.

Glossary

Delusional networks 망상 네트워크 1, 2, 3

Inorganic Network 무기 네트워크 1, 2

Sean McMeekin, Stalin’s War: A New History of World War II (New York: Basic Books, 2021). ↩︎ ↩︎ ↩︎ ↩︎
“Reagan Urges ‘Risk’ on Gorbachev: Soviet Leader May Be Only Hope for Change, He Says,” Los Angeles Times, June 13, 1989, www.latimes.com/archives/la-xpm-1989-06-13-mn-2300-story.html. ↩︎ ↩︎ ↩︎

마지막 수정일자 2024-09-30

마크 맨슨 (2017) 신경 끄기의 기술 #노트북LM:

유발 하라리 (2024) 넥서스: 석기 시대부터 AI까지 정보 네트워크의 간략한 역사

Prologue 프롤로그

INFORMATION PROBLEM

THE NAIVE VIEW OF INFORMATION

GOOGLE VERSUS GOETHE

WEAPONIZING INFORMATION

THE ROAD AHEAD

목차

1 Prologue

파트 1 인적 네트워크 Human Networks

1장 정보란 무엇인가요?

2장 스토리: 무제한 연결

3장 문서: 종이 호랑이의 한입

4장 오류: 무오류의 환상

5장 결정: 민주주의와 전체주의의 간략한 역사

파트 2 무기물 네트워크 The Inorganic Network

6장 새 멤버: 컴퓨터와 인쇄기의 차이점

7장 가차없이: 네트워크는 항상 켜져 있습니다

8장 오류 가능성: 네트워크는 종종 틀립니다

파트 3 컴퓨터 정치 - PART III Computer Politics

9장 민주주의: 우리는 여전히 대화를 할 수 있을까요?

10장 전체주의: 알고리즘에 모든 권력을?

11장 실리콘 장막: 글로벌 제국인가, 글로벌 분열인가?

에필로그 Epilogue

구글번역: 프롤로그

정보 문제

정보에 대한 순진한 견해

구글 대 괴테

무기화 정보

앞으로 나아갈 길

딥엘번역: 프롤로그

정보 문제

정보에 대한 순진한 시각

구글 대 괴테

정보 무기화

앞으로 나아갈 길

Related-Notes

References

Glossary

유발 하라리 (2024) 넥서스: 석기 시대부터 AI까지 정보 네트워크의 간략한 역사

Prologue 프롤로그

INFORMATION PROBLEM

THE NAIVE VIEW OF INFORMATION

GOOGLE VERSUS GOETHE

WEAPONIZING INFORMATION

THE ROAD AHEAD

목차

1 Prologue

파트 1 인적 네트워크 Human Networks

1장 정보란 무엇인가요?

2장 스토리: 무제한 연결

3장 문서: 종이 호랑이의 한입

4장 오류: 무오류의 환상

5장 결정: 민주주의와 전체주의의 간략한 역사

파트 2 무기물 네트워크 The Inorganic Network

6장 새 멤버: 컴퓨터와 인쇄기의 차이점

7장 가차없이: 네트워크는 항상 켜져 있습니다

8장 오류 가능성: 네트워크는 종종 틀립니다

파트 3 컴퓨터 정치 - PART III Computer Politics

9장 민주주의: 우리는 여전히 대화를 할 수 있을까요?

10장 전체주의: 알고리즘에 모든 권력을?

11장 실리콘 장막: 글로벌 제국인가, 글로벌 분열인가?

에필로그 Epilogue

구글번역: 프롤로그

정보 문제

정보에 대한 순진한 견해

구글 대 괴테

무기화 ​​정보

앞으로 나아갈 길

딥엘번역: 프롤로그

정보 문제

정보에 대한 순진한 시각

구글 대 괴테

정보 무기화

앞으로 나아갈 길

Related-Notes

References

Glossary

무기화 정보