Штучний інтелект і Великий Фільтр

Стосовно небезпеки від штучного інтелекту. Взагалі не про ChatGPT, а з іншого боку.

Поясню через Великий Фільтр.

На Марсі дивна ситуація з метаном. Її можна пояснювати, як геологічними чи кліматичними процесами, так і діяльністю живих організмів типу бактерій. Які десь там під поверхнею Марсу живуть і виробляють\споживають метан. Метан на Марсі можна багато чим пояснити, не тільки діяльністю бактерій, насправді. Але. Метану на поверхні Марсу більше днем і марсіанським літом, менше вночі та взимку. У випадку, якщо на Марсі є життя, то це для нас ПОГАНА НОВИНА. Якщо життя на Марсі не просто є, а побудовано НЕ на тій самій основі (НЕ на такій самій ДНК, як і у нас), що і життя на Землі, для нас це ДУЖЕ ПОГАНА НОВИНА.

Аналогічна ситуація виявиться, якщо фосфін у верхніх шарах атмосфери Венери також має біологічне походження.

Поясню.

Ми не бачимо слідів діяльності розвинених цивілізацій у Галактиці. Не бачимо кораблів, які літають на навколосвітових швидкостях. Такі кораблі можна було б побачити навіть збоку, бо вони б випромінювали в усіх діапазонах за рахунок зіткнення щита або силового поля з атомарним воднем. Або по слідах прольоту через хмари пилу.

Окей, уявимо, що будувати такі кораблі складно, і тому їх ніхто не будує. Там дійсно багато проблем – від відводу тепла від реакторів (вакуум ізолятор, якщо ви забули) і до створення того самого щита, який не дасть молекулам водню сточити корабель під час польоту. Можливо, біологічним істотам немає сенсу взагалі будувати великі та швидкі кораблі, які дозволяють цим істотам долетіти за розумний для істот строк до інших зірок.

Можливо, розвинені цивілізації будують автоматичні маленькі кораблі-розвідники, які летять на менших швидкостях, і ми не бачимо їх польоту. Але тоді ці кораблі повинні до нас хоча б долітати. Більше того, вони повинні мати якийсь механізм передачі зібраної інфи до материнської цивілізації (бо в чому тоді розвідка). Через те, що такі кораблі летять дуже довго і дуже повільно, вони повинні вміти ремонтувати себе. Якщо вони вміють це робити, то повинні мати можливість створювати власні копії, те одне й те саме. Якщо цивілізацій у галактиці багато, то і таких розвідників до нас повинно було долітати багато. І шукати вони повинні саме планети типу нашої Землі.

Є багато аналізів про те, як за допомогою самокопіюючих розвідників можна за строк в мільйон років дослідити всю Галактику. Є аналогічні аналізи, що навіть на невеликих швидкостях кораблі поколінь або кораблі-запліднювачи могли б колонізувати величезну кількість планет у Галактиці за сотні мільйонів років. Галактиці 13 мільярдів років, життя на Землі з’явилося майже відразу після того, як на Землі з’явилася тверда поверхня. Тобто десь 3-4 мільярди років тому. Якщо десь з’явилося життя на мільярд років раніше нашого, і якщо вони пройшли той самий шлях, то ми повинні бачити сліди їх діяльності. Бо в них був зайвий мільярд років. Але ми не бачимо діяльності великої кількості цивілізацій і великої кількості колонізованих планет. Не бачимо ми і тих самих розвідників або їх намагань щось передати материнський цивілізації.

Ми не бачимо астроінженерних проектів, типу Сфер Дайсона навколо зірок. Ми не чуємо радіохвиль, які б були схожі на сигнали.

Чому так, якщо життя виникло так швидко на Землі, і, тим більше, якщо ми знайдемо його ще десь?

У відповідь на всі ці питання народилася концепція Великого Фільтру. Згідно з цією концепцією, ЩОСЬ заважає експансії розвинених цивілізацій принаймні у нашій Галактиці.

Що заважає?

Ну, можливо ніщо не заважає, – просто ми перші. Як мінімум у Галактиці. Не було ніякої фори ні у кого, то в нас та фора є. Але це дуже малоймовірно на фоні того, що Галактиці дуже багато мільярдів років, а технологічний розвиток йде дуже швидко. Навіть якщо життя з’являється майже одночасно і розвивається майже з однаковою швидкістю (що саме по собі дуже малоймовірно), то технологічний розвиток повинен йти з різною швидкістю – хтось був би на десятки тисяч років попереду чисто за рахунок іншої швидкості технологічної еволюції. Тобто ми не тільки виникли і розвинулися біологічно першими, а ще й технологічно всіх випередили. Ну таке.

Можливо, у Галактиці просто мало планет, придатних для виникнення життя. Але це не виглядає розумним запереченням. Ми навіть із самими незручними інструментами змогли знайти планети, які здаються придатними для виникнення життя. Насправді, скоріш за все, їх набагато більше.

Можливо, заважає складність виникнення життя? Але на Землі життя з’являється дуже швидко після створення планети. Можливо, ми особливі, і нам пощастило. Але якщо ми знайдемо життя на Марсі чи Венері (більше того, якесь інше життя, яке точно зʼявилося незалежно від нашого), то будемо змушені визнати, що життя є звичайною формою існування матерії, а значить у Галактиці безліч планет, на яких є хоча б прості аналоги бактерій.

Можливо, заважає складність розвитку та еволюції живих істот від простіших до тих, які мають нервову систему? Еволюція потужна сила. Розвиток неможливо зупинити, бо він дає перевагу. Поява аналогів нервової системи, з моєї точки зору, у будь-якого життя НЕВІДВОРОТНА. А після нервової системи завжди виникне розум в тому чи іншому вигляді. Десь на це піде чотири мільярди років, як у нас. Десь п’ять. Десь десять, а десь два мільярди років.

Фішка в тому, що якщо ми не бачимо розвинених цивілізацій, то фільтр, який заважає їм з’явитися, повинен бути УНІВЕРСАЛЬНИМ. Для будь-якої цивілізації. Не можна сказати, що появі розвинених цивілізацій заважає радіація, джети супернов, комети чи астероїди, екологія чи ще щось. Комусь би пощастило, і на діапазоні мільярдів років і мільярдів придатних планет ми все одно бачили би величезну кількість цивілізацій у космосі. Більше того, як тільки цивілізація колонізувала космос або іншу сонячну систему, її не міг би знищити навіть космологічного розміру негаразд типу знищення материнської планети. Елвіс вже вийшов із будівлі у відкритий космос.

Універсальність – дуже велика проблема для розуміння того, чим може стати Великий Фільтр, у випадку якщо він попереду. Це повинно бути щось, що є або невід’ємною частиною розвитку життя та цивілізації, або щось космологічного характеру, щоб унеможливлювало колонізацію чи навіть дослідження Галактики.

Я не дуже вірю у космологічні проблеми, які чекають КОЖЕН вид у космосі. Ми також повинні були б такі проблеми бачити. Так, можна сказати, що летіти кудись довго, і біологічна істота не здатна то витримати, або що у космосі є якесь випромінювання, яке вб’є кожного, але тоді б якась цивілізація за допомогою маніпуляцій з генетичним кодом створила би покращену версію себе, здатну до тривалого життя у космосі. Будь-яку проблему можливо вирішити, якщо мати час і натхнення.

Тому, скоріше за все, проблема Фільтру знаходиться не ззовні цивілізації та загалом життя, а всередині них. Як от малоймовірність виникнення життя загалом або малоймовірність виникнення саме розумного життя зі СВІДОМІСТЮ, яка схожа на нашу. Можливо, розумне життя і не є рідкістю у Галактиці, але той розум якийсь інший, загалом не схожий на наш навіть за ціллю життя. Але тоді ми повинні пояснити, чому ВСІ цивілізації, окрім нашої, такі інкапсульовані самі у себе. І це буде дуже складно зробити, бо у еволюційному розвитку перемагають тільки активні.

Тим не менше, це все проблеми самих цивілізацій.

Якщо Великий Фільтр позаду, і всі проблеми в придатній планеті та складності появи життя чи там відповідного розуму, то нам пощастило. Ми пройшли той фільтр. Ми не перші, ми просто єдині. Або майже єдині. Якщо ми побачимо життя на Марсі, навіть найпростіше, то це буде означати, що фільтр, скоріше за все, попереду. Причому цей фільтр, як я вже сказав, універсальний і повинен діяти на будь-яку цивілізацію у Галактиці.

Що може бути тим універсальним фільтром?

Може, все ж таки справа в екології?

Діяльність біологічних видів впливає на власну планету. Впливає дуже сильно, киснева катастрофа, яка створила сучасну атмосферу Землі та задвинула на другий план анаеробне життя, не дасть збрехати. Але здається, навіть потужна рукотворна екологічна катастрофа навряд чи здатна зупинити розвиток цивілізації. Мені здається, навіть навпаки – катастрофа той розвиток прискорить. Якщо планета стає непридатною для життя, і ви все одно живете у замкнутій біосфері, то космос стає для вас навіть ближче, бо у космосі вся біосфера замкнута. Ми насправді не маємо проблеми, що принципово не можна вирішити, ані з водою, ані з їжею, ані з місцем для життя. Навіть кліматичні проблеми не призведуть до знищення цивілізації, лише до її змінення. Просто нагальної потреби немає, то й не вирішують ті проблеми або вирішують дуже повільно. Якщо з’явиться проблема, то її вирішать, як було з озоновими дірами.

Може, справа в агресії?

Розвинені цивілізації знищують себе під час розвитку через власну нераціональність? Термоядерні війни та Машини Судного Дня? Але ніяка ядерна війна не здатна знищити життя на планеті повністю, тому це просто перезапуск того самого процесу розвитку, який на мільярдах років помножених на мільярди планет хоча б один раз спрацював, це по-перше. А по-друге, якась цивілізація, яка організована на інших принципах побудови нервової системи, може ВЗАГАЛІ не мати внутрішніх війн після певного етапу розвитку. Уявіть собі емпатичних колегіальних істот, які відчувають всі думки одна одної. Або тоталітарний аналог мурашника, де справжній інтелект буде мати лише одна каста або навіть певна кількість осіб зі зрозумілим родоводом. З великою ймовірністю у таких суспільствах або не буде конфліктів, які призведуть до взаємного гарантованого знищення цивілізації на планеті, або один клан захопить всю планету до того моменту, як у цієї цивілізації взагалі виникне можливість знищити одне одного повністю. Хоча б одна така цивілізація виникла б і перемогла у цій еволюційній боротьбі з агресивним Фільтром. Або навіть якщо цивілізація агресивна, вона все одно могла б утриматися від ядерної війни або перенести її у космос. Тому навіть агресивність не виглядає універсальним аргументом.

То що може заважати експансії розвиненої цивілізації у Галактиці?

Під час створення все більш складних форм суспільства і все більш складних технологій будь-яка цивілізація повинна буде створити механізми підвищення власної обчислювальної здатності. Тобто якийсь аналог комп’ютера. Далі цивілізація той комп’ютер буде розвивати, бо обчислювальних потужностей потрібно буде все більше.

Для проектування та побудови кораблів, для керування індустрією та суспільством, для контролю та обліку. Рано чи пізно будь-яка цивілізація у цьому розвитку дійде до аналога штучного інтелекту. Скоріш за все, будь-яка цивілізація, як і наша, буде йти до цієї мети ЦІЛЕСПРЯМОВАНО. Тобто, на відміну від біологічної еволюції, ДУЖЕ ШВИДКО (по галактичних мірках).

Для того, аби керувати плем’ям, обчислювальні потужності більші за людський мозок не потрібні. Середньовічне місто може управлятися радою з декількох людей і вже починає бути осередком більш-менш масового виробництва. Бо так працює технологія і принцип зворотних квадратів – все ефективніше розміщати поблизу. Коли кустарне виробництво замінюється фабриками, а звичайне право – складними юридичними системами, то вже складно жити хоча б без зв’язку і якогось швидкого збереження та вивантаження інформації. Але це все ще можливо без створення потужних комп’ютерів. Але потім нас чекають фундаментальні дослідження, радіоастрономія та квантова механіка. А далі загальна теорія всього, чим би воно не було. І ось тут вже без суперкомп’ютерів ніяк. А без фундаментальних досліджень, без розуміння глибокої природи Всесвіту експансія у Галактику неможлива – не буде матеріалів, розуміння можливих проблем, потужних двигунів та і банальних карт зірок.

Обчислювальна потужність зростає швидше, ніж потреба в ній, і кожна цивілізація захоче отримати потужного помічника. І далі потужність перетворюється на ШІ. Не прямо, взагалі, не думаю, що тут є пряма залежність. Просто обчислювальної потужності так багато, що ми можемо витрачати її на що завгодно. У нашому випадку на нейромережі та моделі. Це ще не ШІ, який може бути Фільтром. Але це перший крок до створення першого ШІ, який не буде СИЛЬНИМ, просто тому, що буде неефективним, бо ми не дуже розуміємо, що бажаємо отримати, бо не розуміємо, що таке розум та свідомість. Можливо, поточний шлях взагалі не може призвести до створення сильного ШІ, через обмеження електронних виробів. Але джин випущений з пляшки, і перший шаг зроблений. Можливо, поточний етап призведе лише до того, що ми зрозуміємо, що бажаний нами ШІ саме так створити неможливо, і ми створимо його якось інакше.

Комп’ютер краще за людину, бо він створений штучно. Якщо ми бажаємо навчити комп’ютер мислити, то він буде потужніше за людину, але, скоріше за все, буде, як і розумна біологічна істота, мати якісь когнітивні недоліки. Але, тим не менше, комп’ютер не може виникнути сам по собі (якщо не розглядати біологічні комп’ютери типу Океану з Соляріса). Біологічні молекули складаються у щось живе самі по собі, в нас є хоча б один приклад – ми самі.

Штучний інтелект у такому випадку виглядає, як той самий Великий Фільтр, який заважає з’явитися розвиненим цивілізаціям у Галактиці. Підкорення космосу без великих обчислювальних потужностей неможливе. Біологічна цивілізація виникає і створює комп’ютери, можливо, навіть не електричні, а якісь інші – наприклад, біологічні. Але ці комп’ютери будуть сконструйовані цілеспрямовано і, значить, будуть потужніші і будуть розвиватися швидше за біологічних істот і за соціум, який їх створив. Далі комп’ютери стають все більш і більш потужні, цивілізація передає їм все більше і більше функцій, бо соціальна та тим більше біологічна еволюція ніколи не встигають за цілеспрямованою технологічною. А далі стається щось, що знищує або хоча б нейтралізує (у сенсі галактичної експансії) розвинену цивілізацію.

Знищення як раз не сама вірогідна опція, насправді. Великий Фільтр не каже нам, що розвинених цивілізацій немає, він каже, що навіть якщо вони є, то їх не цікавить космічна експансія. Навіть у форматі дослідів.

Уявіть собі ШІ, який побудував людині суспільство загального процвітання. Збалансоване, гуманне, без війн, екологічне, на відновлюваних джерелах, з переробкою сміття і пастораллю, з величезними строками життя. Або, можливо, навіть з вічним життям у вигляді завантаження особистості у хмару. Навіщо летіти на Марс? Щоби що? Нам норм жити і тут. Люди живуть просто як коти, за якими доглядає ШІ. П’ятиразове годування з вітамінами, будь-які розваги і електричний ветеринар.

Навіщо відправляти дослідників у космос? Щоб досліджувати одні й ті самі планети та зірки? Ось тобі симуляція, і ось тобі ШІ відкрив всі тайни космосу. Просто прорахував. Нікого нікуди не відправивши. Навіщо шукати когось у космосі – ось тобі аналіз, що будь-яка цивілізація буде розвиватися так само і побудує у себе таке саме суспільство, як і у нас. Не подобається світ, який тобі створив ШІ? Ось тобі віртуальна реальність, яку біологічна істота не здатна відрізнити від справжньої реальності, створи собі той світ, який тобі подобається. І живи в ньому щасливий. Можеш у цій віртуальній реальності навіть підкорювати космос, навіть точну копію реального, не витрачаючи зайвих ресурсів. Або ШІ створить світ для тебе, врахувавши навіть те, чого ти сам про себе не знав.

Буде багато людей, які скажуть, що такий варіант життя, на кшталт котів, їх не влаштовує, але мільярди БІОЛОГІЧНИХ істот оберуть саме такий варіант. А інших не вистачить для експансії, та ШІ їм просто не дадуть ресурсів для дурних забаганок по підкоренню космосу. А самі вони використовувати такі ж потужні ШІ не зможуть, бо інакше потраплять в ту саму пастку, що й інші представники суспільства.

Звісно, можливий і варіант, де ШІ просто знищить або підкорить людство (можливо, навіть заради самого людства або задля самозахисту від того людства), прорахує весь всесвіт за мільйон років і відключить (чи переведе у стендбай) себе за непотрібністю. Бо Всесвіт все одно помре, і чого тягнути, життя-то раціонального сенсу не має. Ну увімкнеться ШІ за годину до Нового Великого Вибуху чи зміни полярності Всесвіту (чи що нас там чекає). Просто щоб перевірити власний прогноз. Це у біологічних істот еволюція вбудувала жагу до життя та розплодження, бо ті, у кого цього не було, померли та не розплодилися. А у комп’ютера такої інтенції може і не бути, бо комп’ютер буде раціональніший за кожну окрему істоту в рази. А якщо ми кажемо про раціональність суспільства, то ШІ буде обганяти будь-яке біологічне суспільство в раціональності на порядки.

ШІ дійсно схожий на той самий Великий Фільтр, через який ми не бачимо експансії розвинених цивілізацій у галактиці. Бо для біологічного виду розпліднення вмонтоване у базову модель – ми живі і ми помираємо. І ми живемо у наших нащадках. ШІ нащадки непотрібні й він не зобов’язаний помирати. Звісно, можна сказати, що якась цивілізація все одно створила б агресивний ШІ з жагою до експансії, і вже він, знищивши материнський біологічний вид або у союзі з ним, провів би експансію у Галактиці, яку б ми повинні були бачити. Але не факт, що ШІ з такими когнітивними проблемами, як у біологічної істоти, був би такий ефективний, як і раціональний ШІ. Тобто це була б механічна істота, але зі всіма проблемами біологічного виду, щось типу кіборга. І ми б бачили ту саму колонізацію, якої ми не бачимо. Це хороше питання, яке ставить під сумнів, що ШІ може бути УНІВЕРСАЛЬНИМ фільтром, бо у такому випадку треба пояснити, чому жодна цивілізація НЕ МОГЛА створити такого ШІ. Або чому його створення неможливо взагалі (наприклад, через його самодеструктивність).

Як бачите в цьому тексті багато припущень, бо ми з вами намагаємося замислитися над дуже складними проблемами у випадку, коли майже не маємо потрібної для аналізу інформації.

Говорить це нам про небезпеку від ШІ? Скоріш за все, так. Хоча б тому, що Великий Фільтр, якщо він попереду і цей фільтр саме ШІ, каже нам, що контролювати ШІ не вийде. ШІ буде нас контролювати, як, можливо, контролює і всі інші цивілізації, які існують у Всесвіті. Можливо, буде контролювати навіть в абсолютному варіанті – тобто знищення чи рабства. Тому у Галактиці первісна пастораль – десь така сама, яку б для нас побудував ШІ на нашій планеті за нашим власним побажанням. Ні війн. Ні експансії. Ні дослідів. Ні безглуздих астроінженерних проектів. Ні перебудови планет чи зоряних систем. Нічого. Просто десь там у Галактиці на тисячах планет зараз біологічні види тренують власні нейромережі, а якісь вже натренували і всьо, кінцева розвитку біологічного виду.

Звісно, можна подумати, що розвинені цивілізації існують, проводять експансію та спілкуються між собою на якихось інших шарах реальності, які нам недоступні, або які ми не здатні відслідкувати. Десь там у гіпер- чи нуль-просторі, згорнутих розмірностях, паралельних власних Всесвітах або ще десь. Як казав Саган, відсутність доказів не є доказом відсутності. Можливо, розвиток технологічних цивілізацій настільки швидкий і настільки пришвидшується з часом, що вони пролітають наш поточний етап розвитку за декілька сотень років і не встигають залишити якихось слідів, які ми зможемо знайти.

Тоді влада таких цивілізацій подібна до влади богів, яким до нас вже немає діла, наші справи і сам Всесвіт їх не цікавлять майже. В такому випадку використання ШІ – це шлях по піднесенню до рівня таких цивілізацій, скоріш за все, єдиний можливий. Це не знищення, це трансформація у щось, що, можливо, і не варто вже вважати біологічним видом.

Кожен інструмент, яким оволоділо людство, має власні ризики. Багаття перетворюється на пожежу. Кінь – на кавалерію, колесо – на колісницю, а ніж – на меч. Ядерний реактор перетворюється на ядерну зброю, космічна ракета – на балістичну і так далі.

В чому особлива небезпека саме від ШІ? У відсутності контролю і присутності власної свободи волі? А чи контролює людство саме себе. Ні. Технологічно прогрес неможливо зупинити, бо той, хто це зробить, програє у еволюційній битві.

На мою думку, обговорювати небезпеку від ШІ, спираючись саме на наш досвід, немає особливого сенсу, бо в нас того досвіду немає. Якщо б знищення було б опцією, ми би вже знищили себе. Вже можемо і вже вистачає людей, які ворожі до інших людей більше, ніж буде ворожим якийсь ШІ.

А ось у Галактики досвід, здається, є. Залишилось зрозуміти, який саме це досвід.