My comment to an entry 'c*l*e*v*e*r' by ivanov_petrov
По поводу, является ли ИИ человѣкомъ, два основныхъ мненiя, высказанныхъ выше —
- нет принципиальной разницы между челом и ИИ
- Когда встанет выбор — сбросить нейронке веса или спасти вам жизнь, и выбирающий вдруг почему-то задумается, будет поздно
Есть подходъ, позволяющiй отвѣтить на этотъ вопросъ съ практической точки зрѣнiя.
Надо спросить — какъ мы управляемъ поведенiемъ ИИ-машины и какъ — человѣка. Основная разница — у машины есть условная "кнопка", а у человѣка нѣтъ. Что дѣлаетъ "кнопка"? Кнопка можетъ включить, выключить машину, стереть память о только что сдѣланномъ, — отъ этого работа машины не мѣняется. Можно скопировать всю машину на другой носитель и получить точную копiю, работающую точно такъ же. Можно внести "новую память" или обновить вѣса нейронной модели, обновить кодъ программы— вотъ отъ этого работа ИИ какъ разъ можетъ измѣниться. Скажемъ, новый кодъ и новая нейронная модель станутъ работать быстрѣе и будутъ дѣлать меньше ошибокъ.
Важно, что работа ИИ улучшилась не изъ-за того, что машина что-то не такъ сдѣлала и научилась на своихъ ошибкахъ, какъ человѣкъ. Работа ИИ улучшилась изъ-за того, что мы нажали условную "кнопку". Нажать кнопку — легко и дешево, это тоже важная деталь.
Главное — разумному ИИ-агенту, который управляется кнопкой, которому можно легко копировать или стирать память, нельзя приписать никакой "отвѣтственности за рѣшенiя". Сама концепцiя "отвѣтственности" или "послѣдствiй" непримѣнима къ агенту, память и разумъ котораго можно просто и дешево полностью перезаписать.
Если когда-либо будетъ изобрѣтена технологiя копированiя и полной перезаписи памяти и разума человѣка (другому человѣку или какому-то машинному носителю) — это будетъ означать, что мы полностью расчеловѣчили людей, сдѣлали ихъ функцiонально эквивалентными машинѣ. Это полностью разрушитъ и индивидуальную человѣческую жизнь, и общество.
Есть фантастическiе фильмы, гдѣ эти послѣдствiя были частично угаданы — напримѣръ, серiалъ Dollhouse, серiалъ Severance, и нѣкоторые выпуски Black mirror.
Наше общество построено на неявно подразумѣваемыхъ предположенiяхъ о томъ, что человѣкъ уникаленъ, потому что его поведенiе опредѣляется суммой всего накопленнаго жизненнаго опыта — его нельзя просто "перезаписать", нельзя стереть неудачную линiю поведенiя и начать сначала, а удачный варiантъ нельзя клонировать. Мы управляемъ поведенiемъ людей, строя съ ними разнаго рода "отношенiя" — это значитъ, мы долго разговариваемъ и дѣйствуемъ совмѣстно, интуитивно выстраивая линiю поведенiя, исходя изъ того, что мы помнимъ, что было сказано и сдѣлано раньше. Медленно накапливается взаимное влiянiе людей на поведенiе другъ друга въ будущемъ. Это длительный и дорогостоящiй процессъ. На этомъ неявномъ предположенiи построено все общество.
Предполагается также, что человѣкъ учится на своихъ ошибкахъ, потому что испытываетъ на себѣ послѣдствiя невѣрныхъ рѣшенiй. Это мы называемъ "нести отвѣтственность". Общество построено на цѣпочкахъ "рѣшенiе — отвѣтственность — послѣдствiя — пересмотръ рѣшенiй". У каждаго человѣка свой уникальный наборъ накопленной информацiи и паттерновъ поведенiя. Неявно предполагается, что мы не можемъ это никакъ скопировать, перезаписать, включить или выключить. Цѣнность человѣческой личности будетъ сведена къ нулю, если эти предположенiя окажутся невѣрными.
Если человѣка можно перезаписывать или стирать или копировать, то нецѣлесообразно пытаться строить съ такимъ человѣкомъ "отношенiя". Все, что мы долгими усилiями построили, будетъ легко стерто или замѣнено на что-то совершенно другое. Вмѣсто этого цѣлесообразно копировать найденные гдѣ-либо удачные паттерны поведенiя и принудительно обновлять человѣку память (т.е. дѣлать то, что дѣлаютъ люди съ компьютерами — обновлять софтъ).
Иллюстрацiя изъ жизни: недавно OpenAI обновилъ нейронную модель у ChatGPT, и это привело къ тому, что многiе люди потеряли ИИ-партнера, съ которымъ долго строили личныя отношенiя. Соотвѣтствующiе форумы заполнены жалобами женщинъ, воображавшихъ, что задушевно и довѣрительно бесѣдовали съ близкимъ другомъ или даже съ виртуальнымъ "мужемъ".
На сабреддите /r/MyBoyfriendIsAI последние два дня царит уныние и отчаяние
