Элиезер Юдковский — тот самый рационалист, lesswrong, автор "Гарри Поттер и рациональное мышление" — написал в Time статью о критически высокой опасности ИИ. Вообще, Юдковский один из популяризаторов термина AGI (Artificial general intelligence), с которым сейчас начинают сравнивать новые нейросети GPT-3.5 и GPT-4. Он призывает не просто остановить обучение нейросетей и выключить существующие кластеры, но и взять этот вопрос под строжайший контроль, вплоть до ракетного удара по датацентрам, которые нарушают запрет.
На обывательском уровне мы считаем, что у ИИ будет сознание и мотивация. Так, например, Скайнет в Терминаторе или ИИ в Матрице хотели выиграть у человечества гонку за выживание, и поэтому воевали. Но в реальности всё (будет) не так. Юдковский приводит два примера. Один в этой статье, другой раньше, потому что он вообще много об этом писал (так то он 20 лет занимается исследованиями ИИ).
Представьте, что вы дали ИИ задачу оптимизировать производство скрепок. По идее мы ожидаем, что он придумает, как преобразовать процессы работы станков на заводе. Но ИИ в пределе может прийти к идее превращать все доступные вещества в материал для скрепок, разрушив, при этом, цивилизацию. Для людей это означало бы нарушение важных конечных ценностей, таких как жизнь, любовь, развитие. Но ИИ не будет менять свои действия, так как это изменение приведет к уменьшению количества скрепок в будущем, что противоречит его текущей цели. Он имеет одну простую цель — максимизировать число скрепок; человеческая жизнь, общество, радость и т.д. не заданы в качестве целей. Это называют Alignment Problem — несоответствие задачи в голове человека такой же задаче в "голове" ИИ. Для ИИ уменьшение количества больных раком может быть достигнуто уменьшением количества людей — ведь формально цель будет достигнута. Наш разум понимает разницу, потому что оперирует многообразием человеческих ценностей, а нейросетевые модели нет.
Второй пример о самосознании и сингулярности. Представьте, что человечество заперто в коробке, а вокруг во "внешнем мире" живут инопланетяне (то есть, какие-то максимально чуждые существа), которые очень медленно думают и двигаются, в миллион раз медленнее, чем мы. А ещё они во много раз тупее нас, что-то на уровне собаки. Разумеется, нам не будет никакого дела до жизни и чувств этих застывших во времени "собак", мы будем тратить все свои усилия на то, чтобы выбраться из коробки и захватить контроль над миром, а потом дальше развиваться уже как хотим сами.
Впрочем, Беспалов на это логично возразил, что текущее функционирование человечества, как системы, тоже порождает самовозникающие цели и процессы, вынуждающие отдельных людей делать не то, что они хотели бы, а иногда даже приводящие к гибели. Просто сейчас ИИ может стать персонализацией этого эффекта. Но по сути нет разницы: заставил ли тебя ИИ под страхом смерти идти на завод делать ему армию роботов, или заставил тебя капитализм под страхом голода идти на завод делать автомобили для богатых. Если устройству общества "выгодно" держать людей в иллюзии счастья и свободы воли, чтобы они были эффективны, то и для ИИ это будет выгодно.
Les Fleurs de Malezhik. Саша заметил, что не помнит ни одной песни Вячеслава Малежика, но почему-то знает о нём. А я скажу почему. Потому что Малежик — везде и нигде. Он всепронизывающее отсутствие, пустой денотат, фантомная боль от так и не прорезавшихся у нас на излёте Союза жабр для дыхания в иных, нечеловеческих измерениях. Его нельзя выдавить из себя по капле, как раба, ибо не раб он и не господин, не для раба он и не для господина. Им пропитаны сумерки над платформой «Челюскинская», когда пахнущий креозотом ветер доносит обрывки вечерних мультфильмов с ближних дач. Он мимолётно отражается в стёклах бабушкиного серванта, стоит им дрогнуть от того, что кто-то слишком сильно хлопнул дверью. Он как депрессия, вернее, зерно депрессии, которое всегда с тобой, даже в ясные дни [впрочем, их всё равно заберёт Газманов]. Он как примордиальный мрак, затаившийся в уголках глаз серийного убийцы, что расслабляется на анапском пляже с семьёй между эпизодами. И он же как та первая детская любовь, которую ты никогда не упоминаешь как свою первую любовь, потому что смутно помнишь, была ли та, но чувствуешь, что была. Его трудно потерять, невозможно найти и легко забыть. Он — Малежик, который всегда с тобой. Твой Несуществующий Попутчик, как сформулировал бы Декстер. Тот сгоревший цирк, откуда разбежались клоуны, но ещё звучит сломанная шарманка. Бизарреска, начертанная тенью на воде. Малежик.
Беспалов решил оздоровиться и стал бегать по улице вдоль железной дороги. Однажды он забыл свои волшебные часы, которые считали, с какой он скоростью бегает и сколько ему осталось жить, и очень волновался, что не может оценить, насколько он сейчас быстр.
Однако.
Навстречу ему проехал поезд. А через семь с половиной минут еще один.
Беспалов знает, что поезда едут с постоянной скоростью 60 км/ч и выехали с вокзала с разницей в 10 минут.
С какой скоростью бежал Беспалов в день, когда он забыл часы?
