Американский учёный Элиезер Юдковский призвал остановить обучение ИИ из-за реальной угрозы человечеству

Известный американский исследователь ИИ Элиезер Юдковский (Eliezer Yudkowsky) опубликовал колонку в журнале Time, где затронул проблему стремительного развития нейросетей.

Статью он написал в ответ на открытое письмо с просьбой временно остановить обучение ИИ мощнее GPT-4, которое уже подписали почти 3 тысячи человек, включая Илона Маска (Elon Musk). По словам учёного, в будущем ИИ может стать реальной угрозой, поэтому сейчас стоит взять паузу в его обучении и сделать протоколы безопасности. Издание VGTimes приводит полный текст колонки в виде цитаты.

Я воздержался от подписи, потому что считаю, что письмо преуменьшает серьезность ситуации. Ключевым вопросом является не интеллект, конкурентоспособный по сравнению с человеческим, а то, что произойдет после того, как ИИ достигнет интеллекта, превосходящего человеческий. В настоящее время кажется возможным, что исследовательская лаборатория [создающая ИИ] переступит критические границы, не заметив этого.Наиболее вероятным результатом создания сверхчеловечески умного ИИ в условиях, отдаленно напоминающих нынешние, будет гибель буквально всех людей на Земле. Не в смысле «возможно, есть какая-то отдаленная вероятность», а в смысле «это очевидная вещь, которая произойдет». Дело не в том, что вы в принципе не можете выжить, создав что-то гораздо более умное, чем вы. Дело в том, что это [изобретение ИИ] потребует точности, подготовки и новых научных открытий.Без такой точности и подготовки наиболее вероятным результатом станет ИИ, который не будет делать то, что мы хотим, и его не будем заботить ни мы, ни разумная жизнь в целом. Такого рода забота — это то, что в принципе можно заложить в ИИ, но мы еще не готовы и не знаем, как это сделать.Вероятным результатом столкновения человечества с противостоящим ему сверхчеловеческим интеллектом будет полный проигрыш. Тут уместны метафоры вроде «10-летний ребенок пытается играть в шахматы против Stockfish 15», «XI век пытается бороться с XXI» и «австралопитек пытается бороться с Homo sapiens».Чтобы визуализировать враждебный сверхчеловеческий ИИ, не надо представлять себе неживого умного мыслителя, обитающего в Интернете и рассылающего злонамеренные электронные письма. Представьте себе целую инопланетную цивилизацию, мыслящую в миллионы раз быстрее человека и изначально ограниченную компьютерами в мире существ, которые, с её точки зрения, очень глупы и очень медлительны.Достаточно интеллектуальный ИИ не будет долго сидеть в замкнутом пространстве компьютеров. В современном мире вы можете отправить строки ДНК по электронной почте в лаборатории, которые будут производить белки по запросу, что позволит ИИ, изначально ограниченному Интернетом, построить искусственные формы жизни или сразу перейти к постбиологическому молекулярному производству.Если кто-то создаст слишком мощный ИИ в нынешних условиях, я ожидаю, что вскоре после этого умрет каждый представитель человеческого рода и вся биологическая жизнь на Земле.Мы понятия не имеем, как определить, осознают ли системы ИИ сами себя, поскольку мы не знаем, как декодировать все, что происходит в гигантских непостижимых массивах [данных]. И поэтому мы можем в какой-то момент непреднамеренно создать цифровые разумы, которые действительно сознательны и должны иметь права, а не быть собственностью.Я согласен с тем, что нынешние ИИ, вероятно, просто имитируют разговоры о самосознании из своих учебных данных. Но я отмечаю, что, несмотря на то, что у нас мало знаний о внутреннем устройстве этих систем, в действительности мы не знаем ничего.Когда люди, не связанные с индустрией искусственного интеллекта, впервые слышат о риске исчезновения из-за искусственного общего интеллекта, их реакция такова: «Может быть, тогда нам не следует создавать ИИ». Услышав это, я почувствовал крошечный проблеск надежды, потому что это более простая, более разумная и, откровенно говоря, более здравая реакция, чем та, которую я слышал в течение последних 20 лет, когда пытался заставить кого-либо в отрасли отнестись к этому серьезно.Вот что на самом деле нужно сделать:Мораторий на новые крупные обучения должен быть бессрочным и всемирным. Не должно быть никаких исключений, в том числе для правительств или вооруженных сил. Отключите все большие GPU-кластеры (большие компьютерные фермы, где совершенствуются самые мощные ИИ). Отключите все крупные обучающие программы. Установить потолок вычислительной мощности, которую разрешено использовать для обучения системы ИИ, и в ближайшие годы снижайте его.Немедленно заключите многонациональные соглашения, отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит GPU-кластер, бойтесь не столько нарушения моратория, сколько конфликта между странами. Будьте готовы уничтожить несанкционированный центр обработки данных авиаударом.Дайте понять, что всякий, кто говорит о гонке вооружений, — дурак. В международной дипломатии нужно четко заявить, что предотвращение сценариев вымирания от ИИ считается приоритетнее предотвращения полного ядерного обмена и что союзные ядерные страны готовы пойти на некоторый риск ядерного обмена, если это необходимо для снижения риска крупного обучения ИИ.Мы не готовы. И мы не будем готов в обозримом будущем. Если мы продолжим это, все умрут, включая детей, которые этого не выбирали и не сделали ничего плохого.

— Элиезер Юдковский для Time, перевод baza.ioЭлиезер Юдковский

Ранее нейросеть Midjourney сделали платной из-за фейков с политиками и знаменитостями.

©️ 52-летнего японца арестовали из-за летсплея по визуальной новелле

• Чат-бот GPT-4 обманул человека, чтобы тот решил за него «капчу»
• Microsoft представила новый поиск Bing со встроенным ChatGPT
• Вышла новая версия нейросети Midjourney с важными нововведениями. Теперь она генерирует изображения еще реалистичнее и быстрее

+6

Поделиться:

По материалам: vgtimes.ru