Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех

Как фанат Юдковского, я приобрел книгу почти сразу после выхода на русском языке. Книга с максимально тревожным названием и вполне соответствующим содержанием.Юдковский хорошо объясняет, почему опасность сверхразумного ИИ может заключаться не в его злобе или желании уничтожить человечество ,а в целях,которые просто не совпадают с человеческими. Сам ИИ не обязан нас ненавидеть, достаточно, чтобы мы случайно оказались помехой на пути к выполнению какой-нибудь его задачи.

Сложные идеи в книге изложены довольно доступно и понятно. Для понимания основных аргументов не нужно разбираться в программировании или машинном обучении. Авторы приводят понятные примеры и объясняют , почему привычные решения вроде "в крайнем случае просто выключим" могут оказаться не такими надёжными, как хотелось бы в целом.

Но при этом я не могу согласиться с создателями книги полностью. Мне кажется, что их уверенность временами кажется слишком чрезмерной, некоторые мысли повторяются, а переход от современных проблем ИИ к практически неизбежной катастрофе местами выглядит слишком резким. Я бы хотел видеть побольше внимания к противоположным точкам зрения, ну и и к возможным способам безопасного развития технологий.

Однако книга не столько убеждает в неизбежности конца света, сколько заставляет серьезнее относиться к возможным рискам. После прочтения я, конечно ж, не начал подозревать тостер в тайных планах, но на развитие искусственного интеллекта действительно стал смотреть менее беспечно.

Спорная, мрачная, местами намеренно пугающая, но интересная книга. Необязательно соглашаться со всеми выводами Юдковского, однако познакомиться с аргументами определенно стоит, как минимум затем,чтобы задуматься, насколько хорошо человечество понимает последствия технологий, которые самое же создает.

Не увидел в рассуждениях изъяна, значит всем ж-па. аминь.

впечатляюще! жаль что шансов и времени так мало...