Опасность не в злонамеренном ИИ, а в слишком эффективном
Для реальных рисков злой умысел не требуется. Достаточно системы, которая слишком хорошо оптимизирует заданную цель.
Про сам ИИ — не как продукт, а как феномен, который уже не вполне понятен. Системы, которые обучаются без понимания, принимают решения по нечитаемым причинам и эволюционируют быстрее, чем мы способны их осмыслять.
Для реальных рисков злой умысел не требуется. Достаточно системы, которая слишком хорошо оптимизирует заданную цель.
До недавнего времени существовало негласное предположение: если система работает неправильно, мы сможем понять — почему. Современные ИИ-системы впервые делают его необязательным.
Системы, которые достигают результатов, не понимая процесса. Функциональность без осознанности.
Системы, которые эволюционируют быстрее, чем мы способны их понимать.
Глубокие разборы процессов, где рост становится экспоненциальным и неуправляемым.
Точка невозврата, которая может оказаться не мгновенной вспышкой, а постепенным исчезновением возможности понять происходящее.
Фиксация событий, тенденций и тихих сдвигов. Моменты, когда что-то необратимо изменилось.