Future of Life Institute — некоммерческая организация, целью которой является минимизация потенциального глобального риска для человечества, связанного с передовыми системами искусственного интеллекта. Организация создала фильм. Это влияет на воображение.
Системы искусственного интеллекта фактически входят в нашу жизнь таким образом, что большинство из нас даже не осознают этого. Война за нашей восточной границей — это первый конфликт, в котором используются полностью автоматизированные военные системы, беспилотники, искусственный интеллект и т.д. Тем не менее, это только замена того, что может иметь ИИ в будущем. Фильм, созданный Институтом будущего жизни, показывает, что передача ИИ под контроль над вооружениями может иметь катастрофические последствия для всего человечества. Смотри:
Конечно, этот фильм — выдумка, но о присутствии ИИ в армиях мира давно говорят, и многие страны мира работают над внедрением искусственного интеллекта в свои вооруженные структуры, во всех аспектах: логистике и разведке, через системы обороны и наступательные вооружения.
RAeS Future Combat Air & Space В конце мая в Лондоне состоялся саммит, на котором собрались спикеры и делегаты, представляющие научное сообщество, оружейную промышленность и СМИ. Одна из презентаций под названием «Здесь уже есть Скайнет?» привлекла внимание.
Спикером выступил полковник Такер «Цинко» Гамильтон, руководитель отдела тестирования и эксплуатации ИИ в ВВС США. Гамильтон принимал участие в разработке системы автоматического предотвращения столкновений на самолетах F-16. Система Auto GCAS, потому что это то, что Lockheed Martin Skunk Works, Исследовательская лаборатория ВВС и НАСА называют, контролирует самолет в полете. Если он предвидит неизбежное столкновение, система пилота будет работать, чтобы избежать столкновения. Компания Lockheed Martin сообщила, что эта технология уже спасла жизни десяти пилотов. Как это работает? Еще одно видео, где Auto GCAS спасает неосознанного пилота F-16:
Пока все замечательно, после того, как ИИ спас пилотов, верно? Однако Гамильтон рассказал другую историю (предупрежу, этого никогда не было, это был мысленный эксперимент). Беспилотник, оснащенный искусственным интеллектом, получил миссию SEAD (Suppression of Enemy Air Defenses), миссию по борьбе с системами ПВО противника. ИИ получил очки для слежения и уничтожения систем p-flight противника. Однако оператор дрона (человек) даже после эффективного отслеживания целей ИИ не всегда принимал решение уничтожить его. Такое решение противоречило логике обученного алгоритма (хотя в действительности в человеческих терминах оно могло быть максимально логичным, некоторые цели не стоит уничтожать, или, по крайней мере, не сразу). Но что может сделать алгоритм? В гипотетической ситуации, изложенной полковником Гамильтоном, беспилотник... атаковал своего оператора.
Гамильтон в своем эксперименте пошел дальше: он заявил, что хорошо, мы будем тренировать алгоритм, который убивает нашего собственного оператора. Что может сделать алгоритм? Полковник намекнул: беспилотник мог уничтожить ретрансляционную станцию, тем самым уничтожив нить связи с оператором, перейти в автономный режим и выполнить задачу (уничтожить зенитную систему противника) против воли человека. Повторяю: такая ситуация не случилась в реальности (хотя многие СМИ подхватили тему тревожных заголовков вроде "Дрон убил собственного оператора!" и т.д.), представитель США явно это отрицал. Сам полковник подчеркнул, что его гипотетический сценарий был всего лишь мысленным экспериментом, который должен был выделить проблему необходимости чрезвычайно тщательной подготовки систем ИИ для военного применения.
Остается вопрос: хватит ли у разработчиков ИИ воображения, чтобы обучить упорядоченный алгоритм достаточно хорошо, чтобы избежать подобных ситуаций в реальности?
