ИИ может кодировать быстрее людей, но скорость сопряжена с далеко идущими рисками

Разработчик: Autumn Spredemann via Эпохальные времена,

Искусственный интеллект-генерированный код стал ежедневным атрибутом для разработчиков по всему технологическому спектру. Эти цифровые инструменты значительно облегчили написание длинного кода. Однако эксперты говорят, что этот компромисс связан с новыми рисками для безопасности и постоянной потребностью в человеческом надзоре.

Разработчики говорят, что искусственный интеллект (ИИ) сокращает большую часть работы по написанию кода, но опытные разработчики обнаруживают недостатки с угрожающей скоростью.

Компания Veracode, занимающаяся тестированием безопасности, опубликовала в июле исследование, основанное на более чем 100 инструментах ИИ, которые показали, что, хотя ИИ генерирует рабочий код с поразительной скоростью, он также изобилует потенциалом кибератак.

В отчете отмечается, что 45% образцов кода не прошли тесты на безопасность и ввели уязвимости, описанные некоммерческой организацией по кибербезопасности Open Worldwide Application Security Project.

Исследователи Veracode назвали результаты исследования «тревожным призывом для разработчиков, лидеров безопасности и всех, кто полагается на ИИ, двигаться быстрее». "

Некоторые эксперты говорят, что большое количество недостатков безопасности не шокирует, учитывая текущие ограничения ИИ в кодировании.

«Я удивлен, что процент не выше. Созданный ИИ код, даже когда он работает, имеет много логических недостатков, которые просто отражают отсутствие контекста и вдумчивости. Кирк Сигмон, программист и партнер юридической фирмы по интеллектуальной собственности Banner Witcoff, рассказал The Epoch Times.

Исследователь кибербезопасности и бывший оператор миссии Iris Lunar Rover Харшвардхан Чунавала сравнил написание кода ИИ с домашним строительством. Он сказал, что это похоже на быстрый проект ИИ для дома, но проект может включать в себя двери, которые не запираются, окна, которые не подходят, или проводку, которая небезопасна.

И с продвижением ИИ в критическую цифровую инфраструктуру, он сказал, что система больше не просто делает «чертежи», но заказывает материалы и начинает строительство до того, как будет проведена проверка фундамента.

Человеческий архитектор все еще должен проверить каждую деталь, прежде чем в доме будет безопасно жить. Чунавала сказал.

Sigmon имеет обширный опыт кодирования с ИИ и его подмножеством, машинным обучением. Он использовал недавний пример, чтобы подчеркнуть ограничения кода, созданного ИИ.

«Однажды ночью я помогал другу программировать веб-сайт на космическую тематику, и я попытался выяснить, может ли LLM дать мне быстрый и простой код для CSS3-дружественных панорамных звезд для фона веб-сайта», - сказал он.

Сигмон отметил, что результаты были ошеломляющими и продемонстрировали текущие ограничения ИИ.

«Вывод модели действительно содержал код, который пытался генерировать звезды, но он собрал их все в правом верхнем углу браузера и вместо того, чтобы заставить их мерцать красиво, сделал их стробоподобными, как какой-то импровизированный рейв».

«Знал, что нужно рисовать звезды на заднем плане, и знал, что они должны мерцать, но не имел контекста более широкой картины о том, почему я хотел бы этого, а тем более о том, как это может выглядеть эстетически приятно. "

Сигмон сказал, что искусственный интеллект также создает ленивые привычки, которые будут влиять на будущее отрасли.

"Качество кодов в целом ухудшилось. Один из наиболее актуальных вопросов – академическая. Если студенты могут использовать модели ИИ для создания своих домашних заданий, то они не склонны изучать хорошие практики кодирования. Он сказал.

Галлюцинирующий код

Сигмон сказал, что научился программировать так, как это делали многие программисты старой школы: методом проб и ошибок.

Готовая доступность ленивого кода, созданного ИИ, означает, что новые выпускники вступают в рабочую силу, а также генерируют плохой или ненадежный код, что означает, что многие программы просто ухудшаются. Он сказал.

Следовательно, многие современные кодовые базы в значительной степени непонятны или уже не очень полезны.

«Раньше я мог подбирать работу любого другого кодера и примерно понимать их намерения... В наше время многие из них просто вызывают у меня головную боль. Он сказал.

Человек держит телефон, отображающий логотип искусственного интеллекта ChatGPT от OpenAI в Бретани, Франция, 26 февраля 2025 года. Винсент Фьюри / Ханс Лукас / АФП через Getty Images

Другой программист и бывший менеджер веб-контента, который попросил, чтобы на него ссылались только по имени Джеймс, согласился с Сигмоном.

"Вы должны быть очень осторожны с вашими правками. Вы просто не можете доверять ИИ-коду. Об этом Джеймс рассказал The Epoch Times. Он сказал, что программисты должны быть осторожны, потому что чем сложнее становится проект, тем хуже будут «галлюцинации» ИИ.

Когда ИИ воспринимает шаблон или объект, который либо не существует, либо незаметен для наблюдателей, он может создавать результаты, которые либо нелогичны, либо просто неверны. Эту модель часто называют «галлюцинацией», и Джеймс сказал, что это может быть раздражающей частью работы с кодом, созданным ИИ.

«Вы можете пройти довольно далеко вниз по линии, прежде чем поймете, что есть ошибка, и ИИ просто галлюцинирует». Он сказал.

Галлюцинации ИИ уже попали в заголовки новостей о проблемах, которые они могут создать на рабочем месте. Исследование, проведенное в 2024 году, показало, что уровень «галлюцинации» между 69% и 88%, основанный на ответах на конкретные юридические запросы.

Stanford RegLab и Institute for Human-Centered AI researchers found that LLM performance "deteriorates when dealing with more complex tasks that require anuanced understanding of legal issues or interpretation of legal texts. "

В недавнем сравнении некоторых из крупнейших продуктов LLM — Claude, Gemini и ChatGPT — было обнаружено, что у Claude самый низкий уровень «галлюцинации» — около 17 процентов.

Джеймс сказал, что ИИ иногда удваивает свои ошибки или даже защищает их.

«Это произошло, когда я разрабатывал ролевое боевое приложение. Я хотел просто взять имя из первого файла, и он [ИИ] продолжал терять его, и он продолжал пытаться взять другие данные из того же файла.

Когда Джеймс указал на ошибку, он сказал, что инструмент ИИ «отказался отпустить его. " Это проблема, с которой он столкнулся с несколькими различными инструментами ИИ в категории LLM.

Изменить Vibe

Чунавала сказал, что ИИ изменил правила игры для написания кода.

"Самым большим изменением для ученых-компьютерщиков стала скорость. Там, где разработчики когда-то часами настраивали скелет программы или писали повторяющиеся тестовые кейсы, ИИ теперь может составлять их за считанные минуты.

Тем не менее, он сказал, что эта новообретенная скорость сопряжена со значительной проблемой: доверием.

ИИ часто генерирует код, который на первый взгляд выглядит безупречно, но когда вы внимательно его изучаете, вы обнаруживаете пробелы в логике, устаревшие методы или тонкие недостатки, которые могут поставить под угрозу безопасность. Чунавала сказал.

Эксперт по кибербезопасности Ник Никифоракис сказал The Epoch Times, что ИИ хорошо пишет код «boilerplate».

«Написать его несложно; он повторяется, и все же это нечто необходимое. ИИ преуспевает в создании такого рода кода, который можно использовать с минимальными изменениями, предполагая, что подсказка включает все правильные спецификации.

Он считает, что вердикт все еще не определен, может ли средний разработчик создавать код с меньшим количеством ошибок, чем его аналог, созданный ИИ. Тем не менее, Никифоракис считает, что «кодирование изображений» может создать опасный сценарий.

Разработанный исследователем ИИ Андреем Карпати, «виб-кодирование» - это метод разработки программного обеспечения, который использует инструменты LLM для генерации кода из подсказок на естественном языке, причем разработчик фокусируется на целях, обратной связи и экспериментах по сравнению с обзором или редактированием самого кода ИИ.

Кодирование Vibe стало синонимом идеи о том, что человек-разработчик может просто доверять ИИ, чтобы получить его правильно, оставаясь сосредоточенным на более широкой картине.

Никифоракис говорит, что это проблематично.

«Если у вас есть люди, которые не пишут программное обеспечение для жизни и никогда не мечтали о том, чтобы попробовать его до ИИ, то их единственный показатель того, хорош ли кусок программного обеспечения, — это его функциональность», — сказал он.

К сожалению, это случай «вы не знаете, что вы не знаете». И поэтому эти пользователи не смогут распознать уязвимость, которая попадает в их производственное программное обеспечение. "

Недатированная фотография файла, показывающая предупреждение «вирус» и двоичные коды на экране компьютера. Питер Бирн / PA

Никифоракис сказал, что если программное обеспечение с вибрацией станет популярным, это будет «рецептом катастрофы». "

Чунавала сказал, что к коду ИИ следует относиться серьезно с точки зрения безопасности.

«Исследования показали, что примерно от 40 до 45 процентов приложений, созданных ИИ, содержат уязвимости. Другими словами, почти половина программного обеспечения, созданного с помощью ИИ, может дать злоумышленникам открытие.

Чунавала подчеркнул, что эти уязвимости безопасности не являются абстрактными. Он назвал их «очень реальными рисками» и привел такие примеры, как неспособность дезинфицировать пользовательский ввод, который может позволить вредоносным командам проникать внутрь.

Еще один риск безопасности, связанный с кодом, созданным ИИ, — это зависимость от устаревших библиотек, которые хакеры уже знают, как использовать.

Это происходит потому, что ИИ обучается огромному количеству публичного кода, и большая часть этого публичного кода уже содержит ошибки. Чунавала сказал.

«Модель не проводит различия между наилучшей практикой и плохой практикой; она воспроизводит обе. Без тщательного человеческого анализа и ограждения эти слабые места попадают прямо в производственные системы.

Но в этом заключается другая проблема: Человеческие кодеры и разработчики программного обеспечения теряют рабочие места из-за ИИ.

Исследования Федеральной резервной системы Сент-Луиса показывают, что количество вакансий для разработчиков программного обеспечения сокращается с 2022 года.

Джеймс является частью технологической рабочей силы, которая изо всех сил пытается найти постоянную работу с тех пор, как он был уволен с остальной частью своего отдела в феврале. Когда он искал работу четыре года назад, Джеймс сказал, что работодатели практически «бросали деньги» на него.

Сейчас, по его словам, рынок труда наводнен талантливыми разработчиками, ищущими работу.

«Частью этого является эффективность ИИ. Мы можем сделать то, что делали раньше, но мы можем сделать это намного быстрее. Вам не нужны дополнительные люди. «Возможно, вам когда-то нужны были два или три разработчика, но теперь вам нужен только один», — сказал Джеймс, подчеркнув, что конкуренция за рабочие места в его области проходит через крышу. "

«В идеальном мире вам понадобится команда для анализа всего, что строит ИИ. Но эти решения обычно не принимаются людьми, которые понимают технологию.