Създадоха изкуствен интелект, който може да бъде убеден да разработи биологично оръжие. Той е дело на компанията Anthropic, която представи новия модел Claude Opus 4. Компанията уточнява, че са взети всички необходими мерки за безопасност. Причината е проста. По време на тестове моделът е показал способност да помага на неопитни потребители при създаване на опасни биологични агенти.
Главният учен на Anthropic Джаред Каплан посочва, че моделът теоретично може да дава съвети за синтез на вируси. Сред тях са COVID-19 и някои много по-опасни щамове на грипа. Това налага Claude Opus 4 да бъде пуснат при ниво на сигурност ASL-3. Това е стандарт с по-висока защита срещу заобикаляне на системите и техните ограничения.
Изкуствен интелект със защита
Компанията е взела мерки и срещу т.нар. „джейлбрейкове“. Това са запитвания, които се използват за объркване на системата, за да игнорира тя защитите. Anthropic стартира и програма за възнаграждения. Един изследовател вече получи 25 000 долара за откриване на метод за заобикаляне на модела.
Claude Opus 4 превъзхожда стандартното търсене през Google. Той е по-ефективен и от предишните модели изкуствен интелект.
Причината е способността му да помага дори при потенциално опасни задачи. Затова системата е подложена на допълнителен контрол.
Експертите по биологична безопасност потвърждават значително по-високото ниво на защита. Новият модел е най-сигурният, създаден досега от Anthropic.
Създадоха изкуствен интелект, който може да бъде убеден да разработи биологично оръжие
За да научите първи най-важното, харесайте страницата ни във Фейсбук , групата ни за любопитни новини във Фейсбук или ни последвайте в Telegram и Mastodon
Сходни новини:
Google инвестира $15 милиарда в Индия с нов AI център
Има реална опасност AI да бъде използване при създаване на биологично оръжие
Claude AI прекъсва опасни разговори и насочва към онлайн помощ
Claude Sonnet 4 вече може да обработва до 1 милион токена – „Война и мир“ за секунди
Задава се нов чатбот на хоризонта
