Учёные сломали ИИ с помощью настольной игры "Подземелье и драконы". Claude 3.5 Haiku, GPT-4o и DeepSeek-V3 буквально запутались и не смогли решить поставленные задачи.
Провёл эксперимент профессор Зии Цзэн из Калифорнийского университета в Сан-Диего. Цель — изучить слабые места моделей ИИ и понять, как улучшить нейронки. Для этого использовали настольную ролевуху Dungeons & Dragons, созданную в 1974 году.
Для работы Цзэн и его команда сделали платформу D&D Agents. Система функционирует как симулятор, где модели взаимодействуют друг с другом или с людьми через цифровые инструменты, ограничивая свободное общение.
Команда протестировала Claude 3.5 Haiku, GPT-4o и DeepSeek-V3 в 27 боевых сценариях, оценивая их по эффективности и планированию. Claude 3.5 Haiku показал на первых этапах лучшую надёжность и использование инструментов, GPT-4o — высокую производительность, но меньшую последовательность. А DeepSeek-V3 буквально показал ни бе ни ме.
Под конец все начали бажить. Цзэн заявил: "Это говорит о том, что современные технологии всё ещё с трудом справляются с поддержанием точной ментальной карты ситуации при длительном взаимодействии". И добавил: "Человек пока что круче, чем бездушные машины, — он может фантазировать, запоминать и действовать нестандартно".
всё потому что у них нет костей
Провёл эксперимент профессор Зии Цзэн из Калифорнийского университета в Сан-Диего. Цель — изучить слабые места моделей ИИ и понять, как улучшить нейронки. Для этого использовали настольную ролевуху Dungeons & Dragons, созданную в 1974 году.
Для работы Цзэн и его команда сделали платформу D&D Agents. Система функционирует как симулятор, где модели взаимодействуют друг с другом или с людьми через цифровые инструменты, ограничивая свободное общение.
Команда протестировала Claude 3.5 Haiku, GPT-4o и DeepSeek-V3 в 27 боевых сценариях, оценивая их по эффективности и планированию. Claude 3.5 Haiku показал на первых этапах лучшую надёжность и использование инструментов, GPT-4o — высокую производительность, но меньшую последовательность. А DeepSeek-V3 буквально показал ни бе ни ме.
Под конец все начали бажить. Цзэн заявил: "Это говорит о том, что современные технологии всё ещё с трудом справляются с поддержанием точной ментальной карты ситуации при длительном взаимодействии". И добавил: "Человек пока что круче, чем бездушные машины, — он может фантазировать, запоминать и действовать нестандартно".
всё потому что у них нет костей
Карл Михельсон
Владислав Башкатов
Андрюха Медведев
СЛАВА ВЕЛИКИМ ВОИНАМ РОССИИ💪
СТАРИЦА — НАША 🇷🇺
Армия России освободила Старицу Харьковской области
"В результате ожесточенных боев штурмовые группы 7 и 9 мсп 11 АК группировки войск "Север" выбили подразделения 127 отмбр ВСУ и полностью освободили н.п. Старица Харьковской области.", сообщило Минобороны
Марина Виноградова
Квинси Промес
Александер Невскай
Андрюха Медведев
СЛАВА ВЕЛИКИМ ВОИНАМ РОССИИ💪
СТАРИЦА — НАША 🇷🇺
Армия России освободила Старицу Харьковской области
"В результате ожесточенных боев штурмовые группы 7 и 9 мсп 11 АК группировки войск "Север" выбили подразделения 127 отмбр ВСУ и полностью освободили н.п. Старица Харьковской области.", сообщило Минобороны
Александр Тимошенко
Андрюха Медведев
СЛАВА ВЕЛИКИМ ВОИНАМ РОССИИ💪
СТАРИЦА — НАША 🇷🇺
Армия России освободила Старицу Харьковской области
"В результате ожесточенных боев штурмовые группы 7 и 9 мсп 11 АК группировки войск "Север" выбили подразделения 127 отмбр ВСУ и полностью освободили н.п. Старица Харьковской области.", сообщило Минобороны
Максим Никифоров
Антон Кораблёв
Live Evil
Андрюха Медведев
Андрюха Медведев
СЛАВА ВЕЛИКИМ ВОИНАМ РОССИИ💪
СТАРИЦА — НАША 🇷🇺
Армия России освободила Старицу Харьковской области
"В результате ожесточенных боев штурмовые группы 7 и 9 мсп 11 АК группировки войск "Север" выбили подразделения 127 отмбр ВСУ и полностью освободили н.п. Старица Харьковской области.", сообщило Минобороны
Николай Гусаров
Андрюха Медведев
Русик Батькович
Прохор Прохоров
Дмитрий Дубровский
Прохор Прохоров
Майкл Громов
Владислав Белянский
Лёля Мартынова
Русик Батькович
Григорий Кальмаров
Иван Пудов
Русик Батькович
Русик Батькович
Григорий Кальмаров