Интеллект на ватт: новое исследование вводит метрику для оценки производительности LLM на локальных ускорителях

Опубликовано: 18:00, 29.03.2026

С ростом популярности больших языковых моделей (LLM) нагрузка на облачные вычислительные системы значительно увеличилась, что требует поиска новых подходов к обработке запросов. Исследование, проведённое группой учёных, предлагает метрику «интеллект на ватт» (IPW), которая оценивает эффективность локальных систем, объединяя точность выполнения задач и энергопотребление. Это позволяет сравнивать производительность различных моделей


и ускорителей. В рамках исследования было протестировано более 20 локальных языковых моделей на 8 аппаратных ускорителях, включая устройства от Nvidia, AMD и Apple. Для анализа использовался массив из миллиона реальных запросов, охватывающих задачи общения, рассуждений и проверки знаний. Результаты показали, что локальные модели способны


успешно обрабатывать 88,7% запросов, а их эффективность (IPW) выросла в 5,3 раза с 2023 по 2025 год благодаря улучшениям в алгоритмах и аппаратных решениях. Одним из ключевых выводов стало то, что локальные ускорители, такие как Apple M4 Max, уже могут обеспечивать интерактивную обработку запросов, хотя их эффективность


пока что уступает облачным решениям. Например, ускорители Nvidia B200 и SambaNova SN40L демонстрируют на 40-78% более высокую эффективность по сравнению с локальными устройствами. Тем не менее, локальные системы позволяют перераспределить до 71,3% запросов, снижая энергопотребление на 60-80% при


использовании гибридного подхода. Иллюстрация: Nano Banana Исследование также показало, что локальные модели особенно эффективны для творческих и гуманитарных задач, где их точность превышает 90%. Однако в технических областях, таких как архитектура и инженерия, точность падает до 68%, что подчёркивает


необходимость дальнейших улучшений. Тем не менее, даже в этих условиях локальные модели способны обрабатывать значительную часть запросов, снижая нагрузку на облачные системы. Важным аспектом работы стало внедрение маршрутизации запросов между локальными и облачными системами. Оптимальное распределение запросов позволяет достичь значительной экономии ресурсов без потери качества ответов. Например, при точности


маршрутизации 80% энергопотребление снижается на 64%, а затраты — на 59%. Кроме того, исследование подчёркивает важность дальнейшего развития локальных ускорителей. Хотя они уже достигли значительного прогресса, облачные решения сохраняют преимущество благодаря специализированным аппаратным оптимизациям. Это создаёт потенциал для будущих улучшений локальных систем, которые смогут ещё больше сократить разрыв в эффективности. Результаты подчёркивают потенциал локальных языковых


моделей как дополнения к облачным системам. С дальнейшим развитием архитектур моделей и ускорителей эффективность локальных систем будет только расти, что позволит перераспределить ещё большую часть нагрузки. Авторы работы также выпустили открытый инструмент для оценки IPW, чтобы стимулировать дальнейшие разработки в этой области.


Интеллект на ватт: новое исследование вводит метрику для оценки производительности LLM на локальных ускорителях

Сообщает www.ixbt.com

 

Новость из рубрики: Технологии и Hi-Tech

 

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

 

Топ Новости Недели Топ Новости Недели

 

Мозг работает у критической точки, но не достигает её  показало новое исследование 18:00, 29 Мар Мозг работает у критической точки, но не достигает её — показало новое исследование Группа учёных из Университета Гранады (University of Granada) под руководством Рубена Кальво (Rubén Calvo) провела исследование, результаты которого ...

Советы по улучшению производительности и внешнего вида Infiniti 07:00, 23 Мар Советы по улучшению производительности и внешнего вида Infiniti Автомобили Infiniti, известные своей роскошью и мощными техническими характеристиками, являются отличной базой для модификаций, которые могут улучшит...

Про ремонт стиральных машин с разбором причин неисправностей, методов диагностики, самостоятельного устранения поломок, профилактического обслуживани 17:22, 28 Мар Про ремонт стиральных машин с разбором причин неисправностей, методов диагностики, самостоятельного устранения поломок, профилактического обслуживания и влияния современных технологий на долговечность бытовой техники Стиральная машина является одним из самых востребованных бытовых приборов в современном доме. Она значительно упрощает повседневную жизнь, экономит в...

Си Цзиньпин уничтожает демократию и вводит Гонконг под влияние коммунистов 17:00, 01 Апр Си Цзиньпин уничтожает демократию и вводит Гонконг под влияние коммунистов Политическое вмешательство Пекина в автономный город нарушает все обещания перед населением. Действующий президент КНР Си Цзиньпин принял закон о нац...

Названы критерии оценки за поведение в школах 06:00, 03 Апр Названы критерии оценки за поведение в школах Оценка поведения в российских школах будет коллегиальной. В ней примут участие классные руководители, учителя-предметники и педагоги-психологи. Об эт...

Поколение Z ведет рост покупок через искусственный интеллект 08:00, 24 Мар Поколение Z ведет рост покупок через искусственный интеллект Поколение Z становится ключевым драйвером роста онлайн-покупок с использованием искусственного интеллекта. Об этом сообщает Mediapost со ссылкой на и...

В Сколтехе разработали подход для оценки рисков при внедрении новых технологий 15:00, 26 Мар В Сколтехе разработали подход для оценки рисков при внедрении новых технологий Учёные «Сколтеха» предложили методику, которая позволяет точнее оценивать последствия внедрения инноваций в продукты и производственные цепочки. Подх...

Программисты из России запустили искусственный интеллект, предсказывающий успешность заголовка 00:00, 29 Мар Программисты из России запустили искусственный интеллект, предсказывающий успешность заголовка Новая разработка российских программистов позволит оценить привлекательность заголовков на русском языке с помощью искусственного интеллекта. Сервис ...

20:00, 03 Апр Под Тверью построено новое производство полиэтиленовых труб и изделий из пластика В особой экономической зоне «Эммаусс» под Тверью завершено строительство нового производства полиэтиленовых труб и изделий из пластика. Госстройнадзо...

18:00, 25 Мар Китайский технологический гигант Tencent делает ставку на искусственный интеллект Президент китайской технологической компании Tencent заявил в среду, что компания хочет внедрить искусственный интеллект в свое приложение для социал...

18:00, 29 Мар Искусственный интеллект выявил новые стабильные формы углерода твёрже алмаза Группа учёных из Сианьского транспортного университета (Xi'an Jiaotong University) под руководством Чжибина Гао (Zhibin Gao) представила метод поиска...

01:00, 20 Мар Искусственный интеллект помог «Газпромнефть-СМ» создать масла для новых китайских автомобилей «Газпромнефть – смазочные материалы» выпустила полностью синтетические трансмиссионные масла для китайских автомобилей нового поколения. Формулы масе...

20:00, 03 Апр Названы колледжи Тверской области, где проведут ремонт и установят новое оборудование В Тверской колледж транспорта и сервиса закупят мобильный комплекс «Лаборатория безопасности». Это фургон, в котором представлено более 50 единиц обо...

05:00, 22 Мар В Китае выпустят новое поколение внедорожника BAIC BJ81, похожего на Gelandewagen Автомобиль с дизайном в стиле легендарного немецкого внедорожника покажут на Пекинском автосалоне в апреле 2026 года, а его продажи должны стартовать...

04:00, 29 Мар Илья Малинин: «У меня очень много планов, я воодушевлен сделать что-нибудь новое для фигурного катания в целом. Надеюсь на это» Американский фигурист Илья Малинин прокомментировал свою победу на чемпионате мира-2026 в Праге. – Поздравляем тебя с третьим золотом чемпионата мира...

18:11, 20 Мар Руководство по срочному выкупу коммерческой недвижимости — от оценки активов и юридических рисков до инвестиционных стратегий, переговоров и управления капиталом Срочный выкуп коммерческой недвижимости — это специфический сегмент рынка, в котором ключевую роль играет скорость сделки. В отличие от классических ...

08:00, 28 Мар Бритни Спирс вернулась в соцсети после ареста за вождение в нетрезвом виде и показала новое видео с 19-летним сыном Бритни Спирс восстановила свой аккаунт в инстаграме*, который она ранее удаляла после ареста из-за вождения в нетрезвом виде. 44-летняя певица вышла ...

21:00, 27 Мар Google DeepMind и компания Agile Robots объединили усилия для изменения спроса на центры обработки данных, использующие искусственный интеллект По мере того, как искусственный интеллект переходит из обучающих кластеров в фабрики, склады и автономные системы, операторы сталкиваются с растущим ...

13:00, 21 Мар Исследование нейробиологов поставило вопрос о сознании после смерти Группа нейробиологов из Нидерландов представила исследование, в котором рассматривается возможность сохранения сознания после клинической смерти. Раб...

13:00, 21 Мар Исследование показало возможную связь вакцинации с замедлением старения Ученые из Университета Южной Калифорнии представили результаты исследования, в котором рассматривается возможная связь между вакцинацией против опояс...

11:00, 01 Апр ВЦИОМ провёл исследование среди россиян о запретных темах для шуток Аналитический центр ВЦИОМ провёл социологическое исследование, касающееся запретных тем для шуток в российском обществе, сообщается на сайте организа...

22:31, 23 Мар Всеобъемлющее руководство по выбору лучшего измельчителя древесины: от оценки мощности и конструктивных особенностей до безопасности, типов техники, дополнительных аксессуаров и интеграции в хозяйственные, садовые и промышленные процессы Выбор измельчителя древесины — это важный шаг для частных владельцев садов и предприятий деревообрабатывающей отрасли. От правильно подобранного обор...

22:34, 23 Мар Всеобъемлющее руководство по выбору лучших аккумуляторов и сопутствующих принадлежностей: от оценки мощности, типа, совместимости и технических характеристик до обслуживания, зарядных устройств, безопасности и интеграции в личное и профессиональное исполь Выбор аккумуляторов и сопутствующих принадлежностей — важный этап для частных пользователей, профессионалов и предприятий, которые зависят от надежно...

02:00, 27 Мар Исследование Домклик: эконом и премиум чаще других классов приобретают в готовых новостройках unsplash.comАналитики Домклик рассмотрели, на каком этапе строительства преимущественно приобретают квартиры разных классов. С каким сроком сдачи чащ...

22:28, 23 Мар Всеобъемлющее руководство по выбору оптимальных условий кредитования: от оценки процентных ставок, скрытых комиссий и сроков до стратегий финансового планирования, управления рисками и сравнения предложений банков и микрофинансовых организаций Выбор кредитных условий — это один из важнейших аспектов финансового планирования для частных лиц и компаний. Правильный выбор помогает минимизироват...

06:00, 25 Мар Провела исследование азиатских вкусняшек: В Магните нашла нечто - очень вкусные, но в коробку положили мало Прогород В «Магните» появилась коробка с бисквитными рыбками. Милый дизайн, котик с удочкой, а на коробке заманчивое слово «моти» — обещание нежного ...

07:17, 26 Мар Комплексное исследование железобетонных и газобетонных изделий, их технологических особенностей, эксплуатационных характеристик, строительных решений и влияния на развитие современной архитектуры и инженерной инфраструктуры Современное строительство невозможно представить без использования высокотехнологичных материалов, обеспечивающих прочность, долговечность и энергоэф...

12:00, 20 Мар В России появится ГОСТ на футбольные ворота для детских площадок: «Разработка связана с трагическими случаями». Спортс’’ публиковал исследование о гибели детей из-за падения ворот Первый в России ГОСТ на футбольные ворота для детских и уличных площадок установит требования для конструкций, которые предотвратят несчастные случаи...

08:45, 25 Мар Глубокое инженерное погружение в технологии сжатого воздуха: максимально подробное исследование винтовых компрессоров, их устройства, преимуществ, областей применения и влияния на современные производственные процессы Винтовые компрессоры занимают ключевое место в современной промышленности, обеспечивая стабильное и эффективное производство сжатого воздуха. Этот ти...

17:44, 28 Мар Развернутое исследование биокаминов как элемента стиля и уюта в доме с анализом дизайнерских решений, технологий горения, экологических преимуществ и влияния живого огня на атмосферу современного интерьера Современный дом — это не просто место для проживания, а пространство, где человек стремится к гармонии, комфорту и эстетическому наслаждению. Одним и...

09:24, 30 Мар Глубокое и максимально подробное исследование паровых котлов: устройство, принципы работы, сферы промышленного применения, энергоэффективность, безопасность эксплуатации и роль парогенераторов в современной энергетике и производстве Паровые котлы являются важнейшим элементом энергетических и производственных систем. Они используются для получения водяного пара, который служит ист...

21:00, 28 Мар Большое исследование Anker: балконные солнечные системы окупаются всего за несколько лет, но есть нюанс — системы с накопителями окупаются в два раза дольше Anker проанализировала данные использования балконных солнечных систем в Германии и пришла к выводу, что такие установки действительно помогают замет...

07:15, 27 Мар Комплексное и детализированное исследование преимуществ маркировки товаров для маркетплейсов с разбором механизмов контроля, цифровой идентификации продукции, автоматизации логистики и влияния маркировки на развитие электронной коммерции и доверие потреби Современная электронная коммерция развивается стремительными темпами, и маркетплейсы становятся ключевыми каналами продаж для бизнеса. В условиях выс...