^{Фото: MacRumors}

Компания Apple готовит инновационный метод запуска языковых моделей на iPhone, который позволит сделать огромный качественный скачок вперед. Об этом пишет MacRumors.

Слухи о разработке Apple GPT уже давно будоражат умы фанатов, однако для работы языковых моделей на смартфонах всё еще сохраняется одно большое ограничение — память. Нейросети вроде ChatGPT требуют большого количества памяти для хранения кэша и архивов данных, но объем оперативной памяти iPhone даже близко не позволяет это реализовать. Теперь инженеры Apple придумали решение.

Согласно источнику, в будущих iPhone будет реализовано использование встроенного флеш-накопителя для развертывания больших языковых моделей прямо на смартфоне. Apple использует два ключевых метода для этого:

• Повторное использование ранее обработанных данных вместо полной обработки массива для каждого запроса.
• Объединение строк кода во время работы, подобно чтению книги большими частями, а не по одному слову. Группировка данных позволит ускорить способность ИИ понимать и генерировать язык.

Описанные выше подходы позволят использовать для Apple GPT минимум в два раза больше памяти, чем обычно предлагает ОЗУ iPhone. Как следствие, работа ИИ на айфоне ускорится в 4-5 раз на вычислительных и до 25 раз на графических ядрах.

Всё это поспособствует огромному скачку в работе нейросетей на iPhone и подарит пользователям такой опыт, которого они никогда не испытывали. Говорят, полностью переосмысленная нейро-Siri удивит нас уже в iOS 18.