Meta Connect 2024: обзор для разработчиков

25 и 26 сентября на 11-й ежегодной конференции Connect компания Meta представила последние достижения в области смешанной реальности, искусственного интеллекта и носимых устройств. Это огромный шаг к открытой вычислительной платформе, ориентированной на людей.

Мы собрали всё об анонсированных инновациях для разработчиков. Здесь можно посмотреть записи докладов с подробной информацией о представленных функциях.

Последняя новинка — Llama 3.2

На конференции Connect было объявлено о выпуске Llama 3.2, грандиозном обновлении большой языковой модели (LLM). Последняя версия включает в себя малые и средние модели LLM для зрения (11B и 90B), а также облегченные текстовые модели (1B и 3B), предназначенные для периферийных и мобильных устройств. Эти модели поддерживают ряд задач, в том числе распознавание изображений, поиск на разных языках, обобщение, выполнение инструкций и рерайтинг. Модели 1B и 3B оптимизированы для использования на устройстве, что обеспечивает более быструю обработку, улучшенную конфиденциальность и меньшую задержку.

Производительность моделей Llama 3.2 сопоставима с ведущими базовыми моделями, такими как Claude 3 Haiku и GPT4o-mini. Кроме того, они поддерживают длину контекста в 128 тыс. токенов, что дает возможности для более сложных и тонких взаимодействий. Для облегчения интеграции мы также выпустили Llama Stack, стандартизированный интерфейс для настройки моделей Llama и создания агентских приложений. Этот инструмент тесно интегрирован с библиотеками PyTorch и поддерживает разные среды, в том числе локальные, облачные, одноузловые и на устройствах.

Модели Llama 3.2 можно скачать на сайтах Llama и Hugging Face. Также разработчики могут сразу получить к ним доступ на платформах партнеров. Этот выпуск — грандиозный шаг к доступному, ответственному и инновационному ИИ-решению. Подробнее о последних моделях.

Разработка, оптимизация и развитие с ОС Meta Horizon

Благодаря выпуску Meta Quest 3S по цене от 299,99 долларов США мы расширили аудиторию для продуктов смешанной реальности. Гарнитура Quest 3S оснащена кнопкой действия, которая позволяет быстро переключаться между режимами смешанной реальности и с легкостью переходить в нужную среду. Чтобы узнать больше о Quest 3S, посмотрите видео с конференции Connect — Meet Meta Quest 3S.

Расширение охвата: 2D-приложения в Магазине Meta Horizon

Магазин Meta Horizon теперь поддерживает 2D-приложения, созданные на основе технологии прогрессивных веб-приложений как на нативном коде для Android, так и с помощью Meta Spatial SDK. Это позволит разработчикам добавить существующие приложения в экосистему Meta Horizon. В этом обновлении представлены захватывающие функции: изменяемые размеры панелей, пространственный звук и многозадачность. Благодаря ему разработчики смогут охватить новую аудиторию, ведь более 60 % пользователей Meta Quest теперь используют браузер и 2D-панели в Meta Quest 3. Разработчики получили больше возможностей. Теперь им доступны такие ресурсы, как центр разработчиков, руководства по портированию и демонстрационные приложения с открытым исходным кодом. Кроме того, наша пилотная программа Horizon Start предоставляет специальную поддержку, обучение и потенциальное финансирование разработчикам мобильных приложений, которые переходят на ОС Meta Horizon. Узнать больше можно в блоге.

Потенциал смешанной реальности

Смешанная реальность дает разработчикам возможность создавать динамичные приложения с использованием революционных технологий. Расширенный пакет инструментов разработчика Meta оптимизирует разработку, позволяет внедрять инновации с помощью технологий смешанной реальности и подходит для разработчиков всех уровней квалификации. С улучшениями, инструментами и возможностями, анонсированными на Connect 2024, разработчики могут создавать более реалистичные, интересные и производительные MR-приложения.

Мы представили новые функции: улучшенный интерфейс Passthrough и Depth API, преобразование звука в текст, расчет траектории звука, микрожесты и Interaction SDK. Разработка ведется на основе Unity 6, MRUK и функции "Строительные блоки". Кроме того, кроссплатформенная поддержка Haptics и LIV SDK обеспечивают эффективный захват контента. Эти обновления помогут сделать разработку более доступной, эффективной и инновационной. Узнать больше можно в блоге.

Улучшения для разработчиков

Ранее на этой неделе мы представили обновления для разработчиков Meta. Теперь можно быстро найти информацию, ресурсы и платформы, необходимые для начала работы, в центре Meta for Developers, а также в обновленных центрах для разработчиков ОС Meta Horizon, социальных технологий и искусственного интеллекта.