Facebook работает над системой обучения ИИ по видео от первого лица

Проект, над которым работает компания, представляет собой системы ИИ следующего поколения, которые постоянно анализируют жизнь людей с помощью видео от первого лица: записывают то, что они видят, делают и слышат, чтобы помочь им в выполнении повседневных задач.

В общей сложности около 3205 часов видеозаписи уже было записано 855 участниками, проживающими в девяти разных странах.

Название исследовательского проекта Facebook — Ego4D, которое относится к анализу видео от первого лица, или «эгоцентрического» видео. Он состоит из двух основных компонентов: открытого набора данных видео и ряда тестов, которые, по мнению Facebook, системы искусственного интеллекта должны быть в состоянии решать в будущем.

Проект включает в себя умные очки, такие как Ray-Ban Stories, выпущенные Facebook в прошлом месяце, и виртуальную реальность, в которую Facebook вложил значительные средства с момента приобретения Oculus за 2 млрд долларов в 2014 году.

Такой набор данных является крупнейшим в своем роде из когда-либо созданных, и Facebook заявила, что в ноябре сделает Ego4D общедоступным для исследователей.

Анонс Ego4D пришелся на интересное и непростое время для Facebook. Компания в июле объявила о формировании продуктовой группы, которая будет работать над «метавселенной». Далее на них обрушился шквал новостей, вызванных утечкой данных о внутренних исследованиях. И среди данных по Instagram и изучению здоровья детей использовались, в том числе, видеозаписи, сделанные с помощью камеры GoPro и смарт-очки Vuzix.

По словам представителей Facebook, в целях обеспечения конфиденциальности участников проинструктировали, чтобы они не фиксировали личные идентификационные характеристики при съемке в помещении. К ним относятся лица людей, разговоры, татуировки и украшения. Facebook сообщил, что удалил из видеозаписей информацию, позволяющую идентифицировать личность, размыл лица прохожих и номера автомобилей. По словам компании, из многих видео также был удален звук. Стоит отметить, что за сбор данных отвечали университеты, а не Facebook.

Второй компонент Ego4D — это серия тестов или задач, которые Facebook хочет, чтобы исследователи по всему миру пытались решить с помощью систем искусственного интеллекта, обученных на его наборе данных. Компания описывает их как:

• Эпизодическая память: что произошло, когда (например, «Где я оставил свои ключи?»);
• Прогнозирование: что я, скорее всего, сделаю дальше (например, «Подождите, вы уже добавили соль в этот рецепт?»);
• Манипуляция руками и предметами: что я делаю (например, «Научи меня играть на барабанах»);
• Аудиовизуальный дневник: кто что и когда сказал (например, «Какова была основная тема во время урока?»);
• Социальное взаимодействие: кто с кем взаимодействует (например, «Помогите мне лучше слышать человека, разговаривающего со мной в этом шумном ресторане»).

Компания заявляет, что системы, обученные на Ego4D, однажды могут быть использованы не только камерах, но и в домашних роботах-помощниках, которые также полагаются на камеры от первого лица для навигации по окружающему миру.