TxNet.Ltd.头像
AR+AI 之 用AI大模型解析XREAL AR眼镜摄像头画面封面图

AR+AI 之 用AI大模型解析XREAL AR眼镜摄像头画面

前言

随着 Google 发布 Android XR,AR 眼镜与 AI 之间的距离正在迅速拉近。在这样的背景下,应该有不少人都在想:“能不能让 AI 解析我在 AR 眼镜里看到的东西?”

这篇文章将介绍一套完整的实现方案:使用 Unity,通过 XREAL One Pro + XREAL Eye 采集摄像头画面,再交给 Gemini API 进行解析。


关于 XREAL Eye

XREAL Eye 是什么

XREAL One / One Pro 本体并没有搭载摄像头。需要额外安装名为 XREAL Eye 的配件,才能使用 RGB 摄像头。
你可能会想:“XREAL Air 2 Ultra 不是有摄像头吗?”——那一款搭载的是黑白(单色)追踪传感器,无法用来获取彩色画面。

开发时的限制

在开发者应用中,最多只支持 3DoF(正常使用时为 6DoF)。


开发环境

本文的实现已在以下环境中验证通过。

  • Unity 2022.3.62f2
  • XREAL SDK 3.0.0
  • UniTask 2.5.0 及以上

验证设备使用的是

转载自 CSDN-专业IT技术社区

原文链接:https://blog.csdn.net/qq563129582/article/details/169238351

文章来源转载

评论

评论列表

微信小程序
QQ小程序

关于作者

点赞数:0
关注数:0
粉丝:0
文章:0
关注标签:0
加入于:--