学术项目 / ACADEMIC PROJECTMULTIMODAL INTERACTION / UAV
ShotGenie 智能航拍A new perspective.
ShotGenie: An Interactive Multimodal UAV for AI-Driven Cinematograph
让拍摄从人的意图出发，再由无人机把想法变成镜头。
让拍摄意图，
找到真实的载体。
以无人机实机为平台，连接机载感知、计算与飞行动作，探索面向人物拍摄的智能航拍体验。
01 / OVERVIEW项目概览
从拍摄意图，到镜头动作。
多模态交互 × 拍摄模板 × AI 美学反馈。
| 环节 | 输入或方式 | 输出或作用 |
|---|---|---|
| 人像校准 | 机载人物画面 | 建立取景基础 |
| 多模态控制 | 语音三级映射、近距离手势、控制器 | 表达意图与精细调整 |
| 拍摄模板 | 中心、三分、留白；环绕、推进／拉远 | 组织照片构图与视频镜头 |
| 美学反馈 | 画面评分与参数微调 | 探索自动拍摄反馈流程 |
02 / APPROACH多模态控制与拍摄架构
从问题出发，
连接每一步。
- 01
人像取景
通过机载人像校准，建立面向人物拍摄的画面构图基础。
- 02
拍摄模板
方案覆盖照片构图与视频镜头模板，支持用户上传模板的设计。
- 03
美学反馈
探索画面评分、参数微调与自动拍摄之间的反馈流程。
查看原图 ↗从交互到镜头的反馈流程
原始方案图展示语音、手势与控制器输入，以及拍摄模板、人像校准和美学评分的协作关系。
03 / RESEARCH ARCHITECTURE视觉语言条件 × 动作扩散策略
从画面理解，
到动作生成。
连续画面 + 美学指令 + 机体状态 → 构图条件 → 动作序列。
DPM-Solver 采样 5–10 步；每轮执行首步，再根据新观测规划。
放大矢量图 ↗
| 阶段 | 模块 | 输出 |
|---|---|---|
| A · 多模态输入 | FPV 帧、美学语言、机体状态 | 观测与指令 |
| B · 主体感知 | YOLO/YOLO-seg → ViT → Perceiver → Qwen-VL | 视觉语言表征 |
| C · 语义条件 | 〈action〉隐状态 | 构图条件 c |
| D · 动作扩散 | DiT + State Encoder / FiLM | 16 × 4 动作序列 |
| E · 滚动执行 | 执行首步 → PX4 / MAVLink | 更新观测与状态 |
根据提供的科研架构方案重绘；模型骨干以冻结为主，Adapters / LoRA 可训练。图示描述系统设计。
04 / SHOOTING INTERFACE拍摄界面与模板
查看原图 ↗COMPOSITION / 构图选择先选一种构图，
先选一种构图，
再表达你的画面。
界面将拍摄预览与照片模板选择放在同一屏，提供中心构图、左三分构图、右三分构图和留白构图入口。
- 01中心构图
- 02左三分构图
- 03右三分构图
- 04留白构图
系统方案还包含环绕、推进／拉远、低角度等视频镜头模板，以及 AI 美学评分与参数调整的设计。
项目资料：个人介绍第 2–4 页及实机、系统架构、拍摄界面原始图片。