基于惯导传感系统的工人姿态识别深度学习模型研究 (2023 Fall)
项目背景
工程项目建造是典型的劳动密集型产业，需要大量劳动力的参与，是安全事故最多的行业之一。由于行业的工作环境与生产条件，建筑施工过程中存在着诸多安全隐患。大多数工程事故与工人本身的活动（特别是不安全行为）有关。同时，缺乏培训的工人在生产过程中经常出现操作失误、动作错误等诸多问题。这些问题虽不会立刻造成伤害，但是随着时间的积累会导致各种职业疾病（例如，肌肉骨骼类疾病，WMSD）。本项目拟使用基于可穿戴惯性测量单元系统作为检测手段，提出能够识别工人运动姿态的深度学习模型。在实践中，本项目的成果可以帮助工人进行骨骼肌肉诊断，并根据其工作状态，提出合适的作业培训方案。
项目内容
1.设计构建人体肌肉骨骼模型
本项内容需要学生在导师指导下学习基本的人体工程学分析模型。学生将设计并构造肌肉骨骼的数字模型。模型的核心是充分发挥检测设备的性能，设计合理的骨骼节点数量、连接关系、以及运动的边界条件。
2.使用动作捕捉设备进行数据采集，利用公共数据库构造研究使用的数据集
本项内容需要学生熟悉本课题的检测设备PN3 Pro的基本使用方法以及数据预处理方案。并进行实验设计、采集实验数据、对数据进行标签化处理。通过对公共数据集的整理与筛选，最后构造出适合进行深度学习模型训练的数据集。
3.开发深度学习模型
本项内容要求学生使用Pytorch工具包等深度学习工具，选择合适的深度学习模型，设计面向人员姿态识别的模型。模型开发要求学生对各个模型的优缺点以及数据特化方案具有一定程度的了解，确保合理模型架构设计。
4.模型封装以及姿态识别工具的开发
本项内容要求学生能够将训练好的模型用于工程实践，并尽量实现以下目标：（1）利用有限的惯性测量单元节点，准确识别工人的运动姿态；（2）允许开发的模型对其他设备（例如：摄像头、深度摄像机等）的输出具有一定兼容性，能够进行高精度识别。
本项目的研究成果不仅能够利用模型实现工人姿态的自动化识别，还可以通过数据转换界面的方式，以更少的测点、更便宜的设备实现低成本的应用部署方案。
预期结果
1. 形成姿态检测深度学习模型、技术报告、参与署名期刊或会议论文；
2. 产生可用的姿态检测进行安全及人体工程学分析；
3. 学生了解工程安全管理及动作识别理论知识；
SLAM机器人建图与建筑信息模型(BIM)信息融合研究 (2023 Fall)
项目背景
定位与导航是机器人能够在室内提供各种服务的前提。不论使用远程操作还是自动化控制的机器人，都需要获得建筑物内部的空间信息，进而实现其各种功能。随着传感器技术的发展，即时定位与地图构建（Simultaneous Localization and Mapping，SLAM）技术成为了机器人生成地图并识别障碍的主要手段。使用SLAM技术可以实时更新地图，并构造空间的几何关系。然而，建筑内部的空间在大部分情况是保持不变的，使用SLAM反复建图需要消耗大量的计算资源。而且，SLAM生成的点云信息缺乏与之相关的空间物理意义，造成了地图的错误与使用的不便。因而，本课题计划尝试联合使用SLAM及建筑信息模型（Building Information Modeling,BIM）技术，利用BIM模型进行数据校准，辅助语义分割，进而实现低成本快算的建筑物内部空间构建及匹配。BIM是利用计算机进行建筑物信息化模型的构建，从而构造大型建筑物高精度模型。BIM模型的语义属性可以有效的辅助机器人SLAM，提高机器人定位的性能。
项目内容
1.采集构建建筑物内部SLAM点云
本项内容需要学生在导师指导下学习SLAM机器人的基本操作，并能够利用机器人控制系统（ROS）生成建筑物内部点云。依据使用设备平台的不同，生成的点云可以是激光点云或照片点云。
2. 提取有效BIM空间语义信息
本项内容需要学生学习使用自动化工具提取BIM模型的空间语义信息作为标签。或利用BIM模型的空间漫游功能提取空间语义或空间特征。
3. 开发数据界面实现SLAM点云与BIM空间语义的有效数据整合
本项内容要求学生合理设计数据界面或数据框架，将检测到的点云数据与BIM语义进行特征匹配，从而融合二者的空间数据。
4. 开发地图样例，验证融合模型
本项目内容要求学生使用开发的数据界面采集数据，并利用该数据实现空间建图。生成的模型要求点云数据与BIM模型能够具有相对高精度的匹配。可以使用校园内建筑为例，生成空间地图模型。
本项目的研究成果不仅能够辅助机器人SLAM定位，提高定位效率，简化点云地图的数据复杂度，还可以应用于工程部分竣工的校验与管理监控。
预期结果
1. 形成数据融合模型、技术报告、参与署名期刊或会议论文；
2. 产生建筑数字模型的示范性案例；
3. 学生了解SLAM技术及BIM等相关技术的理论知识；
4. 训练学生动手实验、数据采集、量化分析、专业写作等能力。