图5     

 但是，图5所示的神经网络只能根据当前系统状态给出预测的动作值，却缺乏任务认知能力，即无法感知动作的优劣程度。上述问题进一步限制了模型在真实系统中的可行性，也完全摒除了模型顺应环境而优化策略的能力。这也是其他机器学习方法所面临的普遍性问题：若要获得具有高维决策能力的策略模型，常用的方法包括模仿学习和强化学习。一方面，端对端的模仿学习通常不具备后优化能力，即模型在学习了示教数据后，很难在环境交互任务中继续完成策略的优化；另一方面，强化学习虽然可以在环境交互任务中继续优化策略，以逐渐顺应不断变化的动态环境，但由于缺乏兼具超声多模态成像原理的仿真环境，使得现有的相关工作距离真实系统还有一段距离。此外，虽然逆强化学习和生成对抗模仿学习等方法能够保证模型从示教任务中学习，并在交互任务中优化，但是在真实系统下的可行性与稳定性仍需要更深入的研究与探索。

为了解决上述问题，可在神经网络具备任务认知能力的基础上，结合引导探索完成预训练模型的后优化。如图6所示，保留预训练模型对多模态信号的编码过程，并引入状态评价网络以弥补任务的认知能力。具体做法为，在完成任务示教后增加适当的二分类标签，其中正、负标签表示“可接受”或“不能接受”的状态，在超声任务中则依据“当前图像是否为目标超声图像”进行划分。当状态评价网络能够完成状态分类任务后，可由当前状态的置信度（正标签的概率）作为模型在真实系统中表现的判断依据，并结合引导探索完成模型的策略优化。

图6

 如图7所示为基于引导探索的策略优化方式。在真实的人机交互场景中，由预训练模型自主完成整个超声检查流程，而对于部分低奖励动作，模型可以结合专家在线示教的动作，以不断优化自身策略。其关键之处在于，预训练模型对于置信度计算可以作为奖励函数，由此比较人类动作与模型动作的奖励值，并进一步学习高奖励动作以在线更新模型策略，最终完成模型的后续优化。

图7

图8

 图8展示了模仿学习中的示教过程。在示教任务中，专业超声医师以超声仪器的图像为主要参考，结合探头的位置、姿态、接触力做出适当的调整，最终获取目标器官居中且呈像清晰的高质量超声图像，如图9所示。采用马尔可夫过程对每一条示教轨迹进行离散记录，并在每一条轨迹完成后由专业超声医师补充二分类标签。

图9
        模仿学习的预训练过程如图10所示。在测试集的动作回归任务中，预训练模型的表现较好，不仅能够预测出各种状态下的位置差值和姿态差值，而且依时序输出的动作值更加平滑，避免了示教数据记录过程中由均匀采样引起的数值突变，如图10（b-h）所示。但是，图10（a）所示的损失曲线也说明模型在预训练过程中有过拟合趋势，即预训练模型的任务理解能力和泛化能力不足，最终导致该模型在实际场景中的表现欠佳。上述问题将由结合引导探索的模型后优化方式解决。

图10

 将预训练模型部署到真实超声机器人系统中，并在真实场景的交互实验中完成引导探索，以验证引导探索优化方式的可行性与有效性。如图11所示，预训练模型（a）在真实系统中存在过度运动的趋势，对任务的理解能力与决策能力不足；在引导探索的过程中，对模型的参数进行了100次更新，优化模型（b）在实机实验中能够以平滑的动作获取高质量超声图像。两次任务中的置信度变化曲线如图12所示，优化模型的启动时间和动作平滑度均明显优于预训练模型，而且能够更快速地定位并保持在目标状态。由此证明，所提出的引导探索优化策略能够以少量数据而显著改善预训练模型的任务表现能力。