基于多传感器与数据通信的家庭智能监护STIC小车设计
郑立博 刘家健 黄海媚 柳铭燕 吴原冶
生成PDF 清样下载 引用

复制成功

导出题录

参考文献( GB/T 7714-2015 ) 复制

郑立博 刘家健 黄海媚 柳铭燕 吴原冶,. 基于多传感器与数据通信的家庭智能监护STIC小车设计[J]. 传感器研究,2023.3. DOI:10.12721/ccn.2023.157022.
摘要:
本项目研究与开发STIC(ScienceTechnologyIntelligenceandConvenience)小车项目,通过预先给小车设定的模式的方式来实现良好的自主避障、视频监控、视频通话等功能,让小车在家庭监控、科学勘探、人体识别跟踪、安保等环境发挥其作用。StrategyAnalytics发布的研究报告《智能家居监控摄像机市场分析与预测》中指出,低于200美元价格点的配备全套软件和服务功能的摄像机将推动智能家居监控摄像机市场的增长,以及从我国人口老龄化这一发展趋势出发,市场对具有智能监控、轻便的产品需求量将呈现稳定的上升趋势,本产品则恰好符合这一未来发展趋势。
通过将手机固定在小车上充当小车的“大脑”,遥控方式采用蓝牙手柄遥控以及手机APP遥控,手柄与手机通过蓝牙传输控制数据。小车具有语音控制、远程实时控制和人体跟踪的功能,具有高性价比、高灵敏度、高效能、使用范围广等特点,其科学性与先进性体现在能自动避障与人体追踪、无线遥控控制技术、精准定位,以上特点也是本项目相比与其他同类产品所具备的优势。产品使用开源机器学习框架TensorFlowLite在移动端设备即手机上部署开源的对象检测模型,通过手机摄像头获取图像数据再由此模型进行人体检测。基于人体检测功能,开发出人体跟踪功能。
关键词: 智能监控科学勘探人体识别跟踪
DOI:10.12721/ccn.2023.157022
基金资助:

设计目的:

从智能小车与手机APP的数据交互出发,并从智能小车避障行为的应用为基础,对移动智能小车上位机软硬件开发,全局路径规划,场景识别和环境建模等问题进行理论研究与实践应用。使小车可以按照预先设定的模式实现良好的自主避障、视频监控、视频通话等功能,让小车在家庭监控、科学勘探、人体识别跟踪、安保等环境实现应用。

基本思路:

本项目研究与开发STIC(ScienceTechnologyIntelligenceandConvenience)小车项目。基本设计思路为:

1.将手机固定在小车上充当小车的“大脑”。小车与手机用USB数据线连接,通过USB串口开发技术让Arduino开发板与安卓手机进行数据通信。

2.遥控方式采用蓝牙手柄遥控以及手机APP遥控,手柄与手机通过蓝牙传输控制数据,即方向、速度等信号数据,手机端接收到信号数据后进而通过USB数据线传输到小车,在手机上对小车下达指令操作,小车对控制数据进行判别进而驱动电机等硬件设备。

APP遥控小车的原理与蓝牙手柄遥控小车的原理基本相似,区别在于APP与小车“大脑”是通过socket通信进行数据传输的,小车“大脑”端调用socket相关Api编码成为服务器SocketServer,监听固定端口,开启线程持续接收客户端数据,APP操控端编码成为客户端SocketClient,对服务器端的Ip地址及端口进行连接,连接成功后就可以收发数据了。

在“大脑”端进行Android摄像头相关Api调用开发,实现通过摄像头持续获取图像数据,通过上方说到的socket通信实时传输到APP控制端,在APP控制端实时展示图像数据。

我们使用开源机器学习框架TensorFlowLite在移动端设备即手机上部署开源的对象检测模型,通过手机摄像头获取图像数据再由此模型进行人体检测。基于人体检测功能,我们也开发出人体跟踪功能。

创新点:

用智能手机代替各种传感器。定制机器人上的硬件组件会很快过时,而智能手机每年都会迭代,如此一来被换下来的“二手机”也拥有了用武之地。

使用移动终端作为控制端。利用移动终端(例如手机、电脑、平板)的高性能处理器和低廉的价格,降低了研发成本和研发难度。与其他机器人相比,我们的STIC小车具有智能手机提供强大的数据运算与图像处理能力、通信接口和传感器。

技术关键和主要技术指标:

移动智能小车上位机软硬件开发、物体识别、多传感器与数据通信的信息传导模式、自动寻迹避障与准确定位停车等问题的理论研究与实践应用。

设计方案:

1. 样车模型

图片1.png

2. 硬件总体框图

图片2.png

图片3.png

3. 电路原理图

图片4.png

4. 系统结构框图

图片5.png

5. 功能介绍

5.1语音控制

使用百度智能云语音识别技术,在手机端APP通过麦克风获取语音信息,将语音信息上传到云平台,在云平台识别后返回识别结果到手机。通过对识别结果的判断来发送对应的操作指令到小车“大脑”端,进而继续处理数据驱动小车做出反应。

5.2远程实时控制

作为“大脑”的手机负责通过摄像头持续采集每一帧的图像数据,将图像数据通过算法处理,转换成byte[]即字节数组。基于tcp网络通信,使用socket(套接字)将图像数据传输到控制端APP,在控制端APP处理接收到的数据并实时展示在手机屏幕上,同时我们可以利用控制端APP或者蓝牙手柄对小车进行远程遥控。

5.3人体跟踪

为了让我们的STIC小车能够识别人体,我们在移动设备上使用TensorFlowLite。为了获得我们的人体识别分析模型,首先通过TensorFlow(神经网络框架)训练出基于深度学习的人体识别系统的人体识别分析模型。把大量场景的人体图像以及视频数据导入到TensorFlow(神经网络框架)内,提取数据让计算机根据输入的样本和一些人为的干预来总结并归纳该路径遇到的特征及特点,并用这些特征及特点与一定的学习目标形成映射关系,进而自动化地做出相应反应的过程。而深度学习通常可以采用End-to-End(端对端)的学习方式,输入的内容只需要做很少的normalization(归一化)、whitening(白化)等处理就可以交给模型训练,基本不需要做更多的特征提取工作。而特征提取的行为可以由整个深度学习的网络模型自动完成,从而训练出能够识别出人体的分析模型。

注释:

TensorFlowLite包括两个主要组件:

1.TensorFlowLite解释器,它可在手机、嵌入式Linux设备和微控制器等很多不同类型的硬件上运行经过专门优化的模型。

2.TensorFlowLite转换器,它可将TensorFlow模型转换为方便解释器使用的格式,并可引入优化以减小二进制文件的大小和提高性能。

6. APP界面展示

图片6.png

图片7.png

科学性与先进性:

1.自动避障与人体追踪

基于TensorFlowLite框架,以Android手机作为小车大脑,使STIC小车能够实现能够实时显示时间、速度、里程,具有避障、可程控行驶速度、远程传输图像等功能。

2.无线遥控控制技术

用户可通过蓝牙连接的方式键入手机端,实现对STIC小车行驶状态与方向,以及控制小车各个功能属性的变化。后期我们采用改为更强大的局域网、互联网控制方式,改变原来摄像头通过蓝牙方式传输视频缓慢的缺点,扩大操作范围,增强传输信号,为探测小车进入空间狭小、深度大的危险地带(如矿洞、深沟等)提供有利条件;为公安、部队在探险、探测危险物品及其他探索活动中更安全、快捷地提供更多有价值的信息。

3.多传感器与数据通信的信息传导模式手机与arduino小车之间基于USB串口进行数据通信,串通小车内部的声纳传感器和速度传感器,小车将传感器数据进行深度融合再将传感器数值反馈到手机端,通过手柄-手机-小车三级联动的方式实现对小车发出控制信息,针对超声波传感器感应物障距离和多阈值分割区分目标物体,实

现对物障距离的精准定位。

目前STIC小车的运行是通过使用手机与小车结合,使用蓝牙手柄控制或提前设置好参数运行。在接下来的研究里,我们团队将进行手机端APP的开发。例如在日常使用的手机与旧手机的连接上,即使没有手柄也可以体验完整的功能。

在车辆控制和控制器驱动模式方面,我们提供游戏模式、操纵杆模式、左右模式。未来我们将优化升级手机端软件实现对智能小车的全方位升级,用户只需要升级软件即可体验更多的小车功能,如智能语音问答、实时监控、红外感应人体温度以及身高信息等。

适用范围:

1.热爱DIY、动手能力强,对机械、编程感兴趣的学生群体。

2.帮助家里有行动不便的老人家庭,让STIC小车实现对行动不便的老人的监护、实时的可移动的监护预警、必要的与子女的视频语音交流等。

技术特点:

1.训练模型

2.机器学习任务

分类:我们采集人类身体特征建立数据集,我们将定量(衣着特征,身体比例等)和定性(肤色,行走姿态等)特征作为输入,这些特征唯一的描写了人体的特征。

回归:利用线性回归函数将分散的数据进行整合,预测出最符合实际数据变化的函数。得到的模型就可以用来对类别标签(即我们的人类与其他种类)进行预测,判别是人类或者其他物种。市场分析:发达国家人口老龄化的趋势愈加明显,人口结构也逐渐向衰老型过渡。随着中国人口老龄化加快,2022年我国将进入深度老龄化社会。而且由于人口基数大,中国老年人口规模也是前所未有。2019年中国65岁及以上人口已达1.76亿,预计到2050将达3.76亿。2058年达4.14亿的峰值,届时大致每3个中国人中就有1个65岁以上的老人。从老龄化水平的国际比较看,2019年中国老龄化程度在全球经济体中位居第61位,高于中等偏上收入经济体2.2个百分点。2019年全球65岁及以上人口占比为9.1%。面对人口老龄化,照看老人成为一大难点,而智能监控是一条市场前景广阔的道路。

1.2023年智能家居监控摄像头市场规模超过97亿美元StrategyAnalytics发布的研究报告《智能家居监控摄像机市场分析与预测》指出,低于200美元价格点的配备全套软件和服务功能的摄像机将推动智能家居监控摄像机市场的增长。该报告预测,到2023年,全球市场消费者在智能家居监控摄像机上支出将超过97亿美元。

2.中国推动全球视频监控市场增长疫情之下,封城、旅行限制等措施导致的经济停摆,以及政府以抗疫为中心的政策等因素,2020年全年视频监控市场有小幅的下滑。然而,随着抗击新冠取得令人瞩目的成功,中国视频监控市场投资正在加速恢复。由中国政府推动的新型基础设施建设无疑将会是未来中国视频监控市场的新的增长点。Omdia预计2024年中国智能视频监控市场将达到167亿美金,2019到2024年年均增长达9.5%。

3.年轻人安防监控意识较高

根据百度指数,搜索智能小车和安防监控系统的人群主要为20-39岁的青壮,正是社会的消费主力,也是售卖智能STIC小车的目标人群。综上,在市场规模大、市场增长量大、市场需求大、目标人群年轻、产业链完善等优越条件下,STIC小车以技术新、功能完善、操作简单、适用范围广的特点,能迅速打开市场、占领市场份额。

经济效益分析:

用二项式预测未来五年销售额为:STIC小车所利用的移动终端与传感器等硬件及软件均已较为成熟,市场价格实惠,制作推广STIC小车所需成本较为可控。在后续开发商业化产品中,我们会加大对产品生态链的打造,构造完备的生态系统。通过蓝牙、WIFI、5G数据等连接方式与日常手机连接,实现小车以及软件的升级换代。这些优势,使我们的小车能够在科学勘探、跟踪识别、安保等场景中能够广泛应用,我们相信项目具有广阔的应用前景。
参考文献:

[1]谭尚伟.基于Arduino平台的多功能智能小车的设计研究[J].山东工业技术,2018(15):134.

[2]史烨桦,汪地,万兵,等.基于Arduino多传感器的智能小车避障系统设计[J].计量与测试技术,2018,45(9):16-19.

[3]徐开军,刘飞龙.基于Arduino平台的多功能智能小车的设计[J].电子世界,2016(24):112-113.

[4]曾颖琳,董欣,倪鹏,郭斌.基于Arduino的智能避障小车设计[J].科技与创新,2021(04):32-34+40.

[5]习龙.基于深度学习的人体动作识别研究及应用[D].西安工程大学,2019.

[6]王红霞.家庭服务机器人导航中的信息融合技术研究[D].山东大学,2007.

[7]朱伟.移动机器人动态人体跟踪与识别[D].哈尔滨工程大学,2019.

[8]王德贵.自制手机APP遥控Arduino机器人[N].电脑报,2020-12-21(032).

[9]A.G.Howard,M.Zhu,B.Chen,D.Kalenichenko,W.Wang,T.Weyand,M.Andreetto,andH.Adam.Mobilenets:Efficientconvolutionalneuralnetworksformobilevisionapplications.arXiv:1704.04861,2017.

[10]J.McLurkin,A.McMullen,N.Robbins,G.Habibi,A.Becker,A.Chou,H.Li,M.John,N.Okeke,J.Rykowski,etal.Arobotsystemdesignforlow-costmulti-robotmanipulation.InIROS,2014.

[11]N.OrosandJ.L.Krichmar.Smartphonebasedrobotics:Powerful,flexibleandinexpensiverobotsforhobbyists,educators,studentsandresearchers.IEEERobotics&AutomationMagazine,1:3,2013.

[12]Romotive.Romo-thesmartphonerobotforeveryone.https://www.kickstarter.com/projects/peterseid/romo-the-smartphonerobot-for-everyone,2012.Accessed:2020-06-20.

[13]J.Yim,S.Chun,K.Jung,andC.D.Shaw.Developmentofcommunicationmodelforsocialrobotsbasedonmobileservice.InInternationalConferenceonSocialComputing,2010

》在线投稿系统

*文章题目:
*作者姓名:
*电子邮箱:
*通讯地址:
*联系方式:

  备      注:

*上传稿件:

支持上传.doc,.docx,.pdf,.txt,.wps文件

投稿须知:

1、审稿结果将于1~7个工作日以邮件告知,请注意查收(包含录用通知书、审稿意见、知网CNKI查重报告)。

2、提交投稿后,若7个工作日之内未接到录用通知,则说明该文章未被录用,请另投他刊。

3、凡投寄本刊稿件,如在内容上有侵权行为或不妥之处,均应文责自负。本刊有权对来稿进行文字编辑、加工和修改,如不同意,请附说明,以便妥善处理。

4、多作者文稿署名时须征得其他作者同意,排好先后次序,通知用稿后不再改动。

5、凡投往本刊稿件一经录用发表,其版权归本刊所有。

6、本刊已全文录入中国知网、万方、维普等数据库,如作者不同意被收录,请提前申明,未申明者,本刊一律视为同意被收录。

7、请勿一稿多投。