本次Jetbot实验全程都在 Jetson Nano 2GB 开发套件上面运行。在组装Jetbot教学系统之前,最好先把Jetbot系安装到Jetson Nano 2GB上,这样可以先对每个元件进行独立的测试,确认元件能正确工作之后再进行组装的步骤。
在2019年NVIDIA推出Jetson Nano边缘计算设备之后,这套开源的Jetbot智能无人车教学系统也随之而生,为市场提供一套最优性价比的教学系统。
这是个非常有用的插件,是DeepStream 5.0添加的功能,对nvinfer(主检测器)和nvtracker附加的元数据执行分析,目前主要针对涉及感兴趣区域(ROI)的过滤、过度拥挤检测、方向检测和跨线统计等四大功能。
很多人惊艳于deepstream-app里面那个可以同时检测到车子的颜色、品牌、种类的实验,这的确是个非常亮眼的应用,在开发包范例中的deepstream-test2就是这项功能的范例代码。
本文以上一期Python版的deepstream-teat1为基础,分别在输入与输出添加功能的两个扩展应用:deepstream-teat1-usbcam与deepstream-teat1-rtsp-out,分别将输入源从视频文件变成USB摄像头,以及将输出从显示屏变成RTSP视频流。
前面已经介绍过关于DeepStream各种输入源的使用方式,而且Jetson Nano 2GB上开启4路输入(两个摄像头+两个视频文件),都能得到25FPS以上的实时性能。
前面介绍过使用deepstream-app工具,启用多个视频进行车辆与行人的识别,并且启动“追踪”功能进行物件追踪的高级功能,接下来就教大家如何在deepstream-app里调用USB与CSI摄像头,并且与先前的视频同时启用来进行物件识别的应用。
在计算机视觉的应用中,“识别”只是一个相当入门的技术,相信很多人在执行深度学习推理应用中,经常产生的质疑就是“识别出的类别,有什么用途呢”?
前一篇文章为大家讲述了DeepStream的应用定位、单机工作流、实际部署图,以及完整的软件栈的内容,可以对其有一个框架性的了解。接下来大家可以思考一下,DeepStream可以开发什么应用?
DeepStream是一套集NVIDIA最尖端技术精髓于一身的智能视频分析(Intelligent Video Analytics)套件,从深度神经网络和其他复杂的处理任务引入到流处理管道中,以实现对视频和其他传感器数据的接近实时分析工作。
下图就是使用labelimg这个开源工具对图像进行标注的任务,将每个标注的图框给与指定的单一分类,每张图形都可能有多个分类与多个物件,标框的原则也会影响将来的推理结果,如果标框过程比较粗糙(边界界定不清楚),后面得到的结果也会比较粗糙。
然而,真正要完成一个深度学习的项目,还是必须完成前面阶段的模型训练部分,本文的重点就是带着大家,利用Hello AI World所提供的资源,开始进行简单的图像分类应用的模型训练。
本系列最后一个需要说明的推理识别应用,就是语义分割(semantic segmentation)的推理识别,字面上经常造成初学者的误解,以为这是语音语义识别相关的应用。现在我们看看下面的一张图片,就比较能理解语义分割的应用是什么。
如果您跟着我们仔细走过前面9篇“Hello AI World”文章,相信应该都把整个jetson-inference的结构与逻辑都摸清楚了,接下来的重点,就是在目前深度学习中比较普及的“物件检测”应用。
前面我们花了不少篇幅,以“10行python代码”为基础,更深入地讲解了Hello AI World项目的输入(videoSource)、输出(videoOutput)以及参数解析的功能,就是为了让大家能更了解这个项目提供的工具是如此好用。
本文的目的就协助大家,以前面的“10lines.py”代码为基础,扩充解析参数的能力,这样就能直接在指令行透过给定参数的方式,来改变所要的功能,这样的方式也才能加入脚本之中,根据不同条件去进行不同的任务。
上一篇文章为大家深入地讲解了videoSource()这个非常强大的输入源处理模块,本文的重点将聚焦在videoOutput()这个输出标的处理模块。
如果你认为这两个功能只是简单地负责数据接收与显示的话,这就大大浪费了项目作者的心血结晶,因此我们在进入本项目另外两个深度学习推理应用之前,先要把这两个幕后功臣的内涵展现出来,因为这与后面的应用息息相关。
在上一篇文章中,我们已经体验了”10行Python代码的威力”,可以明显感觉到 ”Hello AI World”的内容绝非一般应用的“Hello World”那么简单。在本篇文章中,我们将为大家介绍如何更换模型以获得不同的效果。
为自己开发合适的应用代码。因此本文就延续上一篇文章来向大家介绍“Hello AI World”图像分类代码。