课程介绍

1、项目平台
目标机硬件平台:海思HI3518E+OV9712+AR0130
目标机软件平台:linux3.4
开发机硬件平台:PC机
开发机软件平台:Windows+VMware125.7+Ubuntu1604X64
项目源码编辑器:Windows+Sourcelnsight35
辅助与调试工具:Samba+NFS+VLC+Wireshark

2、项目介绍
随着通信行业发展，网速越来越快，网络也从文本时代发展越过语 音时代到了现在视频时代，“优酷、爱奇艺”、“微视频”、“直播” 等的出现也是视频逐步成为主流媒体的证据和表现。航拍、视频监控、 刷脸过关检测、汽车ADAS系统等应用也是视频在主流行业中的应用， 因此视频的采集、编解码、传输、识别等技术变得越来越有价值， 涌现出了“海康威视”、“大华股份”、“深圳英飞拓”等一批明星 企业，名扬海内外，动辄市值几百亿。同时在芯片级，国产华为海思 HI35xx系列视频编解码方案也逐步取代进口芯片(如TI、安霸)成为 主流方案。
视频行业技术含量高、难度大、学习周期长、发展变化快而资料少， 因此行业比较缺人、工资较高。如海康威视，普通高校硕士研究生应届 进入年薪普遍高于15-20万，在嵌入式linux领域也算高工资技术方向了。 本项目是老师及其团队推出的一个嵌入式linux领域重量级企业级 实战项目，选用华为海思HI3518E方案，结合OV9712/AR0130Sensor 实现图像采集和H.264编码压缩，并通过ethernet和WIFl，以socket 实时流和RTSP等方式，实现720P/960P高清视频传输。本项目共分 12季，从海思SDK开发环境搭建，到sample程序讲解、SDK中API函 数解析，到H.264编解码、RTSP流媒体传输、MP4文件打包，到图像 IQ调试、图像识别等视频领域高阶内容，可以说从零基础入手，对图 像采集、编解码、网络传输、图像存储和识别做了全方位的详细讲解 和代码分析，是目前市面上唯一一套系统讲解图像和视频技术的视频 课程。

3、项目涉及核心技术
海思平台开发所涉及的交叉编译环境，烧录方式，sdk架构的理解。
基于sdk的应用层开发，对mppsample内部包含的各个功能模块的 理解(vi-vpss-venc-vo)。
基于对编码后的H.264进行裸流打包封装成ORTP/RTSP，分析ortp 封装协议。sdp解析。走局域网传输视频流至PC进行播放器播放。
常用sensor驱动调试所涉及到的知识点，光线摄入sensor之后转化为数字 信号的整个过程。
通过分析RTSP代码,理解RTSP封装原理，server搭建，协议解析。
分析H.264编码原理，帧，P帧，B帧在编码过程中的作用。如何从一包 数据中获取H264裸流
分析MP4编码组包格式。如何采用现有库实现封包。最终存储到TF卡中。
OSD以及水印实现原理。
掌握网络流以及设备端出现异常的基本调试方法
ISP调试，了解调试IQ的基本原理。理解调试图像中涉及的黑电平，AAA (AE，AF，AWB)，sharding以及调试过程中用到的工具等等。
在opencv上实现基于实时流的图像识别算法。掌握opencv中的基本算法 实现原理。
对接第三方云服务，通过解析，实现外网IP对设备的访问。

4、项目适合哪些人
从事嵌入式软硬件开发，想要提升个人含金量，想要换工作工资翻倍的人。
着急找工作，学了嵌入式linux课程，基本功有了，但是却没有拿得出手的 项目经验所以找不到高薪工作的人。
想要趁早接触企业级项目实战，了解一个完整项目完整开发流程，体验在 公司中做项目感觉的同学。
想要学到H.264、RTSP、ORTP、ISP、MP4、3A、3W、IQ调试等视频 行业核心技术，有机会进入海康威视、大华股份等视频行业名企，拿到 15-35万年薪的人。
对视频采集、图像处理、视频编解码、视频网络传输、图像识别等行业感 兴趣，想要进入图像和视频行业却缺少能力和经验的人。
学了嵌入式、linux、网络编程却只玩过开发板，或者加个USB摄像头弄个 mjpg-streamer做个视频监控，想要了解真正的工业级、消费电子级视 频采集和网络传输产品方案，想要真正学到主流企业级技术积累研发经验的人。
对老师“项目驱动创新学习训练营”模式感兴趣，想要体验这种创新学 习模式，想要解决自学视频学习低效率、又不想承受线下培训班高成本的同学。
相信老师的每一次创新都能带来更高性价比学习产品，能让自己学到更 多的同学。

5、参加学习条件要求
C语言功底过硬，掌握嵌入式linux下软件开发的一般流程。
对图像和视频行业感兴趣，想要积累这方面项目经验进入相关企业 工作的。
手里有台装着Windows系统的电脑(其他配件我们套件都有提供)。
有提升自己价值和工资的强烈愿望，并愿意为实战项目经验投资自己。

6、学习完本项目能得到什么
有价值有含金量，可以写进简历中，可以拿得出手的项目经验。记住， 你值多少钱取决于:你爸妈是谁?你哪个大学毕业的?你在什么公司 干过?你做过什么项目?
项目配套的硬件实物和原理图(PCB图不提供，如有需要可以联系我 们商谈合作方式)。
掌握华为海思视频方案的各种技术细节，对H264视频编解码 MP4格式打包、ORTP/RTSP等图像传输协议等专业知识完全学习， 极大提升个人价值，同等技术水平市场价年薪15-35万起。

7、硬件:1主板+10V9712Sensor板+1AR0130 Sensor板 +1USBWIFI模块+1隔离USB转串口

课程:第1-8季
全部课程的大纲目录如下
第1季:全面认识海思SDK及嵌入式层开发 100522.html
第2季:从官方例程深度学习海思SDK及API 100524.html
第3季:ORTP库局域网图传和VLC实时预览 100523.html
第4季:图像sensor的特性和驱动解析 100521.html
第5季:海思平台上USBWIFI的移植与局域网无线调试和视频流预览 100520.html
第6季:RTSP协议详解与实时流视频预览 100525.html
第7季:视频打包为MP4格式并存储到TF卡的实现 100519.html
第8季:海思平台OSD的实现 100526.html

各季课程的介绍：
第1季:全面认识海思SDK及嵌入式层开发
本季首先介绍开发板整个硬件配置和测试方法，然后围绕海思官方SDK开发包讲解各种官方资料的用法，最后用大量时间讲解如何在ubuntu中搭建海思视频方案的开发环境，如uboot的配置和编译、烧写;kernel的配置和编译、rootfs的制作，tftp方式下载烧写并启动linux系统rootfs中各种配置文件的含义、ko文件的加载、mpp库的部署、sample程序的编译和运行等.

第2季:从官方例程深度学习海思SDK及API
本季课程详细分析海思SDK中的sample程序的实现，并顺带讲解视频采集中的很多基本概念视频sensor的工作原理、像素和视频分辨率的关系、rawRGB和RGB888的换算方式等，本季课程的重点内容是海思SDK中API文档的带读，学习海思方案重点就在于学习这套API，这是海思方案视频采集和H.264编码的关键所在，因此本季课程非常关键，学完本季课程才表示对海思方案开发入门了。

第3季:ORTP库局域网图传和VLC实时预览
本季课程通过移植ORTP库并调用ORTP库函数来实现H.264裸流数据的网络传输，并且在Windows中安装VLC播放器，并在VLC中通过配置文件的方式来解析ORTP发送的裸流实现视频实时预览。本季课程的核心是ORTP协议的讲解，ORTP库的移植、部署和调用，VLC软件的用法讲解和配置文件讲解，Wireshark网络抓包工具的用法讲解，实时视频流传输和解析的体验和编程实现

第4季:图像sensor的特性和驱动解析
本季课程以配置的2款图像sensor为案例来讲解图像sensor的关键特性和相关数据结构，12C控制接口和图像数据接口，海思SDK中sensor的驱动框架和编译、部署、加载，sensor调试的般方法和步骤等。

第5季:海思平台上USB WIFI的移植与局域网无线调试和视频流预览
本季课程在开发板上移植USB WIFI模块(套装附带的MT7601模块)，工作在ap模式下并且用电脑通过WIFI去连接开发板实现主机和开发板的无线网络局域网通信，这样就可以用WIFI网络取代板载ethernet有线网络方式来进行调试和局域网视频预览。现在很多的视频摄像头产品都要求支持无线网络连接功能，本季课程主要是针对这方面开发技术讲解的

第6季:RTSP协议详解与实时流视频预览
本季详细讲解RTSP协议的技术细节，并且编程实现基于RTSP协议的实时视频流传输，在局域网内浏览实时监控画面。RTSP是实时视频网络传输最主流的实现方式，低延时高清晰度的RTSP视频流传输是网络直播、在线会议系统等行业的核心技术，本季课程会详细讲解相关概念编程实战和调试技巧等

第7季:视频打包为MP4格式并存储到TF卡的实现
本季实现将编码后的H.264视频流打包为MP4格式的录像，并存储到板载TF卡中，这个过程涉及到的一个主要技术是H.264的视频帧格式，顿、P等概念，另一个主要技术是MP4格式的文件头、封包技术、MP4打包库的移植部署和调用等，最后是linux下TF卡的存储和文件管理(使用了FAT32文件系统)，编码后图像打包成MP4存储的功能在行车记录仪、监控摄像头等产品上均是刚需功能，尤其是行车记录仪，学好该季课程去做这类产品开发有非常大优势,

第8季:海思平台OSD的实现
OSD(on screen display)功能应用很广泛，警如监控视频中的实时时间显示、电视转播中的台标和字幕等。本季讲解如何在海思平台上实现图像OSD，核心是海思SDK中提供的OSD功能相关的一些API的使用和调试技巧。