qt开发直播客户端（Qt音开发18-海康sdk回调）

海康sdk显示实时视频流除了支持句柄方式以外，也支持回调的方式拿到每一张图片自己绘制处理，当然回调除了拿到视频数据，其实音频数据也一块拿到了，自行调用音频设备播放就行，关于海康sdk回调这块，还着实折腾了一阵子才搞定，可能最开始没有参照提供的demo以及没有彻底的搜索吧，只是单单看sdk的文档折腾来折腾去的，搞了一星期居然没搞定，后面找到了正确的办法才发现，原来就差一点点一丢丢呢，这又让我联想到很多事情，包括生活中的事情，不都是如此么？当你铆足了劲，试验搞了各种办法，快要精疲力尽放弃的时候，其实此时离成功就差一步了，真的就差那么一丢丢，处理生活中的很多事情也是如此，所以很多时候如果方向对了，坚持过努力过，还不行的话，再努力一把估计就ok了。

折腾了很久总结失败在哪里，调用NET_DVR_RealPlay_V40设置回调函数也是对的，回调函数里面也进去了，调用PlayM4_SetDecCallBackMend设置解码回调函数也是对的（这地方也着实折腾了一阵子，没想到还要用播放MP4的形式来处理），最后发现问题出在解码后的数据，数据也都是拿到了，默认是yv12的数据，如果需要转成image的话就需要做个转换，这个转换网上找了一堆的函数来测试，都失败了，后面找到一个yv12转rgb888格式的，终于可以了，我勒个去。

海康sdk回调流程：

1. 调用NET_DVR_RealPlay_V40设置回调处理函数。

2. 在回调处理函数RealDataCallBack中依次处理打开、播放、解码。

3. 调用PlayM4_GetPort获取播放库未使用的通道号。

4. 调用PlayM4_OpenStream打开视频流。

5. 调用PlayM4_SetDecCallBackMend设置解码回调函数，只解码不显示。

6. 调用PlayM4_Play播放视频流。

7. 调用PlayM4_InputData循环解码数据。

8. 在解码回调函数DecCallBack中分别处理音视频数据。

9. 调用自己封装的yv12ToRGB888函数将数据转成QImage。

关于回调函数请注意以下几点：

1. 回调函数必须有关键词 CALLBACK。

2. 回调函数本身必须是全局函数或者静态函数，不可定义为某个特定的类的成员函数。

3. 回调函数并不由开发者直接调用执行，只是使用系统接口API函数作为起点。

4. 回调函数通常作为参数传递给系统API，由该API来调用。

5. 回调函数可能被系统API调用一次，也可能被循环调用多次。

1. 支持播放视频流和本地MP4文件。

2. 支持句柄和回调两种模式。

3. 多线程显示图像，不卡主界面。

4. 自动重连网络摄像头。

5. 可设置边框大小即偏移量和边框颜色。

6. 可设置是否绘制OSD标签即标签文本或图片和标签位置。

7. 可设置两种OSD位置和风格。

8. 可设置是否保存到文件以及文件名。

9. 可直接拖曳文件到haikangwidget控件播放。

10. 支持h264/h265视频流。

11. 可暂停播放和继续播放。

12. 支持存储单个视频文件和定时存储视频文件。

13. 自定义顶部悬浮条，发送单击信号通知，可设置是否启用。

14. 可设置画面拉伸填充或者等比例填充。

15. 可设置解码是速度优先、质量优先、均衡处理。

16. 可对视频进行截图（原始图片）和截屏（视频窗体）。

17. 录像文件存储为MP4文件。

18. 支持焦距控制、云台控制。

19. 可定制功能。

1. 国内站点：[https://gitee.com/feiyangqingyun/QWidgetDemo](https://gitee.com/feiyangqingyun/QWidgetDemo)

2. 国际站点：[https://github.com/feiyangqingyun/QWidgetDemo](https://github.com/feiyangqingyun/QWidgetDemo)

3. 个人主页：[https://blog.csdn.net/feiyangqingyun](https://blog.csdn.net/feiyangqingyun)

4. 知乎主页：[https://www.zhihu.com/people/feiyangqingyun/](https://www.zhihu.com/people/feiyangqingyun/)

5. 体验地址：[https://blog.csdn.net/feiyangqingyun/article/details/97565652](https://blog.csdn.net/feiyangqingyun/article/details/97565652)

//yv12转RGB888 static bool yv12ToRGB888(const unsigned char *yv12, unsigned char *rgb888, int width, int height) { if ((width < 1) || (height < 1) || (yv12 == NULL) || (rgb888 == NULL)) { return false; } int len = width * height; unsigned char const *yData = yv12; unsigned char const *vData = &yData[len]; unsigned char const *uData = &vData[len >> 2]; int rgb[3]; int yIdx, uIdx, vIdx, idx; for (int i = 0; i < height; i) { for (int j = 0; j < width; j) { yIdx = i * width j; vIdx = (i / 2) * (width / 2) (j / 2); uIdx = vIdx; rgb[0] = static_cast<int>(yData[yIdx] 1.370705 * (vData[uIdx] - 128)); rgb[1] = static_cast<int>(yData[yIdx] - 0.698001 * (uData[uIdx] - 128) - 0.703125 * (vData[vIdx] - 128)); rgb[2] = static_cast<int>(yData[yIdx] 1.732446 * (uData[vIdx] - 128)); for (int k = 0; k < 3; k) { idx = (i * width j) * 3 k; if ((rgb[k] >= 0) && (rgb[k] <= 255)) { rgb888[idx] = static_cast<unsigned char>(rgb[k]); } else { rgb888[idx] = (rgb[k] < 0) ? (0) : (255); } } } } return true; } //解码回调 视频为YUV420P数据(YV12),音频为PCM数据 static void CALLBACK DecCallBack(qport nPort, char *pBuf, qport nSize, FRAME_INFO *pFrameInfo, quser luser, quser nReserved2) { HaiKangThread *thread = (HaiKangThread *)luser; long frameType = pFrameInfo->nType; //视频数据是 T_YV12 音频数据是 T_AUDIO16 if (frameType == T_YV12) { //qDebug() << TIMEMS << width << height << thread; int width = pFrameInfo->nWidth; int height = pFrameInfo->nHeight; QImage image(width, height, QImage::Format_RGB888); if (yv12ToRGB888((unsigned char *)pBuf, image.bits(), width, height)) { thread->setImage(image); } } else if (frameType == T_AUDIO16) { //qDebug() << TIMEMS << "T_AUDIO16" << thread; } } static void CALLBACK RealDataCallBack(LONG lRealHandle, DWORD dwDataType, BYTE *pBuffer, DWORD dwBufSize, void *dwUser) { //每个类都对应自己的 port HaiKangThread *thread = (HaiKangThread *)dwUser; qport nPort = thread->port; DWORD dRet; switch (dwDataType) { case NET_DVR_SYSHEAD: //获取播放库未使用的通道号 if (!PlayM4_GetPort(&nPort)) { break; } if (dwBufSize > 0) { thread->port = nPort; if (!PlayM4_OpenStream(nPort, pBuffer, dwBufSize, 1024 * 1024)) { dRet = PlayM4_GetLastError(nPort); break; } //设置解码回调函数 只解码不显示 if (!PlayM4_SetDecCallBackMend(nPort, DecCallBack, (quser)dwUser)) { dRet = PlayM4_GetLastError(nPort); break; } //打开视频解码 if (!PlayM4_Play(nPort, NULL)) { dRet = PlayM4_GetLastError(nPort); break; } //打开音频解码, 需要码流是复合流 if (!PlayM4_PlaySound(nPort)) { dRet = PlayM4_GetLastError(nPort); break; } } break; case NET_DVR_STREAMDATA: //解码数据 if (dwBufSize > 0 && nPort != -1) { BOOL inData = PlayM4_InputData(nPort, pBuffer, dwBufSize); while (!inData) { sleep(10); inData = PlayM4_InputData(nPort, pBuffer, dwBufSize); } } break; } }