移动互联网上的微酷首席架构师 赵志猛
于我2000-20062006-20112011.5.
内容与互联网的不同挑战与应对IRISTM 引擎微酷
与互联网的不同
什么是视频处理视频处理就是对源视频做转码、剪辑、滤镜和特效、轨间合成等操作,从而增强视频内容的可观赏性。
互联网的视频处理与分发                                   CDNUpload Servers             Transcoding Servers                  视频处理
特点       互联网DV拍摄、PC编辑和上传多   码率支持CDN分发PC观看
移动互联网                                   CDNUpload Servers             Transcoding Servers
特点       互联网          移动互联网               移动端随时随地拍摄、处DV拍摄、PC编辑和上传               理和上传多   码率支持       ??CDN分发          CDN分发P...
产品            视频码率@分辨率       3.5~5Mbps@3072p, 3~4.3Mbps@1080p,        2~2.9Mbps@720p, 0.8~1Mbps@480p,                 0.5M...
不同点比较        互联网      移动互联网拍摄     DV、摄像机等   手机、平板视频处理    PC软件     移动应用网络      有线宽带      3G码率     多码率适配     单一码率观看       PC...
移动视频面临的新问题移动终端上做视频处理3G网络上传和观看分发要即时内容更纷杂
挑战与应对
目标视频处理方面 实时拍摄、文件导入剪辑、实时 染和预览 >=360p、>=15fps、主观画质不能明显失真 全平台可播放:MP4 + AAC + AVC内容分发方面 上传要快,分发要及时 要省3G流量,观看要流畅
性能电量限制 要想办法缩短视频处理的过程计算性能限制:15fps时要求66ms内完成拍摄/解码、特效、实时编码、文件IO所有工作  拍       12     特    12          3           3   编码  解   ...
性能CPU资源宝贵    要尽量    掘编解码硬件、采用GPU做特效              染各    资源的分配        销很大    要   用资源,做资源池,如VideoFramePool、    AudioFramePool...
动态帧率移动设备拍摄一定会出动态帧率解码时无法准    计算最后一帧的位置或时间 要做解码预测
编解码格式音频:AMR、AAC  Android 2.2以前只能录AMR  iOS4以后不支持AMR视频:AVC BaselineProfile、AVC MainProfile  部分Android机器不支持AVC MainProfile
文件格式         Format MOV    3GP(*) flv/f4v mp4(*)Player  iOS Native     YES    YES     -     YESAndroid Native    -     YES ...
3G网络带宽不稳定、流量资费高 优化编码参数,降低视频上传码率 实现边播边存策略,          少二次观看流量码率@分辨率的选择 W x H x (3∼6)bps
突发热点上传量远超平时负载,分发实时性要求更高 在移动端按分发标准编码视频,去除服务器端的 转码步骤,避免排队 封装上传服务,做到可快速弹性云部署 完善上传调度服务,可按用户的IP、位置和网络 类型做指向型调度 做区域型热点监控与预警,提高响应速度
内容发现移动UGC视频更加纷杂,用户难于发现好内容移动终端屏幕小,可展示的内容有限 以标签聚合内容 用户上传视频时做好标签选择引导,推荐流行的 标签和用户常用的标签
视频     欢 喜           订阅                        标签   相                              似             使用                   度好友 ...
IRIS TM引擎Interactive Rendering Integrated System
Timeline Manager                   Preview          Decode   Render    Encode Input                                Output ...
技术    编解码       染      拍摄   后期制作                                      视频剪辑          硬件 iOS            硬件     GPU实时特效   实时 ...
iOS模块实现框图TimelineManager     ScreenRenderObj     ThreadManagerCaptureManager                     RenderEngine       Encode...
微酷
微酷微视频 目前专注于30秒内的UGC移动微视频视频社区 移动互联网微视频分享社区视频流
特点所见即所得的视频处理体验512Kbps码率,接近专业标清画质流畅的3G网络视频上传与观看体验以话题、地点等聚合视频基于用户   趣的个性推荐
Q&A               微酷          捕捉精彩 瞬间分享主页:http://vku.sdo.com邮件:vku@snda.com微博:@vku微酷       http://weibo.com/vkuvku
移动互联网上的微视频处理与分发
移动互联网上的微视频处理与分发
移动互联网上的微视频处理与分发
Próximos SlideShares
Carregando em…5
×

移动互联网上的微视频处理与分发

1.438 visualizações

Publicada em

Publicada em: Tecnologia
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

移动互联网上的微视频处理与分发

  1. 1. 移动互联网上的微酷首席架构师 赵志猛
  2. 2. 于我2000-20062006-20112011.5.
  3. 3. 内容与互联网的不同挑战与应对IRISTM 引擎微酷
  4. 4. 与互联网的不同
  5. 5. 什么是视频处理视频处理就是对源视频做转码、剪辑、滤镜和特效、轨间合成等操作,从而增强视频内容的可观赏性。
  6. 6. 互联网的视频处理与分发 CDNUpload Servers Transcoding Servers 视频处理
  7. 7. 特点 互联网DV拍摄、PC编辑和上传多 码率支持CDN分发PC观看
  8. 8. 移动互联网 CDNUpload Servers Transcoding Servers
  9. 9. 特点 互联网 移动互联网 移动端随时随地拍摄、处DV拍摄、PC编辑和上传 理和上传多 码率支持 ??CDN分发 CDN分发PC观看 移动端随时随地观看
  10. 10. 产品 视频码率@分辨率 3.5~5Mbps@3072p, 3~4.3Mbps@1080p, 2~2.9Mbps@720p, 0.8~1Mbps@480p, 0.5Mbps@360p 1Mbps@622p, 500Kbps@378p, 300Kbps@288p 2Mbps@720p, 500Kbps@360p, 300Kbps@256p 1500Kbps@576p, 600Kbps@480p, 300Kbps@320p, 180Kbps@240p 上行1.4Mbps,分发800Kbps@360p 上行2.8Mbps,分发2.8Mbps或800Kbps@480p 上行512Kbps,分发512Kbps@360p
  11. 11. 不同点比较 互联网 移动互联网拍摄 DV、摄像机等 手机、平板视频处理 PC软件 移动应用网络 有线宽带 3G码率 多码率适配 单一码率观看 PC 手机、平板消费特点 连续时间 碎片化时间时效性 有延迟 随时随地
  12. 12. 移动视频面临的新问题移动终端上做视频处理3G网络上传和观看分发要即时内容更纷杂
  13. 13. 挑战与应对
  14. 14. 目标视频处理方面 实时拍摄、文件导入剪辑、实时 染和预览 >=360p、>=15fps、主观画质不能明显失真 全平台可播放:MP4 + AAC + AVC内容分发方面 上传要快,分发要及时 要省3G流量,观看要流畅
  15. 15. 性能电量限制 要想办法缩短视频处理的过程计算性能限制:15fps时要求66ms内完成拍摄/解码、特效、实时编码、文件IO所有工作 拍 12 特 12 3 3 编码 解 缓冲队列 缓冲队列
  16. 16. 性能CPU资源宝贵 要尽量 掘编解码硬件、采用GPU做特效 染各 资源的分配 销很大 要 用资源,做资源池,如VideoFramePool、 AudioFramePool、VideoTexturePool、ShaderPool 等等
  17. 17. 动态帧率移动设备拍摄一定会出动态帧率解码时无法准 计算最后一帧的位置或时间 要做解码预测
  18. 18. 编解码格式音频:AMR、AAC Android 2.2以前只能录AMR iOS4以后不支持AMR视频:AVC BaselineProfile、AVC MainProfile 部分Android机器不支持AVC MainProfile
  19. 19. 文件格式 Format MOV 3GP(*) flv/f4v mp4(*)Player iOS Native YES YES - YESAndroid Native - YES YES YES Flash - YES YES YES 3GP格式逐渐不被支持 HTML5 YES YES - YES iOS生成的mp4文件metadata在最后,部分Android设 备不能播,flash如果要播则需要完全加载完文件才
  20. 20. 3G网络带宽不稳定、流量资费高 优化编码参数,降低视频上传码率 实现边播边存策略, 少二次观看流量码率@分辨率的选择 W x H x (3∼6)bps
  21. 21. 突发热点上传量远超平时负载,分发实时性要求更高 在移动端按分发标准编码视频,去除服务器端的 转码步骤,避免排队 封装上传服务,做到可快速弹性云部署 完善上传调度服务,可按用户的IP、位置和网络 类型做指向型调度 做区域型热点监控与预警,提高响应速度
  22. 22. 内容发现移动UGC视频更加纷杂,用户难于发现好内容移动终端屏幕小,可展示的内容有限 以标签聚合内容 用户上传视频时做好标签选择引导,推荐流行的 标签和用户常用的标签
  23. 23. 视频 欢 喜 订阅 标签 相 似 使用 度好友 推 相似度 标签 订阅 度 似 标签 相 使用 喜 欢 视频
  24. 24. IRIS TM引擎Interactive Rendering Integrated System
  25. 25. Timeline Manager Preview Decode Render Encode Input Output Engine Engine Engine Effect Manager
  26. 26. 技术 编解码 染 拍摄 后期制作 视频剪辑 硬件 iOS 硬件 GPU实时特效 实时 特效 CPU GPU 混音 硬件 字幕 硬件解Android CPU CPU编 GPU实时特效 实时 发中 GPU Flash Web GPU GPU实时 实时 同iOS HTML5Server CPU CPU CPU超实时 无 无
  27. 27. iOS模块实现框图TimelineManager ScreenRenderObj ThreadManagerCaptureManager RenderEngine EncodeEngine DecodeEngine AudioDecoder VideoDecoder EffectManagerVideoFramePool ShaderPool VideoTexturePool AudioFramePool MMFoundation MMDataStructure
  28. 28. 微酷
  29. 29. 微酷微视频 目前专注于30秒内的UGC移动微视频视频社区 移动互联网微视频分享社区视频流
  30. 30. 特点所见即所得的视频处理体验512Kbps码率,接近专业标清画质流畅的3G网络视频上传与观看体验以话题、地点等聚合视频基于用户 趣的个性推荐
  31. 31. Q&A 微酷 捕捉精彩 瞬间分享主页:http://vku.sdo.com邮件:vku@snda.com微博:@vku微酷 http://weibo.com/vkuvku

×