编解码

怎么给视频解码

怎么给视频解码？视频解码简单来说就是转换视频格式，可以用视频转换器来实现操作步骤：点击下载所需工具>>：嗨格式视频转换器1、下载并打开“嗨格式视频转换器”，点击首页“视频转换”；2、进入后点击“添加文件”上传需转换格式的文件；3、点击“格式设置”，选择目标格式；4、完成设置后点击“转换”或“全部转换”即可。这样，视频就解码成功了，希望回答可以帮到友友~

视频解码是什么

解码器分为软件解码器，硬件解码器。电脑的解码器称之为软件解码器，通过某种软件办法解除视频数据，电脑播放的视频格式都是通过软解实现，解出来的图像直接可以在浏览器上显示，通常由CPU完成。硬件解码器的存在是因为音频视频数据存储要先通过压缩，否则数据量太庞大,而压缩需要通过一定的编码,才能用最小的容量来存贮质量最高的音频视频数据.因此在需要对数据进行播放时要先通过解码器进行解码。通常由DSP完成。流程：前端摄像机输入图像——>进行编码；解码器进行解码——>输出图像。

编码、解码是什么意思,编码、解码是什么意思

　　关于编码、解码的意思，计算机专业术语名词解释　　编码是指将语音或视频模拟信号改编成数字信号的过程。解码是指将数字信号转换成模拟信号的过程。编解码器是指具备了以上2种功能的装置。除语音信息外，还有很多视频信息都由模拟信号构成。换句话说，调制(编号、编码)是为了通过数字传输线传送这些电信号，将模拟信号转换成数字信号的过程，相反，解调(解码)是把收到的数字信号转换成模拟信号的过程。一般把编码和解码统称为调制解调，因此将具有调制和解调功能的设备称为调制解调器(编解码器)。

二、视频编解码基础知识

1、压缩为视频图像的容器数据结构.videoToolbox的基本数据VideoToolbox视频编解码前后需要应用的数据结构进行说明。CVPixelBuffer：编码前和解码后的图像数据结构。2、视频编解码器是通过软件或硬件应用程序完成的视频压缩标准。视频编码器：就是一个压缩的程序。视频解码器：就是一个解压缩的程序。3、虽然编解码器有许多种类，但DVD-Video与微波数字电视等使用的主要是MPEG2，数码相机等摄像时主要使用MPEG4。既然作为压缩视频编码技术，H.264最大的作用对视频的压缩了。4、通常来说，1080P就是指1080x1920的分辨率，4k指3840x2160的分辨率。5、每个NALU前会添加一个4字节的起始码，每当解码器遇到起始码就表示当前帧结束下一帧开始。SPS(SequenceParamaterSet)，也就是序列参数集，里面保存了一组编码视频序列(也叫组)的全局参数(比如分辨率、码流等参数)。6、视频压缩编码技术可以分为两大类：无损压缩和有损压缩。无损压缩也称为可逆编码，指使用压缩后的数据进行重构（即：解压缩）时，重构后的数据与原来的数据完全相同。

视频的编解码-编码篇

四、视频的编解码-编码篇

时间 2016-08-05 10:22:59 Twenty's 时间念

原文 http://blog.img421.com/si-shi-pin-de-bian-jie-ma-bian-ma-pian/

主题 iOS开发 MacOS

在此之前我们通常使用的FFmpeg多媒体库,利用CPU来进行视频的编解码,占用CPU资源,效率低下,俗称软编解码.而苹果在2014年的iOS8中,开放了VideoToolbox.framwork框架,此框架使用GPU或专用的处理器来进行编解码,俗称硬编解码.而此框架在此之前只有MAC OS系统中可以使用,在iOS作为私有框架.终于苹果在iOS8.0中得到开放引入.

2014年的WWDC Direct Access to Video Encoding and Decoding 中,苹果介绍了使用videoToolbox硬编解码.

使用硬编解码有几个优点: * 提高性能; * 增加效率; * 延长电量的使用

对于编解码,AVFoundation框架只有以下几个功能: 1. 直接解压后显示;

2. 直接压缩到一个文件当中;

而对于Video Toolbox,我们可以通过以下功能获取到数据,进行网络流传输等多种保存： 1. 解压为图像的数据结构;

2. 压缩为视频图像的容器数据结构.

一、videoToolbox的基本数据

Video Toolbox视频编解码前后需要应用的数据结构进行说明。

CVPixelBuffer：编码前和解码后的图像数据结构。此内容包含一系列的CVPixelBufferPool内容

CMTime、CMClock和CMTimebase：时间戳相关。时间以64-bit/32-bit的形式出现。

pixelBufferAttributes:字典设置.可能包括Width/height、pixel format type、• Compatibility (e.g., OpenGL ES, Core Animation)

CMBlockBuffer：编码后，结果图像的数据结构。

CMVideoFormatDescription：图像存储方式，编解码器等格式描述。

(CMSampleBuffer：存放编解码前后的视频图像的容器数据结构。

CMClock

CMTimebase: 关于CMClock的一个控制视图,包含CMClock、时间映射(Time mapping)、速率控制(Rate control)

由二、采集视频数据可知,我们获取到的数据(CMSampleBufferRef)sampleBuffer为未编码的数据;

图1.1

上图中,编码前后的视频图像都封装在CMSampleBuffer中,编码前以CVPixelBuffer进行存储;编码后以CMBlockBuffer进行存储。除此之外两者都包括CMTime、CMVideoFormatDesc.

二、视频数据流编码并上传到服务器

1.将CVPixelBuffer使用VTCompressionSession进行数据流的硬编码。

(1)初始化VTCompressionSession

VT_EXPORT OSStatus VTCompressionSessionCreate( CM_NULLABLE CFAllocatorRef allocator, int32_t width, int32_t height, CMVideoCodecType codecType, CM_NULLABLE CFDictionaryRef encoderSpecification, CM_NULLABLE CFDictionaryRef sourceImageBufferAttributes, CM_NULLABLE CFAllocatorRef compressedDataAllocator, CM_NULLABLE VTCompressionOutputCallback outputCallback, void * CM_NULLABLE outputCallbackRefCon, CM_RETURNS_RETAINED_PARAMETER CM_NULLABLE VTCompressionSessionRef * CM_NONNULL compressionSessionOut) __OSX_AVAILABLE_STARTING(__MAC_10_8, __IPHONE_8_0);

VTCompressionSession的初始化参数说明:

allocator:分配器,设置NULL为默认分配

width: 宽

height: 高

codecType: 编码类型,如kCMVideoCodecType_H264

encoderSpecification: 编码规范。设置NULL由videoToolbox自己选择

sourceImageBufferAttributes: 源像素缓冲区属性.设置NULL不让videToolbox创建,而自己创建

compressedDataAllocator: 压缩数据分配器.设置NULL,默认的分配

outputCallback: 当VTCompressionSessionEncodeFrame被调用压缩一次后会被异步调用.注:当你设置NULL的时候,你需要调用VTCompressionSessionEncodeFrameWithOutputHandler方法进行压缩帧处理,支持iOS9.0以上

outputCallbackRefCon: 回调客户定义的参考值.

compressionSessionOut: 压缩会话变量。

(2)配置VTCompressionSession

使用VTSessionSetProperty()调用进行配置compression。 * kVTCompressionPropertyKey AllowFrameReordering: 允许帧重新排序.默认为true * kVTCompressionPropertyKey AverageBitRate: 设置需要的平均编码率 * kVTCompressionPropertyKey H264EntropyMode：H264的熵编码模式。有两种模式:一种基于上下文的二进制算数编码CABAC和可变长编码VLC.在slice层之上（picture和sequence）使用定长或变长的二进制编码，slice层及其以下使用VLC或CABAC. 详情请参考 * kVTCompressionPropertyKey RealTime: 视频编码压缩是否是实时压缩。可设置CFBoolean或NULL.默认为NULL * kVTCompressionPropertyKey ProfileLevel: 对于编码流指定配置和标准 .比如kVTProfileLevel H264 Main AutoLevel

配置过VTCompressionSession后,可以可选的调用VTCompressionSessionPrepareToEncodeFrames进行准备工作编码帧。

(3)开始硬编码流入的数据

使用VTCompressionSessionEncodeFrame方法进行编码.当编码结束后调用outputCallback回调函数。

VT_EXPORT OSStatus VTCompressionSessionEncodeFrame( CM_NONNULL VTCompressionSessionRef session, CM_NONNULL CVImageBufferRef imageBuffer, CMTime presentationTimeStamp, CMTime duration,// may be kCMTimeInvalidCM_NULLABLE CFDictionaryRef frameProperties,void* CM_NULLABLE sourceFrameRefCon, VTEncodeInfoFlags * CM_NULLABLE infoFlagsOut ) __OSX_AVAILABLE_STARTING(__MAC_10_8, __IPHONE_8_0);

presentationTimeStamp：获取到的这个sample buffer数据的展示时间戳。每一个传给这个session的时间戳都要大于前一个展示时间戳.

duration: 对于获取到sample buffer数据,这个帧的展示时间.如果没有时间信息,可设置kCMTimeInvalid.

frameProperties: 包含这个帧的属性.帧的改变会影响后边的编码帧.

sourceFrameRefCon: 回调函数会引用你设置的这个帧的参考值.

infoFlagsOut: 指向一个VTEncodeInfoFlags来接受一个编码操作.如果使用异步运行,kVTEncodeInfo_Asynchronous被设置；同步运行,kVTEncodeInfo_FrameDropped被设置；设置NULL为不想接受这个信息.

(4)执行VTCompressionOutputCallback回调函数

typedefvoid(*VTCompressionOutputCallback)(void* CM_NULLABLE outputCallbackRefCon,void* CM_NULLABLE sourceFrameRefCon, OSStatus status, VTEncodeInfoFlags infoFlags, CM_NULLABLE CMSampleBufferRef sampleBuffer );

outputCallbackRefCon: 回调函数的参考值

sourceFrameRefCon: VTCompressionSessionEncodeFrame函数中设置的帧的参考值

status: 压缩的成功为noErr,如失败有错误码

infoFlags: 包含编码操作的信息标识

sampleBuffer: 如果压缩成功或者帧不丢失,则包含这个已压缩的数据CMSampleBuffer,否则为NULL

(5)将压缩成功的sampleBuffer数据进行处理为基本流NSData上传到服务器

MPEG-4是一套用于音频、视频信息的压缩编码标准.

由图1.1 可知,已压缩 $$CMSampleBuffer = CMTime(可选) + CMBlockBuffer + CMVideoFormatDesc$$。

5.1 先判断压缩的数据是否正确

//不存在则代表压缩不成功或帧丢失if(!sampleBuffer)return;if(status != noErr)return;//返回sampleBuffer中包括可变字典的不可变数组,如果有错误则为NULLCFArrayRefarray= CMSampleBufferGetSampleAttachmentsArray(sampleBuffer,true);if(!array)return; CFDictionaryRef dic = CFArrayGetValueAtIndex(array,0);if(!dic)return;//issue 3:kCMSampleAttachmentKey_NotSync:没有这个键意味着同步, yes: 异步. no:同步BOOL keyframe = !CFDictionaryContainsKey(dic, kCMSampleAttachmentKey_NotSync);//此代表为同步

而对于 issue 3 从字面意思理解即为以上的说明,但是网上看到很多都是做为查询是否是视频关键帧,而查询文档看到有此关键帧key值kCMSampleBufferAttachmentKey_ForceKeyFrame存在,因此对此值如若有了解情况者敬请告知详情.

5.2 获取CMVideoFormatDesc数据由三、解码篇可知CMVideoFormatDesc 包括编码所用的profile，level，图像的宽和高，deblock滤波器等.具体包含第一个NALU的SPS （Sequence Parameter Set）和第二个NALU的PPS （Picture Parameter Set）.

//if (keyframe && !encoder -> sps) { //获取sample buffer 中的 CMVideoFormatDesc CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer); //获取H264参数集合中的SPS和PPS const uint8_t * sparameterSet;size_t sparameterSetSize,sparameterSetCount ; OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 0, &sparameterSet, &sparameterSetSize, &sparameterSetCount,0);if (statusCode == noErr) { size_t pparameterSetSize, pparameterSetCount; const uint8_t *pparameterSet;OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 1, &pparameterSet, &pparameterSetSize, &pparameterSetCount,0);if (statusCode == noErr) { encoder->sps = [NSData dataWithBytes:sparameterSetlength:sparameterSetSize];encoder->pps = [NSData dataWithBytes:pparameterSetlength:pparameterSetSize];} }}

5.3 获取CMBlockBuffer并转换成数据

CMBlockBufferRef blockBuffer = CMSampleBufferGetDataBuffer(sampleBuffer); size_t lengthAtOffset,totalLength;char*dataPointer;//接收到的数据展示OSStatus blockBufferStatus = CMBlockBufferGetDataPointer(blockBuffer,0, &lengthAtOffset, &totalLength, &dataPointer);if(blockBufferStatus != kCMBlockBufferNoErr) { size_t bufferOffset =0;staticconstintAVCCHeaderLength =4;while(bufferOffset < totalLength - AVCCHeaderLength) {// Read the NAL unit lengthuint32_t NALUnitLength =0;/**

* void *memcpy(void *dest, const void *src, size_t n);

* 从源src所指的内存地址的起始位置开始拷贝n个字节到目标dest所指的内存地址的起始位置中

*/memcpy(&NALUnitLength, dataPointer + bufferOffset, AVCCHeaderLength);//字节从高位反转到低位NALUnitLength = CFSwapInt32BigToHost(NALUnitLength); RTAVVideoFrame * frame = [RTAVVideoFramenew]; frame.sps = encoder -> sps; frame.pps = encoder -> pps; frame.data = [NSData dataWithBytes:(dataPointer+bufferOffset+AVCCHeaderLength) length:NALUnitLength]; bufferOffset += NALUnitLength + AVCCHeaderLength; } }

此得到的H264数据应用于后面的RTMP协议做推流准备。

蓝牙音频编解码器哪个好

蓝牙音频编解码器推荐AAC1.AAC 从编解码器的角度说，AAC 可以称作是 MP3 的升级版，苹果的则是该标准的最大用户，相对之前的 SBC，AAC 音质要更好一些，也是目前绝大多数蓝牙耳机所支持的编解码器。2.aptX：该技术相对 AAC 而言则更上一个台阶，如果 SBC / AAC 是我们所说的 MP3 音乐，那么 aptX 技术则是蓝牙无线音频传输第一次能达到 CD 音质：低延迟、充错性好，频响范围大（最高覆盖到 22Khz），采样率也可以达到更高的 48 KHz。3.LDAC；至于 LDAC，其本身来自与音频技术起家的索尼，而最初发展的目的则是配合索尼自家的 Hi-Res 音频产品的发展，从索尼官方的 LDAC 技术网站中，LDAC 相比其他三种技术有着不小的优势。从数据传输量而言，LDAC 几乎达到了 SBC 的三倍，支持的音频文件质量能达到 96kHz/24bit 的精度，换言之传输的音频质量甚至可以超过 CD 质量。所以理论上来说，LDAC 的传输质量甚至优于高通的 aptX 解决方案的。4.LDAC 也分三种标准，即质量有限模式，标准模式以及连接优先模式，而传输的数据质量也从 990kbps、660kbps: 到 330kbps 逐次递减，在实际运用上，标准模式可以平衡质量以及连接速率，当然从无线音乐欣赏角度来看也是最合适的。所有的蓝牙音频编码中，SBC音频编码是最古老的，已经有着20年的历史了，它是A2DP（Advanced Audio Distribution Profile）蓝牙音频传输协议中强制规定的一种蓝牙音频编码。5.SBC：全称叫做 Subband Codec（次频带编码），这种技术出现在蓝牙技术发展的早期，实现了我们之前说的「可以听」的阶段，这种标准下单声道最大理论速率是 320kbit/s，实际上 44.1kHz 下双声道最大仅为 328kbit/s，仅仅只能满足听那些有损压缩的小体积音频文件（MP3/AAC）等。