Unity 中Texture2D高性能像素填充探究

Unity在很多需求下，不得不进行颜色的像素级填充，
诸如：实时贴花功能，绘图功能开发，乃至非Native的情况下视频播放(比如视频是CPU计算出来的,而不是文件流或直播流，提交颜色)，各种游戏模拟器，等画面显示；

亦或者，必须要通过CPU逻辑运算，得到一个图形，并展示到UI中，或某个贴图上时，

采用类似Rendertexture的方式，都就需要处理Textture2d的填充。
尤其在高频填充的情况下（指60帧或者更高刷新率绘制），我们就需要**考虑效率**了。

以下是我做Unity下街机模拟器画面显示开发的心得
![title](/api/file/getImage?fileId=66a9f872bbb322d4dc00305d)
* 最终我还要上PSVita，使用unity（113M的极限内存可用，还要预留性能给我的网络联机网络库，害只能用77M的模式，主频非超频也只有333Mhz，所以能省则省了）

省流版，总结，几种：
**Plan1.** **使用SetPixelData< T > **(T[] data, int mipLevel, int sourceDataStartIndex = 0)
**Plan2.** **GetNativeTexturePtr纹理指针**，对底层指针，进行绘制。如果你对DX11/DX9的绘制指针比较了解 ，可以使用Texture2d的GetNativeTexturePtr 获取指针，在C++扩展下进行操作。（跨平台不友好）
**Plan3.** **低版本Unity使用 LoadRawTextureData< T >**(NativeArray<T> data)，LoadRawTextureData(byte[] data)
**Plan4.** **低版本Unity使用 LoadRawTextureData 的指针用法 (推荐)** LoadRawTextureData(IntPtr data, int size)
**Plan5.** **交给shader**

## 好好好，咱们从低到高，说说各种用法的演进

#### **全局参数**

```
    //这里是一个代码构建的Texture2D用于填充数据和提交
    private Texture2D m_rawBufferWarper;
    //这里是UI上一个RawImage组件作为显示
    private RawImage m_drawCanvas;
```

#### **逐像素填充（效率最低）**
这个是最常见的，低频率用一下，倒是也妹啥（乐），高频的话，废话，**别这样**，兄弟
```
for(像素遍历...)
{
    //低效率的设置单个颜色值
    m_rawBufferWarper.SetPixel(x,y,color);
    //Apply提交
    m_rawBufferWarper.Apply();
}
```
#### **Color颜色像素数组填充（效率稍好一点）**
那么，如果用整个数组直接填充到texture2d中，会好一些。
同样低频调用合适。  高频的话，我依旧**不建议**这样使用。
```
    //使用当先需要显示的结果颜色矩阵 Color[]
    Color[] color Arr = ...;
    m_rawBufferWarper.SetPixels(color);
    m_rawBufferWarper.Apply();
```

#### **Color32颜色像素数组填充（同上，但是内存小一点，每个颜色是32位，依旧性能不太行）**
```
    //使用当先需要显示的结果颜色矩阵 Color32[] ，但是color32相比之下效率高一丢丢
    Color32[] color Arr = ...;
    //Color32需要用SetPixels32函数
    m_rawBufferWarper.SetPixels32(color);
    m_rawBufferWarper.Apply();
```

以上方式，往往你需要把数据源转换成Color[]或Color32[]也会有开销

如果你数据源就是int[]或byte[]在使用过程中，不得转换。
btw，如果画帧数据源CallBack提交到主线程，要保证线程安全，不可避免的有拷贝，或者lock的开销。

So，咱们有没有更直接的办法呢？

## 正片开始

## **Plan1.使用SetPixelData< T> ： 直接填充指定颜色数组（开销小）**
```
Texture2D.SetPixelData<T>(T[] data, int mipLevel, int sourceDataStartIndex = 0)
```

**效率优良**
这种就可以直接把数据源进行传递，不用创建Color[]，避免不必要的循环和转换，或者GC。

这里T可以直接指定你的数据源类型，保证Texture2D和原数据流对齐，

但是需要预先确定的事情比较关键：

**1.数据源的通道的顺序.**
热知识：并不是所有数据源都是我们俗称的RGBA，有的是把A通道放在前面ARGB，还有RGB，比如MAME街机模拟器的显存中式BGRA32. 当然也还有更多组合。一定要确定。
否则通道错误，或色彩交叉。
这种时候，你就需要在创建texture2d时，指定好TextureFormat.RGBA32、BGRA32、ARGB32 等

**2.数据源颜色精度，定义数据类型**
在创建texture2d时指定好TextureFormat，这里有一个精度，比如RGBA32这种32后缀的就是32位的int颜色（十六进制颜色），
32位则是int[]序列，其中每一个int就是一个像素的颜色值,
32位也可以是byte[]序列，其中每4个为一组是一个像素颜色，（32个bit）。

不是32尾缀的TextureFormat，大部分都是float，这时候你可以定义类型为float[]序列,或者byte[]其中每sizeif(float)个byte

好，比如,我的正在开发MAME的Unity模拟器数据源是int[]，然后通道顺序是B、G、R、A 且每个颜色值就是十六进制颜色的int数组int[]
那么 我们Texture2D 的TextureFormat.BGRA32
SetPixelData填充的泛型就指定为< T >

```
SetPixelData<int>(,,,)
```

**3.宽高对齐**
虽然这一点很简单，但是也要注意。
a.数组的大小 数组的大小 纹理Width x Height = 数据源数组大小
b.宽高对齐，即便数组大小对齐，宽高也是，否则画面错误。(比如 800*600，就不能是600*800）

**示例：**
```
    //创建texture
    m_rawBufferWarper = new Texture2D(mWidth, mHeight, TextureFormat.BGRA32, false);
    int mFrameData = ...;//这里来自于逐帧提交到主线程的每一帧颜色的副本
    m_rawBufferWarper.SetPixelData<int>(mFrameData, 0);
    m_rawBufferWarper.Apply();
```

## **Plan2. 使用Texture2d->GetNativeTexturePtr绘制句柄**
首先我探索到了
Texture2d下GetNativeTexturePtr，他返回一个Intptr. 但这个并不是图像的句柄，而是和DX/VK 或别的绘制API直接挂钩的对象句柄。不熟悉建议不采用，
但是关于坑，提一嘴：texture2d对象，一定是渲染过一次之后，比如调用texture2d.Apply 或 Graphics.Blit之后，指针才取得到。
顺带使用指针直接调用Texture2d的创建重载指定指针，也很容易崩溃。

慎用~~

## **Plan3. LoadRawTextureData< int > 快速加载**

**低版本平替了属于是，**
低版本unity没有SetPixelData< T >，如果想达到等效的效率，你可以考虑使用LoadRawTextureData< int >

这个是动态把数据加载为RawTexture数据，放入texture2d。

有三种方式
```
//直接传入数据
LoadRawTextureData(byte[] data)

//JobSystem适用
LoadRawTextureData<T>(NativeArray<T> data) //（unsafe方法）

//指定数据源指针，这个也推荐
LoadRawTextureData(IntPtr data, int size)
```

在使用过程中，也要注意和SetPixelData一样
**数据源的通道的顺序，数据源颜色精度，定义数据类型 一定要对齐！**

这里先演示第二种NativeArray的方式，JobSystem适合，非JobSystem也可以用，我演示一下：

LoadRawTextureData的NativeArray用法：

```
    //确定这段时间区间的帧大小后，再初始化，Allocator.Persistent保证不同的作用域数据
    NativeArray<int> nArr = new NativeArray<int>(mFrameData.Length,Allocator.Persistent);
    
    nArr.CopyFrom(mFrameData);//int[]拷贝到NativeArray<T> 比C#原生数组拷贝少20B左右的开销
    m_rawBufferWarper.LoadRawTextureData<int>(nArr);
    m_rawBufferWarper.Apply();
```

## **Plan4. LoadRawTextureData(IntPtr data, int size) 的指针用法：**

然后关于 LoadRawTextureData(IntPtr data, int size)的方式也可以，和之前一样对齐就行。
```

//在公共地方，比如初始化数组时候，取得他的指针
    // 固定数组，防止垃圾回收器移动它  
    GCHandle handle = GCHandle.Alloc(mFrameData, GCHandleType.Pinned);
    // 获取数组的指针  
    IntPtr ptr = handle.AddrOfPinnedObject();
    
    ...
    
    //循环使用过程中，直接用ptr进行load
    m_rawBufferWarper.LoadRawTextureData(ptr, mFrameData.Length * 4);//这里的长度是byte长度，不管你指针是int[] uint[] float[] ushort[] byte[] 这里是内存里的byte长度。我数据源mFrameData是int[] 那么这里乘以4
    //进行一个提交
    m_rawBufferWarper.Apply();
    
    ...
    
    //卸载资源时
    // 释放句柄  
    if (handle.IsAllocated)
    {
        handle.Free();
    }
```

总之，这个是低版本推荐比如2019及其以下的没有SetPixelData，推荐使用LoadRawTextureData

## **Plan5. 交给Shader**

这个就百花齐放了

Navigation

Recent Posts

Friend Links