CSharpGL(18)分别处理glDrawArrays()和glDrawElements()两种方式下的拾取(ColorCodedPicking)

2022-02-17 10:00:02

CSharpGL(18)分别处理glDrawArrays()和glDrawElements()两种方式下的拾取(ColorCodedPicking)

我在（Modern OpenGL用Shader拾取VBO内单一图元的思路和实现）记录了基于Color-Coded-Picking的拾取方法。

最近在整理CSharpGL时发现了一个问题：我只解决了用glDrawArrays();渲染时的拾取问题。如果是用glDrawElements();进行渲染，就会得到错误的图元。

本文就分别解决这两种情况下的拾取的问题。

下载

CSharpGL已在GitHub开源，欢迎对OpenGL有兴趣的同学加入（https://github.com/bitzhuwei/CSharpGL）

两种Index Buffer

ZeroIndexBuffer

用 glDrawArrays(uint mode, int first, int count); 进行渲染时，本质上是用这样一个（特殊索引+ glDrawElements(uint mode, int count, uint type, void* indices); ）进行渲染：

uint[] index = { , , , , , , , , , … }

这个特殊索引的特点就是(i == index[i])且(index buffer的长度==position buffer的长度)。

所以我们可以把这个索引看做一个经过优化的VertexBufferObject（VBO）。优化的效果就是：此VBO占用的GPU内存空间（几乎）为零。所以我把这种索引buffer命名为ZeroIndexBuffer。

在之前的文章里，我拾取到了图元的最后一个顶点在position buffer里的索引值。由于index的特殊性质，position buffer前方（左侧）的连续几个顶点就属于拾取到的图元。所以glDrawArrays方式下的拾取问题就解决了。

像下面这个BigDipper的模型，是用glDrawArrays方式渲染的。其拾取功能完全正常。

OneIndexBuffer

我把用glDrawElements进行渲染的index buffer命名为OneIndexBuffer。（因为实在想不出合适的名字了，就模仿一下编译原理里的0型文法、1型文法的命名方式）

lastVertexID

为便于说明，以下面的模型为例：

此模型描述了一个立方体，每个面都由4个顶点组成，共24个顶点。其索引（index buffer）用GL_TRIANGLES方式渲染，索引内容如上图如下：

index = { , , , 0, 2, 3, , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,  };

此index buffer的长度为36个uint（36*sizeof(uint)个字节）。

这个模型的position buffer长度（24）不等于index buffer的长度（36）。

所以，继续用上面的拾取方式，只能拾取到图元的最后一个顶点（此例为三角形的第3个顶点）在position buffer中的索引值。

假设拾取到的是第二个三角形，如下图所示，那么拾取到的图元的最后一个顶点在position buffer的索引值就是3。（此图只渲染了前2个三角形）

如果像之前那样，连续向前（向左）取3个顶点，就会得到position[1]，position[2]，position[3]。但是，如图所见，正确的3个顶点应该是position[0]，position[2]，position[3]。

就是说，由于index buffer内容是任意的，导致描述一个图元的各个顶点在position buffer中并非连续排列。

lastVertexID -> lastIndexIDList

继续这个例子，现在已经找到了lastVertexID为3。为了找到这个三角形所有的顶点，我们先在index buffer里找到内容为3的索引。

index = { , , , , , 3, , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,  };

只需遍历一下就会发现index[5] = 3。

所以，拾取到的三角形的三个顶点就是position[ index[5 – 2] ]，position[ index[5 – 1] ]，position[ index[5 – 0] ]。（index buffer中描述同一个图元的索引值是紧挨着排列的）

PrimitiveRecognizer

这个例子里，要识别的是三角形。实际上可能会识别点（Points）、线段（Lines、LineStrip、LineLoop）、四边形（Quads、QuadStrip）、多边形（Polygon）。所以我需用一个简单的工厂来提供各种PrimitiveRecognizer。

用于识别三角形的TriangleRecognizer如下：

     class TrianglesRecognizer : PrimitiveRecognizer

     {

         public override List<RecognizedPrimitiveIndex> Recognize(

             uint lastVertexID, IntPtr pointer, int length)

         {

             var lastIndexIDList = new List<RecognizedPrimitiveIndex>();

             unsafe

             {

                 var array = (uint*)pointer.ToPointer();

                 for (uint i = ; i < length; i += )

                 {

                     if (array[i] == lastVertexID)

                     {

                         var item = new RecognizedPrimitiveIndex(lastVertexID);

                         item.IndexIDList.Add(array[i - ]);

                         item.IndexIDList.Add(array[i - ]);

                         item.IndexIDList.Add(array[i - ]);

                         lastIndexIDList.Add(item);

                     }

                 }

             }

             return lastIndexIDList;

         }

 }

     class RecognizedPrimitiveIndex

     {

         public RecognizedPrimitiveIndex(uint lastIndexID, params uint[] indexIDs)

         {

             this.LastIndexID = lastIndexID;

             this.IndexIDList = new List<uint>();

             this.IndexIDList.AddRange(indexIDs);

         }

         public uint LastIndexID { get; set; }

         public List<uint> IndexIDList { get; set; }

     }

TrianglesRecognizer

lastIndexIDList -> lastIndexID

这个例子里，只有一个index[5]=3。实际上可能会有多个index[i]=索引值。

所以要想办法从这些候选图元中找到真正拾取到的那个。

那么，什么时候会出现多个候选图元？就是这几个图元共享最后一个顶点的时候。例如下面的例子：在鼠标所在位置执行拾取时，会找到[0 1 3]、[0 2 3]和[1 2 3]这三组lastIndexID。

那么如何分辨出我们拾取到的是[0 1 3]而不是另2个？

我想到的方法是，将共享点前移，然后重新渲染、拾取。在这个例子里，就是把[0 1 3]和[0 2 3]变成[3 0 1]和[3 0 2]，然后渲染[3 0 1 3 0 2]这个小小的index buffer（即仅渲染这2个图元）。这样是能够拾取到[3 0 1]的，这就排除了[3 0 2]。然后继续用同样的方法排除[1 2 3]。这就找到了[0 1 3]这个正确的目标。

         /// <summary>

         /// 在所有可能的图元（<see cref="lastVertexId"/>匹配）中，

         /// 逐个测试，找到最接近摄像机的那个图元，

         /// 返回此图元的最后一个索引在<see cref="indexBufferPtr"/>中的索引（位置）。

         /// </summary>

         /// <param name="lastIndexIdList"></param>

         /// <returns></returns>

         private RecognizedPrimitiveIndex GetLastIndexId(

             ICamera camera,

             List<RecognizedPrimitiveIndex> lastIndexIdList,

             int x, int y, int canvasWidth, int canvasHeight)

         {

             if (lastIndexIdList.Count == ) { throw new ArgumentException(); }

             int current = ;

             foreach (var item in lastIndexIdList[].IndexIdList)

             {

                 if (item == uint.MaxValue) { throw new Exception(); }

             }

             for (int i = ; i < lastIndexIdList.Count; i++)

             {

                 foreach (var item in lastIndexIdList[i].IndexIdList)

                 {

                     if (item == uint.MaxValue) { throw new Exception(); }

                 }

                 OneIndexBufferPtr twoPrimitivesIndexBufferPtr;

                 uint lastIndex0, lastIndex1;

                 AssembleIndexBuffer(

                     lastIndexIdList[current], lastIndexIdList[i], this.indexBufferPtr.Mode,

                     out twoPrimitivesIndexBufferPtr, out lastIndex0, out lastIndex1);

                 uint pickedIndex = Pick(camera, twoPrimitivesIndexBufferPtr, x, y, canvasWidth, canvasHeight);

                 if (pickedIndex == lastIndex1)

                 { current = i; }

                 else if (pickedIndex == lastIndex0)

                 { /* nothing to do */}

                 else if (pickedIndex == uint.MaxValue)

                 { /* nothing to do */}

                 else

                 { throw new Exception("This should not happen!"); }

             }

             return lastIndexIdList[current];

         }

GetLastIndexId

lastIndexID -> PickedGeometry

现在得到了图元的所有顶点在position buffer中的索引（上面的例子中，是[0 1 3]），只需一步就可以找到顶点了。（上面的例子中，是position[ index[0] ]，position[ index[1] ]，position[ index[3] ]）

         private PickedGeometry GetGeometry(RecognizedPrimitiveIndex lastIndexId, uint stageVertexId)

         {

             var pickedGeometry = new PickedGeometry();

             pickedGeometry.GeometryType = this.indexBufferPtr.Mode.ToPrimitiveMode().ToGeometryType();

             pickedGeometry.StageVertexId = stageVertexId;

             pickedGeometry.From = this;

             pickedGeometry.Indexes = lastIndexId.IndexIdList.ToArray();

             GL.BindBuffer(BufferTarget.ArrayBuffer, this.positionBufferPtr.BufferId);

             IntPtr pointer = GL.MapBuffer(BufferTarget.ArrayBuffer, MapBufferAccess.ReadOnly);

             unsafe

             {

                 var array = (vec3*)pointer.ToPointer();

                 List<vec3> list = new List<vec3>();

                 for (int i = ; i < lastIndexId.IndexIdList.Count; i++)

                 {

                     list.Add(array[lastIndexId.IndexIdList[i]]);

                 }

                 pickedGeometry.Positions = list.ToArray();

             }

             GL.UnmapBuffer(BufferTarget.ArrayBuffer);

             GL.BindBuffer(BufferTarget.ArrayBuffer, );

             return pickedGeometry;

         }