2022-06-19 16:30 门头沟学院 Unity3D客户端

关注

最近带薪学习的一些笔记

最近实习给留了一个图形学自学任务，正好借着这个机会把Games101的第一部分给刷了，也就是实时渲染管线这一部分，在这里总结一下，如有不对感谢指正。
搜了一些其他的资料，发现Games101真的只是一个入门orz，任重而道远啊。

实时渲染管线

大致分为点处理、三角形处理、光栅化、片元处理和帧缓冲操作这5个阶段。

点处理阶段

将三维空间中的点通过MVP矩阵(model view projection)变换到投影坐标下。

模型变换model transformation

自身坐标->世界坐标

物体的变换（仿射变换）：旋转、缩放、平移。其中平移不是线性变换，为了把这几个变换搞到一个矩阵里，引入了齐次坐标，多存储了一个维度的信息，但是计算方便了一些。
物体的变换可以分解，即上述三种变换可以合成一个矩阵，一个变换矩阵也可以拆分成多个变换操作，但注意不满***换律，先线性变换再平移。注意列向量要左乘。

视口/相机变换View/Camera Transformation

定义相机

position $\pmb{e}$
look-at direction $\pmb{\hat{g}}$
up direction $\pmb{\hat{t}}$
为了方便，规定相机永远会变换到坐标原点，看向-z，向上方向朝向y（闫老师的课用的是右手系）

变换

可以把相机变换拆分成平移和旋转两部分： $M_{view} = R_{view}T_{view}$
先平移到原点 $T_{view} = \left[ \begin{matrix} 1 & 0&0&-x_e \\ 0 & 1 & 0&-y_e \\ 0&0&1&-z_e \\0&0&0&1\end{matrix} \right]$
再旋转到相应轴 $R_{view} =\left[ \begin{matrix} x_{\hat{g}\times \hat{t}} &y_{\hat{g}\times \hat{t}}&z_{\hat{g}\times \hat{t}}&0 \\ x_t & y_t&z_t&0 \\ x_{-g} &y_{-g} &z_{-g}&0 \\0&0&0&1\end{matrix} \right]$

投影变换Projection Transformation

分为两种，正交投影和透视投影

正交投影Orthographic Projection

不严谨说就是将物体的z轴舍掉，将x,y坐标映射到 $[-1,1]$ 区间内
通常来说将一个方块 $[l,r]\times[b,t]\times[f,n]$ 变换成一个标准正方体 $[-1,1]^3$
先平移再缩放 $M_{ortho} = \left[ \begin{matrix} \frac{2}{r-l} & 0&0&0 \\ 0 & \frac{2}{t-b} & 0&0 \\ 0&0&\frac{2}{n-f}&0 \\0&0&0&1\end{matrix} \right]\left[ \begin{matrix} 1 & 0&0&-\frac{r+l}{2} \\ 0 & 1 & 0&-\frac{t+b}{2} \\ 0&0&1&-\frac{n+f}{2} \\0&0&0&1\end{matrix} \right]$

透视投影Perspective Projection

透视原物体可以视为一个四棱台，先通过“挤压”转换成方块( $M_{persp->ortho}$ )，然后再做正交变换
$M_{persp}=M_{ortho}M_{persp->ortho}$
$M_{persp->ortho}=\left[ \begin{matrix} n & 0&0&0 \\ 0 & n & 0&0 \\ 0&0&n+f&-nf \\0&0&1&0\end{matrix} \right](/z)$
上面公式的 $/z$ 用括号括起来了，原因是计算出来的坐标最后是 $(xz,yz,zz,z)$ ，与 $(x,y,z,1)$ 代表的点是一样的，但最后一维通常为1。

***面和远平面距离 $n$ 与 $f$ 需要自己定义。
通常相机会有另外两个参数，一个是视角(field of view, fov)，一般是垂直视角(fovY)，另一个是宽高比(aspect)，可以用这两个值对公式中的其他值进行换算。

$tan\frac{fovY}{2}=\frac{t}{\vert n\vert}$
$aspect=\frac{r}{t}$
另外由于相机最后会变换到原点处，所以计算的时候有 $l=-r,b=-t$

最后MVP矩阵应为 $M_{MVP}=M_PM_VM_M$

三角形处理阶段

就是将所有的点按照原来的几何信息变成三角面。

光栅化阶段

将标准正方体投影到屏幕

暂时忽略z
将 $[-1,1]^2$ 变换为 $[0,width]\times[0,height]$
$M_{viewport}=\left[ \begin{matrix} \frac{width}{2} & 0&0&\frac{width}{2} \\ 0 & \frac{height}{2} & 0&\frac{height}{2} \\ 0&0&1&0 \\0&0&0&1\end{matrix} \right]$
如何知道渲染哪个点（哪些点在三角形中）：先找到三角形的包围盒，然后判断包围盒中所有的点是否在三角形中
抗锯齿（MSAA等方法）
Z-buffer
想法：
存储每个像素当前最小的z值
需要额外信息存储深度值
- frame buffer存储颜色值
- depth buffer存储深度值

片元处理阶段

主要是讲着色问题。但是着色会发生在点处理和片元处理这两个阶段。

shading point定义

viewer direction, $\pmb{\hat{v}}$
surface normal, $\pmb{\hat{n}}$
light direction $\pmb{\hat{l}}$
surface parameters(color, shininess, ...)

shading is local(着色仅考虑自己，不会生成阴影)

Diffuse Reflection漫反射

Lambert 余弦定理

每个单位区域的光与 $cos\theta = \pmb{\hat{l}}\cdot\pmb{\hat{n}}$ 成正比

已知一个点光源，光线传播能量与距离平方成反比
intensity： $I/r^2$

Lambertian(Diffuse) Shading

$L_{d}=k_{d}(I/r^2)max(0,\pmb{\hat{l}}\cdot\pmb{\hat{n}})$

与观测方向无关

Specular Term(Blinn-Phong)

镜面反射光的强度取决于观测方向
观测方向接近于镜面反射方向 <=> 半程向量(half vector)接近于法向量
半程向量 $\pmb{h} = bisector(\pmb{v},\pmb{l}) = \frac{\pmb{v}+\pmb{l}}{\vert\vert\pmb{v}+\pmb{l}\vert\vert}$
$L_{s}=k_{s}(I/r^2)max(0,\pmb{\hat{n}}\cdot\pmb{\hat{h}})^p$
$k_s$ 一般被认为是白色

引入$p$来减少反射波瓣（reflection lobe）

Ambient Term

$L_{a}=k_{a}I_a$

环境光是一个常数

Blinn-Phong Reflection Model

$\begin{aligned}L& = L_a + L_d + L_s\\&= k_{a}I_a+k_{d}(I/r^2)max(0,\pmb{\hat{l}}\cdot\pmb{\hat{n}})+k_{s}(I/r^2)max(0,\pmb{\hat{n}}\cdot\pmb{\hat{h}})^p\end{aligned}$