数字图像处理的基本步骤&主要应用
数值图像处理的主要内容/基本步骤
- 图像数字化
- 图像变换
- 图像增强
- 图像复原与重建
- 图像编码
- 图像分割
- 二值图像处理与形状分析
- 纹理分析
- 图像识别
根据成像信息源的数字图像处理主要应用(不同波段的成像特点及应用)
gamma：核医学和天文观测，PET %能量高，穿透性好
X-Ray:医学诊断、工业和其他领域（天文学） %能量高，穿透性好
紫外光：平板印刷、工业检测、显微、激光、天文成像 %适用于激发荧光
可见光和红外成像：显微、天文、遥感、工业 %光谱特征能够反映不同的特征，能够被人类分辨提取信息，红外光能够反映热量信息
微波：雷达 %无视天气条件的成像，可以穿过云层
无线电波成像：MRI核磁共振、天文 %绕射、穿透
声波：B超（超声），声呐，地质勘探（次声）%电磁波无法探测的地方
电子：SEM扫描电镜、TEM透射电镜%成像分辨率高
计算机：分形
灰度变换与空间滤波
空间与滤波与频率域滤波的特点以及常用的滤波器
空间域滤波是对像素直接做操作，而频率域滤波是对图像的傅里叶变换（DCT、小波）进行操作。 常用的滤波器有
1.线性滤波器。低通、高通、带通滤波器
2.非线性滤波器。最大值、最小值、中值
3.按照处理效果分类，可以分为平滑和锐化滤波。（低通、高通对应了平滑效果和锐化效果）
4.(算数)均值滤波、加权均值滤波、中值滤波–统计排序滤波
空间域处理的方式是掩模和图像的卷积
对于一个3x3的掩模
R=w1z1+…+w9z9
w是掩模系数，z是对应的图像灰度值，运算结果存储在z5对应的像素中，需要新的图像矩阵，不能进行同址运算。
掩模处理的边界处理
1.图像边缘补0(常数)
2.边缘像素复制 范围(m-1)/2
常数填充对于原图像的影响会随着掩模的变大而变大，一般边缘像素复制更好
基本的灰度变换函数 翻转对数幂次 变化特点应用场合
1.图像翻转
s=L-1-r [0,L-1]
负色
增强图像暗色区域的白色或灰色细节
2.对数变化
s=clog(1+r) 扩展低输入，压缩高输入
动态范围大，超出显示范围—-傅里叶频谱
3.幂次变换
s=cr^\gamma 拉伸或压缩
伽马校正：图像获取和打印装置往往是按照幂次响应，要进行修正 CRT
4.分段线性变换
-对比度拉伸：压缩两段动态范围，扩展中段动态范围
-灰度切分 突出目标轮廓 消除/保留背景细节
灰度直方图 应用
某种灰度级的像素个数–仅由像素出现概率，没有位置信息；图像有唯一直方图，多对一；子区直方图之和是全区直方图
1.评价成像条件，是否合理使用了灰度动态范围
2.根据直方图设计灰度映射函数进行图像增强
3.图像分割 根据灰度直方图，将像素分割成不同的类别，实现对不同景物的提取
4.图像压缩 像素出现概率和Huffman编码
灰度直方图获得的图像信息
图像总体性质
-明暗程度
-动态范围
-细节清晰？灰度分布均匀则细节清晰
直方图均衡化
s=T(r),r–[0,255]
。。。
中值滤波
将掩模内的中位数代替该像素的值，处理椒盐噪声效果较好
频率域滤波
微分算子
一阶二阶微分与一阶二阶微分算子–锐化空间滤波器
一阶微分 f’=f(x+1)-f(x)
二阶微分 f’‘=f(x+1)+f(x-1)-2f(x)
频率域滤波
- 对MxN的图像补零，称为一个2Mx2N的矩阵，避免缠绕（卷积后向临周期的交叠）
- (-1)^(x+y)做平移变换
- 计算DFT
- 使用中心在P/2,Q/2的大小是PxQ的实函数H(u,v)做滤波G(u,v)=H(u,v)F(u,v)
- 做反变换取实部再*(-1)^(x+y)
- 左上提取MxN作为结果
H的生成可以按照1、2、3两步实现（h）
同态滤波
消除照度不均的影响，增强图像细节
反射分量主要在高频，变化快，照射分量在低频，变化慢，反射分量反应图像的内容
- z(x,y)=ln f(x,y)=ln i(x,y)+ln r(x,y)
- F[z(x,y)]=F[ln i(x,y)]+F[ln r(x,y)]
- Z(u,v)=Fi[u,v]+Fr(u,v)
- 压缩i(x,y)，提升r(x,y)，减少低频增加高频
- f->ln->DFT->H->IDFT->exp
S(u,v)=H(u,v)Fi(u,v)+H(u,v)Fr(u,v)
图像复原与重建
空间域和频率域的图像退化数学模型和造成退化的原因
成像系统受到各种因素的影响，在获取和传输过程中使图像质量降低的现象，例如，成像系统散焦、成像设备与物体之间的相对运动，外界环境的干扰和噪声
- 获取过程 光学系统的像差、衍射、非线性畸变、散焦、光学元件的非线性、成像过程的相对移动、大气湍流效应、环境随机噪声
- 传输过程 传输信道干扰
h是退化函数，n是噪声
空间：g(x,y)=h(x,y)★f(x,y)+n(x,y)
频率：G(u,v)=H(u,v)F(u,v)+N(u,v)
图象复原又称反卷积、去卷积在已有h和n的先验知识条件下去估计f
均值滤波、统计排序滤波
- 算数均值滤波 1/nm Sigma(g(x,y))
- 几何均值滤波–会扩大黑点，因为0xN=0,相对于算数均值，能够保留更多细节– (Pi(g(x,y)))^(1/nm)
前两者适合处理高斯或均匀噪声
- 谐波均值滤波–盐粒噪声、高斯噪声 mn/(sigma(1/g(x,y)))
- 逆谐波均值滤波–Q<0盐粒噪声Q>0胡椒噪声..Q=0算数均值，Q=-1谐波均值滤波器 $\Sigma(g(x,y)^{Q+1})/\Sigma(g(x,y)^Q)$
-
统计排序滤波 中值滤波、最大值滤波、最小值滤波、中点滤波(max+min)/2
–修正的alpha中值滤波–
f=1/(mn-d) sigma(gr(x,y)) –gr表示去掉了最高和最低的d/2个灰度值，d=0是均值滤波，d=mn-1(最大值)是中值滤波
自适应滤波
\[f(x,y)=g(x,y)-\frac {\sigma_{\eta}^2}{\sigma_{L}^2}[g(x,y)-m_L]\]${\sigma_{\eta}^2}$是全局噪声方差，${\sigma_{L}^2},m_L$是局部参数
-在二者相差较大的时候表示是边缘部分应该予以保护减少平均，二者相差较小的时候表示应当予以平均去噪 -这样就有一个假设，假设局部方差是大于全局方差的，如果不满足，1，可以把系数直接置1，2，可以将负灰度重新标定
因为考虑了图像的局部特征与全局特征之间的关系，所以效果比较好，但是复杂度较高
自适应中值滤波
A//检查zmed是不是脉冲
- $A_1=z_{med}-z_{min},A_2=z_{med}-z_{max}$
- IF $A_1>0 且 A_2<0$ JMP TO B
- ELSE 增大窗口
- IF 窗口 $<=S_{max}$ Repeat A
- ELSE output $z_{med}$
B//检查zxy是不是脉冲
-
$B_1=z_{xy}-z{min},B_2=z_{xy}-z_{max}$
- IF $B_1>0 且 B_2<0$，output $z_{xy}$
- ELSE output $z_{med}$
周期噪声、带阻和陷波/最佳陷波
纸上
图像退化函数的估计
观察估计
选取高SNR的区域，根据子图像构建一幅估计的认为无噪声的图像，
$g(x,y)$是原图像，$\hat f(x,y)$是估计图像， \(H(u,v)=\frac {G(u,v)}{\hat F(u,v)}\)
假设系统不同区域的性质相同，空间位移不变，可以得到全空间H具有估计H相同的形状
实验估计
对一个脉冲成像，获得 \(H(u,v)=\frac {G(u,v)} A, A=F[\delta (x,y)]=\frac 1 {MN}\)
模型估计
先验物理知识估计,长曝光下的大气湍流 \(H(u,v)=e^{-k(u^2+v^2)^{5/6}}\)
实例：照相机与景物相对匀速直线运动的估计 快门时间$T$，位移分量 \(x_0(t)=\frac {at} T,y_0(t)=\frac {at} T\) \(g(x,y)=\int_0^Tf(x-x_0,y-y_0)dt\) \(G(u,v)=F(u,v)H(u,v)\) \(H(u,v)=\int_0^Te^{-j2\pi (ux_0+vy_0)}dt\) \(H(u,v)=\frac T {\pi(ua+vb)}sin[\pi(ua+vb)]e^{-j\pi(ua+vb)}\)
根据H复原图像
逆滤波、最小均方误差(维纳滤波)、约束最小二乘滤波
彩色图像处理
图像的彩色模型、RGB\CMYK\HSI含义与应用
彩色模型，又称为彩色空间或者彩色系统，在某些标准下用通常可以接受的方式方便地对彩色加以说明。
面向硬件的有RGB/CMYK；面向应用的是HSI彩色模型
RGB彩色模型
24bit表示一个像素的位数，RGB各自8bit，使用一个彩色立方体笛卡尔三维坐标系表示RGB三种颜色分量原点处是黑色，(1,1,1)是白色；RGB常被用于彩色监视器和一大类彩色摄像机。
CMY彩色模型
C=1-R 青
M=1-G 品红
Y=1-B 黄
以上三种是颜料的原色，光的二次色，
Y—-黑色
等量的颜料原色是不纯的黑色，需要专门的黑色
CMY–>CMYK
K=min{C,M,Y}
C=C-K
M=M-K
Y=Y-K
对于打印机、复印机这种在纸上沉积颜料的设备适用
HSI彩色模型
反映了人眼观察色彩的方式
H-色调,S-饱和度,I-强度
图像处理算法使用、选色器
伪彩色处理
把真实彩色图像或遥感多光谱图像用伪彩色表示，将不同颜色人为分配到单色图像上
- 映射成奇异彩色，引人注目
- 适应人眼对彩色的灵敏度，提高鉴别力
- 遥感多光谱：获得更多信息
处理方法：
- 灰度分层，将灰度值分为几个灰度级，将不同的灰度级赋值不同的颜色
-
灰度变换，
R=TR[f(x,y)]
G=TG[f(x,y)]
B=TB[f(x,y)]
HSI模型适用于图像处理
使用色调、饱和度、亮度来描述，对人来说自然直观。色调表示的是纯色的颜色属性，饱和度表示的被白光稀释的程度度量，亮度表示了无色的强度概念
HSI模型描述
H：颜色点和强度轴的连线与红色之间的夹角，反映了接近红光的程度
S:饱和度，色环原点到颜色点的半径长度，中间是灰色，0饱和度，圆周是饱和1的颜色
I:亮度，不管颜色是什么
\[I=\frac 1 3 (R+G+B)\] \[S=1-\frac 3 {R+G+B}min(R,G,B)\] \[H=\theta,B\le G\] \[H=360-\theta,B>G\] \[\theta = cos^{-1}[\frac {\frac 1 2 [(R-G)(R-B)]} {\sqrt {(R-G)^2 + (R-B)(R-G)}}]\]图像压缩
主要的数据冗余
编码冗余：来自实际编码但是未被使用的像素灰度 空间、时间冗余：像素排列是空间相关的，视频的不同帧之间也是相关的 心理视觉冗余：人眼忽略或者与用途无关的—不相关信息
常见的数据压缩格式
JPEG：有损压缩，使用了图像二维分割、DCT变换、量化、熵编码
BMP：使用RLE或者Huffman的压缩方法
TIFF：LZW压缩
PNG：无损压缩格式
HUFFMAN编码
HUFFMAN树构建，对频率进行排序
编码效率 信源熵/平均码长
压缩率$C=b/b’$ 压缩前/压缩后
冗余度$R=1-1/C$
规定C–[0,infty),R–[0,1)
算术编码
信源符号{a,b,c,d}
静态的分割方法
动态改变概率的方法
形态学处理
反射： \(\hat B=\{w|w=-b, b\in B\}\)
位移： \((B)_z=\{w|w=b+z,b\in B\}\)
补集：$A^c$
腐蚀&膨胀
\[A\ominus B=\{z|(B)_z\subseteq A\}\]消除二值图像的不相关细节，（毛刺、凸起）
\[A\oplus B=\{z|(\hat B)_z\cap A \neq \varnothing \}\]消除孔洞，连接裂缝
具有对偶性
\[(A\ominus B)^c=A^c\oplus \hat B\] \[(A\oplus B)^c=A^c\ominus \hat B\]开操作 & 闭操作
开操作 \(A\circ B=(A\ominus B)\oplus B\) 断开狭缝的连接，去除噪点（细小物体），大物体的尺寸基本不变，如果使用圆结构元素，可以光滑表面
- $A\circ B$是$A$的子集
- $C\subseteq D,C\circ B\subseteq D\circ B$
- $A\circ B=(A\circ B)\circ B$
闭操作 \(A\bullet B=(A\oplus B)\ominus B\) 连接狭缝，填充小的孔洞去除噪点，大物体大小基本不变，连接断裂的轮廓线
- $A$是$A\bullet B$的子集
- $C\subseteq D,C\bullet B\subseteq D\bullet B$
- $A\bullet B=(A\bullet B)\bullet B$
对偶
\[(A\bullet B)^c=A^c \circ \hat B\] \[(A\circ B)^c=A^c \bullet \hat B\]图像分割
图像分割 应用 原理
将图像分割成有意义的不互相交叠的有相似性的区域
航空图像识别，林地、农田、城市/文字识别/细胞识别标定
基于灰度的不同区域之间的不连续性，同一区域内的灰度值相似性
一阶二阶微分对灰度的响应
一阶微分对于灰阶响应比较强，二阶微分会产生双响应
一阶微分响应边缘比较宽
对于二阶微分响应点>线>灰阶
二阶微分对细节响应效果好，增强细节
边缘检测算子
Roberts
局部差分寻找边缘，边缘精度高但是容易丢失边缘。不具备抑制噪声能力而且容易受到噪声影响，适合陡峭边缘低噪声信号
Sobel&Prewitt
做加权与微分运算，对噪声有抑制效果，边缘会出现模糊，sobel轻微一些，容易出现多像素边缘。
lapalce
没有方向性阶跃边缘点定位准确，对噪声敏感，容易造成不连续边缘。
缺点：不能检测方向，易受噪声影响，双响应
优点：各向同性，边缘定位准确（零交叉），判断像素在亮侧还是暗侧
LoG
边缘检测细，抗噪声效果好，各向同性
零阈值的零交叉点检测容易出现闭环
canny
所有边缘都被找到且低错误率
边缘定位尽可能接近真实边缘
边缘单一响应和不响应噪声
Hough变换
根据图像的整体信息或者局部信息选择一个或者多个阈值，从而把该图像分割成目标与背景两类区域
一般的取双峰之间的谷底
自动全局阈值
- 取T作为估计
- 计算G1:f>T,G2:f<=T
- 计算G1,G2灰度均值m1,m2
- T=(m1+m2)/2
- 迭代2-4直至$\Delta$T<预期
