2020 November 19 Paper, reading

病理学研究进展

病理学研究进展

Deep neural network models for computational histopathology: A survey

组织病理学图像包含丰富的表型信息，可用于监测促成疾病进展和患者生存结果的潜在机制。近年来，深度学习已成为分析和解释组织学图像的主流方法论选择。在本文中，我们对组织病理学图像分析中使用的最新深度学习方法进行了全面回顾。通过对130余篇论文的调查，我们基于不同机器学习策略的方法论方面（如监督，弱监督，无监督，转移学习和这些方法的其他子变量）回顾了该领域的进展。我们还概述了适用于特定疾病的预后任务的基于深度学习的生存模型。最后，我们总结了几个现有的开放数据集，并重点介绍了当前深度学习方法的关键挑战和局限性，以及未来研究的可能途径。

WSISA: Making Survival Prediction from Whole Slide Histopathological Images （2017，CVPR）

基于图像的精密医学技术能够很好地用于治疗癌症病人。然而，完整地切片病理图像（WSI）像素值巨大，这使得不可能用传统的生存模型计算。这些模型通常采用来自感兴趣区域的手动标记来区分patches，并且无法直接从WSI中学习区分性补丁。作者认为由于癌症的异质性，仅使用一些小图无法完全表示患者的生存状态。另一个挑战是，生存预测通常没有足够的训练患者样本。为了克服这些挑战，作者通过自适应采样从每个WSI图像中提取数百个小图，然后将他们聚类成不同的组别。然后训练一个聚集模型，以基于簇级别的深度卷积生存预测结果进行患者级别的预测。这与现有的直接从WSI的部分区域提取的小图中提取特征的SOTA方法不同，提出的框架能够有效的开发和利用在WSI中所有的判别模式来预测患者的生存状态。

作者提出的方法不同于基于需要大量手工标注的图像的生存预测方法，他们提出的框架能够之间从WSI中提取多种模式。

由于以下原因，生存预测比是否有癌症的分类更具挑战性：

生存问题分类两个级别？patch-wise prediciton 和 patient-wise prediction。

背景

生存分析的目的是预测事件发生之前的持续时间，并且感兴趣的事件是我们研究中癌症患者的死亡。

最近的癌症数据集（如TCGA）是长时间从病人的电子病历记录中收集的。这使得在分析时，需要将时间维度的信息也考虑进去。

正如文献[29]提到的，癌症微环境是一个复杂的环境，其中不仅包括癌细胞，还包括基质细胞和免疫细胞。这些“额外”的基因信息会影响结果，从而使从分子分析来诊断癌症成为一个有挑战的任务。最近的工作[25，27，28]尝试从图像角度解决该问题。

方法

现有的生存分析方法大多集中在提取patch的局部信息，很少有工作处理WSI数据。

作者的方法分成四步：

实验

手工提取特征CellProfiler作为SOTA医学图像特征提取和定量分析工具。

作者在汇总时候采取了不同的方法？然后和传统的方法相比？

聚成10类。

汇总风险有两个好处：1）如果具有组织病理学图像的数据集中的样本量小得多，则训练样本少的高维特征将不适合一个好的预测模型。 输出风险的维度等于所选集群的数量，该数量远小于训练数据的大小； 2）一个集群的输出加权风险可以部分估计患者的存活率。

  1. healthcare research 卫生保健研究
  2. in the context of know 在已知的情况下
  3. demands large volume of samples 需要大量的样本
  4. censor 审查
  5. molecular profiling data 分子谱数据（高维，所以需要特征选择，方法有[23,2,1,24,16,3]）
  6. a complex milieu 复杂的环境
  7. stromal cell 基质细胞
  8. muddle 混乱的
  9. phenotypes 表型
  10. holistic 整体的
  11. vice versa 反之则不是

Development and validation of a deep learning algorithm for improving Gleason scoring of prostate cancer (2019,nature)

摘要

对于前列腺癌的病人，格里森评分是最重要的预后因素之一，可能独立于分期确定治疗方案。然而，格里森评分基于肿瘤形态的主观显微镜检查，并且再现性差。作者提出了一个深度学习系统，用于对前列腺全切片图像的格里森评分。该系统在1226个切片提取的112万病理学标注图像块上训练，使用331个切片作为独立的验证集。实验结果表明，作者的系统能达到70%的准确率，比病理学专家的61的准确率要高。与临床随访数据的相关性倾向于更好的患者风险分层。

Introduction

尽管Gleason在预测和病理管理方面具有无可争辩的角色，有病理学家进行格里森评分是一个主观的实践并且观察者间和观察者内变异性欠佳，有报道指出格里森评分在30%-53%之间波动[6-14].提高格里森评分的一致性和准确性的一个方法在于人工智能，其在已经在很多方面都有应用。当前用于格里森评分的主要是特征工程方法[30-32]，并且逐渐有人使用深度学习解决该问题，临床样本的二分类[26,33]，组织子区域的格里森评分[34,35]和微阵列[27,36],这些方法包括仔细选择癌症样本的子区域用于研究，在常规临床工作流程之外。

结果

性能指标包括：AUC，Cox models, C-index

作者表示，提出的系统可以作为决策支持工具。并且认为未来的研究需要评估在病人预测和相关性治疗决策时使用这些预测格里森评分方法对临床医学的影响。作者进一步探索了DLS在格里森评分中每一步以及他们各自的得分变异性。格里森评分的第一方面是对整个切片的区域级格里森模式分类。在这一步中，3维组织结构的2维组织学检查导致内在的模糊性。将离散分类应用于连续光谱上的腺体分化会产生较大的额外变异性，如在在小腺体和腺泡结构定义不明确之间格里森模式3、4之间的转换，或在融合腺体与巢或索之间的格里森模式4/5过渡。在区域级别分类后，格里森评分的下一步涉及对每个格里森模式的相对数量进行可视化，以确定最流行的模式。

作者认为其提出的“hard-negative mining”方法也能用于开发其他病理学深度学习算法。该算法的目的在于通过在整个数据集上使用推断来孤立出难以分类的样本并且进一步用这些样本去训练网络，从而提高算法的性能

方法

作者使用了Inception-V3图像分类的网络结构，每层很少的卷积核，并且修改成FC层来提高全切片图像的推断结果。为了避免网格伪影，使用VALID替代SAME padding，并且裁剪了inception中的分支。网络的输入是911x911大小块的图像，网络评估的区域是每个图像块中心的32x32大小的区域。为了提高泛化性能，还是用了数据增强技术（饱和，对比度，亮度，hue，方向等）。在微调网络参数时，hard negative mini 和 ensembling被用于进一步提高网络的性能。在网络收敛后，使用了3个层面的集成技术：第一，使用0.9999参数的指数滑动均值对网络权重进行平滑。第二，对于每个图像块，模型的预测结果由8个图像方向构成，然后以几何均值的方法平均。第三，这些方向平均的预测被再次输入独立训练的模型（单独的hard-negative mining过程），然后再次使用几何均值。

单词

  1. stratifies 分层
  2. prognostication 预测
  3. microarrays 微阵列
  4. comprise 包括
  5. outside of routine clinical workflow. 在常规临床工作流程之外
  6. genitourinary 泌尿生殖
  7. granular 粒状
  8. discordant 不和谐的
  9. histologic examination 组织学检查

Computer aided quantification of intratumoral stroma yields an independent prognosticator in rectal cancer (2019,Cellular)

摘要

肿瘤基质比率（TSR）在大肠癌和其他实体恶性肿瘤中是独立的预后因素。数字病理学在常规组织诊断中的最新介绍为自动TSR分析提供了机会。我们调查了直肠癌全切片图像中计算机辅助量化肿瘤内基质的潜力。由2位专家分析了129位直肠腺癌患者的组织学切片，他们选择了适合的基质热并且通过视觉评估了TSR。训练了一种基于深度学习的半自动方法，以对直肠癌组织学中的所有相关组织类型进行细分，然后将其应用于专家提供的热点。通过两种TSR方法（视觉的和自动的）将病人分成“高基质”和“低基质”两组。这样就可以根据疾病特异性生成时间和无疾病生成时间在两种方法之间进行预后比较。

1、提出的深度学习算法也有可能成功地应用于结肠癌的分析

2、通常，TSR是一种独立性的预后因子，肿瘤内基质含量高与预后不良有关。

  1. tumor-stroma ratio(TSR) 肿瘤间质化
  2. rectal adenocarcinoma 直肠腺癌
  3. univariate 单变量分析
  4. prognostic 预后的
  5. multivariate 多变量分析
  6. adjuvant therapy 辅助治疗
  7. therapeutic decision making 治疗性决策
  8. staging of tumors 肿瘤分期

Medical big data: promise and challenges （2017）

作者介绍了大数据的概念，通常以体量大，多样性，速度喝真实性著称，远超出数据类型喝包含不同成面的数据分析，更多的是产生假设，而不是测试假设。大数据更多地注意关联的短时稳定性，通常不需要因果关系和概率分布假设。医疗大数据是大数据下的一个学科，同样与传统的临床流行病学不同。大数据技术已经被用在医疗健康的各个领域，如预测建模和临床决策支持，疾病或生成监测，公共健康和研究。通常大数据分析利用的分析方法主要集中在数据最小化，包括分类，聚类和回归。由于一些很多技术问题，医疗大数据分析比较复杂。如缺失值，维数崩塌和偏差控制，共享观察研究的固有的局限性，即无法测试因残留混杂和反向因果关系引起的因果关系。最近，倾向性得分分析(propensity score analysis)和工具变量分析(instrumental variable analysis )被用于克服这些限制，并且已经取得了一些成就。还有很多挑战，如缺乏大数据实际利益的证据，方法论问题，包括法律和道德问题，临床结合和利用问题，这些问题必须得到克服，以实现医疗大数据作为一种可持续学习医疗健康系统动力的承诺，并且这将会提高肾脏学病人生存并且减少浪费。

大数据医疗潜在的价值被证明在于：1）个性化药物的交付；2）临床决策支持系统的使用，如医学图像的自动化分析和医学文献的最小化。3）通过移动设备定制诊断和治疗决策以及教育信息，以支持所需的患者行为；4）大数据驱动人口健康分析和模式发现，如果已分析了小批量的统一格式数据，则可能会丢失。5）作弊检测和预防。

分类技术可以分成以下几种：逻辑回归、朴素贝叶斯方法、决策树、神经网络、贝叶斯网络和支持向量机。这些技术被用于开发决策支持系统用于诊断一些很多可能的诊断，或者建立一个模型来预测基于很多生物标记分析的诊断应用。

集聚是一个无监督学习的方法，通过使用距离标量去寻找数据中的组。聚类技术包括K-mean聚类，主成分分析，自组织图。聚类技术通常被用于微阵列数据分析和系统发育分析。

回归方法是监督学习方法，它的输出变量是连续的并且是一种用于独立变量和一个或更多个独立变量的定量关系，用以描述数据的趋势。线性回归是这个领域中最常见的方法。例子是病人数据维度分析和决策支持系统。

数据最小化的9个步骤：

1、学习应用领域，如决定领域的相关先验知识和数据最小化应用的目标

2、数据集选择

3、数据清理和预处理。数据类型问题 ，如而知乎，名词，序数和数字化；变量领域问题包括数值数据；多变量的冗余；时序问题；缺失值；离群值问题。

4、数据缩减和映射。变量数量的减少以提高计算效率和克服维度的崩塌。

5、步骤1中定义的目标匹对作为数据最小化方法

6、算法的选择和数据模式的搜寻

7、模式提取。数据集能够被分成训练集和测试集，训练集模型开发以及测试集模型测试。有很多方法用于数据分割，如交叉集、分层交叉，留一方法和bootstrapping.

8、评估和解释。accuracy, sensitivity, specificity,ROC,AUC,precision, recall, f-measure, number of positive predictions, number of false positives.

9、发现知识的使用

维度诅咒

与观察单元相比，高维数据有很多的属性。微阵列数据和下一代序列数据是典型的高维数据集。在高维数据中，很多数值分析，数据采样原则，组合推断以及机器学习方法和数据管理处理办法容易收到维度诅咒。稀疏性，多种共线性，模型复杂度，fit模型的计算代价，模型过拟合会伴随着高维数据产生。距离标量的稳定性是统计推断的关键；因此，数据点之间的稀疏性会影响定量分析，甚至大数据。多种共线性是指在一个模型中存在两种或更多的预测变量的现象，比如多变量回归模型，他们并不是独立的。这违反了回归模型中的通用假设，即要求预测变量与误差项无关（模型残差）。多种共线性使得模型不可靠和动力不足。在传统统计分析中，因为标准的数据集，该现象比较少，但是它可能广泛的存在于大数据分析中。模型过拟合可能会导致泛化问题。高维数据可以使用降维和特征选择来解决。非常重要的一点是降维或特征选择可能会导致关键机械信息的损失。误报率与识别新颖见解的益处之间存在总体权衡

偏差控制

随机对照实验最大程度地减少了偏差和控制混淆，因此被认为是涉及有效地黄金标准。然后，每个数据集都有其限制。随机对照实验因此缺少泛化性能，因为它在理想的条件下进行的。如果没有用于控制人体内生物水平的具体措施，就不可能对新型生物标记进行随机干预。动力不足研究甚至会导致错误的结论。有两种不同的分析技术来解决观测中的混杂问题；倾向得分分析和工具变量分析。

  1. causal relationship/causality 因果关系

  2. epidemiology 流行病学

  3. imputation 归因，归责
  4. quantitative analysis 定量分析
  5. underpowered 动力不足
  6. attrition 损耗
  7. impediments 障碍
  8. delineate 勾画
  9. dialysis therapy 透析分析

Adversarial Domain Adaptation for Classification of Prostate Histopathology Whole-Slide Images （2018）

摘要 自动化和准确的组织病理切片的格里森评分是前列腺癌症诊断，治疗和预后的关键.通常，由于组织预处理和染色过程的差异，来自不同机构的组织病理切片显示出异质性的特征。因此，从某一个领域学习到的预测模型也许无法直接应用于新的领域。基于此，作者采取了无监督领域自适应的方法从源领域学到的领域判别性知识迁移到目标域，而不需要任何目标域的图像和标签。通过对抗训练找到目标区域不变的特征空间以及提出的Siamese结构以添加适合于整个切片图像的正则化，从而实现自适应。在该工作中，作者提出了一个对抗训练和孪生网络（Siamese）结构来提升无监督目标网络的分类性能。使用的领域自适应方法能够提高统计分类结果。（P.S. 孪生神经网络的作用是衡量两个输入的相似程度）

背景 在美国，前列腺癌症是最常见的非皮肤恶性肿瘤，每个7个男人就有一个人患病。格里森系数，全切片图像评分得到，被认为前列腺癌症预测的最佳方法。但是由于WSI图像巨大的分辨率导致处理时非常费时。而由于采集WSI图像时使用不同的设备和染色处理等过程，导致不同机构提供的WSI数据集呈现出差异，而这可能使CNN分类性能下降。为了解决该问题，作者提出使用领域自适应的方法解决该问题。在该工作中，作者使用无监督方法对新给定的前列腺数据集进行格里森打分。这是第一篇工作使用领域自适应的方法用于无监督前列腺病理WSI分类。

方法 作者通过映射函数Ms，使用源域生成生成一个特征空间。并且尝试在目标域找到映射Mt，以获得与源域相似的特征空间。从而使用Mt很容易得到目标域的格里森得分预测。

源域特征空间提取 使用监督学习搜寻源域具有判别性的特征空间。将WSI图像切片输入网络，使用交叉熵损失优化分类器C，将图像分类成低分组（6，7分）和高分组（大于7）。对每个WSI的切片使用大多数投票策略，以获得每张WSI图像的最终格里森得分。

目标域对抗训练 由于目标域图像没有标签，无法使用交叉熵损失。为了优化网络，利用对抗训练最小化目标域特征空间和源域的差异。作者利用了对称自适应的方法，目标域网络通过对源域网络的fine-tuned得到。通过优化，目标域特征空间学习到了源域特征空间的分布。因此，目标域网络被训练用于提取输入样本中领域不变特征，该特征与源域具有相同的分布。GAN中的判别器被用于判断样本是源域/目标域。通过反转域标签来有目的的误导判别器，从而使其无法分辨出两个不同的特征空间的方式学习到目标映射Mt。因为在对抗训练前，源模型的映射参数是固定的，因此仅需优化目标映射。

目标域的孪生网络 尽管目标域的WSI没有标签，从相同WSI裁剪的图像在目标网络预测的格里森得分应该一样。尽管对抗损失要求两个域的分布应该一致，它不能约束目标网络来确定输入图像的相似性。因此，作者在目标域使用了一个孪生网络来明确地规范来自相同WSI图像地patch应该具有相同地格里森得分。从两个网络的第二层到最后一层的特征图被串联起来，用作一层感知器的输入，以对特征进行分类。因此，来自网络输入的样本被认为是同一张WSI图像的值为1，否则值为0。

实验 crop size 2048 x 2048。在灰度图像上计算了组织区域，并且移除了尺寸小于patch size的组织区域。在训练的时候，图像被resize到256x256，然后随机裁剪224x224作为网络的输入。

  1. invariant 不变的
  2. parentheses 括号
  3. non-cutaneous malignancy 非皮肤恶性肿瘤
  4. discrepancy 差异
  5. leverage 杠杆作用，利用
  6. perform 利用， 可以替换use，utilize等词
  7. quantitative 定量的

Auto-Encoding Variational Bayes （2013，ICLR）

摘要 我们如何在定向概率模型中进行有效的推理和学习？在存在难解的后验分布的连续潜在变量和大型数据集的情况的下？我们介绍了一种随机变分推理和学习算法，该算法能够扩展到大数据集，并且在某些温和微分条件下，甚至可以在难以处理的情况下工作。该算法的贡献有两部分：第一，我们表明，变异下限的重新参数化产生了下界估计量，可以使用标准的随机梯度下降方法直接对其进行优化。第二，我们表明对于每个数据点具有连续潜在变量的独立同分布的数据集，通过使用提出下届估计器将近似推理模型（识别模型）拟合到难以处理的后验，可以使后验特别有效。实验结果反应了方法的理论优势。

方法

作者提出的算法能够解决以下的3个相关问题：

  1. 参数theta的有效近似机器学习方法和最大后验估计（MAP）估计。如果分析一些自然的处理，参数本身可能会很有趣。它也允许我们模仿隐藏随机过程和生成与真实数据类似的人造数据。
  2. 对于选择的参数theta，给定观测值x，潜在变量z的后验推理的有效估计。这在编码和数据表示任务中非常有效。
  3. 变量x边际推理的有效推断。这使我们能够执行所有需要先于x的推理任务。常见于计算机视觉，如图像去噪，inpainting修补和超分辨率。

与在均值场边锋推理的近似后验不同，作者提出的方法不需要阶乘以及其参数不需要从一些封闭期望中计算。相反，作者介绍了一种联合生成模型参数theta学习识别模型参数的方法。

从一个编码理论的角度，未被观测变量z解释成潜在表示或编码。因此，在论文中作者将识别模型当作概率编码器。因为给定数据点x，所以它在代码z的可能值上产生了分布（高斯分布），码字z可以从数据点x中生成。与此相类似的，p(x z)作为一个概率解码器，因为给定一个码字z，它能在x可能的相应的值中产生一个分布。
参数化的本质非常简单，令z为一个连续随机变量，满足z~q(z x)的条件分布。然后，通常可以将z表示为确定性变量z=g(e,x)，e是具有独立边际p(e)的辅助变量，g()是由fai参数化的某些向量值函数。

结论

作者介绍一种新颖的变分下限估计器，SGVB，使用连续的潜在变量能够有效的进行近似推理。提出的估计器能够直接可微分的并且能够使用标准的梯度方法进行优化。对于每个数据点的连续潜在变量的独立同分布数据集的情况，介绍了一种有效的算法以实现有效的推断和学习，自编码器的变分贝叶斯AEVB，使用SGVB估计器学习到一个近似的推理模型。

Future work 因为SGVB估计器和AEVB算法能够用于大部分使用连续潜在变量的推理和学习问题，未来也存在大量的应用方向：1、使用深度神经网络学习的层级生成结构用于编解码器，联合AEBB进行训练；2、时间序列模型（动态贝叶斯网络）3、SGVB的应用用以全局参数 4、潜在变量的监督学习，对学习复杂噪声分布很有效果。

  1. intractable 棘手的
  2. factorial 阶乘
  3. in a similar vein 与此相类似
  4. derivatives 衍生品
  5. isotropic 各项同性
  6. has long been know 早知道

Generative Adversarial Networks for Facilitating Stain-Independent Supervised and Unsupervised Segmentation: A Study on Kidney Histology （2019）

摘要 在数字病理分割领域的主要挑战是由繁重的人工标记数据集和图像领域的多数据源导致的变化性引起的。这要求方法能够不需要为每个特征标记大量样本样本，而能够处理变化性。在文章中，作者开发出一种依赖于非匹配对图像到图像变换的对抗模型方法。具体的，作者提出了依赖于图像到图像变化，以学习中间表示，从而首先染色独立监督分割方法。更进一步地，我们提出了一种利用图像到图像变换地无监督分割方法将图像变换到标签域。最终，两个方法整合到一起，以获得潜在染色体特征独立的无监督分割的最佳的性能。该方法能够用于潜在的分割任务，如果选择合适的中间染色体，那么准确率会有很大的提升。使用无监督学习的领域自适应方法能够很大程度上促进性能的提升。作者发现无监督分割方法能够表现的很好，并且能从增强标签域中受益。图像变换不仅适用于领域自适应，也适用于图像分割任务。使用一种合适的容易分割中间表示能够很好地提高无监督学习和监督学习的性能。

背景 当前数字病理全切片图像面临着很多挑战和机遇。一方面，大量不同领域的应用。另一方面，同一应用领域中，数据集的差异较大。如果没有考虑可变性，那么机器学习方法对于这些变化就会变得很脆弱。最直接的解决办法是获得大量覆盖所有潜在图像特征的标记数据集。然而，在某些病理学常见，维度和深度的可变性导致这种简单的方法是一个费力代价又高的事情。缺乏有效使用（尤其是训练）的准确方法，这构成了部署自动分析技术的主要负担。

在工作[28]中，作者已经提出了染色转换能够用于肾病理图，能够生成显示一种不同染色的非常真实的fake图像。也显示了通过转移向中间域，能够实现染色独立分割任务。在文中，Stain-independence（染色独立）是指方法能够训练用于准确的分割任意染色，尽管仅能获得某个单独染色的标注的训练集。

在本文中，作者仅考虑了以下场景，每种染色具有足够的无标签样本，而大量有标签样本仅能用于一种染色（需要监督学习的领域自适应），甚至是无用的（在无监督学习下）。

方法 作者考虑了以下四种场景

结论

1、图像到图像的转换能够实现不同染色之间的转换。基于定性结果，生成图像的质量也很高并且图像潜在内容没有发生变化。输入染色图像对最终分割性能的影响有限。

2、MDS1和MDS2的实验结果显示转换的方向的影响也很重要。转向PAS染色的性能要好于PAS转向其他染色的性能。如果染色表现出较低的分割性能，则影响最为明显。当有些染色被证明难以直接分割时，先使用染色转换到较好的中间表示，也许能有较清晰的提升。当直接使用好特征进行分割时，使用中间域无法带来性能提升。相比于其他染色（如Col3）在PAS中感兴趣的区域有更清晰的勾画。通常应该将难以分割的领域转移向容易分割的领域。

3、MDS2方法准确率差异较大。染色特点对最终分割性能的影响很大。然而，一个巧妙地转换成容易分割地染色，能够被用于清晰地减少不同图像模模式地差异。

4、有趣的是，基本形状的准确性并不重要，因为与椭圆形状相比，更接近圆形虚拟对象显示出相似的性能。更重要的是，图像域在这个场景中扮演了一个很重要的角色。与监督分割相似，难度以及因此分割精度在很大程度上取决于图像特性。

5、拥有清晰勾画兴趣目标物更容易得到更高的分割性能。没有透明的边界（如col3)会使直接的染色到标签转换的过程复杂化。然而，使用中间转换过程，能够得到鲁棒的结果。正如期望，监督分割通常显示出更高的准确率。单张WSI图像的分割需要2个小时。参数化的无监督方法能够在半小时内实现。

无监督方法的一个要求是兴趣目标物的形状经常出现并且能够有效的建模。如果形状是任意的，那么判别器很难对其判断。在生物医学分割任务中，大多数兴趣目标物都是常规模式，从而提出的方法能够成为潜在的处理办法。

  1. on the acquisition of 关于收购
  2. constitutes 构成
  3. glomeruli 肾小球
  4. roundish 圆润的
  5. facilitate 促进

Domain-Adversarial Training of Neural Networks （2016）

摘要 作者为领域自适应介绍了一种新的表示学习方法，该方法在训练和测试时使用的数据来自相似但不同分布。作者提出的方法的灵感来源是领域自适应理论，能够有效的实现域转移，在基于无法分辨出源域和目标域的特征上进行预测。

方法在已知神经网络结构的情况下实现该上述想法，该网络结构在来自源域的标签数据集和来自目标域的无标签数据集上训练。在训练过程中，促进满足下述条件的特征出现：1、在源域中的主要学习任务是判别；2、对于域之间的转移是不加区别的。作者表明该自适应行为能够通过在几乎任何前向模型中使用很少标准层和一个新的梯度反转层（GRL）的增强实现。可以使用标准反向传播和随机梯度下降来训练所得的增强架构，因此可以使用任何深度学习软件包轻松实现。

作者提出了一个新颖的前向神经网络方法来实现领域自适应，该网络能够进行大量源域标注数据和大量目标域无标注数据的大规模训练。该自适应方法通过对齐两个域之间的特征分布实现。对齐是通过标注反向传播训练完成的。作者提出方法的一个优势在于该领域自适应方法能够添加到几乎所有的以反向传播训练的神经网络结构中。

背景 领域自适应方法的吸引力在于，在目标数据完全未被标记（无监督域注释）或标记的样本很少（半监督域自适应）的情况下，学习域之间映射的能力。作者主要关注在训练时，结合邻域自适应和深度特征学习。目的是将将领域自适应嵌入到表示学习过程中，使得最终的分类决策能够基于判别性和领域不变性的特征，如源域和目标域具有相似甚至相同分布。通过这种方式，训练好的前向网络能够在不需要两个目标域发生偏移的情况下，应用于目标域。分类器的参数被用于优化最小化训练集上的误差，潜在深度特征映射的参数被用于优化标签分类器的损失和最大化域分类器的损失。随后的更新对抗的训练域分类器，并且在优化的过程中鼓励模型学习到邻域不变性特征。作者使用一个简单的梯度翻转层使在前向传播的时候保持不变，在反向转播的时候通过乘以一个负数实现梯度反转。

方法 领域发散 为解决领域自适应任务的挑战，很多方法通过约束源域错误率的和与源域和目标域分布的距离的目标错误率。这些方法都在进行了简单的假设：即两者分布相似时，源域被期望成为目标域的指示器。尝试通过最小化H-divergence来实现领域自适应

结论

1、在复杂图像集中训练的模型，能够更好的使用于简单图像集，反之不成立（SVHN->MNIST，因为模型在复杂图像集上能够学到更加通用和合理的特征分布）。

2、合成数据集上训练的模型可以提高实际数据预测的性能（我们的方法再一次实现了性能上的显着提高，证明了其适用于从合成到实际的数据适配。）

  1. indiscriminate 不加区别的
  2. in the course of 在…的过程中
  3. in the context of 在….的背景下
  4. literature 文献 可替换work, method等
  5. a notion of …的概念
  6. the capacity of …的能力
  7. the risk of ….的风险

Isolating Sources of Disentanglement in VAEs (2018,NeruIPS)

摘要 作者分解证据的下界以显示存在一个测量潜在变量之间总相关性的术语。并使用该方法激励beta-TCVAE(总相关变分自编码器)算法，β-VAE的改进和插件替代，以学习解开表示，这使得在训练的时候不需要额外的超参数。我们进一步提出了一个解开的分类无关测量方法，称作互信息差（mutual information gap, MIG）。在限制和无限制的设置下，使用提出框架下训练的模型，在相关性和解开之间显示了很强的相关性。

作者提出一个ELBO的解耦，以解释为什么β-VAE为什么能工作。具体地，作者在目标函数中引入了TC惩罚项，以鼓励模型寻找到在数据分布中找到统计独立性因子。并由此设计了一个特殊情况β-TCVAE，与β-VAE相比，该方法能够以无额外超参数的最小批估计器的随机的训练。由于缺少语义信息，解耦表示的无监督学习是一个内在苦难的信息，但是作者在一些均匀因子的简单数据集上的证据表明，潜在变量与解耦有之间的独立性有很强的相关性。

背景 无监督解耦表示学习是一个开放性难题。在数据中，变量解耦通常被认为包含可解释语义信息和反应变异的离散因素。解耦的定义广受争议，很多人认为统计独立变量的因素表示是一个很好的开始。这些表示将信息蒸馏至紧凑表示的方式，该方式通常包含语义信息并且被用于各种不同的任务。如，有研究表明这种表示更加泛化，且面对对抗攻击时更加鲁棒。

解耦表示学习中很多SOTA的方法都是基于对现存目标函数的部分重新赋予权重。例如，潜在变量和观测数据之间的互信息被认为是能够鼓励潜在变量变得更具备可解释性。

解耦表示评估 当真正的潜在生成因子已知时，我们有理由相信这个因子集是解耦的，并且也很容易创建监督评估标量。很多方法已已经提出了基于分类器的标量，以评估解耦的质量。

方法 两个量对于学习解耦表示中非常重要：A）：潜在变量和数据变量之间的互信息；（ELBO解释）B）：潜在变量间的独立性。

解耦分析：Index-code MI(互信息)是数据变量和基于数据经验分布q(z,n)的潜在变量。文献[6]认为更高的互信息会得到更高的解耦；甚至有研究[17,18]在优化阶段就去除了该惩罚项；然而，最近的生成建模[3,19]称经过信息瓶颈的互信息惩罚项能够鼓励生成更加紧凑和解耦表示。作者认真更大的惩罚系数会产生更多的解耦表示，这在β-VAE中也证明该项的成功使用。

解释性分析：没有合适的标量以比较解耦算法是很困难的。大多数之前的工作通过可视化潜在表示以诉诸定量分析。其他很多方法依赖于已知真实生成过程和真实的潜在因子。这些通常都是数据数学的语义含义。然而，并不是所有的真实因子都能得到提供，使用这些因子以评估解耦仍然是可靠的。

  1. disentangle 解开
  2. factor 因子
  3. a decent amout of 相当数量的….
  4. entanglement 纠缠
  5. traversal 遍历
  6. nuance 细微差别
  7. extrapolation 外推法

Neural Image Compression for Gigapixel Histopathology Image Analysis (2020)（值得细品）

摘要 作者提出一种神经网络压缩，使用弱图像层级的标签，两步方法用以构建卷积神经网络以实现巨大图像分析。首先，使用一个以无监督方式训练的神经网络压缩巨大分辨率图像，重新训练高层级信息以抑制高像素层级噪声。其次，使用一个CNN在这些压缩图像表示进行图像层级标签的预测，避免了繁重的人工标注。通过比较集中编码策略，如重建错误最小化、对比训练和对抗特征训练，以及在合成任务与两个公共的病理学数据集上进行NIC评估。进一步的，我们可视化了用以CNN推理的输入大像素图像区域，确认了这些区域与人工标注的区域一致。

作者提出的方法能够将相关的信息蒸馏至紧凑的图像表示。CNN能够使用这些可替代的表示进行训练，这为其他方法开辟了一条路径：大像素图像不在被认为是底层像素向量，能够以高层抽象的方式进行处理。作者在该工作用显示使用神经网络能够在潜在空间中实现分类，回归和可视化。大像素在潜在空间的表示为其他方法提供了一种思路：数据增强、生成模型、内容获取、异常检测和图像标注。

背景 具有弱图像级别标签的千兆像素图像分析的根本挑战在于这些图像中存在的低信噪比。信号通常包含与像素层级标签有关的高层和底层模式的组合，然而大多数像素都对训练无效，并且会影响模型结果。进一步的，信号的自然和空域分布是未知的，通常涉及到什么(what)以及在哪里（where）的问题。最广泛的简单假设是信号在抽象层级较低时是可识别的，如，图像层级标签有一个图像块级别的表示。通过将十亿像素图像分解成能够独立标记的图像块的方式这种方式简单的解决了what问题。但是，这种假设在不知道图像块层级表示时，是不适用的。此外，在十亿像素图像中，图像块层级的标注是一个费力，耗时长且很容易出错的过程，限制了机器学习能从人类知识学到信息的能力。其他研究假设信号能在低层的抽象存在，但不全是可识别的，如图像层级标签有一种人类标记者不了解的快块层级表示。此外，在图像层级仅有这些图像块就足以进行预测，忽略图像块之间的空域排列，从而解决了where的问题。这些方法仅考虑了单独的图像块中的模式，忽略了它们之间潜在的联系。

作者没有进行与图像层级标签的视觉线索的有关的自然或空域分布的假设。作者认为CNN可以用于同时解决where和what问题。由于十亿像素计算起来是不现实的，因此作者提出一个神经网络压缩（NIC），从低层像素空间映射到高层像素空间。用这种方式，作者能够将图像压缩到一个高的紧凑的表示，这使得能够用单个GPU训练CNN，以预测任何图像层级的标签。方法的关键在于：第一将十亿像素的图像分割成高分辨率的图像块；第二，每个高分辨率的图像块都使用神经网络进行压缩至低微的嵌入向量。最终，每个向量都被放入一个数组来保持原始的空域排列，这样嵌入与嵌入特征之间就保持了原始的空域信息。作者在两个数据集上分布进行了两者实验：

使用CNN的好处在于，使用基于权重梯度的分类图能够很好的可视化CNN对输入图像感兴趣的区域。显著性图用于解释where问题。识别CNN预测的视觉证据是医学领域中很要的工作，被用于解释算法和知识发现。

很多使用十亿像素图像的公开数据集和它们使用的图像层级标签都仅包含几百个数据集点，这很容易导致过拟合。作者使用对紧凑图像进行空域裁剪，并随机取中间像素的方法训练模型。在测试阶段，旋转与紧凑图像空域维度一致的均价分布，并且对CNN的预测结果进行取平均操作。作者在WSIs图像上使用该方法。因为WSI方法中有很多区域是没有细胞的，作者检测细胞区域，采样裁剪与背景的距离成比例，以加速训练，这样就通常能采样到高细胞密度的区域用于训练。第二个方法是使用图像层面的采样增强。最终使用了能够减少参数的卷积层。

图像层级标签的可视化线索 作者使用了梯度权重分类激活图（Grad-CAM）用于训练好的CNN。该算法将对紧凑图像执行前向输入以产生3维中间表示特征向量集，其中表示第j层和第k个特征图。对于一个固定的卷积层，计算该特征图对标签y的梯度。并且对空域维度的梯度进行平均并且获得了梯度因子集，该集合表示了每个特征图对最终输出标签y的相关度。最终，将特征图与梯度因子集求积并且求和。

实验中所有的WSIs都使用了细胞分割算法来排除没有包含细胞区域。在病理图像分析中的一个常识是使用基于颜色的特征能够提供很多信息。因此，作者对输入RGB图像块的空域进行了像素密度平均以引入额外的信息以提取颜色特征。

选择的方法或模型与数据集有关

  1. tedious 乏味的，费神的
  2. excel at / good at 擅长于
  3. emulate 仿真
  4. tilted 倾斜的
  5. unless stated otherwise 除非另有说明

All content is licensed under CC BY-NC-SA

Built with Jekyll and 3-Jekyll theme • Hosted on Github

Table of Contents