图深度学习讨论班 - wds.ac.cnwds.ac.cn/portal/summer2019/ppt/3.pdfconvolutional neural...

图深度学习讨论班2019年暑期

7/5/2019 东南大学计算机学院万维网数据科学实验室

王紫悦

Adaptive Graph Convolutional Neural Networks

7/5/2019 东南大学计算机学院万维网数据科学实验室

Problemn 对于大多数实际数据，图形结构在大小和连通性方面都有所不同。

在经典CNNs中，假设样本间存在一个共享核。因此，为了保证输出层的统一维度，必须调整输入的大小，这也是经典CNNs的一个约束条件。这种对图形数据的预处理可能会破坏面向图形信息的完整性。

n Adaptive Graph Convolutional Neural Networks（AGCN）

能够适应不同图结构数据作为输入

7/5/2019 东南大学计算机学院万维网数据科学实验室 3

AGCN　Network

7/5/2019 东南大学计算机学院万维网数据科学实验室 4

SGC-LL　Layer

7/5/2019 东南大学计算机学院万维网数据科学实验室 5

Spectral Graph Convolution layer with graph Laplacian Learning

提出的SGC-LL层为每一个样本训练独立的图拉普拉斯算子，保持数据的局部拓扑结构。

Graph Laplacian

7/5/2019 东南大学计算机学院万维网数据科学实验室 6

Graph Laplacian ADL L：拉普拉斯矩阵D：顶点的对角矩阵A：图的邻接矩阵

TUUUUL 1

由于L是实对称半正定矩阵，可进行特征分解

特征向量 特征值10}{

NssuU )],...,,[( 110 ndiag

2/12/1 ADDILNormalized

Graph Fourier Transform

7/5/2019 东南大学计算机学院万维网数据科学实验室 7

Fourier transform dtetftfFF iwt)()]([)(

拉普拉斯算子特征函数

graph Fourier transform

N

illl iuiffF

1

* )()()(ˆ)(

f(i)与图中的顶点一一对应ul(i)表示第l个特征向量的第i个分量

在特征值 下，f 的图傅里叶变换就是与 对应的特征向量 ul 作内积l l

xUx Tˆ

Spectral Filtering of Graph Signals

7/5/2019 东南大学计算机学院万维网数据科学实验室 8

卷积定理： 对于函数 f(t) 和 h(t) ，卷积为其函数傅里叶变换乘积的逆变换

滤波器 g

1

0)(

K

k

kkg

定义 为图卷积的输出gxy

Defferrard, M.; Bresson, X.; and Vandergheynst, P. 2016. Convolutional neural networks on graphs with fast localized spectral filtering. In Advances in Neural Information Processing Systems, 3837–3845.

Learning Graph Laplacian

7/5/2019 东南大学计算机学院万维网数据科学实验室 9

局限性： 对于非欧氏域的数据，欧氏距离不再是度量相似性的最优度量

解决：

SGC-LL Layer :

),,(~ XLFL

Training Metric for Graph Update

7/5/2019 东南大学计算机学院万维网数据科学实验室 10

TddWWM

马氏距离

Wd：SGC-LL层的训练权重

计算高斯核

归一化　　，得到　

Residual Graph Laplacian

7/5/2019 东南大学计算机学院万维网数据科学实验室 11

大多数数据并没有天生的图结构，因此我们必须在将它们提供给网络之前构造图。

由于没有距离度量的先验知识，所以M是随机初始化的。因此，收敛可能需要很长时间。

Assumption：

Re-parameterization on feature transform

7/5/2019 东南大学计算机学院万维网数据科学实验室 12

传统CNN：卷积层的输出包括邻居节点的特征和其内部特征

图卷积：为不同的节点特征创建和训练独立的拓扑结构 ×

为了构造顶点内和顶点间特征的映射。在SGC-LL层，我们引入了变换矩阵和偏置向量

SGC-LL　Layer

7/5/2019 东南大学计算机学院万维网数据科学实验室 13

Spectral Graph Convolution layer with graph Laplacian Learning

Batch normalization

7/5/2019 东南大学计算机学院万维网数据科学实验室 14

数学期望

方差

Graph Max Pooling

7/5/2019 东南大学计算机学院万维网数据科学实验室 15

对于图中第v个节点的特征ｘv　，用其他节点中第j个特征的最大值代替xv（j）

Ｎ（v）：　节点v的邻居节点

Graph Gather

将所有顶点特征向量相加，作为图数据的表示

graph-level prediction

vertex-wise prediction　　e.g.　many predictions on social networks.

7/5/2019 东南大学计算机学院万维网数据科学实验室 16

AGCN　Network

7/5/2019 东南大学计算机学院万维网数据科学实验室 17

Innovations

n Construct unique graph Laplacian.n Learn distance metric for graph updaten Feature embedding in convolutionn Accept flexible graph inputs.

Experiment

nGraphconvThe first trial of formulating an analogy of CNN on graph

nGCNextend the one-hop local kernel to the one that brought at most K-hop connectivity.

nNFPuse the cutting-edge neural network for molecules. It uses kernel constructed in spatial domain.

7/5/2019 东南大学计算机学院万维网数据科学实验室 18

Experiment

7/5/2019 东南大学计算机学院万维网数据科学实验室 19

Datasetn Delaney Dataset包含1144个低分子量化合物的水溶度。最大的化合物由492个原子，最小的只有3个原子。

n NCI Database包含20,000个化合物，60个预测任务。

n Az-logD Dataset提供4200种化合物的渗透性的logD测量。

n a small dataset包含642种化合物对无水化作用的能量研究7/5/2019 东南大学计算机学院万维网数据科学实验室 20

Experiment

7/5/2019 东南大学计算机学院万维网数据科学实验室 21

Training loss RMSE scores for solubility value prediction

Experiment

7/5/2019 东南大学计算机学院万维网数据科学实验室 22

Mean and standard deviation of RMSE

5-fold cross-validation.

DatasetnTox21 Dataset7,950种化合物和毒性标签

n ClinTox Dataset1,451种化合物，用于临床毒理学研究

n Sider Database1,392种药物和它们27种不同的副作用或不良反应

n Toxcast Database8,599 SMILES 和617预测任务的标签

7/5/2019 东南大学计算机学院万维网数据科学实验室 23

Experiment

7/5/2019 东南大学计算机学院万维网数据科学实验室 24

Task-averaged ROC-AUC Scores

n Sydney urban point cloud dataset有631个对象的单独扫描

分为26个类

7/5/2019 东南大学计算机学院万维网数据科学实验室 25

Experiment

Experiment

7/5/2019 东南大学计算机学院万维网数据科学实验室 26

Thank you！

7/5/2019 东南大学计算机学院万维网数据科学实验室 12