Projects | ZC's website

GNN图神经网络

Wed, 27 Apr 2016 00:00:00 +0000

算法使用经典的卷积神经网络，实现对动画片段分为三帧并进行分类。算法IDE：Pycharm 语言：Python 工具：Pytorch(CPU)

import torch
import torch.nn as nn
import torch.optim as optim
from torch.autograd import Variable
from torch.utils.data import DataLoader, sampler, Dataset
import torchvision.datasets as dset
import torchvision.transforms as T
import timeit
from PIL import Image
import os
import numpy as np
import scipy.io
import torchvision.models.inception as inception

# 很多数据集都是mat格式的标注信息，使用模块scipy.io的函数loadmat和savemat可以实现Python对mat数据的读写。
label_mat = scipy.io.loadmat('./../data//q3_2_data.mat')
label_train = label_mat['trLb']
print('train_length:', len(label_train))
label_value = label_mat['valLb']
print('val len:', len(label_value))


class ActionDataset(Dataset):
 """Action dataset."""

 def __init__(self, root_dir, labels=[], transform=None):
 """
 Args:
 root_dir (String): 整个数据的路径
 labels(list): 图片标签
 transform(callable, optional): 想要对数据进行的处理函数
 """
 self.root_dir = root_dir
 self.transform = transform
 self.length = len(os.listdir(root_dir))
 self.labels = labels

 def __len__(self): # 该方法只需返回数据的数量
 return self.length * 3 # 每个视频片段都包含了3帧

 def __getitem__(self, idx): # 该方法需要返回一个数据

 folder = idx // 3 + 1
 imidx = idx % 3 + 1
 folder = format(folder, '05d')
 imgname = str(imidx) + '.jpg'
 img_path = os.path.join(self.root_dir, folder, imgname)
 image = Image.open(img_path)

 if len(self.labels) != 0:
 Label = self.labels[idx // 3][0] - 1
 if self.transform: # 如果要先对数据进行预处理，则经过transform函数
 image = self.transform(image)
 if len(self.labels) != 0:
 sample = {'image': image, 'img_path': img_path, 'Label': Label}
 else:
 sample = {'image': image, 'img_path': img_path}
 return sample


image_dataset = ActionDataset(root_dir='./../data//trainClips/', labels=label_train, transform=T.ToTensor())
# torchvision.transforms中定义了非常多对图像的预处理方法，这里使用的ToTensor方法为将0～255的RGB值映射到0～1的Tensor类型。
for i in range(3):
 sample = image_dataset[i]
 print(sample['image'].shape)
 print(sample['Label'])
 print(sample['img_path'])

image_dataloader = DataLoader(image_dataset, batch_size=4,
 shuffle=True, num_workers=0)

for i, sample in enumerate(image_dataloader):
 sample['image'] = sample['image']
 print(i, sample['image'].shape, sample['img_path'], sample['Label'])
 if i > 5:
 break

image_dataset_train = ActionDataset(root_dir='./../data//trainClips//', labels=label_train, transform=T.ToTensor())

image_dataloader_train = DataLoader(image_dataset_train, batch_size=32, shuffle=True, num_workers=0)

image_dataset_val = ActionDataset(root_dir='./..//data//valClips//', labels=label_value, transform=T.ToTensor())

image_dataloader_val = DataLoader(image_dataset_val, batch_size=32, shuffle=False, num_workers=0)

image_dataset_test = ActionDataset(root_dir='./..//data//testClips//', labels=[], transform=T.ToTensor())

image_dataloader_test = DataLoader(image_dataset_test, batch_size=32, shuffle=False, num_workers=0)

dtype = torch.FloatTensor # 这是pytorch所支持的cpu数据类型中的浮点数类型。

print_every = 100 # 这个参数用于控制loss的打印频率，因为我们需要在训练过程中不断的对loss进行检测。


def reset(m): # 这是模型参数的初始化
 if hasattr(m, 'reset_parameters'):
 m.reset_parameters()


class Flatten(nn.Module):
 def forward(self, x):
 N, C, H, W = x.size() # 读取各个维度
 return x.view(N, -1) # -1代表除了特殊声明过以外的全部维度


# torch.nn.Sequential是一个Sequential容器，模块将按照构造函数中传递的顺序添加到模块中。
fixed_model_base = nn.Sequential(
 nn.Conv2d(3, 8, kernel_size=7, stride=1), # 3*64*64 -> 8*58*58
 nn.ReLU(inplace=True),
 nn.MaxPool2d(2, stride=2), # 8*58*58 -> 8*29*29
 nn.Conv2d(8, 16, kernel_size=7, stride=1), # 8*29*29 -> 16*23*23
 nn.ReLU(inplace=True),
 nn.MaxPool2d(2, stride=2), # 16*23*23 -> 16*11*11
 Flatten(),
 nn.ReLU(inplace=True),
 nn.Linear(1936, 10) # 1936 = 16*11*11
)

# 这里模型base.type()方法是设定模型使用的数据类型，之前设定的cpu的Float类型。
# 如果想要在GPU上训练则需要设定cuda版本的Float类型。
fixed_model = fixed_model_base.type(dtype)

x = torch.randn(32, 3, 64, 64).type(dtype)
x_var = Variable(x.type(dtype)) # 需要将其封装为Variable类型。
ans = fixed_model(x_var)

print(np.array(ans.size())) # 检查模型输出
np.array_equal(np.array(ans.size()), np.array([32, 10]))


def train(model, loss_fn, optimizer, dataloader, num_epochs=1):
 for epoch in range(num_epochs):
 print('Starting epoch %d / %d' % (epoch + 1, num_epochs))

 # 在验证集上验证模型效果
 check_accuracy(fixed_model, image_dataloader_val)

 model.train() # 模型的.train()方法让模型进入训练状态，参数保留梯度，dropout层等部分正常工作
 for t, sample in enumerate(dataloader):
 x_var = Variable(sample['image'])
 y_var = Variable(sample['Label'].long()) # 取得对应的标签

 scores = model(x_var) # 得到输出

 loss = loss_fn(scores, y_var) # 计算loss
 if (t + 1) % print_every == 0:
 print('t = %d, loss = %.4f' % (t + 1, loss.item()))

 # 三步更新参数
 optimizer.zero_grad()
 loss.backward()
 optimizer.step()


def check_accuracy(model, loader):
 num_correct = 0
 num_samples = 0

 model.eval() # 模型的.eval()方法切换进入评测模式，对应的dropout等部分将停止工作
 for t, sample in enumerate(loader):
 x_var = Variable(sample['image'])
 y_var = sample['Label']

 scores = model(x_var)
 _, preds = scores.data.max(1) # 找到可能最高的标签作为输出

 num_correct += (preds.numpy() == y_var.numpy()).sum()
 num_samples += preds.size(0)
 acc = float(num_correct) / num_samples
 print('Got %d / %d correct (%.2f)' % (num_correct, num_samples, 100 * acc))


optimizer = torch.optim.RMSprop(fixed_model_base.parameters(), lr=0.0001)

loss_fn = nn.CrossEntropyLoss()

torch.random.manual_seed(54321)
fixed_model.cpu()
fixed_model.apply(reset)
fixed_model.train()
train(fixed_model, loss_fn, optimizer, image_dataloader_train, num_epochs=5)
check_accuracy(fixed_model, image_dataloader_val)


def predict_on_test(model, loader):
 num_correct = 0
 num_samples = 0
 model.eval()
 results = open('results.csv', 'w')
 count = 0
 results.write('Id' + ',' + 'Class' + '\n')
 for t, sample in enumerate(loader):
 x_var = Variable(sample['image'])
 scores = model(x_var)
 _, preds = scores.data.max(1)
 for i in range(len(preds)):
 results.write(str(count) + ',' + str(preds[i]) + '\n')
 count += 1
 results.close()
 return count


count = predict_on_test(fixed_model, image_dataloader_test) # 放入你想要测试的训练集，然后打开文件去看一看结果吧。
print(count)

Gromacs学习

Wed, 27 Apr 2016 00:00:00 +0000

cmake ../gromacs-2022.1/ \-DFFTW_INCLUDE_DIR=$FFTW_LOCATION/include \-DFFTW3F_LIBRARIES=$FFTW_LOCATION/lib/libfftw3.a \-DCMAKE_INSTALL_PREFIX=$(pwd) \-DGMX_Xll=OFF \-DCMAKE_CXX_COMPILER=$MPICCDIR/mpic++ \-DCMAKE_C_COMPILER=$MPICCDIR/mpicc \-DGMX_MPI=ON \-DGMX_PREFER_STATIC_LIBS=ON

去除结构中的结晶水时, 直接删掉PDB文件中与结晶水相关的行(残基为“HOH”的行)即可. 注意, 并不是任何时候都需要进行这个过程(比如对与活性位点结合的水分子就不能去除)

1.准备所需的pdb格式文件 gmx pdb2gmx (从库里下载的pdb文件转成gromacs的坐标)：-f（输入pdb文件）-o（输出gro文件）-p（输出top文件）-i（输出itp文件）-n（输出ndx）-ignh（舍弃H，系统会自动加上）-ter（肽链两端质子化戴帽子）“-water”指定使用的水模型

gmx pdb2gmx -f 1AKI_clean.pdb -o 1AKI_processed.gro -water spce -ignh

2.检查拓扑文件 3.定义单位盒子并填充溶剂定义盒子： gmx editconf的主要功能是对体系结构进行编辑, 也可以将通用结构格式保存或转换为.gro, .g96或.pdb等其他格式. 选项-bt设定盒子类型， triclinic为三斜盒子, cubic为所有边长都相等的长方体盒子(即立方体盒子), dodecahedron代表菱形十二面体盒子(等边十二面体), octahedron为截角八面体盒子(即将两个底面重合的四面体切去方向相反的两头, 同时保证所有的边长相等). 后面两种盒子是三斜盒子的特殊情况. 截角八面体三个盒向量的长度是两个相对六边形之间的最短距离. 相对于具有周期性映象距离的立方盒子, 具有相同周期距离的菱形十二面体盒子的体积是立方盒子的71%, 而截角八面体盒子的体积是立方盒子的77%. -d选项指定体系中的原子到盒子编边界的最小距离. 使用-d选项时, 对三斜盒子会使用体系在x, y和z方向的大小, 对立方盒子, 菱形十二面体盒子或截角八面体盒子, 盒子的大小被设定为体系直径(原子间的最大距离)加上两倍的指定距离. -c选项使分子在盒子中居中

gmx editconf -f 1AKI_processed.gro -o 1AKI_newbox.gro -c -d 1.0 -bt cubic

添加溶剂： gmx solvate能够完成以下两项任务:

创建一个充满溶剂的盒子. 可以通过指定-cs和-box选项来完成. 对具有盒子信息但不含原子的结构文件则可以通过指定-cs和-cp来实现. 将溶质分子, 如蛋白质进行溶剂化, 使其处于溶剂分子的包围之中. -cp和-cs分别用于指定溶质和溶剂. 不设定-box时, 会使用溶质坐标文件(-cp)中的盒子信息. 如果你希望将溶质置于盒子的中心, 可以使用gmx editconf命令, 它有非常多的选项用于改变盒子的规格和使分子居中. 对某一位置, 若溶质分子中任意原子与溶剂分子中任意原子之间的距离小于这两个原子的范德华半径之和, 则会将溶剂分子从盒子中移除. 程序会读取数据文件(vdwradii.dat)中的范德华半径, 并根据-scale选项的设置进行缩放. 若不能在数据文件中找到所需的半径值, 相应的原子将通过-radius来设定(未缩放)距离.

gmx solvate -cp 1AKI_newbox.gro -cs spc216.gro -o 1AKI_solv.gro -p topol.top

4.添加离子 ions.tpr文件是结构/状态文件 ions.mdp设置分子动力学参数： integrator指定算法，steep是最速下降法。emstep是初始步长，默认为0.01。emtol指定当最大力值到1000时停止能量最小化。nsteps指定最大步数，设置为-1时没有上限。 nstlist指定更新邻居列表的频率

; ions.mdp - used as input into grompp to generate ions.tpr
; Parameters describing what to do, when to stop and what to save
integrator = steep ; Algorithm (steep = steepest descent minimization)
emtol = 1000.0 ; Stop minimization when the maximum force < 1000.0 kJ/mol/nm
emstep = 0.01 ; Energy step size
nsteps = 50000 ; Maximum number of (minimization) steps to perform
; Parameters describing how to find the neighbors of each atom and how to calculate the interactions
nstlist = 1 ; Frequency to update the neighbor list and long range forces
cutoff-scheme = Verlet
ns_type = grid ; Method to determine neighbor list (simple, grid)
coulombtype = PME ; Treatment of long range electrostatic interactions
rcoulomb = 1.0 ; Short-range electrostatic cut-off
rvdw = 1.0 ; Short-range Van der Waals cut-off
pbc = xyz ; Periodic Boundary Conditions (yes/no)

gmx grompp生成运行输入文件

gmx grompp -f ions.mdp -c 1AKI_solv.gro -p topol.top -o ions.tpr
gmx genion -s ions.tpr -o 1AKI_solv_ions.gro -p topol.top -pname NA -nname CL -nn 8

填充水分子后：

5.能量最小化参数文件minim.mdp：

; minim.mdp - used as input into grompp to generate em.tpr
integrator = steep ; Algorithm (steep = steepest descent minimization)
emtol = 1000.0 ; Stop minimization when the maximum force < 1000.0 kJ/mol/nm
emstep = 0.01 ; Energy step size
nsteps = 50000 ; Maximum number of (minimization) steps to perform
; Parameters describing how to find the neighbors of each atom and how to calculate the interactions
nstlist = 1 ; Frequency to update the neighbor list and long range forces
cutoff-scheme = Verlet
ns_type = grid ; Method to determine neighbor list (simple, grid)
coulombtype = PME ; Treatment of long range electrostatic interactions
rcoulomb = 1.0 ; Short-range electrostatic cut-off
rvdw = 1.0 ; Short-range Van der Waals cut-off
pbc = xyz ; Periodic Boundary Conditions (yes/no)

gmx grompp -f minim.mdp -c 1AKI_solv_ions.gro -p topol.top -o em.tpr

确保更新了top文件后，执行mdrun能量最小化：

gmx mdrun -v -deffnm em

em.log: ASCII文本的日志文件, 记录了能量最小化过程 em.edr: 二进制能量文件 em.trr: 全精度的二进制轨迹文件 em.gro: 能量最小化后的结构

gmx energy：将能量写入xvg文件并显示均值

6.平衡温度NVT 该步骤用于平衡体系的温度通常情况下, 50 ps到100 ps就足够了, 因此我们进行100 ps的NVT平衡：2*50000=100 ps nvt.mdp： constraint_algorithm = lincs指定了线性约束算法

title = OPLS Lysozyme NVT equilibration
define = -DPOSRES ; position restrain the protein
; Run parameters
integrator = md ; leap-frog integrator
nsteps = 50000 ; 2 * 50000 = 100 ps
dt = 0.002 ; 2 fs
; Output control
nstxout = 500 ; save coordinates every 1.0 ps
nstvout = 500 ; save velocities every 1.0 ps
nstenergy = 500 ; save energies every 1.0 ps
nstlog = 500 ; update log file every 1.0 ps
; Bond parameters
continuation = no ; first dynamics run
constraint_algorithm = lincs ; holonomic constraints
constraints = all-bonds ; all bonds (even heavy atom-H bonds) constrained
lincs_iter = 1 ; accuracy of LINCS
lincs_order = 4 ; also related to accuracy
; Neighborsearching
cutoff-scheme = Verlet
ns_type = grid ; search neighboring grid cells
nstlist = 10 ; 20 fs, largely irrelevant with Verlet
rcoulomb = 1.0 ; short-range electrostatic cutoff (in nm)
rvdw = 1.0 ; short-range van der Waals cutoff (in nm)
; Electrostatics
coulombtype = PME ; Particle Mesh Ewald for long-range electrostatics
pme_order = 4 ; cubic interpolation
fourierspacing = 0.16 ; grid spacing for FFT
; Temperature coupling is on
tcoupl = V-rescale ; modified Berendsen thermostat
tc-grps = Protein Non-Protein ; two coupling groups - more accurate
tau_t = 0.1 0.1 ; time constant, in ps
ref_t = 300 300 ; reference temperature, one for each group, in K
; Pressure coupling is off
pcoupl = no ; no pressure coupling in NVT
; Periodic boundary conditions
pbc = xyz ; 3-D PBC
; Dispersion correction
DispCorr = EnerPres ; account for cut-off vdW scheme
; Velocity generation
gen_vel = yes ; assign velocities from Maxwell distribution
gen_temp = 300 ; temperature for Maxwell distribution
gen_seed = -1 ; generate a random seed

gmx grompp -f nvt.mdp -c em.gro -r em.gro -p topol.top -o nvt.tpr
gmx mdrun -deffnm nvt

7.平衡压力NPT 该步骤用于稳定体系的压力 npt.mdp：

title = OPLS Lysozyme NPT equilibration
define = -DPOSRES ; position restrain the protein
; Run parameters
integrator = md ; leap-frog integrator
nsteps = 50000 ; 2 * 50000 = 100 ps
dt = 0.002 ; 2 fs
; Output control
nstxout = 500 ; save coordinates every 1.0 ps
nstvout = 500 ; save velocities every 1.0 ps
nstenergy = 500 ; save energies every 1.0 ps
nstlog = 500 ; update log file every 1.0 ps
; Bond parameters
continuation = yes ; Restarting after NVT
constraint_algorithm = lincs ; holonomic constraints
constraints = all-bonds ; all bonds (even heavy atom-H bonds) constrained
lincs_iter = 1 ; accuracy of LINCS
lincs_order = 4 ; also related to accuracy
; Neighborsearching
cutoff-scheme = Verlet
ns_type = grid ; search neighboring grid cells
nstlist = 10 ; 20 fs, largely irrelevant with Verlet scheme
rcoulomb = 1.0 ; short-range electrostatic cutoff (in nm)
rvdw = 1.0 ; short-range van der Waals cutoff (in nm)
; Electrostatics
coulombtype = PME ; Particle Mesh Ewald for long-range electrostatics
pme_order = 4 ; cubic interpolation
fourierspacing = 0.16 ; grid spacing for FFT
; Temperature coupling is on
tcoupl = V-rescale ; modified Berendsen thermostat
tc-grps = Protein Non-Protein ; two coupling groups - more accurate
tau_t = 0.1 0.1 ; time constant, in ps
ref_t = 300 300 ; reference temperature, one for each group, in K
; Pressure coupling is on
pcoupl = Parrinello-Rahman ; Pressure coupling on in NPT
pcoupltype = isotropic ; uniform scaling of box vectors
tau_p = 2.0 ; time constant, in ps
ref_p = 1.0 ; reference pressure, in bar
compressibility = 4.5e-5 ; isothermal compressibility of water, bar^-1
refcoord_scaling = com
; Periodic boundary conditions
pbc = xyz ; 3-D PBC
; Dispersion correction
DispCorr = EnerPres ; account for cut-off vdW scheme
; Velocity generation
gen_vel = no ; Velocity generation is off

gmx grompp -f npt.mdp -c nvt.gro -r nvt.gro -t nvt.cpt -p topol.top -o npt.tpr
gmx mdrun -deffnm npt

8.MD 在两个系综平衡完成后，进行MD收集数据，需要进行1ns的MD模拟

执行gmx grompp -f ions.mdp -c rep_solv.gro -p topol.top -o ions.tpr命令出现warning：

在命令后面加 -maxwarn 1 添加抗衡离子，使系统保持电中性

IO流学习

Wed, 27 Apr 2016 00:00:00 +0000

IO技术中包含的序列化和反序列化：

其中把java对象转换成字节序列的过程称为对象的序列化（作用：1.持久化 2.网络通信）

把字节序列恢复为java对象的过程称为对象的反序列化

IO技术中的装饰器模式，不同于继承，装饰器模式额外构建了一个装饰器，而需要添加额外的方法时直接继承装饰器来添加方法，可以实现对原有类的包装和装饰，使新的类具有更强的功能，比如给一辆普通的车来添加会飞或会潜水抑或两者同时存在的功能，使之在不改变原结构的同时实现更强的功能。IO流中的BufferedInputStream就是装饰了原有的FileInputStream，使之具备了缓存功能，提高了效率。

FileUtils和IOUtils两者的常用方法：

其中FileUtils中常使用的方法有copy方法来实现文件的拷贝，size方法用来返回文件或目录的大小，write方法将字符串内容直接写入到文件中

其中IOUtils中常用的方法有buffer方法：将传入的流进行包装，变成缓冲流，并可以通过参数指定缓冲大小，copy方法：将输入流中的内容拷贝到输出流中，并可以指定字符编码，read方法将输入流中的部分内容读入到字节数组中，readLine方法读入输入流内容中的一行，toString方法将输入流或数组中的内容转换为字符串，write方法向流里面写入内容。

IO流思维导图

pytorch-经典CNN-视频分帧动画分类

Wed, 27 Apr 2016 00:00:00 +0000

算法使用经典的卷积神经网络，实现对动画片段分为三帧并进行分类。算法IDE：Pycharm 语言：Python 工具：Pytorch(CPU)

import torch
import torch.nn as nn
import torch.optim as optim
from torch.autograd import Variable
from torch.utils.data import DataLoader, sampler, Dataset
import torchvision.datasets as dset
import torchvision.transforms as T
import timeit
from PIL import Image
import os
import numpy as np
import scipy.io
import torchvision.models.inception as inception

# 很多数据集都是mat格式的标注信息，使用模块scipy.io的函数loadmat和savemat可以实现Python对mat数据的读写。
label_mat = scipy.io.loadmat('./../data//q3_2_data.mat')
label_train = label_mat['trLb']
print('train_length:', len(label_train))
label_value = label_mat['valLb']
print('val len:', len(label_value))


class ActionDataset(Dataset):
 """Action dataset."""

 def __init__(self, root_dir, labels=[], transform=None):
 """
 Args:
 root_dir (String): 整个数据的路径
 labels(list): 图片标签
 transform(callable, optional): 想要对数据进行的处理函数
 """
 self.root_dir = root_dir
 self.transform = transform
 self.length = len(os.listdir(root_dir))
 self.labels = labels

 def __len__(self): # 该方法只需返回数据的数量
 return self.length * 3 # 每个视频片段都包含了3帧

 def __getitem__(self, idx): # 该方法需要返回一个数据

 folder = idx // 3 + 1
 imidx = idx % 3 + 1
 folder = format(folder, '05d')
 imgname = str(imidx) + '.jpg'
 img_path = os.path.join(self.root_dir, folder, imgname)
 image = Image.open(img_path)

 if len(self.labels) != 0:
 Label = self.labels[idx // 3][0] - 1
 if self.transform: # 如果要先对数据进行预处理，则经过transform函数
 image = self.transform(image)
 if len(self.labels) != 0:
 sample = {'image': image, 'img_path': img_path, 'Label': Label}
 else:
 sample = {'image': image, 'img_path': img_path}
 return sample


image_dataset = ActionDataset(root_dir='./../data//trainClips/', labels=label_train, transform=T.ToTensor())
# torchvision.transforms中定义了非常多对图像的预处理方法，这里使用的ToTensor方法为将0～255的RGB值映射到0～1的Tensor类型。
for i in range(3):
 sample = image_dataset[i]
 print(sample['image'].shape)
 print(sample['Label'])
 print(sample['img_path'])

image_dataloader = DataLoader(image_dataset, batch_size=4,
 shuffle=True, num_workers=0)

for i, sample in enumerate(image_dataloader):
 sample['image'] = sample['image']
 print(i, sample['image'].shape, sample['img_path'], sample['Label'])
 if i > 5:
 break

image_dataset_train = ActionDataset(root_dir='./../data//trainClips//', labels=label_train, transform=T.ToTensor())

image_dataloader_train = DataLoader(image_dataset_train, batch_size=32, shuffle=True, num_workers=0)

image_dataset_val = ActionDataset(root_dir='./..//data//valClips//', labels=label_value, transform=T.ToTensor())

image_dataloader_val = DataLoader(image_dataset_val, batch_size=32, shuffle=False, num_workers=0)

image_dataset_test = ActionDataset(root_dir='./..//data//testClips//', labels=[], transform=T.ToTensor())

image_dataloader_test = DataLoader(image_dataset_test, batch_size=32, shuffle=False, num_workers=0)

dtype = torch.FloatTensor # 这是pytorch所支持的cpu数据类型中的浮点数类型。

print_every = 100 # 这个参数用于控制loss的打印频率，因为我们需要在训练过程中不断的对loss进行检测。


def reset(m): # 这是模型参数的初始化
 if hasattr(m, 'reset_parameters'):
 m.reset_parameters()


class Flatten(nn.Module):
 def forward(self, x):
 N, C, H, W = x.size() # 读取各个维度
 return x.view(N, -1) # -1代表除了特殊声明过以外的全部维度


# torch.nn.Sequential是一个Sequential容器，模块将按照构造函数中传递的顺序添加到模块中。
fixed_model_base = nn.Sequential(
 nn.Conv2d(3, 8, kernel_size=7, stride=1), # 3*64*64 -> 8*58*58
 nn.ReLU(inplace=True),
 nn.MaxPool2d(2, stride=2), # 8*58*58 -> 8*29*29
 nn.Conv2d(8, 16, kernel_size=7, stride=1), # 8*29*29 -> 16*23*23
 nn.ReLU(inplace=True),
 nn.MaxPool2d(2, stride=2), # 16*23*23 -> 16*11*11
 Flatten(),
 nn.ReLU(inplace=True),
 nn.Linear(1936, 10) # 1936 = 16*11*11
)

# 这里模型base.type()方法是设定模型使用的数据类型，之前设定的cpu的Float类型。
# 如果想要在GPU上训练则需要设定cuda版本的Float类型。
fixed_model = fixed_model_base.type(dtype)

x = torch.randn(32, 3, 64, 64).type(dtype)
x_var = Variable(x.type(dtype)) # 需要将其封装为Variable类型。
ans = fixed_model(x_var)

print(np.array(ans.size())) # 检查模型输出
np.array_equal(np.array(ans.size()), np.array([32, 10]))


def train(model, loss_fn, optimizer, dataloader, num_epochs=1):
 for epoch in range(num_epochs):
 print('Starting epoch %d / %d' % (epoch + 1, num_epochs))

 # 在验证集上验证模型效果
 check_accuracy(fixed_model, image_dataloader_val)

 model.train() # 模型的.train()方法让模型进入训练状态，参数保留梯度，dropout层等部分正常工作
 for t, sample in enumerate(dataloader):
 x_var = Variable(sample['image'])
 y_var = Variable(sample['Label'].long()) # 取得对应的标签

 scores = model(x_var) # 得到输出

 loss = loss_fn(scores, y_var) # 计算loss
 if (t + 1) % print_every == 0:
 print('t = %d, loss = %.4f' % (t + 1, loss.item()))

 # 三步更新参数
 optimizer.zero_grad()
 loss.backward()
 optimizer.step()


def check_accuracy(model, loader):
 num_correct = 0
 num_samples = 0

 model.eval() # 模型的.eval()方法切换进入评测模式，对应的dropout等部分将停止工作
 for t, sample in enumerate(loader):
 x_var = Variable(sample['image'])
 y_var = sample['Label']

 scores = model(x_var)
 _, preds = scores.data.max(1) # 找到可能最高的标签作为输出

 num_correct += (preds.numpy() == y_var.numpy()).sum()
 num_samples += preds.size(0)
 acc = float(num_correct) / num_samples
 print('Got %d / %d correct (%.2f)' % (num_correct, num_samples, 100 * acc))


optimizer = torch.optim.RMSprop(fixed_model_base.parameters(), lr=0.0001)

loss_fn = nn.CrossEntropyLoss()

torch.random.manual_seed(54321)
fixed_model.cpu()
fixed_model.apply(reset)
fixed_model.train()
train(fixed_model, loss_fn, optimizer, image_dataloader_train, num_epochs=5)
check_accuracy(fixed_model, image_dataloader_val)


def predict_on_test(model, loader):
 num_correct = 0
 num_samples = 0
 model.eval()
 results = open('results.csv', 'w')
 count = 0
 results.write('Id' + ',' + 'Class' + '\n')
 for t, sample in enumerate(loader):
 x_var = Variable(sample['image'])
 scores = model(x_var)
 _, preds = scores.data.max(1)
 for i in range(len(preds)):
 results.write(str(count) + ',' + str(preds[i]) + '\n')
 count += 1
 results.close()
 return count


count = predict_on_test(fixed_model, image_dataloader_test) # 放入你想要测试的训练集，然后打开文件去看一看结果吧。
print(count)

ThermoNet————点突变_3D-CNN预测

Wed, 27 Apr 2016 00:00:00 +0000

局限性：训练集受实验衍生的不稳定突变支配，并且机器学习方法易于过度拟合训练集

ThermoNet：一个基于深度3D-CNN的计算框架，用于预测单点突变时的∆∆Gs（ΔΔG为变化的吉布斯自由能）。 • 假设单点突变对蛋白质结构的整体结构产生的扰动可以忽略不计 • 条件：等位基因的3D结构是已确定的（实验确定或同源建模）通过将蛋白质结构视为3D图像并对野生型结构和相应突变结构模型的突变位点周围的空间进行体素化来提取预测特征每个体素用七个预定义的规则进行参数化堆叠特征图以创建大小为[16，16，16，14]的张量作为十个深度3D-CNN的训练集的输入每个分量3D-CNN模型由分别具有16、24和32个神经元的三个3D卷积层和一个24个神经元的密集连接层

体素7个性质值： GitHub存储库中提供了一个从突变列表创建输入张量的Python程序，网址为https://github.com/gersteinlab/ThermoNet。

总结：首先获得蛋白质的三维结构，然后经过Rosetta处理分别得到细化后的野生型结构和点突变结构，将突变结构处以突变点为中心添加16埃的3D体素网格，并根据七个理化性质（疏水性、芳香性、氢键给体、氢键受体、正离子、负离子、占有）得到七个161616的体素网格，将七个组合成为[16，16，16，7]的特征图，点突变结构同理。堆叠两个161616*7的特征图得到[16，16，16，14]张量。将其用作卷积神经网络的输入。卷积层有三层，分别包含16，24，32个神经元。压平卷积层的输出，使其转化为密集连接层的输入，经过24层的密集连接层输出由点突变引起的相对野生型结构预测的ΔΔG。实验参数通过五层交叉验证调整。

数据集问题：数据泄露——训练集中包含与测试集中同源蛋白质，会出现数据泄露。（mCSM和INPS解决） ThermoNet解决数据集问题：删除重复的数据点和裁剪蛋白质同源性水平（∆∆G的非对称性质扩增数据）数据集地址：https://github.com/gersteinlab/ThermoNet

更稳定的蛋白质，意味着更高比例的蛋白质处于折叠形式，具有更负的∆G值。

参考文献： Li B, Yang YT, Capra JA, Gerstein MB. Predicting changes in protein thermodynamic stability upon point mutation with deep 3D convolutional neural networks. PLoS Comput Biol. 2020 Nov 30;16(11):e1008291. doi: 10.1371/journal.pcbi.1008291. PMID: 33253214; PMCID: PMC7728386.

WSL2出现“参考的对象类型不支持尝试的操作”的解决方法

Wed, 27 Apr 2016 00:00:00 +0000

前言最近用wsl2老是提示“参考的对象类型不支持尝试的操作”，搜索了下收集了两种解决方案。解决 1、临时方法管理员身份执行

netsh winsock reset

2、永久方法下载此工具

http://file2.happyjava.cn/NoLsp.exe

管理员运行

.\NoLsp.exe C:\windows\system32\wsl.exe

从Uniprot中批量获取PDB结构

Wed, 27 Apr 2016 00:00:00 +0000

Get PDB脚本源于Github中： https://github.com/Wang-Lin-boop/GetPDB

安装脚本和Julia运行库

git clone https://github.com/Wang-Lin-boop/GetPDB
cd GetPDB
echo "alias GetPDB=${PWD}/GetPDB" >> ~/.bashrc
chmod +x GetPDB
cd ..
wget https://julialang-s3.julialang.org/bin/linux/x64/1.5/julia-1.5.3-linux-x86_64.tar.gz
tar zxvf julia-1.5.3-linux-x86_64.tar.gz
cd julia-1.5.3/bin
echo "export PATH=${PWD}:\$PATH" >> ~/.bashrc
source ~/.bashrc
julia
]add BioStructures # in Julia REPL
exit()

Get PDB用法

Usage: GetPDB [OPTION] <parameter>
Example: GetPDB -i Uniprot_list -w -o Uniprot-PDB -n 10 -p -r
Input parameter:
-i Your Uniprotlist file.
-b Your PDBlib, optional.
-n The Max number of CPU threads available for this job, default is 4.
-l An index for Uniprot, such as "pdb_chain_uniprot.csv".
This file can be download at https://www.ebi.ac.uk/pdbe/docs/sifts/quick.html
OR you can use -w download its latest version automatic.
-w Use -w instead of -l unless you know what you're doing.
Output parameter:
-o Processed PDB files will store in this Path, default is Uniprot-PDB.
-d A dir to store some list of Uniprot-PDBID-Chainid info, defult is Uniprot-info-list.
-p Output a Representative chain per Uniprot's PDB Entry. Such as PXXXXX:XXXX_A/B, only XXXX_A will be output. Defult is false.
-r Each sequence interval preserves only one representative structure. Defult is false.
Such as P00000:XXXX_A:27-213 and P00000:ZZZZ_A:27-213, only one of them will be saved.

获取蛋白质PDB结构首先需要将基因名转换为蛋白质

在Uniprot的检索页中批量检索基因集，下载表格数据并提取其中的蛋白质ID信息

在Uniprot_List_entry中存放基因对应的蛋白质名，文件本身及蛋白质ID不需要添加前后缀

批量获取Uniprot中的AlphaFold数据库存储的蛋白质PDB结构

for i in `cat Uniprot_List_entry`; do mkdir ${i}; wget -q -N -O ./${i}/${i}.pdb https://alphafold.ebi.ac.uk/files/AF-${i}-F1-model_v1.pdb; done

批量获取Uniprot中的源于PDB数据库中的蛋白质PDB结构或晶体CIF结构

GetPDB -i Uniprot_List_entry -w -o PDBbyUS -n 10

将图片背景延伸

Wed, 27 Apr 2016 00:00:00 +0000

导入图片，点击裁剪工具。

用鼠标直接将画布拉长，按下回车键。

在左侧选择矩形选框工具。

直接框选背景。

Ctrl+J复制图层，ctrl+T移动图层

点云预测亲和力

Wed, 27 Apr 2016 00:00:00 +0000

首先使用Python和Openbabel对PDBBind数据进行处理产生点云数据
进一步提升数据处理的性能，使用C++加速点云产生
为了对比Python和C++的速度，使用了高通量分子动力学框架HTMD体素化方法、Pafnucy的预处理方法和分子描述法IFPScore和PSH(Persistent Spectral Hypergraph)
测试了PointNet、PointTransformer和不同深度卷积网络的计算时间，不同的样本数量被用于每个预测，其中Pafnucy(20)，ResAtom(5)，PointNet(5,24)，PointTransformer(5)

Python用于读文件

C语言用于体素化进程

在HTMD中网格为15、25、35埃

Pafnucy方法和其他方法作为分子描述器，均用Python编写

数据预处理：

训练集：PDBbind-2016包含4057个蛋白配体复合物。核心集作为测试集，剩余的3772条数据作为训练集和验证集为了测试模型在更大数据集中的性能，结合了精炼集和通用集作为扩展数据集

Openbabel、Pymol

预处理规则：

① 删除肽配体（590）

② 删除包含共价键配体的条目（379）

③ 删除不完整配体（481）

④ 分离测试集和训练集

⑤ 获取扩展集（11327 data）

⑥ 转换点云前，溶剂、金属、离子被剔除

不同原子贡献：

① 七种原子类型通道：氢、碳、氮、氧、磷、硫、卤素

② 原子样本从1024增加到2048

③ 精炼集和扩展集的理化性质，包含芳香性、杂原子、极性氢、非极性氢、氢键接收、氢键发出作为额外的通道进行训练

神经网络架构：

通过点云的旋转增加点云数量（24次）平台架构：Intel Xeon Gold 6248、Tesla V100S 32G双精度优化器：SGD Lr：0.001 for refined、0.003 for extended Loss Function：SmoothL1Loss PointNet和PointTransformer的测试集：CAST-2016 模型性能指标：Person相关系数、斯皮尔曼相关系数、均方根误差、均值绝对误差测试模型：Kdeep、Pafnucy、DeepAtom、APMNet、PSH-GBT、TopBP（complex）

PointTransformer特征

XGBoost：从22个模型中选择10个在验证集中表现好的模型

一个PointTransformer可以产生512条特征

总特征维数为 10（XGBoost）* 512（PointTransformer） = 10*512

重复训练30次

训练集PDBbind-2007、PDBbind-2013和PDBbind-2016分别包含110530、276430、3772*30个特征

XGBoost构建模型、sklearn’ RandomizedSearchCV寻找超参数

训练100次计算平均和标准偏差

Download this article

点突变的相关知识

Wed, 27 Apr 2016 00:00:00 +0000

点突变（point mutation）是基因突变的一种类型，表示储存遗传信息的DNA序列或RNA序列中有一个碱基或是一个核苷酸发生变化，通常有两种情况：一种碱基或核苷酸被另一种碱基或核苷酸所替换；一个碱基的插入或缺失。例如你原本的DNA序列有一段是TTC，一个核苷酸突变让序列变成TTT或TCC或ATC，就属于点突变。

按照突变之后的功能，可以将点突变分成三个类型：无义突变（nonsense mutation）：使原本翻译为氨基酸的密码变成停止密码，例如TTC变成ATC。错义突变（missense mutation）：使密码所对应的氨基酸改变，例如TTC变成TCC。沉默突变（silent mutation）：密码改变但对应的氨基酸不变，例如TTC变成TTT。

1959年，Ernst Freese创造了术语“转换”和“颠换”来描述不同类型的点突变。转换：嘌呤替换另一种嘌呤，或者嘧啶替换另一种嘧啶。颠换：嘌呤替换嘧啶，或者嘧啶替换嘌呤。转换突变的发生率通常在颠换突变的十倍以上。

包埋在蛋白质内部，中性或亲水氨基酸的突变前后结构变化小，SWISS-MODEL预测的平均M-RMSD<1埃，较为准确。而暴露在蛋白表面，非极性氨基酸的突变易于发生主链结构变化，SWISS-MODEL预测结果与真实偏差较大

共进化信息：假如两个氨基酸在空间中靠的比较近，那么在进化过程中，它们就可能会同时进化，这种现象叫共进化。

突变体和野生型的结构的能量差异小于折叠后蛋白质的稳定性，并且大多数突变导致的结构变化相对较小

社区发现算法——Louvain

Wed, 27 Apr 2016 00:00:00 +0000

社区结构是社交网络的一个重要特征，通常定义为具有紧密联系的一组节点。社区内的节点连接紧密，即内聚性强；社区之间连接较为松散，即耦合度弱。社区发现算法从原理上可分为分离和聚合两类。

Louvain算法：聚合法，是使用优化模块度的方法以提高社区划分效率的方法。模块度Q：社区内节点的连边数与随机情况下的边数之差。

Louvain算法流程： 1.将图中的每个节点看成一个独立的社区，社区的数目与节点的数目相同。 2.对于每个节点i，依次尝试把i分配到其每个邻居节点所在的社区，计算分配前与分配后的模块度增益（∆Q ），并记录∆Q最大的邻居节点；如果max∆Q>0，则把节点i分配到∆Q最大的邻居节点所在的社区，否则保持不变。 3.重复2，直到所有节点的所属社区不再变化。 4.对图进行压缩，将所有在同一个社区的节点压缩成一个新节点，原社区内节点之间的边的权重转化为新节点的权重，原社区间的边权重重转化为新节点间的边权重。如图：

5.重复上述步骤，直到整个图的模块度不发生变化。

Q的计算公式：

其中，A_ij 表示节点i和节点j之间边的权重，k_j 表示所有和节点j连接的边的权重之和，k_i 表示所有和节点i连接的边的权重之和。c_i 表示节点i所属的社区，当节点i和节点j在同一个社区时，δ(c_i,c_j)为0，否则为1。随机情况下，节点i和节点j的期望连接权重为k_i×k_j/2m，A_ij−(k_i k_j)/2m 为节点i和j实际连接权重与期望连接权重之差。

模块增益度∆Q的计算公式：

公式2前半部分表示将节点i加入到社区c后的模块度；后半部分表示加入节点i之前，社区c和节点i作为一个独立社区时，二者的模块度之和。两者相减为模块度的增益。

蛋白质3D建模

Wed, 27 Apr 2016 00:00:00 +0000

TBM：template-based methods 基于模板的方法 MSA：multiple sequence alignment 多序列比对 MD：Molecule Dynamics 分子动力学 MC：Monte Carlo 蒙特卡洛 GA：Genetic Algriothm 遗传算法 TFM：template-free modeling 无模板建模虽然TBM通常能得到准确的模型，但对于理解蛋白质折叠的物理化学原理起不到帮助作用。 MSA能够帮助同源建模获得更多的准确性和效率，同源建模往往选用序列一致性高于25%的蛋白。

同源建模流程： 1.输入序列

2.模板搜索该步骤将输入序列与已知数据库序列进行比对（使用BLAST或者FASTA等）

3.模板选择

4.目标模板比对分为两部分：一部分为与模板对齐良好，另一部分为与模板没有对齐。

5.建模与模板对齐的区域，使用模板的3D结构信息构建结构。 (1) 使用对齐区域模板拼接建模（COMPOSER、3D-JIGSAW、SWISS-MODEL） (2) 为目标生成基于对齐模板区域的约束，该约束包含立体化学约束（MODELLER） (3) 以碳原子Ca为例的原子坐标子集被当作指导位置，首先通过搜索，然后从已知蛋白质结构中拟合出最适合的片段当某一区域的结构信息缺失时， (1) 片段搜索库。通过长度、二级结构和其他几何约束，并使用RMSD和刚体碰撞数作为评价适合度的指标 (2) 在所有的可能片段构象中进行构象搜索。方法包含MD模拟、MC模拟、GA算法

6.侧链添加从有限的侧链构象中补全蛋白质结构

7.细化用于提升由建模方法得到的模型质量

8.质量评估

当很难找到对齐模板时，通过迭代比较建模并不再出现提升时为止。当没有蛋白质同源结构时，采用基于片段的方法构建

方法之一：根据螺旋和链含量的百分比，可以将蛋白质分为五种结构类： 1.全alpha蛋白 2.全beta蛋白 3.alpha+beta蛋白 4.alpha/beta蛋白 5.不规则蛋白 SCOP和CATH是用于结构类注释的两个数据库 Jad等人假设为：在目标位置选择片段时，如果来自蛋白质结构的片段属于目标预测的相同结构类，则能够提供更好的片段。如果不属于任何的结构类，则使用蛋白质二级结构字典（DSSP）进行近似

基于片段的方法需要回答的问题： 1.序列中某个位置的片段代表数 2.这些片段的长度 3.片段库创建所用的评分策略 4.库中蛋白片段的表示 5.数据库选择策略

使用同源建模时，序列中的未对齐的模板使用基于片段的方法构建