在使用 Python 进行科学技术、深度学习模型训练与推断时，为了结果可复现，我们尝尝需要设置固定的随机种子，而不是采用非自定义的随机种子。本篇介绍对常用的包（numpy, random, torch）设置随机种子，保证计算结果可复现。 1234567891011121314151617181920import randomimport numpy as npimport torchdef setup_seed(seed=33): """ 设置随机种子函数，采用固定的随机种子使得结果可复现 seed：种子值，int """ torch.manual_seed(seed) # 为CPU设置随机种子 torch.cuda.manual_seed_all(seed) # 为所有GPU设置随机种子 np.random.seed(seed) # numpy 设置随机种子 random.seed(seed) # random 设置随机种子 # torch.backends.cudn ...

Jupyter notebook 非常方便撰写 Python 代码和 Markdown，但是，当运行输出结果较多时，导致再次打开该 .ipynb 文件非常耗时，甚至因输出结果太大而打开失败。本篇介绍如何在 shell 上以命令行的方式清空 .ipynb 的所有输出结果，方便快速打开 .ipynb 文件在 Jupyter lab 或者 Jupyter notebook 中。 清空所有输出12# 清空 notebook.ipynb 的所有 cell 输出结果，只保留代码和 Markdownjupyter nbconvert --ClearOutputPreprocessor.enabled=True --inplace notebook.ipynb 参考文献 How to Clear Jupyter Notebooks Output in All Cells from the Linux Terminal

Windows 系统上安装 Linux 子系统 wsl(Windows Subsystem for Linux) 能够非常方便的在 Windows 系统上使用 Linux 的边界命令。重要的是 wsl 非常轻量，比 docker、VMware Workstation、VMware Fusion、VirtualBox、QEMU 等都使用更少的资源，且 wsl 是 Windows 自家开发，与 Windows 融合度更高。 安装前准备安装 wsl 需要事先打开某些功能选项，默认 windows 是将这些功能处于关闭状态。打开方法如下： 按下键盘上的 Windows 图标，打开搜索； 搜索：control，打开控制面板； 搜索：启动或关闭windows功能； 打开 启动或关闭windows功能，勾选：1，适用于 Linux 的 Windows 子系统，2，虚拟机平台; 确定，重启主机。 安装打开终端，输入如下命令安装 12345678910111213141516171819202122# 打开帮助wsl --help# 设置版本，默认有2个版本，1和2，1是使用和主机相同的IP地址 ...

本篇介绍几个使用 Linux 终端命令查看域名 IP 地址的方法，所有命令都是在 Ubuntu 上测试，以普通用户运行。 pingping 命令通过向网络主机（某域名或某 IP）发送 ICMP ECHO_REQUEST 数据包来测试网络的联通性。当 ping 的对象是某域名时，能够返回该域名的 IP 地址。 1ping arxiv.org -c 3 结果 1234PING arxiv.org (128.84.21.199) 56(84) bytes of data.--- arxiv.org ping statistics ---3 packets transmitted, 0 received, 100% packet loss, time 2029ms fpingfping 命令类似 ping，也是通过向网络主机（某域名或某 IP）发送 ICMP ECHO_REQUEST 数据包来测试网络的联通性。与 ping 不同的是 fping 能够同时指定任意多个网络主机（域名或 IP） 安装1sudo apt update && sudo apt install fp ...

本篇介绍一种限制 Ubuntu 网卡带宽的方法。 安装12sudo apt updatesudo apt install wondershaper 使用12345# 限制网卡 eno1 的带宽，下载速度为 200kb/s，上传速度为 24kb/ssudo wondershaper eno1 2000 240# 取消网卡限速sudo wondershaper clear eno1 参考文献 Ubuntu 网络限速 Wondershaper在Ubuntu中限制网卡速度带宽

当一个压缩包比较大的时候，如何快速知道里面的文件名称，本篇介绍 Linux 上查看压缩包内文件名称的方法。 rar 压缩包123rar v archive.rarunrar l archive.rar zip 压缩包12345zip -sf archive.zipunzip -l archive.zipzipinfo archive.zip 参考文献 Linux下查看压缩文件内容的 10 种方法

PyTorch 迁移学习实例。使用 resnet 模型框架在 cifar10 数据集上进行模型迁移学习。 导入依赖包123456789101112import copyimport osfrom datetime import datetimeimport matplotlib.pyplot as pltimport numpy as npimport torchimport torch.optim as optimimport visdomfrom torch import nnfrom torch.utils.data import DataLoaderfrom torchvision import datasets, models, transforms 12torch.manual_seed(33)device = torch.device("cuda" if torch.cuda.is_available() else "cpu") 数据读取与预处理操作数据结构数如下： $ tree -L 2 /disk1/ ...

PyTorch 模型保存与再训练，基于 MNIST 数据集。 导入依赖包123456789import osimport matplotlib.pyplot as pltimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optimimport torchvisionfrom torch.utils.data import DataLoader 加载数据123456789n_epochs = 10batch_size_train = 128batch_size_test = 1000learning_rate = 0.01momentum = 0.5log_interval = 20torch.manual_seed(33)device = torch.device("cuda:1" if torch.cuda.is_available() else "cpu")device device(type='cu ...

Linux 系统上的文件或文件夹的安全（永久）删除常用的方法有 shred, wipe 和 srm，下面对其进行介绍。 shred 重写覆盖删除文件安装 12sudo apt updatesudo apt install shred 使用 12# 删除文件 filepath.txt shred -uvz -n 5 filepath.txt 其中，各参数含义： u 覆盖后截断并删除文件 v 显示进度 z 最后一次用0覆盖，以隐藏覆盖操作 n 指定覆盖文件内容的次数，默认是3 更多参数及解释请使用命令 man shred 查看 该方法只能覆盖重写删除文件，无法处理文件夹。 wipe 永久删除磁存储器的文件和文件夹安装 12sudo apt updatesudo apt install wipe 使用 1wipe -rfi dirpath 其中，各参数含义： r 递归子目录 f 强制删除，不用确认 i 显示进度 更多参数及解释请使用命令 man wipe 查看 该方法只能删除磁存储器，对于固态硬盘需要使用其他方法，如下面的方法。 srm 安全删除文件和文件夹安装 12sudo a ...

PyTorch 图像分类，数据集采用内置的 MNIST. 加载数据集12345678910111213import matplotlib.pyplot as pltimport numpy as npimport torchimport torchvisionimport visdomfrom torch import nnfrom torch.utils.data import DataLoaderfrom torchvision import transformstorch.manual_seed(33)device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")device device(type='cuda', index=0) 12345678910111213train_ds = torchvision.datasets.MNIST( "/workspace/disk1/datasets/", ...

PyTorch 多层感知机，数据集来自：nivedithabhandary/HR-Analytics 数据预处理12345678import matplotlib.pyplot as pltimport numpy as npimport pandas as pdimport torchfrom sklearn.model_selection import train_test_splitfrom torch.utils.data import TensorDatasettorch.manual_seed(33) <torch._C.Generator at 0x7fabe84e8e90> 1path = "/workspace/disk1/datasets/scalar/HR_comma_sep.csv" 12data = pd.read_csv(path)data.head(3) .dataframe tbody tr th:only-of-type { vertical-align: ...