Kafka-Eagle 是一款国产Kafka监控软件，总体上还是挺不错的。这里介绍如何安装它。 下载 Kafka-Eagle从官网下载，地址为：http://download.kafka-eagle.org/ 选择 Direct File Download 安装 Kafka-Eagle可以参考官网教程进行安装，教程地址，https://www.kafka-eagle.org/articles/docs/documentation.html，选择对应的系统类型。 这里给出自己安装的步骤以及需要注意的点。 1234tar -xzf kafka-eagle-bin-2.0.0.tar.gzcd kafka-eagle-bin-2.0.0tar -xzf kafka-eagle-web-2.0.0-bin.tar.gzmv kafka-eagle-web-2.0.0 ../kafka-eagle-web 这里很奇怪，为什么解压后还要有一个压缩，搞不懂！ 记录下，kafka-eagle-web的目录，我这里是 1/home/jinzhongxu/kafka-eagle-web/ 配置 k ...

youtube-dl 能够方便的下载网页视频，虽然不是所有网站视频都可以下载，但已经能够覆盖很多网站。这里介绍一下如何使用youtube-dl有效下载视频。 安装youtube-dl1pip install youtube-dl --upgrade 配置代理如果使用了代理，可以使用如下配置 1234# 打开本地配置文件vim .bashrc# 添加如下内容alias youtube-dl = "youtube-dl --no-check-certificate --proxy socks5://127.0.0.1:1080" 列出有哪些格式视频123youtube-dl --list-formats https://www.yyy.com/video/BV1TW411g7Tf/# 或者youtube-dl -F https://www.yyy.com/video/BV1TW411g7Tf/ 下载指定格式视频和音频1youtube-dl -f22+140 https://www.yyy.com/video/BV1TW411g7Tf/ 下载所有格式视频1yo ...

Plotly是一家技术计算公司，总部位于魁北克省的蒙特利尔市，致力于开发在线数据分析和可视化工具。Plotly为个人和协作提供了在线图形，分析和统计工具，以及用于Python，R，MATLAB，Perl，Julia，Arduino和REST的科学图形库。本篇介绍的就是其 Python 画图库plotly，常常在jupyterlab使用plotly进行离线画图时总是出现图形不显示的问题。因为plotly画出的图形比matplotlib更加好看且有交互性，同时，matplotlib画的图形也可以使用plotly转化为同态交互图。所以，希望能够使用plotly画图，并能够在常用软件jupyterlab中使用。 安装plotly推荐使用pip安装最新的plotly， 1pip install plotly jupyterlab使用plotly在jupyterlab中使用plotly需要安装一些支持扩展，其中 jupyterlab-plotly@ 需要根据最新的plotly版本对应，参考网址Python\Getting Started with Plotly 1pip install ip ...

Redis 是一款内存型高性能的key-value的No-SQL数据库，性能高，比较受欢迎。下面介绍一下再Ubuntu 18.04系统上编译安装 redis 稳定版本（次版本）的方法，并配置如何开机自启以及查看运行情况命令。 下载redisredis的最新稳定版本6.0.5可以从其官网下载，这里根据公司需求，要下载次稳定版本，就是下载6.0.4，下面介绍如何下载。在下载官网页面下，找到 How to verify files for integrity，点击GitHub repository 的 redis-hashes ，最下面的倒数第二行就是次稳定版本的链接：http://download.redis.io/releases/redis-6.0.4.tar.gz 使用命令下载： 1wget http://download.redis.io/releases/redis-6.0.4.tar.gz 安装redis如下安装就是参考官网方法： 123tar -xzf redis-6.0.4.tar.gzcd redis-6.0.4make 此时，就已经编译好redis，可以使用了 ...

Zabbix 在 Ubuntu14.04 上使用会收到一些限制，特别是，在本地集群，无法连接互联网时，安装可能会遇到一些坑，下面简单记录一下，并给出解决方案 参考官网安装教程 下载 wget https://repo.zabbix.com/zabbix/5.0/ubuntu/pool/main/z/zabbix-release/zabbix-release_5.0-1+trusty_all.deb 拷贝 zabbix-release_5.0-1+bionic_all.deb 到需要安装 zabbix server 和 zabbix agent 的Ubuntu14.04服务器上 安装 zabbix-server方法如下：(注意，以root身份运行，它会自动创建zabbix用户和zabbix用户组，无家目录)，假设安装zabbix-server服务器的IP=1.1.1.0 1234567891011121314151617181920212223242526272829dpkg -i zabbix-release_5.0-1+bionic_all.debapt updat ...

Linux 系统可以通过命令行，有效简便快捷的启动程序、设置开机自启的程序等，并且，往往有多个命令可以达到这一效果。但是，需要我们了解这些命令并知悉它们之间的区别，下面主要简单的总结一下，本篇所有命令以 root 身份运行。 启动程序命令/etc/init.d/appname常用方法： 1234567891011# 查看 ssh 服务状态/etc/init.d/ssh status # 启动 ssh 服务/etc/init.d/ssh start# 关闭 ssh 服务/etc/init.d/ssh stop# 重启 ssh 服务/etc/init.d/ssh restart /etc/init.d/ 其实是一个目录，里面存放的都是系统启动时需要运行或关闭的命令，这些命令常常通过软连接，连接到各级启动级别的文件夹中，如 /etc/rc3.d/，通过下面介绍的命令 update-rc.d 和 systemctl 可以设置开机启动或关闭。 service常用方法： 1234567891011# ...

Windows 系统Windows 系统查看网卡的 Mac 地址方法打开 CMD，输入 123ipconfig /all# 或者getmac 找到物理地址 Windows 系统查看硬盘序列号的方法打开 CMD，输入 1wmic diskdrive get serialnumber 打开 power shell， 输入 1Get-PhysicalDisk 查看序列号 Windows 系统初始安装日期Win + r 打开运行 1cmd /k systeminfo | find "初始安装日期" Ubuntu 系统Ubuntu 系统查看网卡的 Mac 地址方法打开终端，输入 1ifconfig 找到所使用网卡的 ether 或者直接输入 1sudo lshw -c network | grep serial | head -n 1 获得正在使用的网卡的 Mac 地址 Ubuntu 系统查看硬盘的序列号图形界面方式在 Ubuntu 桌面版中，搜索 disk，打开，找到所使用硬盘的 Serial Number 命令行方式123456sudo apt upd ...

Zabbix 是一款开源免费的企业级监控软件，原作者是 Alexei Vladishev，编程语言是C（Server 端）和PHP（frontend），跨平台，可以用于集群网络监控、管理系统等。下面简单记录一下Zabbix服务的安装和利用Zabbix监控Linux服务器。服务器采用Ubuntu 18.04，把Zabbix Server 安装在box0，负责监控box1和box2等 安装Zabbix访问网址：Zabbix ，选择Install from Packages 选择系统（Choose your platform）这里选择 ZABBIX VERSION: 5.0 LTS, OS DISTRIBUTION: Ubuntu, OS VERSION: 18.04 (Bionic), DATABASE: MySQL, WEB SERVER: Apache 安装Zabbix 服务（Install and configure Zabbix server for your platform）注意：所有命令以 root 身份运行 安装Zabbix仓库（Install Zabbix repos ...

机器学习是实现人工智能的一种有效方法，当构建好模型后，需要使用优化器迭代学习模型参数，常用的有随机梯度下降法（SGD）和 Adam，下面总结一下各种的优缺点，并介绍一点优化器的演变过程。 随机梯度下降法 SGDSGD 是一种梯度下降算法，为什么叫做随机梯度下降呢，因为每次迭代都是随机选择一个样本，计算损失函数沿着负梯度方向求极小值，而梯度下降算法是将所有样本计算损失函数的平均，然后再计算损失函数沿着负梯度方向求极小值，通过链式法则一层一层依据梯度下降方向来更新模型参数。 SGD 的计算公式如下（与梯度下降算法相同）：$$\Delta \theta_t = - \alpha \times g_t.$$这里，$\alpha$ 是学习率或步长，$g_t$ 是梯度方向，$\Delta \theta_t$ 是损失函数优化量，包含了优化迭代的方向和步长。优化变量公式如下：$$x = x + \Delta \theta_t.$$ SGD 的缺点如下： 容易陷入局部极值（这是梯度下降算法的通病，因为复杂模型的损失函数一般都不是凸函数，具有多局部极值） 遇到鞍点，模型无法更新参 ...

Python 是一个非常优秀的编程语言，特别是在数据科学和人工智能领域。对于从事人工智能，尤其是深度学习方向研究的科研人员、学生及其他爱好者来说，Python 是一款神器，这主要是归功于 Python 的各种功能包，如 Numpy, Sympy, Matplotlib, Pandas, Scikit-learn, Tensorflow, Pytorch 等，那么如何有效的管理（安装、删除、更新升级、降级到特定版本等）这些包非常的重要。 Python 常用的包管理工具有 Pip 和 Conda 等。 Pip 是标准的 Python 包管理系统，用于安装和管理由 Python 编写的软件包，大多数包能够从默认的包及其依赖项源（PyPI, Python Package Index）中找到。 Conda 是一个多功能软件包管理软件，它不仅可以管理 Python 包，也可以管理 R 语言包等，因实际使用中发现 Pip 安装包是总是出现不兼容，安装包失败问题，所以建议使用 Conda 来管理 Python 包。同时，建议使用 Miniconda 或 Ananconda 来安装 Python 和 ...

在机器学习实践中，经常会遇到对数据进行标准化、归一化等，那它与数学中的标准化、归一化、单位化有什么区别呢，python 包中如何实现这些标准化、归一化（或叫正则化）、单位化计算呢，还有哪些类似的计算方法呢，对于已知的数据集我该采用哪种标准化或归一化或单位化方法呢？这些问题一直是每一个机器学习从业者或学生们在实际工作中遇到的问题，而且网络上很多都介绍的不是很清晰，这里进行一个总结，以飨读者。 标准化、归一化、单位化的区别标准化 (Standardization)首先看到标准化使我想起在概率论中对随机变量 $\xi$ 的标准化$$z = \frac{\xi - \mu}{\sigma}.$$这里，$\mu$ 是随机变量 $\xi$ 的均值，$\sigma$ 是标准差。它也叫做 $z$-score，多翻译为标准分数（standard score）。 经过变换后，随机变量 $z$ 就是标准差为 1 的随机变量，因此，也可以叫做标准差归一化。需要注意的是，因为标准差的计算公式是使 $\xi - \mu$ 和 $\sigma$ 具有相同的量纲，所以， $z$ 是一个没有量纲的随机变量 ...