分类目录归档:技术笔记

查找文件所属 rpm 安装包的方法

我来介绍几种在 RPM 系统中查找文件所属包的方法:

  1. 对于已安装的文件,使用 rpm -qf 命令:

    rpm -qf /path/to/file
  2. 使用 dnf provides 命令(适用于已安装或未安装的文件):

    dnf provides /path/to/file
  3. 使用 yum provides 命令(与 dnf provides 类似):

    yum provides /path/to/file

举个实际例子:

# 比如要查找 ls 命令属于哪个包
rpm -qf /bin/ls
# 输出: coreutils-8.32-30.el9.x86_64

# 或者使用 dnf
dnf provides /bin/ls

几点说明:

  • rpm -qf 只能查询已经安装的文件
  • dnf providesyum provides 可以查询未安装的文件
  • 如果不确定文件的完整路径,可以使用通配符,如:
    dnf provides */ls

这些命令在系统维护和故障排查时非常有用,特别是当需要知道某个文件来自哪个软件包时。

Kubespray 部署生产级 k8s 集群

kubespray 是基于 ansible 开发的一套 K8s 生命周期管理软件,由 k8s 官方 sig 维护。

遇到问题多读文档,搞清楚命令意味着什么再操作。

部署方法

获取部署程序

# 从 kubespray 官方仓库拉取
git clone --depth=1 https://github.com/kubernetes-sigs/kubespray.git
# 切换到 v2.26.0 版本,不同版本对应支持不同 k8s 版本,根据需要切换
git checkout v2.26.0

# 进入部署程序目录
cd kubespray

# 创建 python 虚拟环境,激活,并安装依赖
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r  requirements.txt

定义部署节点信息

# 从集群配置模板拷贝一份
cp -rfp inventory/sample inventory/mycluster

# 定义节点 IP 清单,将 IP 更换为自己节点的 IP
declare -a IPS=(10.10.1.3 10.10.1.4 10.10.1.5)
CONFIG_FILE=inventory/mycluster/hosts.yaml python3 contrib/inventory_builder/inventory.py ${IPS[@]}

# 根据需要调整节点角色
inventory/mycluster/hosts.yaml

执行以上命令后会在生成一份节点角色清单在 inventory/mycluster/hosts.yaml 路径下,可以根据需要调整,如调整希望作为 master 的节点、运行 etcd 的节点、作为 worker 的节点等。

定义部署 集群信息

根据需要配置集群:

  • inventory/mycluster/group_vars/all/*.yml
  • inventory/mycluster/group_vars/k8s-cluster/*.yml

可以定义部署的 K8s 版本、使用的容器运行时、CNI、Ingress 等内容,具体看注释。

开始部署

# 可选,清理旧集群,若怀疑有残留可以运行这个清理,也可跳过
ansible-playbook -i inventory/mycluster/hosts.yaml  --become --become-user=root reset.yml

# 开始部署
ansible-playbook -i inventory/mycluster/hosts.yaml  --become --become-user=root cluster.yml

若调整了集群配置,重新运行部署即可。

reset.yml 亦可用于销毁集群,谨慎操作.

扩容

扩容貌似再次执行一次部署命令也可,也可运行例如下面的命令,供参考。

ansible-playbook \
  -i inventory/mycluster/inventory.ini \
  --private-key=id_rsa \
  --user=root -b \
  scale.yml

缩容

使用以下命令运行 remote-node.yml 即可,将 node 变量指向希望移除的节点,命令供参考。

ansible-playbook \
  -i inventory/mycluster/inventory.ini \
  --private-key=id_rsa \
  --user=ubuntu -b \
  --extra-vars "node=node1,node2" \
  remove-node.yml

--extra-vars 里写要移出的节点名列表,如果节点已经卡死,无法通过 SSH 登录,可以在 --extra-vars 加个 reset_nodes=false 的选项,跳过第二个步骤。

References

#Kubernetes #Kubespray

OpenWRT 软件源整理

软件源整理

官方镜像站

  1. OpenWRT官方下载站点
  • URL: https://downloads.openwrt.org/
  • 这是 OpenWRT的主站点,提供所有官方版本的固件和软件包。该站点是获取最新稳定版、开发版(snapshot)和历史版本的主要来源。
  1. OpenWRT官方GitHub仓库
  • URL: https://github.com/openwrt/openwrt
  • 虽然主要用于代码存储和开发,但也提供了一些资源和文档链接。

国内镜像站

  1. 清华大学开源软件镜像站
  • URL: https://mirrors.tuna.tsinghua.edu.cn/openwrt
  • 提供了OpenWRT各个版本的镜像,非常稳定和快速。
  1. 中科大开源镜像站
  • URL: https://mirrors.ustc.edu.cn/openwrt
  • 也是一个非常可靠的镜像源,提供OpenWRT的各个版本。
  1. 阿里云开源镜像站
  • URL: https://mirrors.aliyun.com/openwrt
  • 提供稳定的OpenWRT镜像下载服务。
  1. 重庆大学开源镜像站
  • URL: https://mirrors.cqu.edu.cn/openwrt/
  • 同样是一个可以选择的国内镜像源。
  1. 南京大学开源镜像站
  • URL: https://mirror.nju.edu.cn/openwrt/
  • 提供了OpenWRT的多版本支持。
  1. 上海交通大学开源镜像站
  • URL: https://mirror.sjtu.edu.cn/openwrt/
  • 提供稳定的开源软件镜像服务。
  1. 兰州大学开源镜像站
  • URL: https://mirror.lzu.edu.cn/openwrt/
  • 提供多个开源项目的镜像下载。界面有点意思。
  1. 浙江大学开源镜像站
  • URL: https://mirrors.zju.edu.cn/openwrt/
  • 提供多种开源软件项目的镜像。

个人镜像站

  1. OpenWRT.AI软件仓库:
  • URL: https://dl.openwrt.ai/
  • Kiddin9的自建软件仓库,目前只支持OpenWRT 23.05版本。

如何选择和使用镜像站

在OpenWRT路由器上配置官方软件源通常不需要额外操作,因为默认情况下,OpenWRT已经配置了官方软件源。只需运行opkg update命令以确保软件包列表是最新的。

要使用这些镜像源,您需要修改OpenWRT路由器上的,可以查看 /etc/opkg/customfeeds.conf 文件,确保根据您所使用的OpenWRT版本和设备架构进行正确配置。

配置示例

src/gz openwrt_core https://mirror.bjtu.edu.cn/openwrt/releases/
<version>/targets/<target>/packages
src/gz openwrt_base https://mirror.bjtu.edu.cn/openwrt/releases/
<version>/packages/<architecture>/base
src/gz openwrt_luci https://mirror.bjtu.edu.cn/openwrt/releases/
<version>/packages/<architecture>/luci
src/gz openwrt_packages https://mirror.bjtu.edu.cn/openwrt/releases/
<version>/packages/<architecture>/packages
src/gz openwrt_routing https://mirror.bjtu.edu.cn/openwrt/releases/
<version>/packages/<architecture>/routing
src/gz openwrt_telephony https://mirror.bjtu.edu.cn/openwrt/releases/
<version>/packages/<architecture>/telephony

将上述内容中的https://mirror.bjtu.edu.cn/openwrt/替换为你想要使用的OpenWRT软件源地址,同时注意后面的`

`为版本号,需要修改为你OpenWRT的版本号,“ 为系统架构,需要修改为你对应的系统架构,例如`X86_64` #### 命令行替换方法 或者通过命令行方式进行修改,格式为`s,[原来的软件源地址],[替换的软件源地址],g` “`plain sed -e ‘s,https://downloads.openwrt.org,https://mirror.bjtu.edu.cn/openwrt,g’ \ -e ‘s,https://downloads.openwrt.org,https://mirror.bjtu.edu.cn/openwrt,g’ \ -i.bak /etc/opkg/customfeeds.conf “` Plain text 替换完成后通过`opkg update`进行更新。 #### 注意事项 OpenWRT官方版软件源并不一定完全匹配第三方定植后的固件,例如esir、Leon大佬等定制的固件,可能存在库不全或兼容问题。同时官方版本软件源提供的`k-mod-*.ipk` 软件包也可能存在无法直接安装的情况。 如果你是一个新手,或者只想将OpenWRT系统配置起来养老,那么推荐使用[ImmortalWRT](https://github.com/immortalwrt/immortalwrt),在软件源支持方面可能会更好一些,同时也可以自定义配置国内软件源[immoralwrt-opkg-replace-edu-mirror](https://www.dolingou.com/article/immoralwrt-opkg-replace-edu-mirror) ## References * [🖥️OpenWRT 软件源整理](https://www.dolingou.com/article/Compilation-of-OpenWRT-Software-Sources)

镜像操作神器 skopeo 用法总结

skopeo 是一个命令行工具,可对容器镜像和容器存储进行操作。 在没有dockerd的环境下,使用 skopeo 操作镜像是非常方便的。

安装

包管理器

# RHEL / CentOS Stream ≥ 8
sudo dnf install skopeo

# RHEL/CentOS ≤ 7.x
yum install skopeo

# openSUSE:
sudo zypper install skopeo

# alpine:
sudo apk add skopeo

# macOS:
brew install skopeo

# ArchLinux
sudo pacman -S skopeo

其他系统见 安装文档

编译安装

git clone https://github.com/containers/skopeo skopeo
cd !$
git checkout v1.0.0
make binary-static DISABLE_CGO=1
cp skopeo /usr/local/bin/

使用

在使用 skopeo 之前,我们首先要知道在命令行中镜像的格式

需要注意的是,这几种镜像的名字,对应着镜像存在的方式,不同存在的方式对镜像的 layer 处理的方式也不一样,比如 docker:// 这种方式是存在 registry 上的,docker-daemon: 是存在本地 docker pull 下来的,再比如 docker-archive 是通过 docker save 出来的镜像。同一个镜像有这几种存在的方式就像水有气体、液体、固体一样。可以这样去理解,他们表述的都是同一个镜像,只不过是存在的方式不一样而已。

IMAGE NAMES example
containers-storage: containers-storage:
dir: dir:/PATH
docker:// docker://k8s.gcr.io/kube-apiserver:v1.17.5
docker-daemon: docker-daemon:alpine:latest
docker-archive: docker-archive:alpine.tar (docker save)
oci: oci:alpine:latest

命令选项

# skopeo --help
NAME:
   skopeo - Various operations with container images and container image registries

USAGE:
   skopeo [global options] command [command options] [arguments...]

VERSION:
   0.1.37

COMMANDS:
     copy               Copy an IMAGE-NAME from one location to another
     inspect            Inspect image IMAGE-NAME
     delete             Delete image IMAGE-NAME
     manifest-digest    Compute a manifest digest of a file
     standalone-sign    Create a signature using local files
     standalone-verify  Verify a signature using local files
     help, h            Shows a list of commands or help for one command

GLOBAL OPTIONS:
   --debug                  enable debug output
   --policy value           Path to a trust policy file
   --insecure-policy        run the tool without any policy check
   --registries.d DIR       use registry configuration files in DIR (e.g. for container signature storage)
   --override-arch ARCH     use ARCH instead of the architecture of the machine for choosing images
   --override-os OS         use OS instead of the running OS for choosing images
   --command-timeout value  timeout for the command execution (default: 0s)
   --help, -h               show help
   --version, -v            print the version

可以看到 skopeo 的功能很简单:

  • copy:复制一个镜像从 A 到 B,这里的 A 和 B 可以为本地 docker 镜像或者 registry 上的镜像。
  • inspect:查看一个镜像的 manifest 火车 image config 详细信息
  • delete:删除一个镜像,可以是本地 docker 镜像或者 registry 上的镜像
  • list-tags:列出一个 registry 上某个镜像的所有 tag
  • login:登录到某个 registry,和 docker login 类似
  • logout: 退出已经登录到某个 registry 的 auth 信息,和 docker logout 类似
  • manifest-digeststandalone-signstandalone-verify 这三个用的不多
  • sync:同步一个镜像从 A 到 B,感觉和 copy 一样,但 sync 支持的参数更多,功能更强大

获取镜像的信息

skopeo 可以在不用下载镜像的情况下,获取镜像信息

# skopeo inspect docker://docker.io/centos
{
    "Name": "docker.io/library/centos",
    "Digest": "sha256:fe8d824220415eed5477b63addf40fb06c3b049404242b31982106ac204f6700",
    "RepoTags": [
        "5.11",
        "5",
        "6.10",
        "6.6",
        "6.7",
        "6.8",
        "6.9",
        "6",
        "7.0.1406",
        "7.1.1503",
        "7.2.1511",
        "7.3.1611",
        "7.4.1708",
        "7.5.1804",
        "7.6.1810",
        "7.7.1908",
        "7",
        "8.1.1911",
        "8",
        "centos5.11",
        "centos5",
        "centos6.10",
        "centos6.6",
        "centos6.7",
        "centos6.8",
        "centos6.9",
        "centos6",
        "centos7.0.1406",
        "centos7.1.1503",
        "centos7.2.1511",
        "centos7.3.1611",
        "centos7.4.1708",
        "centos7.5.1804",
        "centos7.6.1810",
        "centos7.7.1908",
        "centos7",
        "centos8.1.1911",
        "centos8",
        "latest"
    ],
    "Created": "2020-01-18T00:26:46.850750902Z",
    "DockerVersion": "18.06.1-ce",
    "Labels": {
        "org.label-schema.build-date": "20200114",
        "org.label-schema.license": "GPLv2",
        "org.label-schema.name": "CentOS Base Image",
        "org.label-schema.schema-version": "1.0",
        "org.label-schema.vendor": "CentOS",
        "org.opencontainers.image.created": "2020-01-14 00:00:00-08:00",
        "org.opencontainers.image.licenses": "GPL-2.0-only",
        "org.opencontainers.image.title": "CentOS Base Image",
        "org.opencontainers.image.vendor": "CentOS"
    },
    "Architecture": "amd64",
    "Os": "linux",
    "Layers": [
        "sha256:8a29a15cefaeccf6545f7ecf11298f9672d2f0cdaf9e357a95133ac3ad3e1f07"
    ]
}

docker://: 是使用 Docker Registry HTTP API V2 进行连接远端 docker.io: 远程仓库 centos: 镜像名称

也可以获取本地dockerd的镜像信息

# skopeo inspect docker-daemon:ubuntu:latest
{
    "Name": "docker.io/library/ubuntu",
    "Digest": "sha256:004d05bd520c5c386fb8322d6081f4de567a9417e1ba8e5071663d7811992c88",
    "RepoTags": [],
    "Created": "2020-03-20T19:20:22.835345724Z",
    "DockerVersion": "18.09.7",
    "Labels": null,
    "Architecture": "amd64",
    "Os": "linux",
    "Layers": [
        "sha256:c8be1b8f4d60d99c281fc2db75e0f56df42a83ad2f0b091621ce19357e19d853",
        "sha256:977183d4e9995d9cd5ffdfc0f29e911ec9de777bcb0f507895daa1068477f76f",
        "sha256:6597da2e2e52f4d438ad49a14ca79324f130a9ea08745505aa174a8db51cb79d",
        "sha256:16542a8fc3be1bfaff6ed1daa7922e7c3b47b6c3a8d98b7fca58b9517bb99b75"
    ]
}

docker-daemon: docker守护镜像的镜像 ubuntu:latest: 本地镜像的名称

拷贝镜像

注意一下,这里的 location 就是指的上面提到的 IMAGE NAMES ,也就是说 skopeo copy src dest 可以有 6*6=36 种组合!比如我可以将一个镜像从一个 registry 复制到另一个 registry,skopeo copy docker://IMAGE_NAME docker://IMAGE_NAME,再强调一遍,一定要注意 IMAGE_NAME 的命名的格式。

在不使用 docker 的情况下从远端下载镜像

# skopeo --insecure-policy copy docker://nginx:1.17.6 docker-archive:/tmp/nginx.tar
Getting image source signatures
Copying blob 8ec398bc0356 done
Copying blob 465560073b6f done
Copying blob f473f9fd0a8c done
Copying config f7bb5701a3 done
Writing manifest to image destination
Storing signatures
# ls -alh  /tmp/nginx.tar 
-rw-r--r-- 1 root root 125M 4月  13 15:22 /tmp/nginx.tar

--insecure-policy: 用于忽略安全策略配置文件 docker://nginx:1.17.6: 该命令将会直接通过 http 下载目标镜像 docker-archive: 存储为 /tmp/nginx.tar,此文件可以直接通过 docker load 命令导入

相应的,可以将下载的文件导入到本地

# skopeo copy docker-archive:/tmp/nginx.tar docker-daemon:nginx:latest
Getting image source signatures
Copying blob 556c5fb0d91b done
Copying blob 49434cc20e95 done
Copying blob 75248c0d5438 done
Copying config f7bb5701a3 done
Writing manifest to image destination
Storing signatures

# docker images nginx
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
nginx               latest              f7bb5701a33c        3 months ago        126MB

也可以将镜像下载到指定目录

# skopeo copy docker://busybox:latest dir:/tmp/busybox
Getting image source signatures
Copying blob 0669b0daf1fb done
Copying config 83aa35aa1c done
Writing manifest to image destination
Storing signatures

# ls -alh /tmp/busybox/
总用量 760K
drwxr-xr-x   2 root root  186 4月  13 15:26 .
drwxrwxrwt. 12 root root 4.0K 4月  13 15:25 ..
-rw-r--r--   1 root root 743K 4月  13 15:26 0669b0daf1fba90642d105f3bc2c94365c5282155a33cc65ac946347a90d90d1
-rw-r--r--   1 root root 1.5K 4月  13 15:26 83aa35aa1c79e4b6957e018da6e322bfca92bf3b4696a211b42502543c242d6f
-rw-r--r--   1 root root  527 4月  13 15:26 manifest.json
-rw-r--r--   1 root root   33 4月  13 15:25 version

或者从指定目录导入到本地

# skopeo copy dir:/tmp/busybox docker-daemon:busybox:latest
Getting image source signatures
Copying blob 0669b0daf1fb done
Copying config 83aa35aa1c done
Writing manifest to image destination
Storing signatures
# docker images busybox
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
busybox             latest              83aa35aa1c79        4 weeks ago         1.22MB

其他命令

skopeo --debug copy docker-archive:/dev/stdin containers-storage:foo < /tmp/nginx.tar

删除镜像

skopeo delete docker://localhost:5000/nginx:latest

认证文件

认证文件默认存放在 $HOME/.docker/config.json

文件内容

{
    "auths": {
        "myregistrydomain.com:5000": {
            "auth": "dGVzdHVzZXI6dGVzdHBhc3N3b3Jk",
            "email": "stuf@ex.cm"
        }
    }
}

其他参数

# 跳过源地址的 tls
skopeo copy docker://192.168.25.8:5000/library/registry:latest  oci-archive:registry-latest.tar --src-tls-verify=false

# 跳过验证 tls
skopeo list-tags --tls-verify=false docker://dockerio.vkvmsg1.skybyte.me/library/registry
# 注意这里 dockerio 的顶级镜像自行补全 library 前缀

References

#Docker #Containerd #Kubernetes

开源项目管理软件对比总结

以下是 Kanboard、Wekan、Taiga、OpenProject 和 Redmine 这五个软件的对比表格:

功能/属性 Kanboard Wekan Taiga OpenProject Redmine
软件类型 项目管理 项目管理 项目管理及敏捷开发 项目管理及协作 项目管理
开源
界面语言 多语言支持 多语言支持 多语言支持 多语言支持 多语言支持
主要功能 看板、任务管理、时间跟踪 看板、任务管理 敏捷管理、Scrum、Kanban 甘特图、时间跟踪、资源管理 问题跟踪、甘特图、日历
安装方式 自托管、Docker 自托管、Docker 自托管、云托管、Docker 自托管、云托管、Docker 自托管、云托管、Docker
集成功能 少量插件、API API、与其他系统集成 GitHub、GitLab、Slack 等 多种插件、API 丰富的插件与API支持
适用团队规模 小型到中型 小型到中型 中型到大型,可扩展 小型到大型 小型到大型
界面友好性 简单直观 简单直观 现代但稍复杂 功能丰富但可能更复杂 简单直观,但界面略显陈旧
社区活跃度 中等
移动应用支持 第三方应用或网页 无官方移动应用 无官方移动应用
特别支持功能 强调简单性和看板视图 实时协作和活动流 支持敏捷项目管理流程 适合多种项目管理方法 自定义字段、复杂权限管理

Redmine 是一个久经考验的项目管理和问题跟踪工具,以其强大的可扩展性和插件系统而著称。它适合那些需要高度定制化和强大问题跟踪功能的团队。

Linux 使用 rinetd 实现端口转发重定向

工具介绍

linux 下简单好用的工具 rinetd,实现端口映射 / 转发 / 重定向。

用于有效地将连接从一个 IP 地址 / 端口组合重定向到另一 IP 地址 / 端口组合。在操作虚拟服务器、防火墙等时很有用。

Rinetd 是单一过程的服务器,它处理任何数量的连接到在配置文件 etc/rinetd 中指定的地址 / 端口对。尽管 rinetd 使用非闭锁 I/O 运行作为一个单一过程,它可能重定向很多连接而不对这台机器增加额外的负担。

官网地址:http://www.boutell.com/rinetd

软件安装

方法一:压缩包

wget http://www.boutell.com/rinetd/http/rinetd.tar.gz
tar zxvf rinetd.tar.gz
make
make install

方法二:apt-get

apt-cache search rinetd
apt-get install rinetd -y

软件配置

配置文件格式:

[Source Address] [Source Port] [Destination Address] [Destination Port]
源地址 源端口 目的地址 目的端口

在每一单独的行中指定每个要转发的端口。源地址和目的地址都可以是主机名或 IP 地址,IP 地址 0.0.0.0 将 rinetd 绑定到任何可用的本地 IP 地址上。

例如:

vi /etc/rinetd.conf
0.0.0.0 8080 172.19.94.3 8080
0.0.0.0 2222 192.168.0.103 3389
1.2.3.4 80     192.168.0.10 80

说明一下(0.0.0.0 表示本机绑定所有可用地址)

  • 将所有发往本机 8080 端口的请求转发到 172.19.94.3 的 8080 端口
  • 将所有发往本机 2222 端口的请求转发到 192.168.0.103 的 3389 端口
  • 将所有发往 1.2.3.4 的 80 端口请求转发到 192.168.0.10 的 80 端口

使用 systemd 管理:

systemctl status rinetd

注意事项

  1. rinetd.conf 中绑定的本机端口必须没有被其它程序占用。
  2. 运行 rinetd 的系统防火墙应该打开绑定的本机端口。

例如:

-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 1111 -jACCEPT
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp -p tcp --dport 2222 -jACCEPT

References

mysql bin 日志过大处理方法

我来帮您解决 MySQL binlog 文件占用空间过大的问题。以下是几个处理方案:

  1. 清理旧的 binlog 文件
    
    -- 查看当前的 binlog 文件列表
    SHOW BINARY LOGS;

— 手动删除指定日期之前的 binlog PURGE BINARY LOGS BEFORE DATE_SUB(NOW(), INTERVAL 7 DAY);

— 或者删除指定文件之前的所有日志 PURGE BINARY LOGS TO ‘mysql-bin.000123’;


2. **设置 binlog 自动清理策略**
```sql
-- 设置 binlog 保留天数(比如保留7天)
SET GLOBAL expire_logs_days = 7;

-- MySQL 8.0之后使用以下命令
SET GLOBAL binlog_expire_logs_seconds = 604800; -- 7天 = 7*24*60*60秒
  1. 修改配置文件优化my.cnfmy.ini 中添加:
    
    # 设置 binlog 过期时间(天)
    expire_logs_days = 7

MySQL 8.0+ 使用

binlog_expire_logs_seconds = 604800

设置单个 binlog 文件的最大值(默认1G)

max_binlog_size = 100M



建议采取的步骤:

1. 首先备份重要数据
2. 检查是否真的需要 binlog(如果不需要复制功能,可以考虑关闭)
3. 设置合理的过期时间
4. 定期监控 binlog 空间使用情况

注意事项:
- 清理前确保相关的从库已经同步完成
- 不要删除正在使用的 binlog 文件
- 建议在业务低峰期进行清理
- 可以考虑将 binlog 存放在独立的大容量磁盘上

如果您只是临时需要清理空间,使用 `PURGE BINARY LOGS` 是最快的方法。但从长远来看,建议同时设置自动过期策略,避免再次出现空间占用过大的情况。

# References
* [Mysql binlog日志太多,占用大量磁盘空间该如何正确处理](https://www.cnblogs.com/yanling-coder/p/12733096.html)

#MySQL

Kubernetes 使用 Kubectl 重启 Pod 的多种方法

大家可能都知道 kubectl 其实没有 restart pod 这个命令,这个主要是由于在 k8spod 的管理属于 rs 等控制器,并不需要运维手动维护,但有时候,我们修改了 configmap 的配置文件后,希望重启 pod 加载配置,此时就需要 “重启” Pod。这里说的“重启”是加了引号的,准确地来说,是重建 pod,给用户的感觉是重启。

下面介绍六种 k8s 里面重启 pod 的方式

方法一:kubectl rollout restart

这个命令是比较推荐的,通过

kubectl rollout restart deployment 
<deployment_name> -n <namespace>

便可以重建这个deployment下的 pod,和滚动升级类似,并不会一次性杀死Pod,比较平滑。

方法二:kubectl scale

这种方法相对来说,比较粗放,我们可以先将副本调成 0

kubectl scale deployment <deployment name> -n <namespace> --replicas=0

然后再改回目的副本数

kubectl scale deployment <deployment name> -n <namespace> --replicas=10

但这个会中断服务。但两条命令也能解决,下面介绍的就更直接了。

方法三: kubectl delete pod

这个就不解释了

kubectl delete pod 
<pod_name> -n <namespace>

还是多说一句,此时优雅删除的效果还是有的。再多说一句,直接删 rs 效果也挺好。

方法四:kubectl replace

这种方法是通过更新 Pod ,从触发 k8s pod 的更新

kubectl get pod 
<pod_name> -n <namespace> -o yaml | kubectl replace --force -f -

方法五:kubectl set env

通过 设置环境变量,其实也是更新 pod spec 从而触发滚动升级。

kubectl set env deployment <deployment name> -n <namespace> DEPLOY_DATE="$(date)"

只不过这里通过 kubectl 命令行,当我们通过 API 更新 pod spec 后一样会触发滚动升级

方法六: kill 1

这种方法就是在容器里面 kill 1 号进程。

kubectl exec -it 
<pod_name> -c <container_name> --/bin/sh -c "kill 1"

但是但是但是,重要的话说三遍,它有个局限,必须要求你的 1 号进程要 捕获 TERM 信号,否则在容器里面是杀不死自己的.

References

#Kubernetes

使用 earlyoom 提前终止 Linux 高内存占用进程

当我在服务器上运行一个不太重要的进程时,它的内存使用量会随实际情况不断发生变化,当它的内存超过某个阈值时,我想要 kill 掉它并重启该进程。为了满足我这个需求,我了解到了 earlyoom 这个程序。

earlyoom 是一个用于 Linux 的内存不足 (OOM) 守护进程。它在系统内存和交换空间不足时提前终止内存占用最大的进程,从而避免系统陷入完全无响应的状态。它的全称是 “Early OOM Daemon”,其中 OOM 代表 “Out Of Memory”。本文将介绍 earlyoom 的安装、配置和使用方法。

什么是 earlyoom?

在 Linux 系统中,默认的 OOM 机制只有在内存和交换空间完全耗尽后才会触发,这通常会导致系统变得非常缓慢甚至完全无响应。earlyoom 的设计初衷是通过更早地检测内存和交换空间不足的情况,提前终止高内存占用的进程,从而保持系统的响应速度。

earlyoom 每秒最多检查 10 次内存和交换空间的使用情况。如果可用内存和可用交换空间均低于 10%,则终止内存占用最大的进程。这个阈值可以通过命令行参数进行配置。

earlyoom 的主要功能和特点

  1. 监控内存使用情况:earlyoom 会持续监控系统的可用内存和交换内存。通过定期检查内存使用情况,它能够在内存过低时及时采取措施。
  2. 主动释放内存:当系统内存降至预设的阈值以下时,earlyoom 会主动终止内存占用最高的进程。这比传统的 Linux 内核 OOM 杀手更早地介入,减少系统变得完全无响应的风险。
  3. 可配置性:用户可以通过命令行参数或配置文件自定义 earlyoom 的行为,包括设定内存和交换内存的阈值,选择是否终止内存占用最高的进程或是直接重启系统。
  4. 轻量级和高效:earlyoom 设计为一个轻量级的守护进程,占用系统资源非常少,适合在各种环境下运行。
  5. 日志和通知:earlyoom 会记录所有的内存监控和进程终止操作,并可以配置为在内存过低时发送通知,方便管理员及时了解系统状态。

earlyoom 的使用场景

  1. 避免系统冻结:在 Linux 系统中,当内存资源耗尽时,内核的 OOM (Out of Memory) Killer 会启动,尝试释放内存。默认情况下,OOM Killer 会在系统内存极度不足时才启动,这可能导致系统变得非常缓慢或完全无响应,用户无法进行操作。earlyoom 通过在内存和交换空间较低时更早地杀死进程,防止系统冻结,提高系统的稳定性和响应性。
  2. 提高系统的可用性:对于一些关键的服务器或应用场景,确保系统的稳定性至关重要。earlyoom 可以在内存紧张之前采取措施,避免系统进入不可操作的状态,尤其是在资源使用高峰期。
  3. 开发和测试环境:在开发和测试环境中,可能会出现由于内存泄漏或其他原因导致内存迅速耗尽的情况。使用 earlyoom 可以模拟和测试系统在低内存条件下的表现,确保应用程序能够在这些条件下稳定运行。

如何安装 earlyoom

从源码编译

首先,克隆 earlyoom 的 GitHub 仓库并进入项目目录:

git clone https://github.com/rfjakob/earlyoom.git
cd earlyoom

然后,编译项目:

make

可选:运行集成的自测试:

make test

最后,使用 systemdinit.dearlyoom 注册为系统服务:

sudo make install              # systemd
sudo make install-initscript   # non-systemd

使用包管理器安装

Debian 和 Ubuntu

对于 Debian 10+ 和 Ubuntu 18.04+,可以直接安装 earlyoom 包:

sudo apt install earlyoom

Fedora 和 RHEL 8

对于 Fedora 和 RHEL 8(需要 EPEL):

sudo dnf install earlyoom
sudo systemctl enable --now earlyoom

Arch Linux

对于 Arch Linux:

sudo pacman -S earlyoom
sudo systemctl enable --now earlyoom

其他发行版的安装方法请参阅 repology 页面

如何使用 earlyoom

启动 earlyoom 可执行文件:

./earlyoom

它会显示内存和交换空间的使用情况,并在内存和交换空间不足时终止进程。以下是一个示例输出:

earlyoom v1.8
mem total: 23890 MiB, user mem total: 21701 MiB, swap total: 8191 MiB
sending SIGTERM when mem avail <= 10.00% and swap free <= 10.00%,
        SIGKILL when mem avail <=  5.00% and swap free <=  5.00%
mem avail: 20012 of 21701 MiB (92.22%), swap free: 5251 of 8191 MiB (64.11%)
mem avail: 20031 of 21721 MiB (92.22%), swap free: 5251 of 8191 MiB (64.11%)
mem avail: 20033 of 21723 MiB (92.22%), swap free: 5251 of 8191 MiB (64.11%)
[...]

命令行选项

earlyoom 支持多种命令行选项,以下是常用选项的说明:

earlyoom v1.8
Usage: ./earlyoom [OPTION]...

  -m PERCENT[,KILL_PERCENT] 设置可用内存最小百分比 (默认 10%)。
                            低于此值发送 SIGTERM 信号,低于 KILL_PERCENT 时发送 SIGKILL 信号 (默认 PERCENT/2)。
  -s PERCENT[,KILL_PERCENT] 设置可用交换空间最小百分比 (默认 10%)。
  -M SIZE[,KILL_SIZE]       设置可用内存最小值 (以 KiB 计)。
  -S SIZE[,KILL_SIZE]       设置可用交换空间最小值 (以 KiB 计)。
  -n                        启用 d-bus 通知。
  -N /PATH/TO/SCRIPT        进程被杀死后执行脚本。
  -g                        杀死整个进程组。
  -d, --debug               启用调试信息。
  -v                        显示版本信息并退出。
  -r INTERVAL               内存报告间隔(以秒计,默认 1),设为 0 可禁用。
  -p                        设置 EarlyOOM 的 niceness 为 -20 和 oom_score_adj 为 -100。
  --ignore-root-user        不杀死 root 用户的进程。
  --sort-by-rss             按 RSS 大小选择进程而非 oom_score。
  --prefer REGEX            优先杀死符合正则表达式的进程。
  --avoid REGEX             避免杀死符合正则表达式的进程。
  --ignore REGEX            忽略符合正则表达式的进程。
  --dryrun                  干跑模式(不杀死任何进程)。
  --syslog                  使用 syslog 记录日志。
  -h, --help                显示帮助信息。

earlyoom 的命令行使用非常直观,可以通过不同的参数来配置它的行为。

注意事项:以上命令中正则表达式参数需要使用进程的comm名称

  • --prefer--avoid--ignore 参数中使用的正则表达式需要根据进程名称的前 15 个字节进行匹配,因为 comm 名称字段最大长度为 15 字节,超过部分会被截断。
  • 使用 --ignore 参数时需要特别小心,因为忽略某些关键进程可能会导致其他进程被杀死,从而影响系统的正常运行。

相关阅读:什么是进程的 comm 名称?Linux 进程 comm 名称详解

earlyoom 常用命令行使用示例

earlyoom 是一个内存管理工具,它可以在系统内存和交换空间低于设定阈值时提前杀死进程。以下是一些常用的命令行使用示例:

  1. 基本使用

     earlyoom

    使用默认配置,设置内存和交换空间阈值为 10%。当内存和交换空间都低于 10% 时,earlyoom 会发送 SIGTERM,如果继续低于阈值,则发送 SIGKILL

  2. 自定义内存和交换空间阈值

     earlyoom -m 20,10 -s 15,7

    设置可用内存阈值为 20%,当内存低于 20% 时发送 SIGTERM,低于 10% 时发送 SIGKILL。同时,设置交换空间阈值为 15%,低于 15% 时发送 SIGTERM,低于 7% 时发送 SIGKILL

  3. 指定内存和交换空间的绝对值

     earlyoom -M 1048576,524288 -S 512000,256000

    设置内存阈值为 1 GiB (1048576 KiB),低于此值时发送 SIGTERM,低于 512 MiB (524288 KiB) 时发送 SIGKILL。交换空间阈值为 500 MiB (512000 KiB),低于此值时发送 SIGTERM,低于 250 MiB (256000 KiB) 时发送 SIGKILL

  4. 启用调试模式

     earlyoom -d

    启用调试信息输出,帮助排查问题。

  5. 启用通知

     earlyoom -n

    启用通过 D-Bus 发送通知。需要 systembus-notify 工具运行在用户会话中,以显示通知。

  6. 执行脚本

     earlyoom -N /path/to/script.sh

    在每次进程被杀死时执行指定的脚本。脚本可以获取被杀死进程的相关信息,如 PID、进程名、命令行等。

  7. 增加优先级

     earlyoom -p

    增加 earlyoom 的优先级,将其 niceness 设置为 -20,并将 oom_score_adj 设置为 -100。需要通过系统服务配置来达到相同效果。

  8. 模拟运行

     earlyoom --dryrun

    模拟运行 earlyoom,不实际杀死任何进程,用于测试配置是否正确。

  9. 忽略某些进程

     earlyoom --ignore '^gnome-shell$'

    --ignore 参数用于完全忽略名称匹配指定正则表达式(REGEX)的进程。这意味着这些进程无论内存使用情况如何,都不会被 earlyoom 杀死。使用此选项时需要谨慎,因为忽略某些进程可能会导致其他进程被优先选择进行杀死,从而影响系统的稳定性。

  10. 优先杀死某些进程

     earlyoom --prefer '^Isolated Web Co$'

    --prefer 参数用于优先杀死名称匹配指定正则表达式(REGEX)的进程。当某个进程的名称与给定的正则表达式匹配时,会在其 oom_score 中增加 300 分,这使得该进程更有可能被优先选择进行杀死。

  11. 避免杀死某进程

     ```sh
     earlyoom --avoid '^gunicorn$'
    
    
     `--avoid` 参数用于避免杀死名称匹配指定正则表达式(REGEX)的进程。当某个进程的名称与给定的正则表达式匹配时,会在其 `oom_score` 中减少 300 分,这使得该进程不太可能被选择进行杀死。

earlyoom 退出状态码

  • 0: 成功执行。
  • 1: 其他错误 – 检查错误消息以获取详细信息。
  • 2: 开关冲突 – 使用了不兼容的选项。
  • 4: 无法切换到 /proc 目录。
  • 5: 无法打开 /proc 目录。
  • 7: 无法打开 /proc/sysrq-trigger
  • 13: 未知选项 – 传递了无效的选项。
  • 14: 其他选项的参数错误。
  • 15: 内存阈值参数错误。
  • 16: 交换空间阈值参数错误。
  • 102: 无法打开 /proc/meminfo 文件。
  • 103: 无法读取 /proc/meminfo 文件。
  • 104: /proc/meminfo 文件中找不到特定条目。
  • 105: 解析 /proc/meminfo 文件内容时转换数字失败。

配置文件

如果你将 earlyoom 作为系统服务运行,可以通过 /etc/default/earlyoom 文件调整其配置。例如:

EARLYOOM_ARGS="-m 5 -r 60 --avoid '(^|/)(init|Xorg|ssh)$' --prefer '(^|/)(java|chromium)$'"

修改配置文件后,重新启动服务以应用更改:

systemctl restart earlyoom

测试 earlyoom

可以通过制造内存泄漏(切记不要在生产环境测试)来测试 earlyoom 的功能:

tail /dev/zero

查看日志

如果 EarlyOOM 作为 systemd 服务运行,可以通过以下命令查看最近的日志:

systemctl status earlyoom

或者查看详细日志:

sudo journalctl -u earlyoom -g "(sending|killing)" --since today

示例输出:

8月 05 00:53:43 32.3.18.8 earlyoom[3147772]: sending SIGTERM to process 1389844 uid 0 "Isolated Web Co": badn>
8月 05 02:25:59 32.3.18.8 earlyoom[3147772]: sending SIGTERM to process 1419894 uid 0 "Isolated Web Co": badn>
8月 05 03:52:30 32.3.18.8 earlyoom[3147772]: sending SIGTERM to process 1448534 uid 0 "Isolated Web Co": badn>
8月 05 05:18:24 32.3.18.8 earlyoom[3147772]: sending SIGTERM to process 1476938 uid 0 "Isolated Web Co": badn>
8月 05 06:48:10 32.3.18.8 earlyoom[3147772]: sending SIGTERM to process 1505535 uid 0 "Isolated Web Co": badn>
8月 05 08:13:19 32.3.18.8 earlyoom[3147772]: sending SIGTERM to process 1535267 uid 0 "Isolated Web Co": badn>
8月 05 09:40:01 32.3.18.8 earlyoom[3147772]: sending SIGTERM to process 1563244 uid 0 "Isolated Web Co": badn>
8月 05 10:32:45 32.3.18.8 earlyoom[1609353]: Will avoid killing process names that match regex '(init|sshd|su>
8月 05 10:32:45 32.3.18.8 earlyoom[1609353]: sending SIGTERM when mem <= 10.00% and swap <= 10.00%,

启用通知

从 1.6 版本开始,earlyoom 可以通过 d-bus 发送通知。需要启用 -n 选项,并运行 systembus-notify

此外,earlyoom 可以在每次终止进程后执行脚本,使用 EARLYOOM_PIDEARLYOOM_UIDEARLYOOM_NAME 环境变量提供进程信息。使用 -N /path/to/script 启用此功能。

发送通知到企业微信示例脚本:

#!/bin/bash

# 企业微信 webhook 地址
WEBHOOK_URL='https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=xxx'

# 生成通知内容
CONTENT="进程被EarlyOOM杀死\n\n"
CONTENT+="PID: $EARLYOOM_PID\n"
CONTENT+="进程名: $EARLYOOM_NAME\n"
CONTENT+="命令行: $EARLYOOM_CMDLINE\n"
CONTENT+="UID: $EARLYOOM_UID"

# 发送通知
curl -X POST "$WEBHOOK_URL" \
     -H "Content-Type: application/json" \
     -d "{
           \"msgtype\": \"text\",
           \"text\": {
               \"content\": \"$CONTENT\"
           }
     }"

结论

earlyoom 是一个简单而有效的工具,可以帮助 Linux 用户避免由于内存不足而导致的系统无响应问题。通过提前检测和终止高内存占用的进程,earlyoom 保持系统的稳定性和响应速度。如果你经常遇到系统内存不足的问题,推荐试试 earlyoom

References

#GNU_Linux #Debian #earlyoom

Kubernetes 使用 multus 插件增加子接口并固定 ip

apiVersion: "k8s.cni.cncf.io/v1"  
kind: NetworkAttachmentDefinition  
metadata:  
 name: macvlan8  
 namespace: multicast  
spec:  
 config: '{  
   "cniVersion": "0.3.1",  
   "plugins": [  
     {  
       "type": "macvlan",  
       "capabilities": { "ips": true },  
       "master": "eth1",  
       "mode": "bridge",  
       "ipam": {  
         "type": "static",  
         "addresses": [  
             {  
                 "address": "192.168.25.62/22",  
                 "gateway": "192.168.27.254"  
             }  
         ],  
         "routes": [  
             { "dst": "192.168.24.0/22", "gw": "192.168.27.254" },  
             { "dst": "192.168.5.0/24" }  
         ]  
       }  
     }  
   ]  
 }'

示例负载:

---  
apiVersion: apps/v1  
kind: Deployment  
metadata:  
 labels:  
   app: demo8  
 name: demo8  
 namespace: multicast  
spec:  
 replicas: 1  
 selector:  
   matchLabels:  
     app: demo8  
 template:  
   metadata:  
     annotations:  
       k8s.v1.cni.cncf.io/networks: macvlan8  
     labels:  
       app: demo8  
   spec:  
     containers:  
       - name: demo8  
         command:    
           - /bin/sh  
         args:  
           - '-c'  
           - "while true; do echo 1;sleep 10; done"  
         image: '192.168.25.9/hello_multicast_iperf:1_aarch64'  
         imagePullPolicy: Always  
         resources:  
           limits:  
             cpu: '2'  
           requests:  
             cpu: '2'

测试效果:

[root@node1 multus]# kubectl -n multicast exec -it demo8-578986878b-6m5nr -- sh
/ # ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
3: eth0@if75: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1430 qdisc noqueue state UP 
    link/ether 02:0c:78:14:6e:f9 brd ff:ff:ff:ff:ff:ff
    inet 10.233.71.42/32 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::c:78ff:fe14:6ef9/64 scope link 
       valid_lft forever preferred_lft forever
4: net1@eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP 
    link/ether ca:35:41:d3:92:3e brd ff:ff:ff:ff:ff:ff
    inet 192.168.25.62/22 brd 192.168.27.255 scope global net1
       valid_lft forever preferred_lft forever
    inet6 fe80::c835:41ff:fed3:923e/64 scope link 
       valid_lft forever preferred_lft forever
/ # ip r
default via 169.254.1.1 dev eth0 
169.254.1.1 dev eth0 scope link 
192.168.5.0/24 via 192.168.27.254 dev net1 
192.168.24.0/22 via 192.168.27.254 dev net1 
192.168.24.0/22 dev net1 scope link  src 192.168.25.62

References