[ 1.341100] pci 0000:00:00.0: Adding to iommu group 0[ 1.341116] pci 0000:00:01.0: Adding to iommu group 1[ 1.341126] pci 0000:00:02.0: Adding to iommu group 2[ 1.341137] pci 0000:00:14.0: Adding to iommu group 3[ 1.341146] pci 0000:00:17.0: Adding to iommu group 4
此时输入命令
find /sys/kernel/iommu_groups/ -type l
#出现很多直通组，就代表成功了。如果没有任何东西，就是没有开启
for d in /sys/kernel/iommu_groups/*/devices/*; do n=${d#*/iommu_groups/*}; n=${n%%/*}; printf 'IOMMU Group %s ' "$n"; lspci -nns "${d#*/}"; done|grep Eth
如下输出：
root@pve3:~ for d in /sys/kernel/iommu_groups/*/devices/*; do n=${d#*/iommu_groups/*}; n=${n%%/*}; printf 'IOMMU Group %s ' "$n"; lspc
IOMMU Group 17 04:00.0 Ethernet controller [0200]: Mellanox Technologies MT27500 Family [ConnectX-3] [15b3:1003]
IOMMU Group 19 07:00.0 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01)
IOMMU Group 20 07:00.1 Ethernet controller [0200]: Intel Corporation I350 Gigabit Network Connection [8086:1521] (rev 01)
ADMIN with the IPMI username 10.0.0.4 with your own IPMI address FAN1 with the desired FAN (FANA, FAN1, FAN2, FAN3, FAN4) 150 with the lower non-recoverable value 225 with the lower critical value 300 with the lower non-critical value
Bit Torrent Bit torrent performs 16KB random reads/writes. The 16KB writes cause read-modify-write overhead. The read-modify-write overhead can reduce performance by a factor of 16 with 128KB record sizes when the amount of data written exceeds system memory. This can be avoided by using a dedicated dataset for bit torrent downloads with recordsize=16KB.
When the files are read sequentially through a HTTP server, the random nature in which the files were generated creates fragmentation that has been observed to reduce sequential read performance by a factor of two on 7200RPM hard disks. If performance is a problem, fragmentation can be eliminated by rewriting the files sequentially in either of two ways:
The first method is to configure your client to download the files to a temporary directory and then copy them into their final location when the downloads are finished, provided that your client supports this.
The second method is to use send/recv to recreate a dataset sequentially.
In practice, defragmenting files obtained through bit torrent should only improve performance when the files are stored on magnetic storage and are subject to significant sequential read workloads after creation.
Do not set Pre-allocated disk space if you are using ZFS as your filesystem as ZFS does not support fallocate 有在 ZFS 文件系统上不要开启 Qbittorrent 预分配空间的说法，原因是 ZFS 不支持 fallocate
PVE开启网卡直通，显卡直通，USB直通。请务必看完此文章，再结合自己实际，操作，如果成功，请再下面评论，自己的平台，有助于网友交流。
# 第一步：确认自己的主板CPU是否支持Vt-d功能
不支持就搞不了直通。intel要b75以上芯片组才支持。也就是说intel4代酷睿处理器以上，都支持。amd不明。
VT-D是io虚拟化。不是VT-X，具体请参考下面文章
https://zhuanlan.zhihu.com/p/50640466
有很多新手，以为主板开启虚拟化功能，就能直通了，其实不是！要开启vt-d才能io虚拟化。AMD平台是iommu，某些OEM主板上叫SRIOV。请注意。
# 第二步：开启iommu
修改完成之后，
直接更新grub注意，如果此方法还不能开启iommu，请修改/etc/kernel/cmdline文件
并且使用
proxmox-boot-tool refresh更新启动项# 第三步 加载相应的内核模块
使用
update-initramfs -k all -u命令更新内核参数重启主机
# 第四步 验证是否开启iommu
重启之后，在终端输入
出现如下例子。则代表成功
此时输入命令
# 显卡直通
理论上AMD RADEON 5xxx, 6xxx, 7xxx, Navi 5XXX(XT), NVIDIA GEFORCE 7, 8, GTX 4xx, 5xx, 6xx, 7xx, 9xx, 10xx and RTX 16xx/20xx/30xx都可以成功直通。
但是对于NVIDIA显卡，建议使用9代以上中端卡直通，且使用最新的驱动。
对于AMD的APU3/5系列核显/RX4XX/5XX/6XXX均无法完美直通。无法使用本文提供的教程直通，请注意，有其他的教程，但由于我没有卡，无法撰写教程
## 1、直接屏蔽显卡驱动
## 2、把显卡绑定到vfio-pci
使用lspci 查看自己的显卡PCI地址，如02:00
使用lspci -n 查看显卡的did和vid。我这边是02:00，可以看到下面输出
02:00.0 02:00.1一个是GPU，一个是声卡，两者都要一起直通，所以通过命令，把2者都绑定到vfio-pci上。
上述操作完成之后，再检查一下，是否将例子内容替换成自己的。使用以下命令查看。
## 3、更新内核
对于nvidia显卡，需要
update-initramfs -k all -u随后重启
## 4、开始直通
新建一个虚拟机。根据自己的爱好，选择ovmf或者seabios，通常来说两者对独显直通没有影响，建议nvidia 9系以上选择OVMF，其他选择seabios。
打开虚拟机面板，正常安装系统，并且开启远程桌面或者安装好向日葵。随后点击添加
PCI设备如下图，注意！！！不要勾选主GPU！。如果不能勾选PCIE，那么一定要把虚拟机改成Q35类型。
随后开机，如果能正常启动，那么就安装NVIDIA最新驱动。
提示：由于某些消费级主板PCI的设计问题，你可能只能直通第一个PCIe x16槽的显卡。
# 核显直通
如果想要核显显示到显示器。虚拟机请使用Seabios，机型为i440fx并且在bios中开启CSM。估摸着核显需要到pci的00:02位置才能亮。
目前IGD（ Intel Graphics Device）直通理论上支持3代酷睿以上。但是从目前的直通结果看，比较容易的是5代-10代。3-4代直通成功概率低，受多方面影响。11代及其之后，直到目前，也能正常直通，建议11代以上，升级到内核6.2，再直通
amd 3400g 5xxg 需要vender reset才能直通（本文教程不适合）。
## 基于5-10代的CPU核显和11-13代直通给linux。请优先以下面这种方式直通：
针对于qemu-sever大于6.2-3版本，就是pve6.3以上版本。
将bios改成seabios，机器类型选择i440fx，使用传统模式装好系统，开启远程。
将显卡设置成无，在核显后面添加legacy-igd=1，如hostpci0: 0000:00:02.0,legacy-igd=1。此时机器会出现显示器画面。如果出现画面，但是核显不能正确驱动，
添加一个
args: -set device.hostpci0.addr=02.0 -set device.hostpci0.x-igd-gms=1 -set device.hostpci0.x-igd-opregion=on最后的配置文件，加上声卡可以参考如下：
如果上面操作还是不行，请尝试添加vbios，关于什么是vbios，请百度一下，如何提取vbios，请参考下面文章https://foxi.buduanwang.vip/yj/1602.html/,本文不适用。
## 基于5-10代的CPU核显直通黑苹果。请优先以下面这种方式直通：
黑苹果需要OVMF启动，一般需要定制虚拟机bios，以在虚拟机启动的时候，在虚拟机内驱动核显。
定制bios，请加QQ 70083721，需要付费定制。
## 基于11-13代的CPU核显直通。请优先以下面这种方式直通：
看这个吧，
https://blog.csdn.net/coolhz/article/details/130234903
心态炸了。不想写了。
如果是要显示虚拟机bios，请加QQ 70083721，需要付费定制虚拟机bios。
# 硬盘直通
此部分请参考
https://foxi.buduanwang.vip/virtualization/1754.html/
# 网卡直通
正常情况下，网卡直通不会有什么困难。在开启iommu之后，即可在Web页面上，将网卡作为PCIe设备添加即可。
但，你需要确保没有直通到PVE的管理网口。否则你的PVE会失联。且PVE没有使用此网卡。
下图为PVE7.2直通网卡的界面。
注意！
由于供应商的问题，可能一张物理网卡会有多个逻辑的网口，这些网口会在同一个PCIe地址上，如下
这有2个I350的网卡，均在07:00这个位置上。将此类网卡直通，有2种情况。
1、一个网口为PVE管理口，一个网口直通给虚拟机
此种情况，请参考上面，进行直通，如上上图，请勿勾选 所有功能。
2、分别直通给虚拟机。
由于多个网卡位于同一个PCI地址上，可能会在一个iommu组里，只能将这些网卡同时直通给一个虚拟机，否则会报错。
你需要确认网卡是否在同一个iommu组，执行下面命令：
for d in /sys/kernel/iommu_groups/*/devices/*; do n=${d#*/iommu_groups/*}; n=${n%%/*}; printf 'IOMMU Group %s ' "$n"; lspci -nns "${d#*/}"; done|grep Eth如下输出：
从上面输出看，这上面的2个I350网卡分别在组19和20上，就意味着可以分开直通给虚拟机。
如果同一个iommu组，那么就需要利用PCIe桥的ACS特性，这部分请参考
IOMMU是如何划分PCI device group的？ - 知乎 (zhihu.com)
情况1: 版本低于7.1
你需要安装破解内核，才能开启ACS强制。
这部分参考：
https://foxi.buduanwang.vip/linux/1522.html/
情况2：PVE版本为7.1+
你可以在GRUB上配置一个命令即可完成。
在grub文件里添加一个参数
pcie_acs_override=downstreamgrub如下
随后进行保存，并且更新内核，更新grub
随后重启
# 黑苹果
虚拟机可以创建黑苹果，随后直通硬件到虚拟机，可以获得相关的性能提升。
黑苹果，你需要以PCI方式直通硬件（请勿勾选PCIe）。最好使用免驱显卡，这样可以直接输出到显示器。
如果不是免驱显卡，那么请自行进系统之后，配置Opencore。
黑苹果不支持gvt-g
塑料用AB胶，玻璃用无影胶，石头用水泥，金属用焊接，手术用手术线缝合，衣服用针线，耳机单元用e8000,手机外壳用胶贴，屏幕用b700，鞋子用7900，pvc接管用PVC胶水，管螺纹螺丝防松密封用厌氧胶，补铸件用铸工胶，木板用白乳胶，电器绝缘密封用704硅橡胶，机械元件密封防油防水用丁晴胶， 昆虫标本耳机外壳填充造型用树脂胶，烤瓷牙用光固化树脂，DIY用热融胶，PCB防水用透明有机密封胶，防鞋线雨天进水烂线断线用502
有位置信息的一条报错
内存位置信息
错误信息
这里 rank 和上述的内存位置信息无法对应关系。
查看该目录下的
dimm_location可以看到和上面 mc#0csrow#1channel#0 能够对应上。
继续核实位置信息
这里可以确定出问题的内存条是 第二个内存通道的第一条出现了问题，但问题来了哪个是第二个内存通道？出问题的是B1吗？但是B1处没有内存条。
Replacing:
ADMIN with the IPMI username
10.0.0.4 with your own IPMI address
FAN1 with the desired FAN (FANA, FAN1, FAN2, FAN3, FAN4)
150 with the lower non-recoverable value
225 with the lower critical value
300 with the lower non-critical value
一、环境描述
现网的物理硬盘总共17GB，使用一块30GB的新硬盘代替17GB硬盘，然后进行PV数据迁移
二、迁移步骤
2.1 添加一块磁盘创建PV
2.2 添加新PV到vg00卷组中
2.3 源PV数据盘 迁移到 新PV数据盘上
2.4 从VG中移除已替换的旧PV
2.5 移除源PV
2.6 扩容LV
这几天尝试了一下，Sonarr 还是不够灵活，不能手动筛选，字幕组的命名不都是那么规范的。之前很长一段时间是在 bangumi 和 dmhy 上筛选后输出 RSS，然后再放 TTRSS 里面做归纳，Flexget 再监控 TTRSS 输出的 RSS 链接推送到 qBittorrent 自动下载，弹弹play 负责媒体库和弹幕。
这样的缺点就是新一个季度的时候得花时间去整理一下，管理也不是十分方便。
但是使用了 Sonarr 之后，还是觉得拖拉机的方案也足够灵活和好用。
又是前端“加密”的神奇玩意儿
门寒花不弃，白头觅旧居；
半生他乡客，叶落归乡泥。
TT600 200左右
TT685 350 左右
V860iiN 500 左右
笔记 https://ma.ttias.be/force-redirect-http-https-custom-port-nginx/
家用宽带的 443 端口一般不可用，只能用一个非标准端口，那如何在非标准 80/443 端口实现 SSL 跳转呢，这里可以用到 Nginx 的 409 错误代码，即是
497 - normal request was sent to HTTPS如果把 497 的错误相应页面改为 跳转 https 的 302，就可以实现，在 Server 段加一行
error_page 497 https://$host:1234$request_uri;就可以了，最后形如笔记 https://segmentfault.com/a/1190000022275523#item-3
查看进程流量可以使用 ss，是 iproute2util 包的一部分，同时 ip 也是这个包的一部分，所以一般有 ip 就会有 ss，对于像 truenas 这种高度定制且封锁了 apt 的“程序”很是方便。
tcpdump 可以用来抓包，保存的数据可以用 wireshark 打开和查看，此包也大多数都有预装。
感谢小黄，我现在看房子都有了几个关注点：
1.房屋最好朝南或东南，如果朝北，那就一定要开阔明媚，采光要好。
2.玄关鞋柜深度起码要有35，最好有一扇镜子，出门前可以整理一下外表。
3.厨房要明厨，天花板要通铺，橱柜要够用，冰箱预留位置起码要90，洗碗盆要大的，厨房要足够容纳两个人同时干活。
4.餐桌边长或直径要起码90的，要有足够的地方放餐边柜。客厅阳台外景观要视野开阔，采光要好，同时要关注对面是不是待开发区，会不会遮挡景观。
5.卫浴室要有窗，天花板要通铺，洗手台脸盆要够大够深，不然水花乱溅，洗手台下面最好做成抽屉，方便拿取收纳。镜柜根据需要，要有足够的深度。马桶上面最好打一排柜子方便收纳。淋浴间的门要么是滑动的，三开门最好，要么是往外拉的，决不能往内拉，以防老人摔倒打不开门。
6.床长度起码要2米，单人床宽度1.5米更舒适，双人床长度起码要1.8米。房间要有地方放衣柜，衣柜深度起码要60，不然大衣放不下，卧室颜色不要太花，不然影响睡眠。
看房子带把尺子去真的很实用
生年不满百，常怀千岁忧。
昼短苦夜长，何不秉烛游！
为乐当及时，何能待来兹？
愚者爱惜费，但为后世嗤。
仙人王子乔，难可与等期。
劝及时行乐，也叹毫无出路。
https://m.gushiwen.cn/mingju/juv_f2af3c0bf211.aspx
Bit Torrent
Bit torrent performs 16KB random reads/writes. The 16KB writes cause read-modify-write overhead. The read-modify-write overhead can reduce performance by a factor of 16 with 128KB record sizes when the amount of data written exceeds system memory. This can be avoided by using a dedicated dataset for bit torrent downloads with recordsize=16KB.
When the files are read sequentially through a HTTP server, the random nature in which the files were generated creates fragmentation that has been observed to reduce sequential read performance by a factor of two on 7200RPM hard disks. If performance is a problem, fragmentation can be eliminated by rewriting the files sequentially in either of two ways:
The first method is to configure your client to download the files to a temporary directory and then copy them into their final location when the downloads are finished, provided that your client supports this.
The second method is to use send/recv to recreate a dataset sequentially.
In practice, defragmenting files obtained through bit torrent should only improve performance when the files are stored on magnetic storage and are subject to significant sequential read workloads after creation.
https://openzfs.github.io/openzfs-docs/Performance%20and%20Tuning/Workload%20Tuning.html#bit-torrent
Do not set Pre-allocated disk space if you are using ZFS as your filesystem as ZFS does not support fallocate
有在 ZFS 文件系统上不要开启 Qbittorrent 预分配空间的说法，原因是 ZFS 不支持 fallocate
https://www.truenas.com/community/threads/the-path-to-success-for-block-storage.81165/ 把我看迷糊了，讨论各种 ZFS 适合什么使用场景，不应该怎么做。