工程部
入职标准：独立完成【考试一】，1小时内； 职称标准：独立完成【考试一】、【考试二】，30分钟内。
考试 一
主题 1：系统架构
| 教程名称 | 考试目标总结 |
|---|---|
|
确定和配置硬件设置 |
1.1 确定和配置硬件设置 确定和配置基本系统硬件。此任务涵盖集成和外部外围设备、设备的硬件资源和不同类型的大容量存储设备，以及管理 USB 设备的工具和实用程序。还涵盖了对 sysfs、udev 和 dbus 的概念理解。 |
|
引导系统 |
1.2 引导系统 引导系统完成引导过程。任务包括在引导时提供常见的引导加载程序命令和内核选项，了解从 BIOS/UEFI 到引导完成的引导顺序，了解传统的 SysVinit 初始化，以及了解 upstart 的 systemd，以及检查日志文件中的引导事件。 |
|
运行级别、引导目标、关闭和重新引导 |
1.3 更改运行级别/引导目标并关闭或重新启动系统 管理系统的 SysVinit 运行级别或 systemd 引导目标，包括设置默认的 SysVinit 运行级别或 systemd 引导目标。任务包括更改为单用户模式、关闭或重新启动系统、设置默认运行级别、在运行级别之间切换、警告用户以及正确终止进程。还介绍了 Upstart 作为 SysVinit 或 systemd 的替代方案的意识。 |
主题 2：Linux 安装和包管理
| 教程名称 | 考试目标总结 |
|---|---|
| 硬盘布局 |
2.1 设计硬盘布局 为 Linux 系统设计磁盘分区方案。任务包括为单独的分区或磁盘分配文件系统和交换空间，根据系统的预期用途调整设计，并确保引导分区对于硬件架构是可接受的。 |
| 安装引导管理器 | 2.2 安装引导管理器 选择、安装和配置引导管理器。任务包括提供替代引导位置和备份引导选项、安装和配置引导加载程序（如 GRUB 或 GRUB 2）以及与引导加载程序交互。 |
| 管理共享库 | 2.3 管理共享库 确定可执行程序所依赖的共享库，必要时安装。任务包括识别共享库、了解系统库的典型位置以及加载共享库。 |
| Debian 软件包管理 |
2.4 使用 Debian 包 管理 使用 Debian 包工具执行包管理。任务包括安装、升级和删除 Debian 二进制包，查找包含特定文件或库的包，以及获取包信息，例如版本、内容、依赖项、包完整性和安装状态。请注意 apt。 |
| RPM 和 YUM 包管理 |
2.5 使用 RPM 和 YUM 包 管理 使用 RPM 和 YUM 工具执行包管理。任务包括使用 RPM、YUM 和 Zypper 安装、重新安装、升级和删除软件包；获取有关 RPM 包的信息，例如版本、状态、依赖关系、完整性和签名；并确定包提供了哪些文件，并查找特定文件来自哪个包。请注意 dnf。 |
| Linux 作为虚拟客户 | 2.6 Linux 作为虚拟客户 了解虚拟化和云计算对 Linux 客户系统的影响。了解虚拟机和容器的一般概念。了解 IaaS 云中虚拟机的常见元素，例如计算实例、块存储和网络。了解 Linux 系统的独特属性，当系统被克隆或用作模板时必须更改这些属性。了解系统映像如何用于部署虚拟机、云实例和容器。了解将 Linux 与虚拟化产品集成的 Linux 扩展。请注意 cloud-init。 |
主题 3：GNU 和 UNIX 命令
| 教程名称 | 考试目标总结 |
|---|---|
| Linux 命令行 |
3.1 在命令行上工作 使用命令行 与 shell 和命令交互。此任务包括键入有效命令和命令序列；定义、引用和导出环境变量；使用命令历史和编辑工具；在路径内和路径外调用命令；并使用手册页来了解命令。 |
| 文本流和过滤器 |
3.2 使用过滤器处理文本流 将过滤 器应用于文本流。此任务包括使用 GNU textutils 包中的标准 UNIX 命令通过文本实用程序过滤器发送文本文件和输出流以修改输出。 |
| 文件和目录管理 |
3.3 执行基本的文件和目录管理 使用基本的 UNIX 命令来复制、移动和删除文件和目录。任务包括高级文件管理操作，例如递归复制多个文件、递归删除目录、使用通配符模式、查找文件并根据类型大小或时间对它们进行操作，以及使用 tar、cpio和dd命令。 |
| 流、管道和重定向 | 3.4 使用流、管道和重定向 重定向流并连接它们以有效地处理文本数据。任务包括重定向标准输入、标准输出和标准错误；将一个命令的输出通过管道传输到另一个命令的输入；使用一个命令的输出作为另一个命令的参数；并将输出发送到标准输出和文件。 |
| 创建、监控和终止进程 |
3.5 创建、监控和终止进程 管理进程。此任务包括了解如何在前台和后台运行作业、将作业从后台带到前台和从前台到后台、启动无需连接到终端即可运行的进程以及向程序发出信号以继续注销后运行。任务还包括监视活动进程、选择和排序显示的进程、向进程发送信号以及杀死进程。 |
| 流程执行优先级 | 3.6 修改流程执行优先级 管理流程执行优先级。任务包括确定作业的默认优先级、运行具有更高或更低优先级的程序、确定进程的优先级以及更改正在运行的进程的优先级。 |
| 使用正则表达式搜索文本文件 |
3.7 使用正则表达式搜索文本文件 使用正则表达式 处理文件和文本数据。任务包括创建包含多个符号元素的简单正则表达式，以及了解基本正则表达式和扩展正则表达式之间的区别。使用正则表达式工具通过文件系统或文件内容执行搜索。 |
| 文件编辑 |
3.8 基本文件编辑 编辑文本文件。任务包括 vi 导航；了解基本的 vi 节点；以及插入、编辑、删除、复制和查找文本。注意其他常用编辑器，如 Emacs、nano 和 vim，并设置默认编辑器。 |
主题 4：设备、Linux 文件系统、文件系统层次标准
| 教程名称 | 考试目标总结 |
|---|---|
| 创建分区和文件系统 |
4.1 创建分区和文件系统 配置磁盘分区并在硬盘等介质上创建文件系统或交换空间。管理 MBR 和 GPT 分区表。创建 ext2/ext3/ext4、XFS、VFAT 和 exFAT 文件系统。了解 Btrfs 的基本功能，包括多设备文件系统、压缩和子卷。 |
| 维护文件系统 |
4.2 维护文件系统的完整性 维护标准文件系统或日志文件系统。任务包括验证文件系统的完整性、监控可用空间和 inode 以及修复简单的文件系统问题。 |
| 控制文件系统 |
4.3 控制文件系统的挂载和卸载 配置文件系统的挂载。任务包括手动挂载和卸载文件系统、在启动时配置文件系统挂载以及配置用户可挂载的可移动文件系统。使用标签和 UUID 来识别和挂载文件系统并了解 systemd 挂载单元。 |
| 管理磁盘配额 |
4.4 管理磁盘配额 管理用户的磁盘配额。任务包括为文件系统设置磁盘配额以及编辑、检查和生成用户配额报告。 |
| 管理文件权限和所有权 | 4.5 管理文件权限和所有权 通过正确使用权限和所有权来控制文件访问。任务包括管理对常规和特殊文件以及目录的访问权限；使用suid、sgid、sticky bit等访问方式来维护安全；学习如何更改文件创建掩码；并使用 group 字段向组成员授予文件访问权限。 |
| 创建和更改硬链接和符号链接 | 4.6 创建和更改硬链接和符号链接 创建和管理文件的硬链接和符号链接。任务包括创建链接、识别硬链接和/或软链接、了解复制和链接文件之间的区别以及使用链接来支持系统管理任务。 |
| 查找和放置系统文件 | 4.7 查找系统文件并将文件放置在正确的位置 了解文件系统层次标准 (FHS)，包括典型的文件位置和目录分类。任务包括了解 FHS 下文件的正确位置、在 Linux 系统上查找文件和命令，以及了解 FHS 中定义的重要文件和目录的位置和用途。 |
考试 二
主题 5：Shell 和 shell 脚本
| 教程名称 | 考试目标总结 |
|---|---|
| 自定义和使用shell环境 |
5.1 自定义和使用shell环境 满足你的用户需求。任务包括定制外壳环境以满足用户需求；修改全局和用户配置文件；在登录或生成新 shell 时设置环境变量，例如 PATH；为常用的命令序列编写 Bash 函数；维护新用户帐户的框架目录；并使用正确的目录设置命令搜索路径。 |
| 自定义或编写简单脚本 |
5.2 自定义或编写简单的脚本 自定义现有的 Bash 脚本，或编写简单的新脚本。任务包括使用标准的 shell 循环和测试语法；使用命令替换；测试成功或失败的返回值；运行链式命令；有条件地邮寄超级用户，通过 shebang (#!) 行选择正确的脚本解释器；以及管理脚本的位置、所有权、执行和 suid 权限。 |
| 使用基本 SQL 命令 |
5.3 SQL 数据管理 使用基本的 SQL 命令查询数据库和操作数据，包括连接或子选择。任务包括使用基本 SQL 命令和执行基本数据操作。 |
主题 6：用户界面和桌面
| 教程名称 | 考试目标总结 |
|---|---|
| 安装和配置 X11 | 6.1 安装和配置X11 I安装和配置X11，了解X11架构。了解 X Window 配置文件。并且能够覆盖 Xorg 配置的特定方面，例如键盘布局。了解桌面环境的组件，例如显示管理器和窗口管理器。管理对 X 服务器的访问并在远程 X 服务器上显示应用程序。了解Wayland。 |
| 图形桌面 | 6.2 图形桌面 展示 GNOME、KDE 和 Xfce 桌面环境的知识。描述用于访问远程桌面会话的常用协议，包括 X11、XDMCP、VNC、SPICE 和 RDP。 |
| 可访问性 | 6.3 无障碍 展示无障碍技术的知识和意识。任务包括了解视觉设置和主题，以及包括语音识别在内的辅助技术 (AT)。 |
主题 7：管理任务
| 教程名称 | 考试目标总结 |
|---|---|
| 管理用户和组帐户及相关系统文件 | 7.1 管理用户和组帐户及相关系统文件 添加、删除、暂停和更改用户帐户。任务包括添加、修改和删除用户和组；管理密码和组数据库中的用户和组信息；以及创建和管理特殊用途和受限帐户。 |
| 通过调度作业自动执行系统管理任务 | 7.2 通过调度作业自动执行系统管理任务 使用和管理 cron 和 systemd 计时器以定期运行作业并使用 at 在特定时间运行作业。配置用户访问 cron和at服务并了解systemd计时器单位。 |
| 本地化和国际化 | 7.3 本地化和国际化 用英语以外的语言对系统进行本地化，并理解为什么 LANG=C 在编写脚本时很有用。任务包括了解和配置语言环境和时区设置及其相关的环境变量。 |
主题 8：基本系统服务
| 教程名称 | 考试目标总结 |
|---|---|
| 维护系统时间 |
8.1 维护系统时间 维护系统时间并使用 NTP 同步时钟。任务包括设置系统日期和时间、将硬件时钟设置为正确的 UTC 时间、配置时区、配置 NTP、使用 ntpd 和 chrony 以及了解 pool.ntp.org 服务。注意 ntpq命令。 |
| 系统日志记录 |
8.2 系统日志记录 配置 rsyslog。配置日志记录守护程序以将日志输出发送到中央日志服务器或接受日志输出作为中央日志服务器。使用 systemd 日志子系统。请注意 syslog 和 syslog-ng 作为替代日志记录系统。任务包括了解 rsyslog 配置、标准设施、优先级和操作，查询 systemd 日志并按日期、服务或优先级等条件过滤 systemd 日志数据，配置持久性 systemd 日志存储和日志大小，删除旧的 systemd 日志数据，从救援系统或文件系统副本中检索 systemd 日志数据，并配置 logrotate。 |
| 邮件传输代理 (MTA) 基础 |
8.3 邮件传输代理 (MTA) 基础 熟悉常用的 MTA 程序并在客户端主机上执行基本的转发和别名配置。任务包括创建电子邮件别名、配置电子邮件转发以及了解常用的 MTA 程序，例如 postfix、sendmail 和 exim。 |
| 管理打印机和打印 | 8.4 管理打印机和打印 使用 CUPS 和 LPD 兼容性界面管理打印队列和用户打印作业。任务包括为本地和远程打印机配置 CUPS、管理用户打印队列、解决一般打印问题以及在配置的打印机队列中添加和删除作业。 |
主题 9：网络基础
| 教程名称 | 考试目标总结 |
|---|---|
| 互联网协议基础知识 | 9.1 互联网协议基础知识 了解 TCP/IP 网络基础知识。任务包括学习网络掩码；了解私有和公共点分十进制 IP 地址之间的区别；设置默认路由；了解常见的 TCP 和 UDP 端口（20、21、22、23、25、53、80、110、119、139、143、161、443、465、993 和 995）；了解UDP、TCP和ICMP的区别和主要特点；并了解 IPv4 和 IPv6 之间的主要区别。<了解 tcp ip 网络基础知识。任务包括学习掩码和 cidr 符号；了解私有公共点分十进制地址之间的差异；了解常见的 udp 端口（20、21、22、23、25、53、80、110、123、139、143、161、162、389、443、465、514、636、993、995）；udp、tcp、icmp的主要特点；ipv4 ipv6。 |
| 持久网络配置 | 9.2 持久网络配置 管理 Linux 主机的持久网络配置。了解基本的 TCP/IP 主机配置并使用网络管理器配置以太网和 wifi 网络。注意 systemd-networkd。 |
| 基本网络故障 | 9.3 基本网络故障 排除 排除客户端主机上的网络问题。任务包括手动配置网络接口；包括、查看和更改使用 iproute2 的网络接口的配置；手动查看和更改路由表，使用 iproute2 设置默认路由；以及与网络配置相关的调试问题。注意遗留 net-tools命令。 |
| 配置客户端 | 9.4 配置客户端 DNS 在客户端主机上配置 DNS。任务包括查询远程 DNS 服务器、配置本地名称解析、使用远程 DNS 服务器、修改完成名称解析的顺序以及调试与名称解析相关的错误。请注意 systemd-resolved。 |
主题 10：安全
| 教程名称 | 考试目标总结 |
|---|---|
| 配置客户端 | 10.1 配置客户端 检查系统配置以根据本地安全策略确保主机安全。任务包括审核系统以查找设置了 suid/sgid 位的文件；设置或更改用户密码和密码时效信息；使用 nmap和netstat发现系统上的开放端口；设置用户登录、进程和内存使用限制；确定已登录系统或当前已登录的用户，并执行基本的 sudo 配置和使用。 |
| 设置主机安全 | 10.2 设置主机安全 设置主机安全的基本级别。任务包括了解影子密码及其工作原理、停止未使用的网络服务以及了解 TCP 包装器的作用。 |
| 使用加密保护数据 | 10.3 使用加密保护数据 使用公钥技术保护数据和通信。任务包括配置和使用 OpenSSH 2 客户端；学习 OpenSSH 2 服务器主机密钥的作用；配置和使用 GnuPG 加密、解密、签名和验证文件；并了解 SSH 端口隧道，包括 X11 隧道。 |
基础问答
问题
cpu 负载高，IO 负载低
- 内存不够
- 磁盘性能差
- SQL 问题 ------>去数据库层，进一步排查 sql 问题
- IO 出问题了(磁盘到临界了、raid 设计不好、raid 降级、锁、在单位时间内 tps 过高)
- tps 过高: 大量的小数据 IO、大量的全表扫描
IO 负载高，cpu 负载低
- 大量小的 IO 写操作：
- autocommit ，产生大量小 IO
- IO/PS 磁盘的一个定值，硬件出厂的时候，厂家定义的一个每秒最大的 IO 次数。
- 大量大的 IO 写操作
- SQL 问题的几率比较大
IO 和 cpu 负载都很高
- 硬件不够了或 SQL 存在问题
方法
1. 优化思路
定位问题点:
硬件 --> 系统 --> 应用 --> 数据库 --> 架构(高可用、读写分离、分库分表)
处理方向：
明确优化目标、性能和安全的折中、防患未然
2. 硬件优化
主机方面：
- 根据数据库类型，主机 CPU 选择、内存容量选择、磁盘选择
- 平衡内存和磁盘资源
- 随机的 I/O 和顺序的 I/O
- 主机 RAID 卡的 BBU(Battery Backup Unit)关闭
cpu 的选择：
- cpu 的两个关键因素：核数、主频
- 根据不同的业务类型进行选择：
- cpu 密集型：计算比较多，OLTP 主频很高的 cpu、核数还要多
- IO 密集型：查询比较，OLAP 核数要多，主频不一定高的
内存的选择：
- OLAP 类型数据库，需要更多内存，和数据获取量级有关。
- OLTP 类型数据一般内存是 cpu 核心数量的 2 倍到 4 倍，没有最佳实践。
存储方面：
- 根据存储数据种类的不同，选择不同的存储设备
- 配置合理的 RAID 级别(raid 5、raid 10、热备盘)
- 对与操作系统来讲，不需要太特殊的选择，最好做好冗余(raid1)(ssd、sas 、sata)
raid 卡：主机 raid 卡选择：
- 实现操作系统磁盘的冗余(raid1)
- 平衡内存和磁盘资源
- 随机的 I/O 和顺序的 I/O
- 主机 RAID 卡的 BBU(Battery Backup Unit)要关闭
网络设备方面：
使用流量支持更高的网络设备(交换机、路由器、网线、网卡、HBA 卡)
注意：以上这些规划应该在初始设计系统时就应该考虑好。
3. 服务器硬件优化
- 1、物理状态灯：
- 2、自带管理设备：远程控制卡(FENCE 设备：ipmi ilo idarc)，开关机、硬件监控。
- 3、第三方的监控软件、设备(snmp、agent)对物理设施进行监控
- 4、存储设备：自带的监控平台。EMC2(hp 收购了)， 日立(hds)，IBM 低端 OEM hds，高端存储是自己技术，华为存储
4. 系统优化
Cpu：
基本不需要调整，在硬件选择方面下功夫即可。
内存：
基本不需要调整，在硬件选择方面下功夫即可。
SWAP：
MySQL 尽量避免使用 swap。阿里云的服务器中默认 swap 为 0
IO ：
- raid、no lvm、 ext4 或 xfs、ssd、IO 调度策略
- Swap 调整(不使用 swap 分区)
理论
- 1 核 CPU同一时刻只能执行一个线程，然后操作系统切换上下文，CPU 核心快速调度，执行另一个线程的代码，不停反复，给我们造成了所有进程同时运行假象。
- 在1 核 CPU 的机器上，顺序执行A和B永远比通过时间分片切换“同时”执行A和B要快，其中原因，学过操作系统这门课程的成员应该很清楚。一旦线程的数量超过了 CPU 核心的数量，再增加线程数系统就只会更慢，而不是更快，因为这里涉及到上下文切换耗费的额外的性能。
- 连接数 = ((核心数 * 2) + 有效磁盘数) ，CPU 是 4核 i7 的，连接池大小应该为 ((4*2)+1)=9，这里算作10线程，我们可以保证，它能轻松支撑 3000 用户以 6000 TPS 的速率并发执行简单查询的场景。
- 连接池中的连接数量大小应该设置成：数据库能够有效同时进行的查询任务数（通常情况下来说不会高于 2*CPU核心数）。假设说你有 10000 个并发访问，你仅仅需要一个大小为 10 数据库连接池，然后让剩下的业务线程都在队列里等待就可以了。
- tps：该设备每秒的传输次数。“一次传输”意思是“一次 I/O 请求”。多个逻辑请求可能会被合并为“一次 I/O 请求”。
- iops ：硬件出厂的时候，厂家定义的一个每秒最大的 IO 次数,"一次传输"请求的大小是未知的。
- KB_read/s：每秒从设备(drive expressed)读取的数据量；
- KB_wrtn/s：每秒向设备(drive expressed)写入的数据量；
- KB_read：读取的总数据量；
- KB_wrtn：写入的总数量数据量；这些单位都为 Kilobytes。