在大型讲话模子闇练中，安逸是个大挑战。LLM闇练触及的数据和策画量远传统度神经蚁集。比如，闇练个万亿token的LLM可能要数周，这远旧例DNN闇练。在这种大限制下，失败和单点能下跌很常见。这些问题对系数这个词任务影响弘远。失败资本昂，是以减少收复期间极度关键。个能下跌的单点不仅影响我方，还拖慢系数这个词数万个GPU的任务。这些问题可能由硬件故障、软件舛讹、数据问题或其他闇练恐怕引起。

为确保LLM闇练的安逸和率海西预应力钢绞线价格，需要给与些依次。比如使用可靠硬件和软件，设想浩大的闇练算法，实施有的监控和故障收复机制。这么，LLM闇练智商在大限制挑战下班师完成任务。

近，字节和北大联发布了篇论文，先容了万卡英伟达A100系统大限制闇练的期间转变及资历，其中对于监测和器用的转变尤其值得关心。

为了擢升安逸，字节使用了种度监控法。这种法不仅关心名义目的，还入系统各个部分，蚁集刺眼信息。这么不错匡助就不错会诊系统问题，找出安逸问题的根源。

字节还开发了套自动化故障定位和收复系统。这个系统通过心跳信息实时检测荒谬，并提供预警。还有套会诊测试，用于识别引起问题的节点。他们还化了checkpoint和收复程序，减少闇练中断。

为了不停单点能下跌的问题，字节开发了个能分析器用。这个器用纪录了刺眼的CUDA事件，并生成了系统鸿沟内的热图和期间线追踪。还开发了个3D可视化器用，露馅不同部分之间的数据依赖联系。

通过这些法，简略有地监控和会诊大型讲话模子闇练中的安逸问题，从而提了闇练的安逸和率。

闇练历程中的监控

字节朝上开发了个LLM闇练框架，该框架简略完毕自动故障识别和快速收复，从而完毕容错，大限定地减少东说念主工侵略，并对正在进行的闇练任务的影响一丁点儿。

在收到提交的闇练任务后，驱动进程会与定制的Kubernetes接口，分拨策画资源，并为每个扩充器启动相应的Pod。每个扩充器不停个节点。扩充器完成系列开动化任务后，在每个GPU上创建闇练进程，并启动个闇练看管进程，按时向驱动发送心跳。这些心跳包含各式信息，用于实时荒谬检测和预警。

当驱动进程检测到特定闇练进程的荒谬情状，或未在预定期间内收到扩充器的心跳时，它会触发故障收复程序。驱动会暂停系数扩充器上的正在进行闇练任务，并唱它们运行系列轻量但的自我检查会诊测试。这些测试笼罩了大多数常见的硬件和软件故障。

旦详情问题节点，驱动将提交需要顽固的节点IP地址和其上运行的Pod信息给Kubernetes。Kubernetes会将故障节点隔断，并用通过会诊测试的健康节点替换。此外，字节朝上提供了个用户界面，允许手动隔断节点，极度是那些通过手动分析详情的节点。

收复历程完成后，驱动再行的checkpoint收复闇练。字节朝上还化了checkpoint和收复历程，以小化闇练程度的蚀本。

数据蚁集和分析

系统通过心跳音书蚁集数据。心跳音书是种健康检查的式，就像心跳样，它按时告诉系统的其他部分：“我还在责任！”这些音书包含了扩充器的基本信息，比如它的IP地址（就像是它在网上位置的地址），Pod称号（Pod是Kubernetes中个不错相识为个容器或组容器的单元），以及硬件信息（比如GPU的情状）。同期，它们还说明了闇练进程确面前情状，这么驱动进程就能实时发现任何赫然的荒谬。

闇练进程的stdout/stderr日记也被包括在内，它们会被实时汇总、过滤和分析。如果检测到特定的警戒或舛讹关键词，驱动进程会说明实时会诊信息。闇练进程的stdout/stderr日记是程序运行时印出来的信息。当你的电脑程序出现问题时，它会弹出个舛讹信息。这些日记便是大型讲话模子闇练时印出来的“舛讹信息”或“情状新”。

此外，心跳音书中还包含了RDMA流量目的，这有助于了解蚁集哄骗率和率。RDMA流量目的是种琢磨数据在蚁鸠合传输率的法。RDMA（良友顺利内存探询）是种的蚁集通讯期间，它允许数据顺利从台机器的内存传输到另台机器的内存，而不需要经过每台机器的操作系统。RDMA流量目的就像是速公路上的交通流量，它告诉数据在蚁鸠合流动的速率和率。

有些闇练历程中的荒谬可能不会施展为明确的舛讹，看起来闇练切日常。在这种情况下，RDMA流量目的就变得极度伏击。由于闇练任务是周期的，每个设施的蚁集流量特征应该施展一样。因此，RDMA流量权臣下跌或荒谬波动可能是潜在荒谬的信号。旦检测到这些不规则情况，驱动进程会发出警报，以便东说念主工有观看。如果流量罢手，驱动进程会自动启动故障收复程序。

为了擢升闇练安逸和能的监控，字节朝上开发了个精准到毫秒的监控系统。不同别的监控被用来追踪各式目的。二监控野蛮用于评估合座健康情状，摈斥常见树立对闇练的影响，比如ECN/PFC/QoS树立、链路波动或其他NIC问题。而毫秒监控用于详情蚁集是否拥塞，以及数据并行和管说念并行的数据传输速率是否达到了物理限。

这个监控系统就像是个精密的雷达系统海西预应力钢绞线价格，简略实时监测闇练历程中的各式细节。二监控就像是旧例的健康检查，它确保切运行日常，摈斥了些常见的树立问题。而毫秒监控就像是精密的仪器，它简略检测到极度微小的变化，比如蚁集是否拥挤，数据传输速率是否满等。

会诊测试

字节朝上在会诊测试中濒临个量度：测试扩充期间和准确的均衡。如果测试期间太长，会影响有的闇练期间；如果舛讹率，可能会致践诺上日常的机器被舛讹摈斥。通过反复实验和化，字节朝上部署了套轻量的会诊测试，这些测试简略有地笼罩在践诺闇练历程中遭遇的多种硬件和软件故障。

是里面蚁集测试：

为了会诊主机里面蚁集的潜在瓶颈，字节朝上使用里面开发的器用进行两项测试。回路测试测量了系数RDMA蚁集接口卡（RNICs）到主机里面各式端点（包括内存节点和GPU）的回路带宽。它进行了个主机内的全网格测试，笼罩了系数可能的链路组。这么，不错左证端到端带宽成核定出链路特定的带宽降和PCIe树立的不规则。二个RNIC到RNIC的测试检查了同主机上不同RNIC之间的积累和带宽能。这些测试提供了RNIC是否舒服硬件速率规格以及底层路由树立是否正确确立的认识。

然后是NCCL测试：

为了识别GPU通讯中的潜在故障，字节朝上在单个节点内的GPU之间运行了个全到全的测试，不雅察带宽是否与预期基准致。旦通过了主机里面通讯测试，每个节点还会与同ToR交换机下的相邻机器进行all-reduce测试，以评估节点间GPU通讯的能。

ToR交换机是种蚁集设备，它将多个机器积累到个局域网（LAN）中。NCCL是NVIDIA Collective Communications Library的缩写，它是个用于GPU通讯的库，不错让多个GPU之间有地交换数据。这些测试确保了GPU之间的通讯顺畅，这对于大型讲话模子的闇练至关伏击，因为GPU需要频繁地交换数据和同步信息。

故障隔断收复闇练

在识别并移除故障机器后，驱动程序需要通过加载近的checkpoint中的模子权重和化器情状来收复闇练。确保新的checkpoint尽可能接近故障发生时的闇练程度情状，以小化策画和期间的蚀本至关伏击。这条款在闇练期间增多checkpoint的频率。然而，也但愿减少checkpoint历程引入的延伸，极度是那些攻击闇练程度、松懈系统合座微辞量的关键旅途上的期间。

为了完毕快速checkpoint，字节朝上引入了种化的、两阶段的法：

在阶段，每个GPU责任者将其芯片情状写入主机内存，并陆续闇练历程。通过化PyTorch的序列化机制和使用固定内存，这个历程不错由于PCIe带宽而只需要到几秒钟，从而小化对正在进行的闇练历程的干扰。

在二阶段，个后台进程接管，异步地将情状从主机内存传输到个散播式文献系统（在字节的部署中是HDFS）进行积累瞻仰。将操作分为两个阶段解耦，使得GPU任务险些不错立即收复闇练，而将写入HDFS的耗时的历程卸载到个单的、非攻击的进程中。

从checkpoint收复期间是极度伏击的，因为闇练在莫得后checkpoint的情况下法启动。瓶颈在于HDFS的带宽，尤其是当多个任务需要读取其对应的情状分区时。

为了缓解这个瓶颈，字节提议了种化的数据检索战略。其实，多个任务野蛮分享换取的情状分区，举例，同数据并行组中的任务。相应地，指定该组中的个任务从HDFS读取分享的情状分区，从而将负载线化。然后，这个任务将情状分区播送到系数其他分享换取数据的任务重。这种法有地缓解了HDFS的带宽截止，大大减少了收复期间。

总的来说海西预应力钢绞线价格，字节朝上的法通过化checkpoint和收复历程，确保了在大限制闇练中简略快速地从故障中收复，减少了闇练中断的期间，锚索提了闇练的率和安逸。

闇练中的故障摈斥

尽管字节的LLM闇练框架不错自动发现、定位并不停大多数常见故障，但仍有些硬件荒谬会概率出现，况且法通过机器自检发现。些荒谬可能使得系统看起来日常运行，但践诺上大大镌汰了闇练率。为了应付这些微小的情况，字节也曾完毕了些定制的监控和分析器用，用于一一案例进行荒谬检测。

这些器用就像是支门的考核团队，它们使用各式期间和法来入有观看问题。举例海西预应力钢绞线价格，它们可能会分析闇练历程中的数据阵势，寻找那些可能默示着硬件或软件问题的微小变化。它们还可能会监控系统的能目的，比如处理速率和动力蹧跶，来发现任何不寻常的波动。

此外，这些器用还不错匡助团队识别那些可能被冷落的荒谬情况。思象下，个系统可能在大部分期间齐施展日常，但偶尔会出现小问题，这些问题可能不会致系统崩溃，但会缓缓镌汰闇练率。这些器用简略匡助团队识别并开采这些问题，确保闇练历程长久保合手。

总之，这些定制的监控和分析器用是字节朝上确保闇练历程安逸和率的后说念线。通过这些器用，团队简略发现并不停那些自动化系统可能法捕捉到的复杂问题，确保大型讲话模子的闇练简略班师进行。

CUDA事件监控及能分析

字节发咫尺领罕有万个GPU的大限制闇练环境中，即使树立换取，不同的闇练运行也施展出不同的策画率。而且，在不同限制下，闇练任务的能并不致。各式闇练任务的MFU（策画哄骗率）随期间缓缓下跌。而且通过单GPU GEMM（矩阵乘法）微基准测试下，并每位发现不同节点间存在赫然各异。

为了会诊这些能问题，字节开发了个能分析器用，该器用不错纪录每个机器在运行期间关键代码段的扩充期间。与torch profiler或Megatron-LM计时器不同的是，这个器用基于CUDA事件法计步地件。这种法小化了CUDA同步的需求，从而止能下跌，不错在分娩闇练任务中致地运行它。

这个器用提供了两种可视化阵势，并不错从不同的角度分析蚁集的数据。

种阵势使用热图露馅不同机器在各个维度上的期间蹧跶各异。

这个器用不错蚁集跨设备的策画阶段（前向和后向）的延伸数据，并平均了跨steps的延伸。

聚数据通过热图进行可视化。比如，可能发现小部分机器（苟简0.5）在闇练期间施展出权臣较慢的能，从而松懈了合座闇练程度。闇练率主要取决于慢机器的能（即过时者），如果有慢的机器，会致不同运行之间的闇练率不致，因为集群内的机器调遣是马上的。在摈斥这些荒谬机器后，不同运行的峰值MFU变得致。

另种阵势露馅了机器上的事件期间线，以散播式视图（数据并行、活水线并行、张量并行）的追踪体式呈现。

传统的分析器，如PyTorch分析器，主若是为单节点动作分析设想的。这种法在散播式闇练场景中，扩充会频繁跨越多个节点的场景下，提供的细察力有限。通过将不同等的追踪跨度聚到单期间线上，用户不错赢得了个的视角，揭示了合座扩充规章、活水线气泡和数据并行等之间的同步特。

在散播式追踪器扩充可视化活水线并行时，不错通过将事件数据汇总到个活水线并行组，刺眼形色了不同活水线阶段之间的数据依赖联系。

CUDA事件计时器产生的每条数据齐被存储在个良友分析数据库中，允许从任何设施事件悠闲检索刺眼信息。诚然计时器数据以逐行体式写入腹地文献，但个单的流处理器然后实时地将这个日记文献同步到Kafka部队中。分析数据库通过处理这个Kafka部队的数据保合手新，使得在不中断闇练任务的情况下不错进行实时候析。系数监控齐在果然分娩闇练期间开启，与闇练期间比拟，支拨不错忽略不计。

3D并行闇练可视化

在3D并行闇练中，数据流动和任务规章的复杂极度。每个任务可能在某时刻同期参与几个同步或异步操作，这致了它们之间的依赖联系极度复杂。这种复杂也加重了故障会诊的难度：当个GPU节点出现故障时，节点方位的集群集群可能会在NCCL通讯操作中停滞，终致系统鸿沟内的时。从外部来看，这种情况施展为般的攻击，但根蒂原因经常荫藏在多数的时音书中。

手机号码：13302071130

为了快速定位问题节点，字节设想让每个任务在通讯时纪录我合法在进行的操作。这些日记然后被于3D并行的可视化表示中。

3D并行闇练集群逻辑上不错分为三个维度：张量并行、活水线并行和数据并行。当礼聘个特定的任务时，3D并行可视化不错露馅此任务在3D逻辑拓扑中的位置，数据流动的向以及触及的不同通讯操作。伏击的是，在发生舛讹的情况下，该器用提供了顺利探询任务舛讹音书的路线（如果有的话）。这个器用，在用于会诊闇练荒谬时，不错快地识别和不停故障。

比如前边提到的案例，当有颓势的GPU在扩充NCCL通讯操作时致攻击。这么的攻击可能会挂起系数这个词机器，致其他依赖节点的连锁时，终致系数这个词闇练历程瘫痪。为了快速识别这些故障节点，不错使用3D并行闇练可视化器用。由于恭候故障节点而时的节点会在退出时纪录它们的正在进行的操作。比拟之下，如果仅仅故障GPU的节点被挂起，并莫得纪录任何此类信息。因此，通过检查日记和可视化中的数据流，这些问题节点不错悠闲定位。旦详情，这些节点不错通过健壮的闇练框架手动隔断和象征为待瞻仰。

资历分享

字节对万卡分娩闇练任务进行了数周的故障纪录进行了分析，发现：

过90的荒谬齐是通过其LLM闇练框架自动检测、定位和收复的，举例CUDA舛讹和段舛讹。

检测故障和扩充会诊测试所需的平均期间少于10分钟。

系统不错再行的checkpoint在15分钟内赶上闇练程度之前的崩溃，保合手了过90的有闇练期间率，这个百分比是迭代次数乘以迭代闇练期间，除以总闇练期间的数值。

字节还分享了些真义的故障会诊和开采资历，需要使用上头提到的故障摈斥器用进行分析。

能下跌单点

基于字节对CUDA事件计时器的使用，在多个实验确立中不雅察到了另个关联风光：特定的主机扩充换取的正向策画苟简需要多10的期间。不同的实验还得出了致的风光，是以料定，问题不是软件自己的，而是集群中某些机器固有的问题。在隔断并从集群中移除这些有问题的主机后，不雅察到MFU苟简提了0.7。

MFU下跌

进行此类大限制闇练实验时，不雅察到的另个风光是闇练率随期间变化并不保合手致。相背，跟着闇练的进行，的闇练任务的MFU缓缓下跌。基于CUDA事件计时器目的的缓缓分析，发咫尺正向策画阶段发生了变化。入代码，把这个不规则归因于某些代码段的波动。举例，不规则的垃圾蚁集可能会引入闇练历程中的干扰，某些PyTorch操作可能会致能波动。这些操作处于关键旅途上，但在闇练历程中可能会受到影响。在修改或删除那些有问题的代码段后，再也莫得不雅察到MFU的权臣下跌。

频繁的蚁集接口泛动问题

偶尔会遭遇由于蚁集接口频繁泛动而致的闇练停滞或闇练速率下跌问题。当蚁集接口泛动风光发生时，蚁集接口先会下线然后再次上线。下线和上线之间的期间间隔野蛮合手续几秒钟。不才线历程中，系数传输中的数据包将被丢弃。学到的个教授是应该明确确立时阈值到个大的值，不然默许值会使NCCL时极度快，并在蚁集卡再次上线之前复返个完成舛讹。学到的二个教授是这个问题的根蒂原因是蚁集卡、AOC电缆和交换机之间的积累质料差。通过在蚁集卡信号强度、AOC电缆质料和交换机侧信号强度面进行底层质料限度，不错将泛动频率镌汰到令东说念主舒心的水平。

追想

在大型讲话模子（LLM）的闇练历程中，字节朝上头终末多个安逸挑战，包括系统失败、单点能下跌和硬件荒谬。为了应付这些挑战，字节朝上开发了系列的会诊和收复器用，以及化战略，包括度监控、快速checkpoint和收复、能会诊以及3D并行闇练可视化。这些器用和战略使得字节朝上简略自动检测和开采大多数常见故障，大大减少了东说念主工侵略的需求，况且小化了闇练中断的期间，从而提了闇练的率和安逸。

字节朝上的度监控战略通过心跳音书蚁集扩充器的基本信息和闇练进程的情状，完毕实时荒谬检测和预警。其快速checkpoint和收复机制通过化checkpoint和收复历程，确保了在出现故障时简略快速收复闇练。能会诊器用，如CUDA事件监控，匡助识别和不停策画过时者和能下跌等问题。3D并行闇练可视化器用则通过展示数据流和任务规章的3D逻辑拓扑，匡助会诊闇练历程中的问题。

此外，字节朝上还面终末蚁集接口频繁泛动的问题，通过确立大的时阈值和提蚁集接口的信号质料，顺利减少了泛动频率。

总的来说，字节朝上通过这些器用和战略，顺利地提了LLM闇练的安逸和率，即使在大限制闇练环境中也简略保合手系统的安逸运行。

本站仅提供存储管事，系数内容均由用户发布，如发现存害或侵权内容，请举报。 相关词条:玻璃棉毡
塑料挤出机
预应力钢绞线铁皮保温