边缘计算的AI算力一般用于AI推理场景

高性能计算一般指以科学计算和仿真设计为主要场景的集群；智算通常指以人工智能为主要应用场景的集群，同时也可能会包含高性能计算

大规模GPU在单机内部多卡之间目前使用NVlink互联，多个节点间目前使用8张400Gb IB卡互联，GPU卡和IB卡配比为1:1。调度现在主要使用HPC的调度器，以slurm为主。

生物芯片目前可能更多还是在实验室阶段，未来值得持续关注和期待。

云计算与大模型两种应用对资源需求是相反的，云计算是将1张GPU卡共享给很多人用，大模型是用很多张卡整合起来来计算一个任务。大模型对性能和稳定性要求极高，比如要求400Gb的IB互联，而云计算一般会选用通用产品。一般情况下，云计算很难达到大模型的性能要求。

GPU集群管理有一些免费的工具如Slurm，K8S, 我们可以提供商业软件的解决方案，需要额外的软件付费

提升算力效率可以优化的地方是比较多的，比如提高GPU服务器内部的散热，使GPU可以工作在最佳状态；提高GPU内部与外部通信性能；提升AI数据存储的I/O性能，以避免GPU集群出现存储瓶颈。

我们认为这两种方式未来是会并行的，主要取决于企业对于数据与业务安全管理的规定，以及业务对于吞吐和延迟的要求 等。

我们目前可以提供针对CPU与GPU算力的统一管理与资源调度。

集群调优首先要保证CPU、GPU、内存、网络和存储的性能指标是合理的、正常的范围，如果判断是性能异常，可以从BIOS、固件、拓扑等方面考虑去调整。比如举内存带宽的例子，intel的6400系列处理器是有6条内存通道，因此我们单机双路服务器，一定要把12条内存通道占满，才能保障内存带宽，所以12条16GB内存与6条32GB的内存性能是不一样的。运行一段时间后的调优一个是保障硬件各个部件本身性能正常，另外要关注散热问题，比如停机后第一次测试性能正常，但是多测几次可能就性能下降了

AI大模型目前比较集中的落地方向包括：AI图像生成、基于AI大模型的知识管理与知识查询、AI代码生成、智能客服等。这些领域开源框架与提供商业服务的AI公司相对比较多。

Dell目前主要关注在面向AI的基础架构平台解决方案，特别是针对AI生命周期的数据管理，针对数据加载、治理、训练、推理不同阶段提供多协议支持、性能与容量扩展性支持、应用透明的分层存储方案与数据保护方案。

如何区分是硬件性能还是模型效率的问题？首先是要确保硬件本身性能正常之后，再去调试模型。当然也有可能是硬件和模型交替调试，比如最开始的硬件架构设计与应用场景不匹配，虽然保障了硬件性能，但是运行模型的时候，有很大瓶颈，这时候可能也要调整硬件的架构

建议自建HPC系统在集群软件的选择上，选择可以对接多个超算云的集群软件，以本地的资源使用为主，资源不够用时调度到超算云平台上。

对于AI数据中心端的GPU分布式训练，我们会建议：1）采用共享集中式存储训练数据、过程数据与结果文件，以提供更好的存储可用性；2）对于共享存储进行更完善的自身可靠性机制，以及专业数据备份保护解决方案。对于分布在边缘节点的数据，Dell今年推出了Dell NativeEdge平台，采用零信任安全机制，保障企业用户边缘部署、应用和数据处于安全保障当中。

选用什么样的架构，要根据应用的特征才分析和选型，一切以应用为核心。应用的特征主要有CPU计算型，GPU计算型，大IO类型，网络密集型，大内存类型等，不同的应用特征决定了不同的选型和架构。常见的服务器选型有：2路的CPU服务器，4路或者8路的大内存的胖节点，单卡、4卡、8卡等各种配置的GPU服务器；网络选型有IB、万兆网、100Gb以太等。

集群要长期维持高性能运转，部署和运维是非常需要经验的，我们也会有一些成熟的方案，但要想保障每一套集群的性能最优，一定会根据每套集群的硬件、系统和应用再进行优化。

我们现在有冷板式和浸没式液冷两种液冷的实现方式。

需要看具体的应用。

我们目前在国内有行业合作伙伴可以提供一些具体AI大模型场景的模型精调和部署服务。