蚂蚁集团-大模型训练&推理加速-健康事业群

1、设计、开发和实现高效的大型模型训练和推理系统，以提高计算性能和加速模型收敛速度。 2、与团队合作，优化算法和模型架构，以适应并充分利用硬件资源，如 GPU、TPU 等。 3、进行模型性能分析和调优，识别和解决瓶颈问题，提高模型的训练和推理速度。 4、实施并维护自动化工具和流程，以简化和加速模型训练和推理的部署过程。 5、跟踪最新的研究进展和技术趋势，提出改进和创新的想法，推动团队的技术发展。 【任职要求】 1、深入理解机器学习算法和模型的原理和实践，包括常见的GPT-1、GPT-2、GPT-3、Transformer等。 2、熟悉常见的机器学习框架，如 PyTorch、TensorFlow 等，并具有丰富的实际项目经验。 3、熟悉常见的分布式机器学习框架，Megatron、DeepSpeed、HuggingFace 4、熟悉 GPU 和其他加速硬件的使用，有相关的性能调优经验，有FastTransformer、CUDA优化、TensorRT、Triton的一些经验更好。 5、熟悉分布式计算和并行计算的概念和技术，有相关的实际经验。 6、熟练使用编程语言，如 Python、C++ 等，在模型训练和推理的开发过程中有丰富的编码经验。 7、具备良好的沟通和团队合作能力，能够与跨功能团队密切合作，解决问题并实现共同目标。