AMD 发布自家首款 “小语言模型” AMD-Llama-135m

AMD 在 Huggingface 平台正式公布了其首款 “小语言模型” AMD-Llama-135m。该模型具有推测解码功能,拥有 6700 亿个 token,并采用 Apache 2.0 开源许可。模型地址如下：点击访问

推测解码能力的核心优势

据介绍,AMD-Llama-135m 主要以 “推测解码” 能力为特色。其基本原理是使用一个小型草稿模型生成一组候选 token,然后由更大的目标模型进行验证。这种方法允许每次前向传递生成多个 token,而不会影响性能,从而显著减少 RAM 占用,实现效率提升。就像是一个 “先草拟,后审查” 的过程,在保证准确性的同时,大大提高了处理效率。

训练与优化

AMD 表示,这款模型在四个 AMD Instinct MI250 节点上训练了六天。值得一提的是,这一训练过程展示了 AMD 硬件在大规模模型训练中的强大性能和稳定性。此外,针对编程应用的专用版本 AMD-Llama-135m-code 还额外耗费了四天时间进行微调。通过这种专用版本,AMD 希望进一步提升模型在编程相关任务中的表现,为开发者提供更精准的工具。

未来展望

通过此次发布的 AMD-Llama-135m,AMD 展示了其在人工智能和机器学习领域的技术实力和创新能力。这款模型不仅代表了 AMD 在小语言模型领域的一次重要实践,也为未来更多的 AI 应用提供了可能性。

AMD 表示,未来将继续致力于技术创新,不断优化和扩展其 AI 模型的应用范围,为科研机构和企业提供更强大的技术支持。通过此次发布的 AMD-Llama-135m,AMD 希望能够助力各行各业实现智能化升级,为全球的 AI 研究和应用开辟新的路径。

总的来说,AMD-Llama-135m 的问世不仅是 AMD 在人工智能领域的一大突破,更是在小语言模型技术上的一次重要探索。AMD 将继续以科技创新为驱动,不断推动人工智能技术的发展和进步,为实现智能化社会贡献力量。