AMD 平台上的 LLM 計算

前幾天在 Hacker News 上看到的文章：「Making AMD GPUs competitive for LLM inference (mlc.ai)」，原文在「Making AMD GPUs competitive for LLM inference」這邊。

Nvidia 在 GPU 上的各種運算這塊進來的很早，除了本家開發了很多工具以外，社群的支援度也很好。而 AMD 這邊就差了不少，但這也反應在顯卡的售價上面。

作者整理了同樣是 24GB VRAM 的顯卡出來，分別是 AMD 的 7900XTX，以及 Nvidia 的 3090 Ti 與新的 4090：

可以看出來縮然同樣 fp16 對應到的功耗差蠻多的，但單價低很多，對於業餘玩家偶而用來說，其實是個可以考慮的方案。

而他們的成果可以看出來效果其實不差，跑 Llama 2 的 model 可以看到 CP 值相當高：

看起來支援的主力在 ROCm 上，就效能與功耗的筆直來說其實是超越的？(或者保守一點的說，是在同一個水平上的)

現在算是 AMD 顯卡在追趕的過程，社群的力量看起來會是主力…

Read More