AMD vs Nvidia pour le machine learning en 2024

[seb_tech]

Je dois investir dans une nouvelle carte pour du deep learning (PyTorch/TensorFlow). J'hésite entre une RTX 4090 et une RX 7900 XTX. Des retours sur la compatibilité CUDA vs ROCm ?

[david.l]

Clairement Nvidia pour le ML. CUDA est incontournable, ROCm est encore trop limité malgré les progrès. La 4090 domine en perf/TFLOPS, surtout avec les nouveaux noyaux Tensor.

[gigi57]

Je plussoie. J'ai testé les deux : sur ResNet-50, ma 4090 est 2,3x plus rapide que la 7900 XTX. Et l'écosystème CUDA c'est 90% des papiers de recherche qui l'utilisent.

[seb_tech]

Merci pour les chiffres ! Et niveau VRAM, 24GB suffisent pour des modèles XL ? J'ai vu que la 4090 Ti pourrait sortir avec 48GB...

[seb33]

Pour du fine-tuning oui, mais pour l'entraînement de très gros modèles tu devras passer sur des A100/H100. La 4090 Ti sera intéressante mais attendre mi-2024...

[admin_sys_gaming]

Petit + pour Nvidia : les bibliothèques comme cuDNN sont optimisées pour leurs archis. AMD galère toujours sur les implémentations custom.