Problème de performance avec Python et les grandes listes

[zed33]

Salut à tous ! J'ai un script Python qui manipule des listes de plusieurs millions d'éléments, et ça rame sévère. Quelqu'un a une astuce pour optimiser ça ? J'utilise Python 3.10 sur un i7-10700K, ça devrait pas être si lent...

[vincent92]

As-tu essayé d'utiliser des générateurs au lieu de listes ? Avec 'yield', tu peux souvent réduire l'empreinte mémoire. Sinon, numpy est fait pour ce genre de cas.

[sofiane_dev]

Je plussoie pour numpy. Sur des données numériques, j'ai gagné un facteur 50x en passant de listes Python à des numpy arrays. Par contre, évite les boucles for, utilise les opérations vectorisées.

[zed33]

Merci pour les conseils ! Numpy marche bien pour les nombres, mais mes données sont des strings... Des alternatives ?

[kernelpanic_oc]

Pour des strings, regarde du côté de pandas.Series. C'est optimisé pour le typage. J'ai un cas similaire où je process 2M de noms, et ça tourne nickel avec ça + apply().