DeepSeek ogłasza otwarcie kodu źródłowego DeepGEMM

Deepseek ogłosił otwarcie kodu źródłowego DeepGEMM w trzecim dniu Tygodnia Open Source. DeepGEMM to biblioteka zaprojektowana specjalnie do zwięzłego i wydajnego mnożenia macierzy ogólnych FP8 (GEMM), z możliwościami skalowania o wysokiej precyzji, jak zaproponowano w DeepSeek-V3. Obsługuje zarówno regularne, jak i grupowane GEMM z Mieszanką Ekspertów (MoE). Biblioteka jest napisana w CUDA, nie wymaga kompilacji podczas instalacji i kompiluje wszystkie jądra w czasie rzeczywistym za pomocą lekkiego modułu Just-In-Time (JIT). Biblioteka FP8GEMM zapewnia wsparcie dla treningu i wnioskowania V3/R1.