Η γαλλική startup Kog φιλοδοξεί να αλλάξει τα δεδομένα στην επεξεργασία τεχνητής νοημοσύνης, εστιάζοντας στη βελτιστοποίηση λογισμικού για συμβατές κάρτες γραφικών (GPUs) κέντρων δεδομένων, όπως οι Nvidia H200 και AMD MI300X. Σε αντίθεση με εταιρείες που επενδύουν σε εξειδικευμένο υλικό, η Kog αξιοποιεί τεχνικές χαμηλού επιπέδου για να «ξεκλειδώσει» κρυμμένες δυνατότητες από το ήδη υπάρχον hardware επιχειρήσεων.
Με επικεφαλής τον Gaël Delalleau, η ομάδα επιδιώκει να προσφέρει ταχύτερη εξαγωγή συμπερασμάτων (inference), στοχεύοντας επαγγελματίες και προγραμματιστές που αντιμετωπίζουν καθυστερήσεις σε σύνθετες ροές εργασίας. Παρά τις προκλήσεις και την ανάγκη προσαρμογής της μεθόδου σε μεγαλύτερα μοντέλα γλώσσας (LLMs), η εταιρεία ετοιμάζει τις επόμενες κινήσεις της για να αποδείξει την αποτελεσματικότητα της τεχνολογίας της σε ευρεία κλίμακα.
- Η Kog εστιάζει στην επιτάχυνση AI μέσω λογισμικού σε συμβατές GPUs.
- Αξιοποιεί τεχνικές χαμηλού επιπέδου inspired από την κυβερνοασφάλεια.
- Στοχεύει σε έως και 30x ταχύτερο LLM inference σε σύγκριση με τα καθιερωμένα πρότυπα.
- Προετοιμάζεται για την πρώτη εφαρμογή σε μεγάλο μοντέλο μέσα στον Σεπτέμβριο.
Πηγές:
