Yapay zeka dünyasında gözler artık modellerin eğitilmesinden çok, bu modellerin nasıl daha hızlı ve ekonomik çalıştırılacağına çevrilmiş durumda. Bu alandaki en popüler açık kaynaklı projelerden biri olan vLLM'in yaratıcıları, projelerini ticari bir boyuta taşımak amacıyla kurdukları Inferact adlı girişimle teknoloji dünyasına damga vurdu.
Girişim, Andreessen Horowitz (a16z) ve Lightspeed Venture Partners’ın liderlik ettiği tohum turunda 150 milyon dolar yatırım aldı. Yeni tur, girişimin değerlemesini 800 milyon dolara çıkardı.
Inferact’in temelini oluşturan vLLM, yapay zeka modellerinin çıkarım aşamasında, yani modelin bir komuta yanıt verdiği süreçte hızı artırıp maliyeti düşüren bir teknoloji olarak konumlanıyor. UC Berkeley kökenli olan bu teknoloji, "PagedAttention" gibi yenilikçi yöntemlerle bellek yönetimini optimize ederek yapay zeka modellerinin çok daha verimli çalışmasını sağlıyor.
Şirketin CEO'su Simon Mo, vLLM'in halihazırda Meta, AWS, Mistral AI, Nvidia ve Google gibi teknoloji devleri tarafından kullanıldığını belirterek, Inferact'in misyonunu "yapay zekayı çalıştırmayı zahmetsiz ve ucuz hale getirmek" olarak tanımlıyor.
Mo, vLLM’in açık kaynaklı ruhunu korumaya devam edeceklerini ancak kurumsal müşteriler için daha ölçeklenebilir ve destek sunan ticari versiyonlar geliştireceklerini de belirtti. Girişim, yapay zeka altyapısı verimliliği yarışında en güçlü oyunculardan biri haline geldi.
Popüler İçerikler