Yandex Research, Yüksek Lisans'ları sıkıştırmak için yeni yöntemler geliştirerek yapay zeka uygulama maliyetlerini 8 kata kadar azalttı – TEKNOLOJİ
Yandex Araştırma ekibi, IST Avusturya, NeuralMagic ve KAUST'tan araştırmacılarla işbirliği içinde, büyük dil modelleri için iki yeni sıkıştırma yöntemi geliştirdi: Dil Modelleri için Eklemeli Niceleme (AQLM) ve PV-Tuning. Bu yöntemler birleştirildiğinde, %95 yanıt kalitesini korurken model boyutunda 8 kata kadar azalma sağlar. Kaynakları optimize etmeyi ve büyük dil modellerini çalıştırmada verimliliği artırmayı amaçlayan bu yeni yaklaşımı detaylandıran makale, şu anda Avusturya'nın Viyana kentinde düzenlenen Uluslararası Makine Öğrenimi Konferansında (ICML) sunuldu. AQLM ve PV-Tuning'in ana özellikleri AQLM, LLM sıkıştırması için bilgi alımında geleneksel olarak kullanılan toplamsal niceleme yöntemini kullanır. Ortaya çıkan yöntem, aşırı sıkıştırma altında model doğru...