Salesforce wprowadził pierwszy na świecie benchmark LLM, który ma pomóc firmom w ocenie szybko rosnącej liczby dużych modeli językowych (LLM) do wykorzystania w ich systemach zarządzania relacjami z klientami (CRM).

 

Nowy benchmark to kompleksowe ramy oceny, które mierzą wydajność LLM w odniesieniu do czterech kluczowych miar: dokładności, kosztów, szybkości oraz zaufania i bezpieczeństwa. Został on zaprojektowany do oceny typowych przypadków użycia w sprzedaży i usługach, w tym prospectingu, lead nurturingu, a także podsumowań szans sprzedaży i przypadków usług. Benchmark udostępnia użytkownikom tabelę liderów, aby pomóc profesjonalistom zdecydować, który LLM najlepiej sprawdzi się w przypadku ich indywidualnych potrzeb. Salesforce będzie nadal włączać nowe scenariusze przypadków użycia do benchmarku i ulepszać ocenę LLM.
Dlaczego jest to ważne?

Istniejące benchmarki LLM są ograniczone do przypadków zastosowań akademickich i konsumenckich, a ich znaczenie dla biznesu jest bardzo niewielkie. Brakuje w nich również odpowiednich ocen ekspertów i nie uwzględniają one dokładności, szybkości, kosztów i kwestii zaufania. Te niedociągnięcia sprawiły, że firmy nie mają wiarygodnej metody oceny skuteczności generatywnych rozwiązań CRM opartych na sztucznej inteligencji. Bez wyraźnego poczucia, jak LLM sprawdzają się w tych metrykach dla konkretnych przypadków użycia, firmy muszą podejmować decyzje „po omacku”.

Opracowany przez Salesforce AI Research benchmark w wyjątkowy sposób wykorzystuje rzeczywiste dane CRM, a także eksperckie oceny dokonywane przez praktyków. Umożliwia to firmom wykorzystanie benchmarku do podejmowania bardziej strategicznych decyzji dotyczących sposobu włączenia generatywnej sztucznej inteligencji do ich systemów CRM.

Co mierzy benchmark?

Dokładność: Ta kategoria obejmuje cztery podkategorie: rzeczowość, kompletność, zwięzłość i zgodność z instrukcjami. Im dokładniejsze są przewidywania lub zalecenia, tym bardziej wartościowe będą wyniki dla zespołów w całej organizacji – a im bardziej wartościowe wyniki, tym lepsze działania mogą podjąć w celu poprawy obsługi klienta. Jeśli model jest wystarczająco dokładny dla danego przypadku użycia, ważne jest również, aby wziąć pod uwagę inne wskaźniki. Nawet jeśli model nie jest wystarczająco dokładny, techniki takie jak szybka inżynieria i dostrajanie mogą go poprawić.

Koszt: Metryka kosztów jest skategoryzowana jako wysoka, średnia i niska, w oparciu o percentyle. Jest to szacunkowy koszt operacyjny, który różni się w zależności od przypadku użycia. Klienci mogą ocenić opłacalność różnych rozwiązań LLM, aby upewnić się, że są one zgodne z ich budżetem i strategiami alokacji zasobów.

Szybkość: Ta metryka ocenia szybkość reakcji i wydajność LLM w przetwarzaniu oraz dostarczaniu informacji. Krótszy czas reakcji poprawia doświadczenie użytkownika, skracając czas oczekiwania klientów i umożliwiając zespołom sprzedaży oraz obsługi szybkie reagowanie na zapytania lub problemy.

Zaufanie i bezpieczeństwo: Ten wskaźnik mierzy zdolność LLM do ochrony wrażliwych danych klientów, przestrzegania przepisów dotyczących prywatności danych, zabezpieczania informacji oraz powstrzymywania się od stronniczości i toksyczności. Oceniając niezawodność LLM dla CRM, ten benchmark daje organizacjom poczucie przejrzystości w zakresie zaufania i bezpieczeństwa.

Dzięki platformie Einstein 1 firmy Salesforce, klienci mogą wybierać spośród istniejących rozwiązań LLM lub tworzyć własne modele spełniające ich unikalne potrzeby biznesowe. Wybierając modele dla swoich przypadków użycia CRM przy użyciu benchmarku, firmy mogą wdrażać bardziej skuteczne i wydajne rozwiązania generatywnej sztucznej inteligencji.



Źródło: Salesforce