Salesforce : premier benchmark LLM au monde pour le CRM

Salesforce a développé le premier benchmark LLM au monde pour le CRM afin de permettre aux entreprises d’évaluer les modèles d’IA génératifs pour les applications commerciales. Le benchmark évalue les LLM (Large Language Models) pour les cas d’application de vente et de service en termes de précision, de coût, de vitesse, de confiance et de sécurité. Les évaluations sont basées sur des ensembles de données CRM réels de Salesforce et de clients, ainsi que sur des évaluations d’experts par les employés et les clients de Salesforce. Lors de l’utilisation de l’IA générative dans les processus commerciaux, les entreprises sont confrontées au défi d’identifier le modèle le plus adapté à leurs besoins. « Les modèles les plus grands et les plus puissants sont souvent trop coûteux et fournissent plus que ce qui est nécessaire », explique Clara Shih, CEO de Salesforce AI. Dans de nombreux cas, l’open source et/ou des modèles plus petits à moindre coût sont au moins aussi bien adaptés à de nombreuses tâches, poursuit Mme Shih. La vitesse et la facilité d’utilisation sont également un casse-tête. Le principal obstacle réside dans la sécurité des données, lorsque des données confidentielles sont éventuellement introduites dans le LLM. Enfin, la croissance exponentielle du paysage des modèles rend la vue d’ensemble encore plus difficile.

Des cas d’application spécifiques dans la vente et le service à la clientèle

Pour faciliter l’orientation des entreprises, Salesforce met à disposition le premier LLM Benchmark pour CRM du secteur, qui a été optimisé spécialement pour les scénarios d’utilisation dans la vente et le service clientèle. Il couvre des cas d’utilisation tels que les résumés d’opportunités, l’acquisition de prospects, les rapports d’incidents, les recommandations basées sur la connaissance pour les réponses d’assistance et bien plus encore. Étant donné que les autres benchmarks LLM se concentrent sur des cas d’application académiques et privés, qu’ils ne prennent pas en compte suffisamment d’évaluations par des experts et qu’ils n’incluent pas de critères tels que la précision, la vitesse, les coûts et la confiance, ils ne sont guère pertinents pour les entreprises. C’est pourquoi le benchmark comprend également un tableau de bord public qui aide les entreprises à évaluer l’efficacité des solutions CRM génératives basées sur l’IA et à décider en connaissance de cause quel LLM est le mieux adapté à leurs besoins CRM. Le benchmark est développé et étendu en permanence en tant que cadre dynamique. Les entreprises peuvent prendre des décisions plus éclairées sur cette base. Par exemple, si un modèle semble adapté à un cas d’utilisation pour la majorité des critères, il peut être amélioré en termes de précision grâce à des techniques telles que l’ingénierie d’invite et le réglage fin. Avec la plate-forme Einstein 1 de Salesforce, les clients peuvent choisir parmi les LLM existants ou apporter leurs propres modèles pour répondre à leurs besoins individuels. Le benchmark les aide à parvenir plus rapidement à une utilisation réussie et efficace des solutions basées sur l’IA.

Les critères en bref

• Précision: Cette métrique comprend les quatre sous-catégories suivantes : exactitude, exhaustivité, intelligibilité et prise en compte des commandes d’entrée/prompts. En effet, seules des prédictions et des recommandations précises et correctes peuvent se traduire par de meilleurs résultats commerciaux et une meilleure expérience client grâce à des actions informées.
• Coûts : La mesure des coûts fait référence aux coûts d’exploitation estimés, qui peuvent varier en fonction du cas d’utilisation du CRM, et est classée en catégories haute, moyenne et basse sur la base de centiles.
• Vitesse: La réactivité et l’efficacité du LLM dans le traitement et la mise à disposition des informations améliorent l’expérience utilisateur, réduisent par exemple les temps d’attente pour les clients et permettent aux équipes de vente et de service de traiter les demandes et les tâches en temps voulu.
• Confiance et sécurité: Il s’agit ici de la capacité du LLM à protéger les données sensibles des clients, à respecter les dispositions relatives à la protection des données, à sécuriser les informations et à éviter les préjugés et la toxicité. Il en résulte une valeur de fiabilité des LLM pour CRM qui assure une plus grande transparence en termes de confiance et de sécurité. Grâce à la couche de confiance d’Einstein, les entreprises peuvent utiliser en toute sécurité leurs données et métadonnées de confiance dans n’importe quel modèle, indépendamment de la valeur obtenue, sans qu’elles y soient stockées ou utilisées à des fins de formation.

« Les entreprises se tournent vers l’IA pour se développer plus rapidement, réduire les coûts et offrir des expériences client personnalisées – pas pour planifier un anniversaire d’enfant ou résumer Othello », explique Clara Shih. « Nos clients ont demandé une méthode ciblée pour évaluer la multitude de nouveaux modèles d’IA et choisir celui qui correspond à leurs besoins. Notre premier benchmark LLM pour CRM les aide à s’orienter dans le paysage complexe des modèles. Conçu comme un cadre évoluant de manière dynamique, il permet aux entreprises de prendre des décisions éclairées et d’équilibrer leurs attentes en matière de précision, de coût, de vitesse et de confiance ».