Programing

luis.ai 대 api.ai 대 wit.ai 비교?

lottogame 2020. 10. 10. 09:30
반응형

luis.ai 대 api.ai 대 wit.ai 비교?


누구든지 세 가지의 구체적인 차이점과 기능을 알고 있습니까? 아니면 하나가 더 많은 기능을 가지고 있거나 개발자로서 더 유연하게 사용할 수 있는지 알고 있습니까?


wit.ai api.ai luis.aivs vs

╔══════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════════╗
║                                                  wit.ai vs api.ai vs luis.ai                                                 ║
╠══════╦════════════════════════════════════╦═════════════════════════════════════════════╦════════════════════════════════════╣
║ S.No ║               Wit.ai               ║                    Api.ai                   ║               Luis.ai              ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 1    ║ Wit.ai API is completely free      ║ Api.ai Has a paid enterprise option         ║ LUIS is in beta and free to use    ║
║      ║ with no limitations on             ║ which allows for this to be run on a        ║ 10K transactions per month         ║
║      ║ request rates.                     ║ private cloud internally and more           ║ and up to 5 requests per second    ║
║      ║                                    ║ from their services team., After google     ║ for each account.                  ║
║      ║                                    ║ acquisition they are providing free         ║                                    ║
║      ║                                    ║ services by integrating google cloud        ║                                    ║
║      ║                                    ║ services.                                   ║                                    ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 2    ║ Provides a nice combination        ║ Speech to Text and Text to Speech           ║ LUIS uses machine learning         ║
║      ║ of both voice recognition and      ║ capabilities, along with machine            ║ based methods to analyze           ║
║      ║ machine learning for developers.   ║ learning.                                   ║ sentences. To perform machine      ║
║      ║                                    ║                                             ║ learning, LUIS breaks an           ║
║      ║                                    ║                                             ║ utterance into "tokens".           ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 3    ║ Has two main elements to it        ║ Support of Intents, Entities, actions       ║ Supports Intents, Entities         ║
║      ║ that you set up within your        ║ and one key focus area is its “Domains”.    ║ and actions.                       ║
║      ║ app – intents and entities.        ║                                             ║                                    ║
║      ║ Actions are separated to           ║                                             ║                                    ║
║      ║ use as a combined operations.      ║                                             ║                                    ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 4    ║ Has pre-build entities like        ║ Has pre-build entities like @sys.date,      ║ Has pre-build entities             ║
║      ║ temperature, number, URLs,         ║ @sys.color, @sys.unit-currency… etc.        ║ builtin.intent.alarm,              ║
║      ║ emails, duration… etc.             ║                                             ║ builtin.intent.calendar,           ║
║      ║                                    ║                                             ║ builtin.intent.email… etc.         ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 5    ║ Doesn’t have integration module    ║ Has integration module to connect           ║ Has integration to Microsoft       ║
║      ║ to directly communicating with     ║ directly to Facebook messenger and          ║ Azure and other services, can be   ║
║      ║ Facebook messenger or other        ║ other messenger api’s. Has support for      ║ deployable in any supported        ║
║      ║ messenger APIs. but has web        ║ deploying in to heroku server, enterprise   ║ servers.                           ║
║      ║ service api to hook services.      ║ paid environment.                           ║                                    ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 6    ║ Early in 2015, joined Facebook     ║ Created by a team who built personal        ║ LUIS was introduced together with  ║
║      ║ and opened up the entire platform  ║ assistant app for major mobile platforms    ║ Microsoft Bot Framework and Skype  ║
║      ║ to be free for both public and     ║ with speech and text enabled conversations. ║ Developer Platform which can be    ║
║      ║ private instances.                 ║ acquired by google (sept 2016).             ║ used to create Skype Bots.         ║
╠══════╬════════════════════════════════════╬═════════════════════════════════════════════╬════════════════════════════════════╣
║ 7    ║ Wit.ai API for developers of iOS,  ║ Api.ai has SDKs for Android, iOS,           ║ LUIS allow building applications   ║
║      ║ Android, Node.js, Raspberry Pi,    ║ the Apple Watch, Node.js, Cordova,          ║ by using the LUIS web interface.   ║
║      ║ Ruby, Python, C, Rust and          ║ Unity, C#, Xamarin, Windows Phone,          ║ No coding needed other than the    ║
║      ║ Windows Phone. It even             ║ Python and JavaScript. It also can be       ║ ability to interpret and use the   ║
║      ║ has a JavaScript plugin for        ║ integrated with Amazon’s Echo and           ║ returned JSON in application.      ║
║      ║ front end developers.              ║ Microsoft’s Cortana.                        ║ It is also possible to use the     ║
║      ║                                    ║                                             ║ LUIS REST API for                  ║
║      ║                                    ║                                             ║ automation of applications.        ║
╚══════╩════════════════════════════════════╩═════════════════════════════════════════════╩════════════════════════════════════╝

업데이트 : API.AI는 이제 Dialogflow입니다. 여기에서 자세히 알아보세요.


블로그 게시물 에는 Luis, Wit.ai, Api.ai, Amazon Alexa 및 IBM Watson 서비스에 대한 정말 좋은 분석 및 비교가 있습니다. 또한 애초에 대화 형 봇을 구축하려는 이유와 그에 수반되는 몇 가지 과제에 대한 좋은 배경이 있습니다. YumiBot (앱 개발에 대한 가격 견적을 제공하는 봇) 뒤에있는 사람들이 작성했습니다 .

일반적인 요점은 Wit.aiLuis 가 실험 중이고 무료로 무언가를 얻고 싶다면 훌륭한 선택이라는 것입니다. Api.ai 는 훌륭한 서비스와 사용자 경험을 제공하지만 무료는 아닙니다. IBM Watson 과 동일 하지만 후자는 엔터프라이즈 작업에 더 많은 가격을 책정했습니다. Alexa의 API는 훌륭하지만 Alexa에서만 작동합니다 (그러나 거대한 사용자 기반을 가지고 있다는 점을 감안할 때 나쁜 거래는 아닙니다).

그들의 조언은 또한 한 공급자에게 너무 많이 의존하지 않는 것입니다.

모델에 필요한 모든 데이터를 자체 코드 저장소에 구조화 된 방식으로 저장하는 것이 좋습니다. 따라서 나중에 모델을 처음부터 다시 학습 시키거나 필요한 경우 언어 이해 제공자를 변경할 수도 있습니다. 회사가 서비스를 중단하고 완전히 준비되지 않은 상황에 처하고 싶지는 않습니다. Parse를 기억하십니까?

이것이 도움이 되었기를 바랍니다! 선택하는 가장 좋은 방법은 이러한 서비스를 사용해 보는 것입니다. 많은 제품이 아직 개발 중이고 기능을 추가하고 가격 책정 모델을 변경하는 중이라는 점을 감안할 때 특정 사용 사례를 사용하여 가장 빨리 필요한 곳으로 이동할 수있는 방법을 확인해야합니다.


최근에 API.ai, Amazon Lex, Microsoft LUIS, IBM Watson Conversation, wit.ai, Recast.ai 및 Snips.ai 의 7 가지 NLU API 지원 서비스에 대한 평가 연구를 발표했습니다 .

조사 결과에 대한 간략한 요약 :

  • IBM Watson 의도 감지는 특히 소규모 학습 데이터 세트에서 가장 적합합니다 (2000 개 이상의 샘플에 대해 학습하면 차이를 구별 할 수 없습니다).
  • API.AI는 무료이며 충분히 큰 교육 세트의 성능은 IBM Watson 및 Microsoft LUIS와 일치합니다.
  • Microsoft LUIS는 테스트에서 다른 것보다 훨씬 빠르게 작동합니다. wit.ai는 위의 세 가지보다 성능과 응답 시간이 다소 나쁘지만 무료이며 최고의 언어 범위 (약 50 개 언어)를 제공합니다.
  • Amazon Lex에는 매우 엄격한 API 제한이 있습니다 (교육 세트 크기는 200K 심볼로 제한되어 다중 의도 도우미의 좋은 의도 감지 품질에 도달하는 데 충분하지 않을 수 있습니다. 또한 모든 교육 발화에 엔터티별로 레이블을 지정해야합니다. 데이터 세트 준비.

이 질문의 한 가지 측면은 이러한 도구가 자연어를 이해하는 데 얼마나 효율적인지입니다. 최근에 발표 한 벤치 마크 (프랑스 AI 회사 인 Snips)에서 Alexa (Amazon), SiriKit (Apple), Luis (Microsoft) 및 API.ai (Google)의 기본 제공 자연어 엔진을 테스트했습니다.

"점심 모임에 갈 수있는 샐러드 바를 찾아 줘", "6 인용 택시 주문"과 같은 자연스러운 쿼리와 326 개의 다른 쿼리를 이해하는 능력을 테스트했습니다.

전반적인 결론은 모든 솔루션이 불완전하다는 것입니다.

More precisely, they all have similar levels of noise in their responses (between 60% and 90% precision), but there are significant differences in the breadth of language they can support. From this perspective, Luis performs the most poorly: on every use case we tested, it understood less than 14% of the queries. API.ai performs better, although not very reliably: it understands between 0 and 80% of the queries we tested, depending on the use cases. The highest levels of recall can be observed for Alexa (42% and 82% recall) and Siri (61% recall).

More details, and the raw data behind these results can be found in our blog post, Benchmarking Natural Language Understanding Systems


In my opinion Luis is more robust and can extract entities in different languages. I've tested in api.ai and dutch did not work for me. If you need english only then any one of them should be fine but if you need to support more languages then better test those languages as well before getting stuck with one service. Bing speech to text is ok but i think to get more robust solution you will need another microsoft service that cleans voice and noise.


i am going to answer the last part of your question around flexibility and being a developer, IMO it finally comes down to what you are looking for in these platforms.

If you are a developer using NodeJS or .Net, LUIS.ai has an extensive library and well defined code snippets and example to spin up a decent bot pretty quickly. The intents and entity recognition is a bit below par compared to google, but if you are Microsoft Shop, there are a lot of 1-click integrations to O365, Teams, Skype, cortana etc. The cons for LUIS.ai is their service seems very unstable, as of this writing their LUIS.ai website is not functioning rejecting connections and it has been more than a week, where cortana integration is not working. So the platform is still a work in progress.

Api.ai, from a pure NLU perspective is better than Luis.ai, the followup intents are very easy to setup, the speech priming is vastly superior to Luis.ai(even after speech priming). The cons i would say, it the connectabilty and also the API to build a bot are a bit more complicated than building an MSBot based chat bot.

Another platform open source platform that is gaining traction is RASA NLU. https://rasa.com/. Comparatively the entity recognition and the ranking is still a bit sketchy of large datasets, but its open sources and if you want to get your hands dirty, you can fork their github platform and improve it.

From a pure development perspective, its easier to fly up a chatbot in the MS platform(using luis.ai or qnamaker.ai ), but be prepared to have challenges as they work on stabilizing the platform.

-Kartik


I was using DialogFlow but I switched to LUIS. Why? because when you call DetectIntent in DialogFlow you get a JSON with the selected intent and its confidence level but I need to get a list of intents with the confidence level of each one. The same happens with wit.ai and api.ai.

On the other hand, LUIS gives you a list of intents as a response. That way, I can apply further processing on my side.

This is an example from LUIS when you search for "book flight to Cairo" (part of the LUIS example):

 {
   "query": "Book me a flight to Cairo",
   "topScoringIntent": {
       "intent": "BookFlight",
       "score": 0.9887482
   },
   "intents": [
       {
           "intent": "BookFlight",
           "score": 0.9887482
       },
       {
           "intent": "None",
           "score": 0.04272597
       },
       {
           "intent": "LocationFinder",
           "score": 0.0125702191
       },
       {
           "intent": "Reminder",
           "score": 0.00375502417
       },
       {
           "intent": "FoodOrder",
           "score": 3.765154E-07
       },
   ],
   "entities": [
       {
           "entity": "cairo",
           "type": "Location",
           "startIndex": 20,
           "endIndex": 24,
           "score": 0.956781447
       }
   ]
}

On the other hand, the UI to onfigure DialogFlow is much powerful than what you get with LUIS.

참고URL : https://stackoverflow.com/questions/37215188/comparison-between-luis-ai-vs-api-ai-vs-wit-ai

반응형