Author Topic: Better way to change speech recognition or options we have  (Read 1797 times)

maiquelrinco

  • Guest
Better way to change speech recognition or options we have
« on: January 08, 2017, 01:24:45 AM »
Hello all,

http://youtu.be/8uvwBEIzI4k


What about trying to install Jarvis Pro on alpha 2 for better speech recognition and there's and SDK to automation with arduino as well.

Regards

CdRsKuLL

  • Administrator
  • Full Member
  • *****
  • Posts: 140
    • View Profile
Re: Better way to change speech recognition or options we have
« Reply #1 on: January 08, 2017, 08:36:19 AM »
I think the would be a great idea. The current voice recognition isn't that great and it always decided if it's an action , question before passing it over so sometimes you get nothing.

I would love to start from a clean slate and control everything.  What makes you think the motors are linked via an arduino type board?

Steve

maiquelrinco

  • Guest
Re: Better way to change speech recognition or options we have
« Reply #2 on: January 08, 2017, 11:48:06 AM »
Create and design a new way speech could worth much time so we need to try put a new one in alpha 2 , as I known some speech recognition uses a lot of parses and the thing is implement the best and fast parser, could be google now, Jarvis or other, as alpha 2 is open and use XMPP we can discover how others servers of XMPP works in the way of which variables get at first and send back.

Today the response takes ages because the actual protocol and communication of alpha 2 takes ages of mileseconds sending and receiving responses from the server.

Bring a local XMPP server would be more easily than find something who works in alpha 2 fast and efficient.


NOW. About the servos is just a guest I really don't open yet my alpha 2 yet for complete to explore. As you already done that could share something you known. For example the rock board I see in Internet that thing, http://hackerboards.com/open-sbc-runs-android-and-linux-on-quad-core-rockchip/ is the exacly the same board who have IO signals to handle IN/OUT. Well I don't known too much about hardware dev but I got some experience who can get me understand how the things work.

Did you have pic of your board and we need start from zero understanding the board and if we have options to expand board function or buy a new board and change alpha board and see if the new one works well if is the same brand/ manufacturer.

I think the first thing is go deep in alpha 2 specs to see how we can change or reflash a new version who get fast and efficient response, may be we can do a better thing than Lynx and do a robot who can use a common speech protocol.

In the future the speech engine need to be a service and all electronic stuffs who we buy will come with a place to configure the servers and so on to get the services , so the market will go on have the best algorithm/ parser fast. Need to be a common protocol standard protocol as well.

Today we have
Google now who is part of Google home
Alexa from Amazon
Siri from Apple
Cortana from Microsoft
Jarvis from who ?
Alpha 2 service who uses XMPP and is based on some free gpl thing who I don't known everything yet

What I 'm trying to say is that thing need to converge in a common protocol service for all, you understand what I mean?




CdRsKuLL

  • Administrator
  • Full Member
  • *****
  • Posts: 140
    • View Profile
Re: Better way to change speech recognition or options we have
« Reply #3 on: January 09, 2017, 08:32:47 AM »
Hi Mike,

I think moving the speech over to something we have more control over would be best. We cold leave the services running for now just for the motor control (actions).  If we could get basic commands local with the rest via amazon / google servers etc I don't think it would be that bad.  I also think a command word would work better rather than always on.

I did take a couple of photos when I had him apart... I think there is a daughter board in his chest that takes control of the motor functions but I've not had that bit apart yet.

CdRsKuLL

  • Administrator
  • Full Member
  • *****
  • Posts: 140
    • View Profile
Re: Better way to change speech recognition or options we have
« Reply #4 on: January 09, 2017, 11:02:22 PM »
Hi Mike,

I spent a couple of minutes adding Google Home to Alpha.. works quite well :-)


A247slacker

  • Guest
Re: Better way to change speech recognition or options we have
« Reply #5 on: January 10, 2017, 12:20:35 PM »
 :) to funny until I logged in I could not see the photo  :)

maiquelrinco

  • Guest
Re: Better way to change speech recognition or options we have
« Reply #6 on: January 10, 2017, 06:23:58 PM »
Too heavy for this processor right!!??? ;D I still hope one day get a cross Plataform robot where you can configure and mix AI speech recognition from providers, soon we will have that, robotics is growing in the world for domestic.

maiquelrinco

  • Guest
Re: Better way to change speech recognition or options we have
« Reply #7 on: January 10, 2017, 06:28:55 PM »
Hi Mike,

I think moving the speech over to something we have more control over would be best. We cold leave the services running for now just for the motor control (actions).  If we could get basic commands local with the rest via amazon / google servers etc I don't think it would be that bad.  I also think a command word would work better rather than always on.

I did take a couple of photos when I had him apart... I think there is a daughter board in his chest that takes control of the motor functions but I've not had that bit apart yet.

Nice photos but apart from Samsung nothing more of information about the board, only 12 V DC power supply.

I was thing could be similar as arduino with connectors for digital I/O and Analog

maiquelrinco

  • Guest
Re: Better way to change speech recognition or options we have
« Reply #8 on: January 10, 2017, 06:34:25 PM »
Take a look *lol*

https://youtu.be/nPocX-1PsTg

Google translate inside alpha

maiquelrinco

  • Guest
Re: Better way to change speech recognition or options we have
« Reply #9 on: January 10, 2017, 08:34:20 PM »
Hi Mike,

I think moving the speech over to something we have more control over would be best. We cold leave the services running for now just for the motor control (actions).  If we could get basic commands local with the rest via amazon / google servers etc I don't think it would be that bad.  I also think a command word would work better rather than always on.

I did take a couple of photos when I had him apart... I think there is a daughter board in his chest that takes control of the motor functions but I've not had that bit apart yet.

Hello Steve,

That connector TO-TOUCH and TO-EYES are connected to EYES? and WHICH TOUCH ?

CdRsKuLL

  • Administrator
  • Full Member
  • *****
  • Posts: 140
    • View Profile
Re: Better way to change speech recognition or options we have
« Reply #10 on: January 10, 2017, 08:38:30 PM »
The LED eyes at the front and the mic and vol+ / vol- on the head.  The white multicore connector (white) 12v goes to the motors and batteries


maiquelrinco

  • Guest
Re: Better way to change speech recognition or options we have
« Reply #11 on: January 10, 2017, 10:18:37 PM »
The LED eyes at the front and the mic and vol+ / vol- on the head.  The white multicore connector (white) 12v goes to the motors and batteries

Yeah will be need a lot of pins for the led eyes, as we can change a lot of things in the eyes.

I was working with one AT MEGA 2560 with LEDs ...anyway, there's no place anywhere so, for a micro, nano sd?  :-[


Another thing I was seeing in your neuron code in Android Studio when running it on Alpha is trying to analize the response from ubtech servers. Did you see that in Android Monitor who shows what's going on with Alpha understanding...

What I don't understand was:

For Example, when I say "Radio Uno", sometimes your program do the action and sometimes not, but in both times it detects well , I will put the 2 situations output:(I also put @uno@uno@ in the XML.

THIS WAS WHEN THE ACTION OCCUR and Alpha 2 Play the radio Well
=====================================================================
01-10 22:04:35.422 12913-13106/alpha2.uk.neuron I/zdy: Radio Uno
01-10 22:04:35.919 12913-13189/alpha2.uk.neuron I/zdy: NLU_Result:{
                                                         NMAS_PRFX_SESSION_ID : 95f65b64-fecb-4f5c-bff6-939fff9fb445,
                                                         cadence_regulatable_result : completeRecognition,
                                                         prompt : ,
                                                         final_response : 1,
                                                         result_type : NDSP_ASR_APP_CMD,
                                                         nlu_interpretation_results : {
                                                             payload_version : 1.0,
                                                             payload_format : nlu-base,
                                                             payload : {
                                                                 type : nlu-1.0,
                                                                 interpretations : [
                                                                     {
                                                                       literal : Radio Uno,
                                                                       action : {
                                                                           intent : {
                                                                               value : NO_MATCH,
                                                                             },
                                                                         },
                                                                     },
                                                                   ],
                                                                 diagnostic_info : {
                                                                     nlps_host : nlps-dy-qnlu-pool-1-cef1bee69794f80d1ceb064a2124c7cc-4ci3b:8636,
                                                                     nlps_profile_package : QUICKNLU,
                                                                     nlu_annotator : urn:analysisEngineDescription:quicknlu?serverURL=http%3A%2F%2Flocalhost%3A8088%2Fserver,
                                                                     nlps_version : nlps(z):6.2.400.7.1-B177;Version: nlps-base-Zeppelin-6.2.400-B43-GMT20161026221850;,
                                                                     qws_project_id : f8d314b5cf8932fda426ef64db360d413ca4b5b1a8d04885,
                                                                     fieldId : dm_main,
                                                                     nlu_version : [Version: nlps-eng-USA-QUICKNLU;Label;2097_NLPS_15;Model;7df10e39-f570-11e5-8a90-533c7a6cf231;Build;0023c8e1-854d-11e6-8478-612585ed63ab;QnluTrain;1.14.12;CreatedAt;2016-09-28T07:27:06.000Z],
                                                                     nlps_ip : 172.17.22.6,
                                                                     nlps_profile : QUICKNLUDYN,
                                                                     adk_dialog_manager_status : undefined,
                                                                     nlu_use_literal_annotator : 0,
                                                                     ext_map_time : 0,
                                                                     nmaid : NMDPPRODUCTION_UBTech_Robotics_Corp_Robot_Alpha_Series_20160331102343,
                                                                     third_party_delay : 0,
                                                                     nlps_profile_package_version : nlps(z):6.2.400.7.1-B177,
                                                                     timing : {
                                                                         intermediateRespSentDelay : 225,
                                                                         finalRespSentDelay : 96,
                                                                       },
                                                                     application : NMDPPRODUCTION_UBTech_Robotics_Corp_Robot_Alpha_Series_20160331102343,
                                                                     nlu_language : eng-USA,
                                                                     context_tag : M2097_A1150,
                                                                     nlps_nlu_type : quicknludynamic,
                                                                     int_map_time : 0,
                                                                   },
                                                               },
                                                             status : success,
                                                             final_response : 1,
                                                           },
                                                         status_code : 0,
                                                         result_format : nlu_interpretation_results,
                                                         audio_transfer_info : {
                                                             start_time : 20170110100433948,
                                                             packages : [
                                                                 {
                                                                   time : 20170110100434087,
                                                                   bytes : 640,
                                                                 },
                                                                 {
                                                                   time : 20170110100434914,
                                                                   bytes : 640,
                                                                 },
                                                               ],
                                                             end_time : 20170110100434873,
                                                             nss_server : 127.0.0.1:1,
                                                             audio_id : 23,
                                                           },
                                                         NMAS_PRFX_TRANSACTION_ID : 46,
                                                       }

=======================================================

But sometimes when I ask, How are you, alpha recognize well but in the log show that: something like music control, I don't understand what means...

01-10 22:16:12.142 22254-22400/alpha2.uk.neuron I/zdy: How are you
01-10 22:16:12.645 22254-22271/alpha2.uk.neuron I/zdy: NLU_Result:{
                                                         NMAS_PRFX_SESSION_ID : 451d662c-4ec8-4c63-81ed-0028565372b7,
                                                         cadence_regulatable_result : completeRecognition,
                                                         prompt : ,
                                                         final_response : 1,
                                                         result_type : NDSP_ASR_APP_CMD,
                                                         nlu_interpretation_results : {
                                                             payload_version : 1.0,
                                                             payload_format : nlu-base,
                                                             payload : {
                                                                 type : nlu-1.0,
                                                                 interpretations : [
                                                                     {
                                                                       literal : How are you,
                                                                       action : {
                                                                           intent : {
                                                                               value : Music_Control,
                                                                             },
                                                                         },
                                                                     },
                                                                   ],
                                                                 diagnostic_info : {
                                                                     nlps_host : nlps-dy-qnlu-pool-1-cef1bee69794f80d1ceb064a2124c7cc-4ci3b:8636,
                                                                     nlps_profile_package : QUICKNLU,
                                                                     nlu_annotator : urn:analysisEngineDescription:quicknlu?serverURL=http%3A%2F%2Flocalhost%3A8088%2Fserver,
                                                                     nlps_version : nlps(z):6.2.400.7.1-B177;Version: nlps-base-Zeppelin-6.2.400-B43-GMT20161026221850;,
                                                                     qws_project_id : f8d314b5cf8932fda426ef64db360d413ca4b5b1a8d04885,
                                                                     fieldId : dm_main,
                                                                     nlu_version : [Version: nlps-eng-USA-QUICKNLU;Label;2097_NLPS_15;Model;7df10e39-f570-11e5-8a90-533c7a6cf231;Build;0023c8e1-854d-11e6-8478-612585ed63ab;QnluTrain;1.14.12;CreatedAt;2016-09-28T07:27:06.000Z],
                                                                     nlps_ip : 172.17.22.6,
                                                                     nlps_profile : QUICKNLUDYN,
                                                                     adk_dialog_manager_status : undefined,
                                                                     nlu_use_literal_annotator : 0,
                                                                     ext_map_time : 1,
                                                                     nmaid : NMDPPRODUCTION_UBTech_Robotics_Corp_Robot_Alpha_Series_20160331102343,
                                                                     third_party_delay : 0,
                                                                     nlps_profile_package_version : nlps(z):6.2.400.7.1-B177,
                                                                     timing : {
                                                                         intermediateRespSentDelay : 430,
                                                                         finalRespSentDelay : 89,
                                                                       },
                                                                     application : NMDPPRODUCTION_UBTech_Robotics_Corp_Robot_Alpha_Series_20160331102343,
                                                                     nlu_language : eng-USA,
                                                                     context_tag : M2097_A1150,
                                                                     nlps_nlu_type : quicknludynamic,
                                                                     int_map_time : 0,
                                                                   },
                                                               },
                                                             status : success,
                                                             final_response : 1,
                                                           },
                                                         status_code : 0,
                                                         result_format : nlu_interpretation_results,
                                                         audio_transfer_info : {
                                                             start_time : 20170110101611254,
                                                             packages : [
                                                                 {
                                                                   time : 20170110101611393,
                                                                   bytes : 640,
                                                                 },
                                                                 {
                                                                   time : 20170110101611587,
                                                                   bytes : 640,
                                                                 },
                                                               ],
                                                             end_time : 20170110101611547,
                                                             nss_server : 127.0.0.1:1,
                                                             audio_id : 52,
                                                           },
                                                         NMAS_PRFX_TRANSACTION_ID : 104,
                                                       }


I think need to enter in that:
case "how are you":
                say("I'm very well thank you.", false);
                break;

Strange.... :-\

 
« Last Edit: January 10, 2017, 10:21:21 PM by Mike »

maiquelrinco

  • Guest
Re: Better way to change speech recognition or options we have
« Reply #12 on: January 10, 2017, 10:25:04 PM »
the same occurs if I ask, Alpha, What's your name, understand when, but doens't enter in the case

01-10 22:22:16.067 22254-22271/alpha2.uk.neuron I/zdy: Local_Result:rule:QA action:QA_Name tag:what's your name

case "what's your name":
                say("My name is Bob",false);
                break;


With that apk under attach you can manage, uninstall chatpartner and gave permision to neuron startup auto when Alpha get online.
« Last Edit: January 10, 2017, 10:38:33 PM by Mike »

maiquelrinco

  • Guest
Re: Better way to change speech recognition or options we have
« Reply #13 on: January 10, 2017, 10:42:41 PM »
For example, right now occur the bug, I say "Radio Uno" and alpha detects well, but not play the radio, is case sensitive? I don't think so..

01-10 22:41:00.792 5429-5559/alpha2.uk.neuron I/zdy: NLU_Result:{
                                                       NMAS_PRFX_SESSION_ID : a62f751e-ddbf-42d2-8197-7f068c097867,
                                                       cadence_regulatable_result : completeRecognition,
                                                       prompt : ,
                                                       final_response : 1,
                                                       result_type : NDSP_ASR_APP_CMD,
                                                       nlu_interpretation_results : {
                                                           payload_version : 1.0,
                                                           payload_format : nlu-base,
                                                           payload : {
                                                               type : nlu-1.0,
                                                               interpretations : [
                                                                   {
                                                                     literal : Radio Uno,
                                                                     action : {
                                                                         intent : {
                                                                             value : NO_MATCH,
                                                                           },
                                                                       },
                                                                   },
                                                                 ],
                                                               diagnostic_info : {
                                                                   nlps_host : nlps-dy-qnlu-pool-1-cef1bee69794f80d1ceb064a2124c7cc-4ci3b:8636,
                                                                   nlps_profile_package : QUICKNLU,
                                                                   nlu_annotator : urn:analysisEngineDescription:quicknlu?serverURL=http%3A%2F%2Flocalhost%3A8088%2Fserver,
                                                                   nlps_version : nlps(z):6.2.400.7.1-B177;Version: nlps-base-Zeppelin-6.2.400-B43-GMT20161026221850;,
                                                                   qws_project_id : f8d314b5cf8932fda426ef64db360d413ca4b5b1a8d04885,
                                                                   fieldId : dm_main,
                                                                   nlu_version : [Version: nlps-eng-USA-QUICKNLU;Label;2097_NLPS_15;Model;7df10e39-f570-11e5-8a90-533c7a6cf231;Build;0023c8e1-854d-11e6-8478-612585ed63ab;QnluTrain;1.14.12;CreatedAt;2016-09-28T07:27:06.000Z],
                                                                   nlps_ip : 172.17.22.6,
                                                                   nlps_profile : QUICKNLUDYN,
                                                                   adk_dialog_manager_status : undefined,
                                                                   nlu_use_literal_annotator : 0,
                                                                   ext_map_time : 0,
                                                                   nmaid : NMDPPRODUCTION_UBTech_Robotics_Corp_Robot_Alpha_Series_20160331102343,
                                                                   third_party_delay : 0,
                                                                   nlps_profile_package_version : nlps(z):6.2.400.7.1-B177,
                                                                   timing : {
                                                                       intermediateRespSentDelay : 35,
                                                                       finalRespSentDelay : 96,
                                                                     },
                                                                   application : NMDPPRODUCTION_UBTech_Robotics_Corp_Robot_Alpha_Series_20160331102343,
                                                                   nlu_language : eng-USA,
                                                                   context_tag : M2097_A1150,
                                                                   nlps_nlu_type : quicknludynamic,
                                                                   int_map_time : 0,
                                                                 },
                                                             },
                                                           status : success,
                                                           final_response : 1,
                                                         },
                                                       status_code : 0,
                                                       result_format : nlu_interpretation_results,
                                                       audio_transfer_info : {
                                                           start_time : 20170110104059017,
                                                           packages : [
                                                               {
                                                                 time : 20170110104059156,
                                                                 bytes : 640,
                                                               },
                                                               {
                                                                 time : 20170110104100133,
                                                                 bytes : 640,
                                                               },
                                                             ],
                                                           end_time : 20170110104100133,
                                                           nss_server : 127.0.0.1:1,
                                                           audio_id : 7,
                                                         },
                                                       NMAS_PRFX_TRANSACTION_ID : 4,
                                                     }

maiquelrinco

  • Guest
Re: Better way to change speech recognition or options we have
« Reply #14 on: January 10, 2017, 10:50:41 PM »
I don't known how to do that, but you can program Alpha to turn lights on and off with Phillips HUE ? using JSON

I think could be directly and better than use a small web server with arduino.

if (text.contains("light") || text.contains("lights")) {
            if (text.contains("off")) {
                mRobot.action_PlayActionName("Raise head");
                try {
                    url = new URL("http://192.168.1.239:1001/light1off");

Take a look.

It's a very good idea if you do that, for you I think could be more easy.

https://www.developers.meethue.com/documentation/getting-started

For me right now is just easy analize codes and give some opinion about.

For UBTECH this will be amazing, because Phillips HUE is used with Apple Products and Ubtech is selling JIMU on apple stores, if they say have one robot who could brings ON and OFF Phillips HUE, Apple you ask ubtech to have Alpha 2 there...hahahahahahah

I think I gave to you the best idea, we can do that and make Alpha 2 alive as a project open or close...who knowns...sell the neuron apps...


I was imagine you say "Alpha, turn lights on ROOM 1 red" will be marvelllous!!

« Last Edit: January 10, 2017, 10:56:45 PM by Mike »

 

Sitemap 1 2 3 4 5