Түр – компьютерді дауыспен басқару. Marvel JARVIS - iOS құрылғыларына арналған жеке көмекші Jarvis тәрізді қолданбалар

Бүгін біз өз сөзіміз туралы айтатын боламыз. Қалайсыз ба компьютерді дауыспен басқару, саусақтардың көмегінсіз бе? Және олар айтқандай, ойдың күшімен! Рас, біз компьютерді ойдың күшімен басқармаймыз, бірақ дауыс күшімен бұл өте нақты.

Бағдарламаны теріңіз- Бұл компьютерді дауыс арқылы басқаруға арналған ең жақсы бағдарламалық құралдың бірі. Осы бағдарламаға түсініктемелердегі сайттарда пікірлер біріктіріледі.

Рас, оның кемшіліктері де бар. Бірақ бұл туралы кейінірек. Айтпақшы, егер сізді қызықтырса, менің шолуымды оқыңыз.

Бағдарламаны мына жерден жүктеп алуға болады: http://freesoft.ru/type

Оны қалай пайдалануға болады? Алдымен, оны іске қосып, негізгі басқару түймелерін көрейік:

Бағдарлама бізді құшақ жая қарсы алады және бірден Type пайдалану туралы кеңестер береді. Ең басында біз «қосу» түймесін басып, сөзді жазамыз, мысалы, «ашу». Ол үшін микрофонға мына сөзді айтыңыз:

Содан кейін қосу түймесін басыңыз. Сонымен, біз бағдарламада «Ашық» сөзін дауысымызбен сақтадық. Микрофонға кез келген басқа сөздерді айтуға болады. Ең бастысы - шатастырмау.

Келесі қадам пәрмендерді қосу болып табылады. Мұны істеу үшін мына нүктеге өтіңіз:

Содан кейін бізге қажет элементтің жанындағы құсбелгіні қоямыз:

Бағдарламаны, қолданбаны немесе әрекетті таңдап, қызыл жазу түймесін басыңыз. Егер компьютер дауысымызды қабылдаса, «Қосу» түймесін басыңыз:

Енді біреуі біздің профильде көрінетін болады дауыс пәрмені. Бұл жағдайда 7-Zip ашатын:

Ал енді соңғы түймені басу арқылы «сөйлеуді бастау»

«Жеті Зипті аш» деген тіркесті айтамыз. Менің жағдайда бәрі жұмыс істейді. Ал 7-zip бағдарламасы ашылады. Мына фразаны есте сақтаңыз: Sim SIM ашық па? Міне, дәл осындай нәрсе.

Бағдарлама әрқашан дұрыс жұмыс істей бермейді. Қазір құдіретті орыс тілін лингвист-программистер толық зерттеген жоқ... Дегенмен, компьютердің сізге бағынатыны жақсы.

Сондықтан, тестілеу және банальды қызығушылық үшін Typle бағдарламасы 100% қолайлы.

Бұл бейнеде сіз алғашқы дауыс қозғалтқыштарының жасалу тарихын және тағы немен жұмыс істеу керектігін көре аласыз:

Горыныч, Перпетуум, Диктограф, Дауыс командирі сияқты бағдарламаның басқа аналогтарының осындай қорқынышты атаулары бар. Бірақ олардың барлығы «бір емес». Лайықты бағдарламаның сынынан өтпеңіз.

Бұл бағдарламаны меңгеру үшін маған 5 минут кетті. Бұл әбден ұзақ уақыт(негізі мұндай бағдарламаларды 1-2 минутта түсінемін). Егер сізде сұрақтар болса - жазыңыз. Жақында кездескенше, достар :)!

Ұзақ уақыт бойы менің «Джарвисім» және үйдегі жабдықты дауысыммен басқарамын деген ой кетпеді. Ақырында, бұл ғажайыптың жаратылуына қолдар жетті. Маған «ми» туралы ұзақ уақыт ойлаудың қажеті жоқ еді, Raspberry Pi өте жақсы сәйкес келеді.

Сонымен темір:

• Raspberry pi 3 үлгісі b
• logitech USB камерасы

Іске асыру

1. Белгілі бір сөз үшін офлайн режимін іске қосыңыз
2. Бұлтта топты тану
3. Пәрменді орындау
4. Орындалған жұмыс туралы есеп беру немесе сұралған ақпаратты хабарлау

Офлайн белсендіру

Сізге қажет нәрсенің барлығын орнату:

pip3 SpeechRecognition орнату pip3 pocketsphinx орнату
Әрі қарай

sudo nano /usr/local/lib/python3.4/dist-packages/speech_recognition/pocketsphinx-data/en-US /pronounciation-dictionary.dict
бізге қажет Джарвистен басқа барлығын алып тастаңыз:

Джарвис Дж.Х.А.А.Р.В.А.С
Енді қалтасфинкс өте тез таниды.

Сөйлеуді тану

Бақытымызға орай, Яндекс те мұндай мүмкіндікті тегін және өте қарапайым ұсынады.

Тіркеліңіз, API KEY алыңыз. Барлық жұмыстарды curl'om көмегімен жасауға болады.

Curl -X POST -H "Content-Type: audio/x-wav" --data-binary "@file" "https://asr.yandex.net/asr_xml?uuid=ya_uid&key=yf_api_key&topic=queries"

сөйлеу синтезі

"https://tts.voicetech.yandex.net/generate?format=wav&lang=ru-RU&speaker=zahar&emotion=good&key=ya_api_key" -G --data-urlencode "text=text" > файлды бұрау

Джарвис

#! /usr/bin/env python # -*-coding:utf-8-*- import os import speech_recognition as sr as xml.dom Import minidom import sys импорттау кездейсоқ r = sr.Recognizer() ya_uuid = "" ya_api_key = "" # os.system("echo "Assist+ent za+en" |фестиваль --tts --language russian") def convert_ya_asr_to_key(): xmldoc = minidom.parse("./asr_answer.xml") itemlist = xmldoc.getElementsByTagName («вариант») егер len(itemlist) > 0: қайтару itemlist.firstChild.nodeValue басқа: қайтару False def jarvis_on(): sr.WavFile("send.wav") көзі ретінде: аудио = r.record(көз) көріңіз: t = r.recognize_sphinx(аудио) басып шығару(t) LookupError қоспағанда: print("Дыбысты түсіну мүмкін болмады") қайтару t == ("jarvis") def jarvis_say(фраза): os.system("curl "https: //tts.voicetech.yandex.net/generate?format=wav&lang=ru-RU&speaker=zahar&emotion=good&key="+ya_api_key+"" -G --data-urlencode "text=" + фразасы + "" > jarvis_speech.wav" ) os.system("aplay jarvis_speech.wav") def jarvis_say_good(): phrases = ["Дайын", "Дайын", "Иә" ", "Иә", "Тағы бірдеңе бар ма?", ] randitem = random.choice(фразалар) jarvis_say(randitem) try: while True: os.system("arecord -B --buffer-time=1000000 -f dat -r 16000 -d 3 -D plughw:1,0 send.wav") if jarvis_on(): os.system("aplay jarvis_on.wav") os.system("arecord -B --buffer-time=1000000 - f dat -r 16000 -d 3 -D plughw:1,0 send.wav") os.system("curl -X POST -H "Content-Type: audio/x-wav" --data-binary "@send .wav" "https://asr.yandex.net/asr_xml?uuid="+ya_uuid+"&key="+ya_api_key+"&topic=queries" > asr_answer.xml") command_key = convert_ya_asr_to_key() егер (командалық_кілт): егер ( ['кілт_сөз", 'кілт_сөз1', 'кілт_сөз2"] ішіндегі пәрмен_кілті): os.system('') jarvis_say_good() жалғастыру Ерекшелік: jarvis_say("Бірдеңе дұрыс болмады")
Мұнда не болып жатыр. Біз шексіз циклды бастаймыз, arecord'om үш секунд жазады және файлда «jarvis» сөзі орын алса, сфинксті тану үшін жібереді.

Егер jarvis_on():
біз алдын ала жазылған белсендіру туралы хабарландыру файлын ойнатамыз.

Біз қайтадан 3 секунд жазып, оны Яндекске жібереміз, жауап ретінде біз командамызды аламыз. Әрі қарай команда негізінде әрекеттерді орындаймыз.

Бар болғаны. Сіз орындау сценарийлерінің үлкен әртүрлілігін ұсына аласыз.

қолдану жағдайы

Philips реңк

пип орнату фью
Hue қолданбасында статикалық IP орнатыңыз:

Біз іске қосамыз:

#!/usr/bin/python import sys from phue import Bridge b = Bridge("192.168.0.100") # Көпірдің IP мекенжайын осында енгізіңіз. #Егер бірінші рет іске қосылса, көпірдегі түймені басып, b.connect() арқылы түсіндірілмеген #b.connect() басып шығару (b.get_scene()) арқылы іске қосыңыз.
Біз қалаған схемалардың идентификаторларын жазамыз, мысалы, «470d4c3c8-on-0»

Қорытынды сценарий:

#!/usr/bin/python import sys from phue import Bridge b = Bridge("192.168.0.100") # Көпірдің IP мекенжайын осында енгізіңіз. #Егер бірінші рет іске қосылса, көпірдегі түймені басып, b.connect() арқылы түсіндірілмеген #b.connect() арқылы іске қосыңыз, егер (sys.argv == "өшіру"): b.set_light(,"қосу", False) басқа: b.activate_scene(1,sys.argv)
Джарвиске қосыңыз:

Егер (["жарықты қосу", "жарықты қосу", "жарық"] ішіндегі пәрмен_пернесі): os.system("python3 /home/pi/smarthome/hue/hue.py a1167aa91-on-0") jarvis_say_good() жалғастырыңыз, егер (["жарықтарды күңгірттету", "жарықтарды күңгірттеу"] ішіндегі пәрмен_пернесі): os.system("python3 /home/pi/smarthome/hue/hue.py ac637e2f0-on-0") jarvis_say_good( ) егер (["жарық өшеді", "шам өшеді"]) пәрмен_пернесі: os.system("python3 /home/pi/smarthome/hue/hue.py "өшірулі"") jarvis_say_good() жалғастыру

LG теледидары

Джарвиске қосыңыз:

№1 - POWER #24 - VOLUNE_UP #25 - VOLUNE_UP #400 - 3D_VIDEO, егер (["теледидарды өшіру", "теледидарды өшіру"] ішіндегі пәрмен_пернесі): os.system("python3 /home/pi/smarthome/TV/ tv2. py 1") jarvis_say_good() жалғастырыңыз, егер (['дыбыс деңгейін көтеру', "қаттырақ"] ішіндегі пәрмен_пернесі): os.system("python3 /home/pi/smarthome/TV/tv2.py 24") jarvis_say_good () жалғастыру

Радио

Егер (["жаңалықтар", 'жаңалықтарды өшіру', 'не болып жатқан'] ішіндегі пәрмен_кілті): os.system('mpg123 URL') жалғастыру
Сондай-ақ, Джарвиске айқайлай алмасаңыз, Homebridge орнатып, бәрін Siri арқылы басқаруға болады.

Сөйлеуді тану сапасына келетін болсақ, әрине, Alexa емес, бірақ 5 метрге дейінгі қашықтықта дұрыс хиттердің пайызы лайықты. Негізгі мәселе - теледидардан / динамиктерден сөйлеген сөздер командалармен бірге жазылады және тануға кедергі жасайды.

Жеткілікті, рақмет.

Тегтер:

• таңқурай пи
• питон

Көптеген пайдаланушылар Siri жүйесі iOS гаджеттеріндегі ең танымал жеке көмекші және сұрақ-жауап технологиясы болып саналатынын біледі. Бақытымызға орай, нарықта Siri жүйесі ғана емес. Сонымен, Marvel жасаған ғылыми фантастика мен комикстердің жанкүйерлеріне «Темір адам» фильміндегі ДЖАРВИСтің жеке көмекшісі ұсынылады.

Құрылғының иесі «Темір адам» фильмін көрген болса, ол Джарвис есімді Тони Старктың күтушісін білетін шығар. Демек, пайдаланушы өзінің портативті құрылғысында виртуалды қызметшінің көмегіне жүгіне алады. Сонымен қатар, JARVIS бағдарламасы Джарвис кейіпкерінің дауысы мен бейнесін пайдаланатын бірегей әзірлеме болып табылады.

JARVIS утилитасы көрсетілген құралды пайдалану және басқару үшін әдеттегі дыбыстық нұсқаулардан басталады. Орнату аяқталғаннан кейін пайдаланушы жынысын көрсетуі керек (виртуалды көмекші құрылғы иесімен дұрыс байланыса алуы үшін). Сонымен қатар, мұнда негізгі температура жағдайлары үшін өлшем бірлігін орнатуға тура келеді (атап айтқанда, Кельвин градусы, Фаренгейт немесе, әрине, Цельсий).

JARVIS утилитасы оптикалық дискілердің иелеріне Iron Man фильмінің блокбастерімен қамтамасыз ететінін атап өткен жөн. қосымша мүмкіндіктер. Мысалы, пайдаланушы осы виртуалды күйеуінің көмегімен сәйкес фильмді ойнатуды оңай басқара алады.