void/RasPi_Voice_Assistant--WIP
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Musik Player funktoiniert rudimentär + neue Infoangaben und Fixes für die Wetterangabe

Browse Source
This commit is contained in:
void
2026-01-24 21:48:29 +01:00
parent 493a271d0e
commit 31a10f5aeb
16 changed files with 370 additions and 76 deletions
Download Patch File Download Diff File Expand all files Collapse all files

203
main.py
View File

@@ -7,9 +7,17 @@ import subprocess
import sounddevice as sd
import re
import asyncio
from weather_jetzt import get_weather_for_location
from timer_control import parse_time, start_timer, stop_timer, timer_status_info, format_duration
from wecker_control import parse_time_wecker, minutes_until, start_wecker, stop_wecker, wecker_status_info, calculate_target_datetime
from music_control import MusicPlayer
music_player = MusicPlayer()
music_should_resume = False
music_was_playing = False
#test
@@ -30,6 +38,8 @@ STATE_IDLE = "IDLE"
STATE_LISTENING = "LISTENING"
STATE_SPEAKING = "SPEAKING"
# =========================
# GLOBALER ZUSTAND
# =========================
@@ -76,14 +86,28 @@ def speak(text):
# =========================
INTENTS = {
"standard_info": {
"keywords": ["was", "kannst", "welche"],
"required_slots": {}
},
"erweiterte_info": {
"keywords": ["info", "infos", "funktion", "erkläre"],
"required_slots": {
"selection": r"(list|wetter|timer|wecker|musik)"
}
},
"weather": {
"keywords": ["wetter", "temperatur", "regen"],
"required_slots": {
"location": r"\bin\b\s*(\w+)"
#"location": r"\bin\b\s*(\w+)"
"location": r"\bin\b\s*([^.,!?]+)"
},
"subactions": ["info"]
},
"timer": {
"keywords": ["timer"],
# "required_slots": {},
@@ -123,12 +147,41 @@ INTENTS = {
"keywords": ["status", "läuft", "noch"],
"required_slots": {}
}
},
},
"music": {
"keywords": ["musik", "music", "lied", "songs", "song"],
"actions": {
"play": {
"keywords": ["spiele", "spiel", "starte", "hören"],
"required_slots": {
"genre": r"(jazz|rock|pop)"
}
},
"pause": {
"keywords": ["pausiere", "pause"],
"required_slots": {}
},
"resume": {
"keywords": ["setze", "fort"],
"required_slots": {}
},
"next": {
"keywords": ["nächster", "nächsten", "nächsten", "weiter"],
"required_slots": {}
},
"previous": {
"keywords": ["vorheriger", "vorherigen", "zurück"],
"required_slots": {}
},
"stop": {
"keywords": ["stop", "stoppe", "beende"],
"required_slots": {}
}
}
}
}
# evtl mit regex überarbeiten
def detect_intent(text):
text = text.lower()
for name, data in INTENTS.items():
@@ -145,14 +198,61 @@ def detect_intent(text):
## WEATHER
def weather_skill(slots):
location = slots["location"]
location = re.sub(r"\b(heute|morgen|bitte|jetzt|aus)\b", "", location)
result = asyncio.run(get_weather_for_location(location))
# if result['location'] != slots["location"]:
# return f"Keine Wetterdaten für {location} gefunden"
if result:
return f"Aktuell sind es in {result['location']} {result['temperatur']} Grad und die Wetterlage sieht {result['wetterlage']} aus."
return f"Aktuell sind es in {slots['location']} {result['temperatur']} Grad und die Wetterlage sieht {result['wetterlage']} aus."
else:
return f"Keine Wetterdaten verfügbar"
return f"Keine Wetterdaten für {location} verfügbar"
#return f"Das Wetter in {location} ist sonnig bei 20 Grad."
def einf_info_skill(slots):
global state
state == STATE_SPEAKING
return f"Ich bin Tscharvis, dein Persönlicher Sprachassistent. Ich kann dir sagen wie das wetter wird, einen Timer oder einen Wecker stellen und Musik verschiedener Schonre abspielen. Aktivieren tut man mich indem man, Hey Tscharvis, sagt und anschließend seinen Wunsch tätigt. Hast du Fragen zu den Funktionen? Dann schieß los. War das zu schnell? Dann kann ich dir die Funktionen auch nochmal auflisten"
def erw_info_skill(slots):
sel = slots["selection"]
if sel == "list":
return "Meine integrierten Funktionen sind: ein Wetterbericht, ein Timer, einen Wecker und die Musikwiedergabe."
elif sel == "wetter":
return "Für den Wetterbericht wird nach dem Wetter gefragt mit einer Ortsangabe. Zum Beispiel: wie wird das Wetter in Heilbronn??"
elif sel == "timer":
return "Bei dem Timer gibt es 3 verschiedene Funktionen: Das Stellen eines Timers, das Stoppen eines Timers und den Status des aktuellen Timers erfragen."
elif sel == "wecker":
return "Der Wecker hat 3 Funktionen: Wecker mit Angabe einer Uhrzeit stellen, den Wecker stoppen und den Status erfragen."
elif sel == "musik":
return "Der Musikplayer ist die größte Funktion, es kann: Musik nach Schonre abgespielt werden, sobalt die Musik am laufen ist, kann sie pausiert und fortgesetzt werden. Man kann zum nächsten und vorherigen Song springen und die Wiedergabe vollständig beenden"
else:
return "Dazu habe ich leider keine Informationen."
# if slots["selection"] == "list":
# def list_funktionen(slots):
# return f"Meine Integrierten Funktionen lauten: Wetterbericht, Timer, Wecker, Musik"
# elif slots["selection"] == "wetter":
# def info_wetter(slots):
# return f"Für den Wetterbericht wird nach dem Wetter gefragt mit einer Ortsangabe. Zum Beispiel: wie wird das Wetter in Heilbronn?"
# elif slots["selection"] == "timer":
# def info_timer(slots):
# return f"Bei dem Timer gibt es 3 verschiedene Funktionen: Das Stellen eines Timers, das Stoppen eines Timers und den Status des aktuellen Timers erfragen."
# elif slots["selection"] == "wecker":
# def info_wecker(slots):
# return f"Der Wecker hat 3 Funktionen: Wecker mit Angabe einer Uhrzeit stellen, den Wecker stoppen und den Status erfragen."
# elif slots["selection"] == "musik":
# def musik_info(slot):
# return f"Der Musikplayer ist die größte Funktion, es kann: Musik nach Schonre abgespielt werden, sobalt die Musik am laufen ist, kann sie pausiert und forgesetzt werden. Man kann zum nächsten und vorherigen Song springen und die Wiedergabe vollständig beenden"
## TIMER
def start_timer_skill(slots):
duration = slots["duration"]
@@ -216,6 +316,36 @@ def status_wecker_skill(slots):
return f"Der Wecker wurde gestoppt, es ist kein Wecker gestellt"
else:
return f"Es ist kein Wecker gestellt"
def play_music_skill(slots):
genre = slots["genre"]
if not music_player.load_genre(genre):
return f"Keine Musik im Genre {genre} gefunden"
music_player.play()
return f"{genre} Musik wird abgespielt"
def pause_music_skill(slots):
music_player.pause()
return "Musik pausiert."
def resume_music_skill(slots):
music_player.resume()
return "Musik fortgesetzt"
def next_music_skill(slots):
music_player.next_song()
return "Nächster Song."
def previous_music_skill(slots):
music_player.previous_song()
return "Vorheriger Song."
def stop_music_skill(slots):
music_player.stop()
return "Musik wurde vollständig gestoppt."
@@ -226,10 +356,20 @@ SKILLS = {
"stop": stopp_timer_skill,
"status": status_timer_skill,
},
"standard_info": einf_info_skill,
"erweiterte_info": erw_info_skill,
"wecker": {
"start": start_wecker_skill,
"stop": stopp_wecker_skill,
"status": status_wecker_skill
"status": status_wecker_skill,
},
"music": {
"play": play_music_skill,
"pause": pause_music_skill,
"resume": resume_music_skill,
"next": next_music_skill,
"previous": previous_music_skill,
"stop": stop_music_skill
}
}
@@ -238,7 +378,7 @@ SKILLS = {
# =========================
def handle_text(text):
global context, state
global context, state, music_was_playing
if state != STATE_LISTENING:
return
@@ -250,7 +390,11 @@ def handle_text(text):
intent = detect_intent(text)
if not intent:
speak("Das habe ich nicht verstanden.")
if music_was_playing:
music_player.play()
music_was_playing = False
reset_context()
state = STATE_LISTENING
return
context["intent"] = intent
@@ -305,7 +449,11 @@ def check_required(text):
if slot not in context["slots"]:
match = re.search(pattern, text)
if match:
context["slots"][slot] = match.group(0) #alles slots
if slot == "timeSet":
context["slots"][slot] = match.group(0)
else:
context["slots"][slot] = match.group(1) #alles slots
else:
context["pending_slot"] = slot
ask_for_slot(slot)
@@ -328,7 +476,9 @@ def ask_for_slot(slot):
questions = {
"location": "Für welchen Ort?",
"duration": "Wie lange soll der Timer laufen?",
"timeSet": "Zu welcher Uhrzeit soll der Wecker klingeln?"
"timeSet": "Zu welcher Uhrzeit soll der Wecker klingeln?",
"genre": "Welches Musikgenre möchtest du hören?",
"selection": "Zu welcher Funktoin möchtest du mehr wissen?"
}
speak(questions.get(slot, "Bitte spezifizieren."))
@@ -342,14 +492,14 @@ def reset_context():
"pending_slot": None,
"action": None
}
#state = STATE_IDLE
state = STATE_LISTENING
state = STATE_IDLE
# state = STATE_LISTENING manuell
# =========================
# VOSK LISTENER
# =========================
"""
def vosk_listener():
SAMPLE_RATE_VOSK = 16000
from vosk import Model, KaldiRecognizer
@@ -369,7 +519,7 @@ def vosk_listener():
# stream.start_stream()
while True:
if state != STATE_SPEAKING: #hinzugefügt um fehlerhafte eingaben zu stoppen
if state == STATE_LISTENING: #hinzugefügt um fehlerhafte eingaben zu stoppen
data = stream.read(4000, exception_on_overflow=False)
if rec.AcceptWaveform(data):
result = json.loads(rec.Result())
@@ -379,7 +529,7 @@ def vosk_listener():
else:
rec.Reset()
"""
# =========================
# WAKEWORD (SIMPLIFIZIERT)
# =========================
@@ -396,7 +546,7 @@ def fake_wakeword_detector():
# WAKEWORD (PORCUPINE)
# ==========================
"""
def real_wakeword_detector():
import pvporcupine
import numpy as np
@@ -410,12 +560,20 @@ def real_wakeword_detector():
access_key=ACCESS_KEY,
keywords=[WAKEWORD]
)
if state == STATE_IDLE:
if state == STATE_IDLE and state != STATE_SPEAKING:
def callback(indata, frames, time_info, status):
pcm = np.frombuffer(indata, dtype=np.int16)
result = porcupine.process(pcm)
if result >= 0:
#FUNKTOIN FÜR MUSIKPLAYER
if music_player.playing:
music_was_playing = True
music_player.pause()
else:
music_was_playing = False
time.sleep(1) #verbesserung der spracheingabe: wurde hinzugefügt weil es sonst worte halluziniert (wie "eine", "jarvis")
state = STATE_LISTENING
print("WAKE WORD DETECTED")
@@ -434,12 +592,12 @@ def real_wakeword_detector():
while True:
pass
"""
# =========================
# MAIN LOOP
# =========================
""" def main():
def main():
threading.Thread(target=vosk_listener, daemon=True).start()
# threading.Thread(target=fake_wakeword_detector, daemon=True).start()
threading.Thread(target=real_wakeword_detector, daemon=True).start()
@@ -449,15 +607,16 @@ def real_wakeword_detector():
text = audio_queue.get(timeout=0.1)
handle_text(text)
except queue.Empty:
pass """
pass
def main():
#main manuelle input
""" def main():
global state
state = STATE_LISTENING
while True:
text = input("Text input: ")
handle_text(text)
"""
if __name__ == "__main__":