Musik Player funktoiniert rudimentär + neue Infoangaben und Fixes für die Wetterangabe

main.py

@@ -7,9 +7,17 @@ import subprocess
 import sounddevice as sd
 import re
 import asyncio 
+
 from weather_jetzt import get_weather_for_location
 from timer_control import parse_time, start_timer, stop_timer, timer_status_info, format_duration
 from wecker_control import parse_time_wecker, minutes_until, start_wecker, stop_wecker, wecker_status_info, calculate_target_datetime
+from music_control import MusicPlayer
+
+music_player = MusicPlayer()
+
+music_should_resume = False
+music_was_playing = False
+
 
 #test
 
@@ -30,6 +38,8 @@ STATE_IDLE = "IDLE"
 STATE_LISTENING = "LISTENING"
 STATE_SPEAKING = "SPEAKING"
 
+
+
 # =========================
 # GLOBALER ZUSTAND
 # =========================
@@ -76,14 +86,28 @@ def speak(text):
 # =========================
 
 INTENTS = {
+
+    "standard_info": {
+        "keywords": ["was", "kannst", "welche"],
+        "required_slots": {}
+    },
+
+    "erweiterte_info": {
+        "keywords": ["info", "infos", "funktion", "erkläre"],
+        "required_slots": {
+            "selection": r"(list|wetter|timer|wecker|musik)"
+        }
+    },
+
     "weather": {
         "keywords": ["wetter", "temperatur", "regen"],
         "required_slots": {
-            "location": r"\bin\b\s*(\w+)"
+            #"location": r"\bin\b\s*(\w+)"
+            "location": r"\bin\b\s*([^.,!?]+)"
+
         },
         "subactions": ["info"]
     },
-
     "timer": {
         "keywords": ["timer"],
      #   "required_slots": {},
@@ -123,11 +147,40 @@ INTENTS = {
                 "keywords": ["status", "läuft", "noch"],
                 "required_slots": {}
             }
+        },
+    },
+    "music": {
+        "keywords": ["musik", "music", "lied", "songs", "song"],
+        "actions": {
+            "play": {
+                "keywords": ["spiele", "spiel", "starte", "hören"],
+                "required_slots": {
+                    "genre": r"(jazz|rock|pop)"
+                }
+            },
+            "pause": {
+                "keywords": ["pausiere", "pause"],
+                "required_slots": {}
+            },
+            "resume": {
+                "keywords": ["setze", "fort"],
+                "required_slots": {}
+            },
+            "next": {
+                "keywords": ["nächster", "nächsten", "nächsten", "weiter"],
+                "required_slots": {}
+            },
+            "previous": {
+                "keywords": ["vorheriger", "vorherigen", "zurück"],
+                "required_slots": {}
+            },
+            "stop": {
+                "keywords": ["stop", "stoppe", "beende"],
+                "required_slots": {}
+            }
         }
     }
 }
-
-# evtl mit regex überarbeiten
 
 def detect_intent(text):
     text = text.lower()
@@ -145,14 +198,61 @@ def detect_intent(text):
 ## WEATHER
 def weather_skill(slots):
     location = slots["location"]
+    location = re.sub(r"\b(heute|morgen|bitte|jetzt|aus)\b", "", location)
+
     result = asyncio.run(get_weather_for_location(location))
 
+    # if result['location'] != slots["location"]:
+    #     return f"Keine Wetterdaten für {location} gefunden"
     if result:
-        return f"Aktuell sind es in {result['location']} {result['temperatur']} Grad und die Wetterlage sieht {result['wetterlage']} aus."
+        return f"Aktuell sind es in {slots['location']} {result['temperatur']} Grad und die Wetterlage sieht {result['wetterlage']} aus."
     else:
-        return f"Keine Wetterdaten verfügbar"
+        return f"Keine Wetterdaten für {location} verfügbar"
     #return f"Das Wetter in {location} ist sonnig bei 20 Grad."
 
+def einf_info_skill(slots):
+    global state
+    state == STATE_SPEAKING
+    return f"Ich bin Tscharvis, dein Persönlicher Sprachassistent. Ich kann dir sagen wie das wetter wird, einen Timer oder einen Wecker stellen und Musik verschiedener Schonre abspielen. Aktivieren tut man mich indem man, Hey Tscharvis, sagt und anschließend seinen Wunsch tätigt. Hast du Fragen zu den Funktionen? Dann schieß los. War das zu schnell? Dann kann ich dir die Funktionen auch nochmal auflisten"
+
+def erw_info_skill(slots):
+
+    sel = slots["selection"]
+
+    if sel == "list":
+        return "Meine integrierten Funktionen sind: ein Wetterbericht, ein Timer, einen Wecker und die Musikwiedergabe."
+
+    elif sel == "wetter":
+        return "Für den Wetterbericht wird nach dem Wetter gefragt mit einer Ortsangabe. Zum Beispiel: wie wird das Wetter in Heilbronn??"
+
+    elif sel == "timer":
+        return "Bei dem Timer gibt es 3 verschiedene Funktionen: Das Stellen eines Timers, das Stoppen eines Timers und den Status des aktuellen Timers erfragen."
+
+    elif sel == "wecker":
+        return "Der Wecker hat 3 Funktionen: Wecker mit Angabe einer Uhrzeit stellen, den Wecker stoppen und den Status erfragen."
+
+    elif sel == "musik":
+        return "Der Musikplayer ist die größte Funktion, es kann: Musik nach Schonre abgespielt werden, sobalt die Musik am laufen ist, kann sie pausiert und fortgesetzt werden. Man kann zum nächsten und vorherigen Song springen und die Wiedergabe vollständig beenden"
+
+    else:
+        return "Dazu habe ich leider keine Informationen."
+
+    # if slots["selection"] == "list":
+    #     def list_funktionen(slots):
+    #         return f"Meine Integrierten Funktionen lauten: Wetterbericht, Timer, Wecker, Musik"
+    # elif slots["selection"] == "wetter":
+    #     def info_wetter(slots):
+    #         return f"Für den Wetterbericht wird nach dem Wetter gefragt mit einer Ortsangabe. Zum Beispiel: wie wird das Wetter in Heilbronn?"
+    # elif slots["selection"] == "timer":
+    #     def info_timer(slots):
+    #         return f"Bei dem Timer gibt es 3 verschiedene Funktionen: Das Stellen eines Timers, das Stoppen eines Timers und den Status des aktuellen Timers erfragen."
+    # elif slots["selection"] == "wecker":
+    #     def info_wecker(slots):
+    #         return f"Der Wecker hat 3 Funktionen: Wecker mit Angabe einer Uhrzeit stellen, den Wecker stoppen und den Status erfragen."
+    # elif slots["selection"] == "musik":
+    #     def musik_info(slot):
+    #         return f"Der Musikplayer ist die größte Funktion, es kann: Musik nach Schonre abgespielt werden, sobalt die Musik am laufen ist, kann sie pausiert und forgesetzt werden. Man kann zum nächsten und vorherigen Song springen und die Wiedergabe vollständig beenden"
+
 ## TIMER
 def start_timer_skill(slots):
     duration = slots["duration"]
@@ -217,6 +317,36 @@ def status_wecker_skill(slots):
     else:
         return f"Es ist kein Wecker gestellt"
 
+def play_music_skill(slots):
+
+    genre = slots["genre"]
+
+    if not music_player.load_genre(genre):
+        return f"Keine Musik im Genre {genre} gefunden"
+    
+    music_player.play()
+    return f"{genre} Musik wird abgespielt"
+
+def pause_music_skill(slots):
+    music_player.pause()
+    return "Musik pausiert."
+
+def resume_music_skill(slots):
+    music_player.resume()
+    return "Musik fortgesetzt"
+
+def next_music_skill(slots):
+    music_player.next_song()
+    return "Nächster Song."
+
+def previous_music_skill(slots):
+    music_player.previous_song()
+    return "Vorheriger Song."
+
+def stop_music_skill(slots):
+    music_player.stop()
+    return "Musik wurde vollständig gestoppt."
+        
 
 
 SKILLS = {
@@ -226,10 +356,20 @@ SKILLS = {
         "stop": stopp_timer_skill,
         "status": status_timer_skill,
     },
+    "standard_info": einf_info_skill,
+    "erweiterte_info": erw_info_skill,
     "wecker": {
         "start": start_wecker_skill,
         "stop": stopp_wecker_skill,
-        "status": status_wecker_skill
+        "status": status_wecker_skill,
+    },
+    "music": {
+        "play": play_music_skill,
+        "pause": pause_music_skill,
+        "resume": resume_music_skill,
+        "next": next_music_skill,
+        "previous": previous_music_skill,
+        "stop": stop_music_skill
     }
 }   
 
@@ -238,7 +378,7 @@ SKILLS = {
 # =========================
 
 def handle_text(text):
-    global context, state
+    global context, state, music_was_playing
 
     if state != STATE_LISTENING:
         return
@@ -250,7 +390,11 @@ def handle_text(text):
         intent = detect_intent(text)
         if not intent:
             speak("Das habe ich nicht verstanden.")
+            if music_was_playing:
+                music_player.play()
+                music_was_playing = False
             reset_context()
+            state = STATE_LISTENING
             return
         context["intent"] = intent
 
@@ -305,7 +449,11 @@ def check_required(text):
         if slot not in context["slots"]:
             match = re.search(pattern, text)
             if match:
-                context["slots"][slot] = match.group(0) #alles slots
+                if slot == "timeSet":
+
+                    context["slots"][slot] = match.group(0)
+                else:
+                    context["slots"][slot] = match.group(1) #alles slots
             else:
                 context["pending_slot"] = slot
                 ask_for_slot(slot)
@@ -328,7 +476,9 @@ def ask_for_slot(slot):
     questions = {
         "location": "Für welchen Ort?",
         "duration": "Wie lange soll der Timer laufen?",
-        "timeSet": "Zu welcher Uhrzeit soll der Wecker klingeln?"
+        "timeSet": "Zu welcher Uhrzeit soll der Wecker klingeln?",
+        "genre": "Welches Musikgenre möchtest du hören?",
+        "selection": "Zu welcher Funktoin möchtest du mehr wissen?"
     }
     speak(questions.get(slot, "Bitte spezifizieren."))
 
@@ -342,14 +492,14 @@ def reset_context():
         "pending_slot": None,
         "action": None
     }
-    #state = STATE_IDLE
-    state = STATE_LISTENING
+    state = STATE_IDLE
+ #   state = STATE_LISTENING manuell
 
 
 # =========================
 # VOSK LISTENER
 # =========================
-""" 
+
 def vosk_listener():
     SAMPLE_RATE_VOSK = 16000
     from vosk import Model, KaldiRecognizer
@@ -369,7 +519,7 @@ def vosk_listener():
 #    stream.start_stream()
 
     while True:
-        if state != STATE_SPEAKING: #hinzugefügt um fehlerhafte eingaben zu stoppen 
+        if state == STATE_LISTENING: #hinzugefügt um fehlerhafte eingaben zu stoppen 
             data = stream.read(4000, exception_on_overflow=False)
             if rec.AcceptWaveform(data):
                 result = json.loads(rec.Result())
@@ -379,7 +529,7 @@ def vosk_listener():
         else: 
             rec.Reset()
 
- """
+
 # =========================
 # WAKEWORD (SIMPLIFIZIERT)
 # =========================
@@ -396,7 +546,7 @@ def fake_wakeword_detector():
 # WAKEWORD (PORCUPINE)
 # ==========================
 
-""" 
+
 def real_wakeword_detector():
     import pvporcupine
     import numpy as np
@@ -410,12 +560,20 @@ def real_wakeword_detector():
         access_key=ACCESS_KEY,
         keywords=[WAKEWORD]
     )
-    if state == STATE_IDLE: 
+    if state == STATE_IDLE and state != STATE_SPEAKING: 
 
         def callback(indata, frames, time_info, status):
             pcm = np.frombuffer(indata, dtype=np.int16)
             result = porcupine.process(pcm)
             if result >= 0:
+                
+                #FUNKTOIN FÜR MUSIKPLAYER
+                if music_player.playing:
+                    music_was_playing = True
+                    music_player.pause()
+                else:
+                    music_was_playing = False
+
                 time.sleep(1)  #verbesserung der spracheingabe: wurde hinzugefügt weil es sonst worte halluziniert (wie "eine", "jarvis")
                 state = STATE_LISTENING
                 print("WAKE WORD DETECTED")
@@ -434,12 +592,12 @@ def real_wakeword_detector():
             while True:
                 pass
 
- """
+
 # =========================
 # MAIN LOOP
 # =========================
 
-""" def main():
+def main():
     threading.Thread(target=vosk_listener, daemon=True).start()
 #    threading.Thread(target=fake_wakeword_detector, daemon=True).start()
     threading.Thread(target=real_wakeword_detector, daemon=True).start()
@@ -449,15 +607,16 @@ def real_wakeword_detector():
             text = audio_queue.get(timeout=0.1)
             handle_text(text)
         except queue.Empty:
-            pass """
+            pass
 
-def main():
+#main manuelle input
+""" def main():
     global state
     state = STATE_LISTENING
     while True:
         text = input("Text input: ")
         handle_text(text)
-
+ """
 
 
 if __name__ == "__main__":

music_control.py

@@ -0,0 +1,87 @@
+import vlc
+import os
+import threading
+
+class MusicPlayer:
+    def __init__(self, base_path="/home/tino/Desktop/Abschlussprojekt/test assistant/cloneAssistantAllInOne/RasPi_Voice_Assistant--WIP/musik/"):
+        self.base_path = base_path
+        self.instance = vlc.Instance()
+        self.player = self.instance.media_player_new()
+        self.lock = threading.Lock()
+
+        self.files = []
+        self.current_index = 0
+        
+        self.playing = False
+        self.paused = False
+
+        events = self.player.event_manager()
+        events.event_attach(
+            vlc.EventType.MediaPlayerEndReached,
+            self._song_ended
+        )
+    
+    def load_genre(self, genre):
+        folder = os.path.join(self.base_path, genre)
+        if not os.path.isdir(folder):
+            return False
+
+        self.files = [
+            os.path.join(folder, f)
+            for f in os.listdir(folder)
+            if f.endswith((".mp3", ".wav"))
+        ]
+        self.current_index = 0
+        return bool(self.files)
+
+    def _play_current(self):
+        with self.lock:
+            media = self.instance.media_new(self.files[self.current_index])
+            self.player.set_media(media)
+            self.player.play()
+            self.playing = True
+
+    def _song_ended(self, event):
+        self.next_song()
+
+    def play(self):
+        if not self.files:
+            return False
+    
+        if self.paused:
+            return self.resume()
+
+        if not self.playing:
+            self._play_current()   
+        
+        return True
+
+    def pause(self):
+        if self.playing:
+            self.player.pause()
+            self.playing = False
+            self.paused = True
+
+    def resume(self):
+        if self.paused:
+            self.player.play()
+            self.playing = True
+            self.paused = False
+            return True
+        return False
+
+    def stop(self):
+        self.player.stop()
+        self.playing = False
+        self.paused = False
+        self.current_index = 0
+
+    def next_song(self):
+        with self.lock:
+            self.current_index = (self.current_index + 1) % len(self.files)
+        self._play_current()
+
+    def previous_song(self):
+        with self.lock:
+            self.current_index = (self.current_index - 1) % len(self.files)
+        self._play_current()

weather_jetzt.py

@@ -3,6 +3,42 @@ import python_weather
 import asyncio
 from datetime import date, datetime, timedelta
 
+def normalize_city(name: str):
+    DE_TO_EN_CITY = {
+    # Deutschland (nur wenn DE ≠ EN)
+    "köln": "Cologne",
+    "münchen": "Munich",
+    "nürnberg": "Nuremberg",
+    "frankfurt am main": "Frankfurt",
+    "düsseldorf": "Dusseldorf",
+    "mönchengladbach": "Moenchengladbach",
+    "saarbrücken": "Saarbruecken",
+    "würzburg": "Wuerzburg",
+    "osnabrück": "Osnabrueck",
+    "göttingen": "Göttingen",  # Da im Englischen oft "Goettingen"
+
+    # Europa / Ausland (nur wenn DE ≠ EN)
+    "wien": "Vienna",
+    "prag": "Prague",
+    "mailand": "Milan",
+    "genf": "Geneva",
+    "brüssel": "Brussels",
+    "athen": "Athens",
+    "koppenhagen": "Copenhagen",
+    "rom": "Rome",
+    "warszawa": "Warsaw",
+    "warschau": "Warsaw",
+    "sankt petersburg": "Saint Petersburg",
+    "st. petersburg": "Saint Petersburg",
+    "kiew": "Kyiv",
+    "florenz": "Florence",
+    "venedig": "Venice",
+    "neapel": "Naples",
+    "andorra la vella": "Andorra la Vella",
+    }
+    
+    return DE_TO_EN_CITY.get(name.lower(), name)
+
 
 
 async def get_weather_for_location(location: str):
@@ -11,12 +47,14 @@ async def get_weather_for_location(location: str):
     now = datetime.now().time()
     today = date.today()    
 
+    try: 
 
         # Declare the client. The measuring unit used defaults to the metric system (celcius, km/h, etc.)
         async with python_weather.Client(unit=python_weather.METRIC) as client:
             
             # Fetch a weather forecast from a city.
-        weather = await client.get(location) ##e. g. Brackenheim
+            location_normalized = normalize_city(location)
+            weather = await client.get(location_normalized) ##e. g. Brackenheim
 
             # weather ist dein Forecast-Objekt von python_weather
             today_forecast = next(
@@ -38,10 +76,19 @@ async def get_weather_for_location(location: str):
                         closest = hourly
                 return closest
 
+            
+            if not today_forecast or not today_forecast.hourly_forecasts:
+                return None
+            if len(location_normalized) != len(weather.location):
+                return None
+
             current_hourly = closest_hourly(today_forecast.hourly_forecasts, now)
 
+
+            
+            
             KIND_TO_DE = {
-        "SUNNY": "sonnig",
+            "SUNNY": "nach freiem Himmel",
             "PARTLY_CLOUDY": "teilweise bewölkt",
             "CLOUDY": "bewölkt",
             "VERY_CLOUDY": "stark bewölkt",
@@ -70,7 +117,8 @@ async def get_weather_for_location(location: str):
                 "temperatur": temperatur,
                 "wetterlage": wetterlage
             }
-    
+    except python_weather.errors.RequestError:
+        return None
 
 #print(f"Aktuell sind es in {ort} {temperatur} Grad und die Wetterlage sieht {wetterlage} aus.")