Τα Mac Mini, ειδικά Pro, είναι πολύ καλή λύση για local LLM server. Σε idle είναι σχεδόν σαν RPi, ενώ μπορεί να κάνει access σε πολύ μεγάλη RAM. Με αρχικό κόστος βέβαια, αλλά πέρα από εξωτικές λύσεις τύπου Nvidia dgx-spark, δεν υπάρχει κάτι άλλο αυτή τη στιγμή.

Θυμάμαι ότι προσπαθείς να απεξαρτηθείς από το Apple ecosystem, αλλά είναι απλά ένα extra node στο homelab. Και τα υπόλοιπα το χτυπάνε μέσω API για LLM calls.

Ω, τι κρίμα! Ενώ ήμουν έξω για περίπατο και άκουγα το σημερινό σου επεισόδιο, έγραψα ένα σχόλιο και νόμιζα ότι το είχα αποθηκεύσει, αλλά φαίνεται ότι δεν πάτησα το κουμπί «Comment», οπότε δεν το έστειλα.
Δε έχω διάθεση να το ξαναγράψω, θα προσθέσω απλά ότι στο homelabing, πρέπει να θυμόμαστε να μην περιπλέκουμε τα πράγματα και, για να μπορούμε σε περίπτωση προβλήματος, εμείς ή άλλοι να ξέρουμε τι να κάνουμε. Και πρέπει να κρατάμε για τον εαυτό μας όσο είναι αυτό δυνατό μια documentation του configuration. Εγώ πχ αναγκάστηκα ένα debian που είχα εγκαταστήσει πρίν ένα χρόνο και ήθελα να χρησιμοποιήσω ώς wifi access point, να το σβήσω και να το εγκαταστήσω όλα ξανά γιατί απλά είχα ξεχάσει το password του admin ;-)

swsto!

BTW το επεισόδιο σου μου θυμησε πως είχα έναν υπολογιστή που δεν δεχόταν updates για modern macOS versions πλεον, και ήθελα να του κάνω upgrade με ένα Debian. Εχθές τελικά εγκατέστησα ubuntu. Μια ιδέα είναι να τον κάνω file server. Μια άλλη να τον κανω proxy. Θα δω που θα με πάνε τα "παιχνίδια". σε ευχαριστώ που μου θύμησες αυτήν την ιδέα

Ωραίος! :-)

euxaristw!!!