황회장이 집집마다 AI가 있는세상을 말한이유

집 전체 로컬디바이스들을 ai추론용 클러스터로 동기화시키는 프로그램 런칭함.

단, 병렬작업으로 처리되며, 가상GPU로 통합하는 기능은 제공하지않음

RTX20 이상 컴퓨터 혹은 맥미니 m4 이상 디바이스를 지원하는데, 저기 함정은 모델받을때 빼고는 인터넷이 필요없다고하는데,

내부망 즉 로컬네트워크 속도가 높아야 추론속도가 올라감 ( 허브,공유기 1gbps로는 답이 안나올지도;)

한줄요약 : 그런데 저거 로컬LLM으로 병렬화시켜서 추론하면, 일반가정집 누진제로 감당이 되나;

그니까, 내돈 주고 산 그래픽카드를 지 멋대로 굴려서 Ai서비스를 하는데 그 서비스료까지 받아먹어야겠다?

감당은 엔비디아에서 하는게 아니니까 ㅋㅋ

나도 프라이데이 누나한테 관리받고 싶다

에너지 대유쾌 마운틴

소형 DGX spark 최대 전력사용량이 240W임. 그렇게 많이 안먹을 듯? 75인치 티비 전기료가 220W~320W먹음. 밥솥은 하루종일 켜놓으면 2,160Wh먹음

메인이 스파크 계열 같은데 한달 내내 틀어놔도 전기세 1000원 정도될걸?

DGX스파크로 하는거면 그렇게 될건데 저기 말하는게 RTX20이상 글카 달린 데스크톱 노트북도 포함이니까 ㅋㅋ;헌컴퓨터 통합으로 추론속도 올라가는건 좋은것같은데 전기비가 살살녹을듯

집에 AI 추론카드가 1개 이상씩 있다? 지금 1가구에 1개씩 사는것도 벅찬데 몇개씩 사도록 만들겠다? 그럼 수요가 폭증하는데 가격이 더 오를텐데?

말이좋아 ai추론카드지 그냥 rtx20번대이상 글카달린 컴퓨터 로도 가능하다고말하는듯

그러니깐 버리는 그래픽 카드들 모아놓고 연결하자? 뭐 그런건가? 아니면 사라는건지. 아니면 10년후에는 냉장고에도 ai 추론카드가 들어간다는건지;;;;

정확하게 구세대 20시리즈 이상 데탑이나 랩탑도 추론병렬연산에 참여할수있게하는 프로그램같은거임

나중에 전용 보드 같은게 나올려나... 구형 그래픽 카드들 꽂아서 병렬 연산할때 도움이 되게 하는거. 전기는 오지게 쳐먹겠지만 저러면 참 좋을것 같은데. 그러면 뭐 베리 굿이지. 이제 AMD는 못 쓰는거고;

그러니까 그리드라는거지?

ㅇㅇ 로컬로 돌아가는 그리드지

가정마다 고성능 GPU가 더 널리 보급돼서 그리드 돌리면 구축해야 할 데이터센터도 그만큼 줄어드니까 괜찮지 않으려나

황회장 저인간 gpu 얼마나 팔아먹으려는지 감도 안잡히네