샤인 카지노 메뉴

딥시크 V4가 존나 싸게 나온 이유

작성자 정보

  • 60 d0a 작성
  • 작성일

컨텐츠 정보

본문

0006429229 eafcbfb3 600x892

참고 사이트: 온라인카지노


1. 토큰 많을때 효율성 높이려고 일반적인 어텐션은 존나 압축해서 넣고, 압축한 sparse 어텐션도 같이 넣음
둘이 교차되게 배치됐고, 서로 다르게 작동함으로 압축에 의한 정보 손실을 상쇄
2. mHC 논문 냈던거 적용
3. MoE 부분 가중치에는 FP4 양자화를 처음부터 고려한 방식으로 학습해서 FP4에서 본성능으로 실행됨
4. MoE 전문가 병렬처리시 연산이랑 통신을 한 커널에 넣어서 병목 제거
5. 강화학습에 단순 reward 값 대신 생성 과정에 대한 정성적 평가를 모델이 진행하도록 해서 학습 성능 높이고 효율화
6. 여러 전문가 모델을 한 모델에 증류할 때, GPU 부족해서 모델 여러개 한번에 못 띄우니까 오프로딩 효율적으로 하는 기술 적용
7. 여러 전문가 모델을 증류할 때, 남들은 일부 토큰만 뽑아다 증류하는거, 딥식4는 전체 토큰에 대해 증류해서 가중치 폭발 막으면서 여러 모델의 성능을 한 모델에 통합
8. 이렇게 최적화된 구조를 활용하게 여러 턴의 추론 결과를 컨텍스트에 포함하는 방식으로 멀티 턴 툴 콜링과 에이전트 성능을 향상시킴
 
 
 
 
뭐 공산당 지원금은 둘째치고, 진짜로 라우팅 비용을 싸게하려고 온몸 비틀기를 했음
오픈클로처럼 애초에 개인정보가 중요하지 않은 API는 굳이 클로드나 GPT를 쓸 이유는 없는거같고
(애초에 오픈클로한테 위험한 개인정보를 맡기면 그새끼가 빙신임)
정 걱정되면 돈 좀 투자해서 모델 받아서 로컬서빙해서 굴리면됨
 
 
 
 
물론 난 돈 없는 찐따라 qwopus 27b랑 kimi, codex랑 영원히 함께할거임

관련자료

댓글 17

집에가게해줘님의 댓글

  • 30 집에가게해줘
  • 작성일
난 헤르메스 에이전트에 이것저것 넣어서 써보고 있는데 나도 그지새끼라... 주로 qwen, kimi, glm 가끔 grok 이렇게 썻는데 이제 딥식이가 추가되겠네

지ㆍ금이걸밭드시님의 댓글

  • 57 지ㆍ금이걸밭드시
  • 작성일
뭐라는거야 찐따가

번시켜먹음님의 댓글

  • 13 번시켜먹음
  • 작성일
qwopus 27b, kimi, codex가뭐임? 이게 로컬ai임?

d0a님의 댓글

  • 60 d0a
  • 작성일
qwopus는 30b미만(90급 글카에서 돌리기 가장 괜찮은 dense 모델) sota인 qwen 27b를 opus로 증류한 로컬모델kimi는 중국 모델인데 대형이라 로컬 서빙은 힘들고 플랜 구독이 더 쌈codex는 chatgpt

닉네임고민안함님의 댓글

  • 23 닉네임고민안함
  • 작성일
그냥 챗지피티 쓰면 안대나요?

d0a님의 댓글

  • 60 d0a
  • 작성일
돈이 많다면 그냥 GPT로 올인하면 됨한 10배정도 차이나긴함

빵매니아님의 댓글

  • 49 빵매니아
  • 작성일
qwopus 27b랑 kimi codex 이게 뭐임???얘네는 공짜임? 공짜 아니면 저거보다 비싸다는 느낌의 글 같은데;;;;

d0a님의 댓글

  • 60 d0a
  • 작성일
api중에는 압도적으로 싸긴한데 앞 놈은 로컬 뒷놈 두개는 정액제임근데 본인이 막 오픈클로랑 이거저거 붙여서 어시스턴트 만들어둔거 아니면 굳이 api 쓸 필요 없음

대출혈쇼님의 댓글

  • 12 대출혈쇼
  • 작성일
gemma 4 가자

난할수이찌님의 댓글

  • 80 난할수이찌
  • 작성일
V4 성능은 어떤가 opus 4.6이랑은 비비나..?

도서정가제님의 댓글

  • 88 도서정가제
  • 작성일
지피티야 저 말 한국어로 번역해줘

fokofoko님의 댓글

  • 74 fokofoko
  • 작성일
가격땜에 서비스용 ai붙일때 지금기준으로 이거말곤 선택지가 없어진거같긴함가성비미쳤어

곰형님의 댓글

  • 16 곰형
  • 작성일
코딩용으로 로컬 젬마4 mlx 는 별로인가?몇번 써보니까 노트북에서 전투기 엔진소리 나긴 하던데

털없는원숭이님의 댓글

  • 21 털없는원숭이
  • 작성일
제미나이 무료컷

악날거북님의 댓글

  • 24 악날거북
  • 작성일
글쓴이 처럼 쓰는사람들은 일반인 정도는 아니지? 일반 회사원들도 막 골라가면서 교육시켜서씀??? 현장에 굴러먹는 사람이라 그냥 검색정도로만쓰는데 회사원들은 다른가 궁금함

이성적인도라이님의 댓글

  • 12 이성적인도라이
  • 작성일
양자화와 디스틸 및 최적화를 존내게 팠다는 뜻이내

왕자지님의 댓글

  • 33 왕자지
  • 작성일
뭔진 모르겠지민 ㅇㄷ
목록
회원가입 정보찾기
미니게임