- Docker Desktop
- Ollama
그래픽카드에 30만원을 투자해야 한다.
———————
설치 용량은?
딥시크(DeepSeek) 모델의 설치 용량은 선택하시는 모델의 크기에 따라 크게 달라집니다. 예를 들어, 딥시크는 다양한 크기의 모델을 제공하며, 일부 저용량 모델은 4GB 이하로 휴대폰에도 설치가 가능하지만, 대용량 모델의 경우 수백 기가바이트에 이를 수 있습니다.
일반적으로, 모델의 파라미터 수가 많을수록 더 많은 저장 공간과 GPU 메모리가 필요합니다. 따라서, 사용 목적과 시스템 사양에 맞는 모델을 선택하시는 것이 중요합니다.
——————
rtx3060 단일 gpu 사용시 적당한 모델과 설치 용량은?
NVIDIA GeForce RTX 3060 그래픽 카드는 12GB의 VRAM을 탑재하고 있습니다.
이러한 VRAM 용량을 고려할 때, 딥시크(DeepSeek) 모델 중 약 7억 개의 파라미터를 가진 7B 모델이 적합할 것으로 보입니다. 일반적으로 1억 개의 파라미터당 약 1GB의 VRAM이 필요하다는 점을 감안하면, 7B 모델은 RTX 3060의 12GB VRAM으로 무리 없이 구동할 수 있습니다.
또한, 모델의 파라미터 수가 증가할수록 더 많은 VRAM이 필요하며, VRAM 용량을 초과하는 모델을 실행할 경우 성능 저하나 실행 불가 등의 문제가 발생할 수 있습니다. 따라서, RTX 3060을 사용할 경우 7B 모델을 선택하시는 것이 적절하며, 이 모델의 설치 용량은 약 13GB 정도로 예상됩니다.
추가로, 딥시크 모델을 로컬 환경에서 실행하기 위해서는 Docker Desktop과 Ollama 등의 소프트웨어 설치가 필요하며, 이러한 소프트웨어와 모델 파일을 저장하기 위한 충분한 디스크 공간도 확보하셔야 합니다
- Docker Desktop
- Ollama
<iframe width="640" height="360" src="https://www.youtube.com/embed/3xRRVlpw8FI" title="話題の AI 言語モデルディブシク設置して見ました | How to install deepseek-r1 in Local PC" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
グラフィックカードに 30万ウォンを投資しなければならない.
--------------
設置用量は?
ディブシク(DeepSeek) モデルの設置用量は選択するモデルの大きさによって大きく変わります. 例えば, ディブシクは多様な大きさのモデルを提供して, 一部低用量モデルは 4GB 以下で携帯電話にも設置が可能だが, 大容量モデルの場合数百ギガバイトにのぼることができます.
一般的に, モデルのパラメーター数が多いほどもっと多い保存空間と GPU メモリーが必要です. よって, 使用目的とシステム仕様に当たるモデルを選択するのが重要です.
------------
rtx3060 単一 gpu 使用の時適当なモデルと設置用量は?
NVIDIA GeForce RTX 3060 グラフィックカードは 12GBの VRAMを搭載しています.
このような VRAM 用量を考慮する時, ディブシク(DeepSeek) モデルの中で約 7億個のパラメーターを持った 7B モデルが相応しいようです. 一般的に 1億個のパラメーター当たり約 1GBの VRAMが必要だという点を勘案すれば, 7B モデルは RTX 3060の 12GB VRAMで無理なく駆動することができます.
も, モデルのパラメーター数が増加するほどもっと多くの VRAMが必要であり, VRAM 用量を超過するモデルを行う場合性能私するが実行不可などの問題が発生することができます. よって, RTX 3060を使う場合 7B モデルを選択するのが適切であり, このモデルの設置用量は約 13GB 程度に予想されます.
追加で, ディブシクモデルをローカル環境で行うためには Docker Desktopと Ollama などのソフトウェア設置が必要であり, このようなソフトウェアとモデルファイルを保存するための十分なディスク空間も確保なさらなければなりません