ローカルで使うことができる水準の AIを捜した.

나의 PC에서 이 정도 속도라면 로컬로 사용 가능하다. 

Qwen3-4B 

네. 현재 PC라면 Qwen3-4B Q4_K_M은 로컬 AI를 일상적으로 사용하기에 충분히 실용적인 선택이라고 생각합니다.

특히 외부 인터넷 연결 없이도 모델을 실행할 수 있고, 질문과 답변을 자신의 PC에서 처리할 수 있다는 장점이 있습니다.

현재 PC에서 활용하기 좋은 작업

작업

활용 가능성

STM32·C/C++ 코드 설명

좋음

HAL, GPIO, UART 개념 학습

좋음

한국어 문서 요약 및 정리

좋음

간단한 코드 작성과 오류 분석

가능

MQTT·ESP32 프로젝트 설계 보조

가능

복잡한 디버깅이나 긴 코드 분석

모델의 한계가 있을 수 있음

현재 구성의 장점

• Xeon E5-2697 v2 + RAM 32GB: 4B급 모델을 실행하기에 충분한 메모리 여유가 있습니다.

• RX 570 4GB: 모델이 작아진 만큼 GPU에 더 많은 레이어를 올릴 가능성이 있습니다.

• Q4_K_M 양자화: 모델 크기와 답변 품질 사이에서 합리적인 절충안입니다.

다만 실제 생성 속도는 Qwen3-4B를 실행한 뒤 표시되는 Generation 수치로 확인해야 합니다. 8B 모델보다 빨라질 가능성은 높지만, 정확한 속도는 측정 전에는 단정할 수 없습니다.

제 생각에는 지금 당장 PC를 업그레이드하기보다, Qwen3-4B를 STM32 학습과 로컬 개발 보조에 활용하면서 부족한 부분이 있는지 확인하는 편이 경제적입니다. 특히 사용하시는 STM32F401과 ESP32 프로젝트에 연결해 활용하면 로컬 AI의 장점을 잘 살릴 수 있습니다.

STM32F401과 ESP32 프로젝트에 연결해 활용하는 방법은?

현재 PC에서 실행하는 Qwen3-4B를 STM32F401과 ESP32 프로젝트에 연결하는 가장 실용적인 방법은, AI를 마이크로컨트롤러 안에 넣는 것이 아니라 PC를 AI 서버로 사용하고 STM32와 ESP32가 네트워크로 통신하게 만드는 것입니다.

지금 갖고 계신 장비를 기준으로 보면, 먼저 ESP32를 통해 PC의 로컬 AI와 통신하고, 이후 STM32F401을 연결하는 순서가 좋습니다.

1. 전체 구성도

PC — Windows Server 2025

Qwen3-4B · llama.cpp · AI 판단 및 설명

Wi-Fi / 유선 LAN · TCP/IP

ESP32

센서 수집 · MQTT · 릴레이 제어

STM32F401

GPIO · UART · 타이머 · 장치 제어

두 MCU는 각각 PC와 통신할 수도 있고, ESP32가 중계 역할을 하도록 구성할 수도 있습니다.

핵심은 역할을 나누는 것입니다.

• PC의 Qwen3-4B: 센서 데이터의 의미 해석, 자연어 질문 응답, 기록 요약, 이상 상황 설명

• ESP32: Wi-Fi 통신, 센서 데이터 수집, MQTT 메시지 송수신

• STM32F401: 버튼 입력, 디스플레이, 타이밍이 중요한 제어, 주변장치 처리

AI가 응답하지 않더라도 물리 장치가 안전하게 동작하도록, 온도·수분 임계값이나 모터 정지 조건은 MCU의 일반 C 코드에서 처리하는 편이 좋습니다.

2. 첫 번째 프로젝트: ESP32에서 로컬 AI에 질문하기

가장 먼저 추천하는 것은 ESP32 센서 → PC의 Qwen3-4B → 한국어 분석 결과 흐름을 만드는 것입니다.

예를 들어 온실의 토양 수분 센서를 ESP32에 연결하면 다음과 같이 활용할 수 있습니다.

ESP32가 센서 측정

토양 수분 28%, 온도 24°C 같은 데이터를 수집합니다.

PC에 데이터 전달

Wi-Fi로 PC의 AI 서버에 센서값을 보냅니다.

“최근 수분이 계속 감소하고 있습니다. 관수 조건을 확인하세요.”처럼 설명합니다.

실제 연결은 두 가지 방법이 있습니다.

• HTTP 방식: ESP32가 PC의 AI 서버에 요청을 보내고 답변을 받습니다. 처음 구현할 때 이해하기 쉽습니다.

• MQTT 방식: ESP32가 센서값을 메시지 브로커에 게시하고, PC의 프로그램이 메시지를 받아 AI 분석을 수행합니다. 센서가 여러 개로 늘어나는 농장 자동화에 적합합니다. ESP32용 MQTT 라이브러리는 공식 문서에서 확인할 수 있습니다. ESP-MQTT 공식 문서.

3. PC의 Qwen3-4B를 서버로 실행하기

현재 사용 중인 llama.cpp에는 PC에서 모델을 실행하고 다른 프로그램이 HTTP로 요청하도록 하는 서버 기능이 있습니다. OpenAI 호환 API도 지원합니다.

기본적인 실행 예시는 다음과 같습니다.

llama-server.exe `
  -m "모델파일경로Qwen3-4B-Q4_K_M.gguf" `
  -ngl 99 `
  -c 4096 `
  --host 0.0.0.0 `
  --port 8080

위 명령은 예시입니다. 실제 모델 파일 경로를 넣으셔야 하고, RX 570의 VRAM이 부족하면 -ngl 99를 낮춰야 합니다. 먼저 PC 자체에서 서버가 정상적으로 실행되는지 확인한 뒤 ESP32를 연결하세요.

• localhost:8080은 PC 자신이 접속하는 주소입니다.

• ESP32는 localhost를 사용할 수 없습니다. PC의 로컬 네트워크 IP 주소를 사용해야 합니다.

• Windows 방화벽에서 필요한 포트만 허용하고, 이 서버를 인터넷에 직접 공개하지 않는 것이 좋습니다.

4. STM32F401은 어떻게 연결할까요?

STM32F401RCT6에는 ESP32처럼 Wi-Fi가 내장되어 있지 않으므로 별도의 통신 경로가 필요합니다.

연결 방식

필요한 것

활용

USB-UART

USB-UART 변환기

PC와 직접 통신하며 학습

UART

ESP32 보드

STM32 ↔ ESP32 ↔ PC AI

SPI + W5500

W5500 이더넷 모듈

STM32 ↔ 유선 LAN ↔ PC

지금 배우고 계신 STM32 HAL과 UART를 활용하려면 STM32F401에서 UART로 ESP32에 데이터를 보내고, ESP32가 PC의 AI 서버와 통신하는 방식이 좋은 다음 단계입니다.

예를 들어 STM32가 버튼 입력을 받아 STATUS?라는 메시지를 보내면, ESP32가 이를 PC에 전달하고, PC가 분석 결과를 반환하도록 만들 수 있습니다. 다만 실시간 모터 제어나 긴급 정지는 AI 응답을 기다리지 않고 STM32에서 처리해야 합니다.

5. 추천하는 학습 순서

1. PC ↔ Qwen3-4B 서버: 브라우저나 간단한 Python 프로그램으로 질문과 답변을 주고받습니다.

2. ESP32 ↔ PC: ESP32에서 고정된 문자열을 전송하고 PC가 응답하게 만듭니다.

3. 센서 ↔ ESP32 ↔ AI: 토양 수분이나 온도 데이터를 전달하고 분석 결과를 확인합니다.

4. STM32F401 ↔ ESP32: UART 송수신을 구현하고 버튼이나 디스플레이를 연결합니다.

5. 자동화 통합: 센서 기록을 저장하고, AI는 분석을 맡으며, 안전한 제어는 MCU의 C 코드로 처리합니다.

한 가지만 먼저 확인하고 싶습니다. 현재 갖고 계신 ESP32 보드는 Wi-Fi가 가능한 일반 ESP32 개발 보드인가요? 그렇다면 다음 단계로 Qwen3-4B 서버 실행부터 ESP32 통신 코드까지 순서대로 만들어 드릴 수 있습니다.