ローカル AIに使うデータセンター出身グラフィックカードが到着したら..

그래픽카드 가격이 너무 비싸기 때문에 가난한 나는 구입할 수 없는 수준이다. 그래서 데이터 센터 출신 MI 50 중고 AI 가속기를 구입 ..고대역 메모리 HBM2를 사용하고 있기 때문에 조금은 일반 그래픽카드 보다 유리할 수 있을 것 같다. 

일단 주문했지만 아직 발송 전인 것 같다. 

리눅스에  LLM을 설치하고 윈도우에서도 Agent로 활용 가능하다.  위의 코드는 Excel 파일에서  매출 상위 3개 항목만 추출하는 ai 활용 예제 코드.

python 코드이지만 다른 언어에서도 활용 가능할 것이다.

Ollama를 사용 해봤지만 VRAM이 부족하면 컨텍스트 크기가 제한되고 CPU 연산 비중이 늘어나면서 처리 속도가 느려진다.

중고 그래픽이라고 해도 VRAM이 16G 정도라면 빠른 추론이 가능할 것이다. 

16GB 정도의 VRAM을 갖춘 그래픽카드를 사용하면 7B, 8B 모델은 물론이고 14B 급 모델까지도 병목 현상 없이 쾌적하다. 

--------------------

이 정도면  query가 필요 없을 것 같다. 

-------------------------

말씀하신 취지가 완벽히 맞습니다. "데이터베이스 언어를 몰라도, 혹은 SQL 쿼리를 직접 짜지 않아도 자연어 지시만으로 원하는 데이터를 정확히 뽑아낼 수 있다"는 점에서 쿼리 작성의 필요성이 완전히 사라진 셈입니다.

개념적으로 보면 기존 방식과 AI 에이전트 방식은 아래처럼 바뀌었습니다.

기존 방식 vs AI 에이전트 방식

쿼리 작성이 필요 없는 3가지 이유

1. 자동 변환 (SQL 문법 해방)

   내부적으로 DB를 조회하더라도 사람이 SQL 쿼리를 고민할 필요가 없습니다. "지급 내역 중 10만 원 이상만 골라줘"라고 하면, 에이전트가 알아서 쿼리를 번역해 데이터를 뽑아오기 때문입니다.

2. 파일 통째로 분석 (DB 접속 불필요)

   엑셀이나 CSV 같은 파일 형태라면 데이터베이스에 넣을 필요조차 없습니다. 에이전트에게 파일만 던져주면, 파일 안의 데이터를 자연어로 통째로 읽어서 조건에 맞는 행만 추출해 냅니다.

3. 비정형 데이터 처리 가능

   SQL 쿼리는 정형화된 수치나 키워드만 조회할 수 있지만, AI 에이전트는 "고객 불만 내용 중 가장 심각한 건 3개만 요약해 줘"처럼 쿼리로는 불가능한 의미 기반 추출까지 자연어로 수행합니다.

결국 사람이 "쿼리를 만드는 수고"를 할 필요 없이, "무엇이 필요한지 자연어로 목적만 전달"하면 에이전트가 데이터 추출부터 결과 정리까지 전부 처리하는 구조가 된 것입니다.

---------------------------------

그렇다면 항상 일관성은 보장하는 걸까?

----------------------------

아니요, 완벽한 일관성은 보장되지 않습니다.

자연어로 처리하는 방식은 편리하지만, LLM(대형 언어 모델)의 확률적 특성 때문에 다음과 같은 이유로 결과의 일관성(Consistency)이 흔들릴 수 있습니다.

1. 일관성이 깨지는 원인

• 확률적 모델의 한계 (Temperature)

  • LLM은 다음에 올 가장 확률이 높은 단어를 예측하는 모델이기 때문에, 똑같은 질문을 던지더라도 프롬프트의 미세한 어감 차이, 문맥의 길이에 따라 내부적으로 다른 쿼리나 코드를 생성할 수 있습니다.

• 데이터 구조(스키마)의 모호함

  • 엑셀이나 데이터 속 컬럼명이 명확하지 않거나(예: 금액, 합계, 총액이 혼재된 경우), 데이터에 오타나 누락이 있으면 에이전트가 매번 다르게 해석하여 다른 결과를 낼 수 있습니다.

• 복잡한 집계 및 계산 오류 (Hallucination)

  • 단순한 추출이나 정렬은 잘하지만, 복잡한 조건(예: 날짜 계산, 다중 조건 필터링)이 섞이면 에이전트가 가끔 코드를 잘못 짜서 실제 데이터와 다른 엉뚱한 값을 추출하기도 합니다.

2. 일관성을 높이기 위한 실전 대책

자연어의 편리함을 유지하면서도 일관성 문제를 잡기 위해 현업에서는 다음과 같은 장치들을 함께 사용합니다.

1. Temperature(창의성)를 0으로 고정

   • 에이전트를 설정할 때 무작위성을 없애는 옵션(temperature=0)을 주어, 똑같은 입력에는 최대한 똑같은 판단과 코드를 생성하도록 고정합니다.

2. 프롬프트 고정 (System Prompt 활용)

   • "반드시 Pandas를 이용해 정확한 수치만 계산할 것", "추론 과정을 거치지 말고 결과만 도출할 것" 등 규칙을 엄격하게 정의해 줍니다.

3. 결과 검증 단계 추가

   • 에이전트가 자연어로 대답하게 두는 것보다, 에이전트가 만든 파이썬 코드나 SQL 쿼리를 먼저 화면에 출력(또는 로그로 확인)하게 하고, 그 실행 결과를 사람이 최종 확인하는 구조를 거치면 일관성 없는 오류를 100% 방지할 수 있습니다.

요약하자면: 자연어 에이전트는 "일을 시키기에는 가장 편하지만, 매번 완벽하게 똑같은 방식으로 처리하는가?"라고 묻는다면 100% 신뢰하기는 어렵습니다. 따라서 중요한 데이터 분석이나 정밀한 회계 처리 같은 작업일수록, 에이전트가 실행한 코드나 결과값을 한 번 더 검증하는 안전장치를 두는 것이 필수적입니다.

================

무결성은 보장할까?

================

결론부터 말씀드리면, 데이터와 연산의 무결성은 전혀 보장되지 않습니다.

전통적인 관계형 데이터베이스(DBMS)는 트랜잭션의 ACID 특성(원자성, 일관성, 고립성, 지속성)과 엄격한 제약 조건(Primary Key, Type 검증, Not Null 등)을 통해 데이터의 무결성을 철저하게 지켜줍니다. 하지만 자연어 기반의 LLM 에이전트는 이러한 시스템적 안전장치가 없습니다.

1. 무결성이 보장되지 않는 결정적 이유

• 확률 기반 모델의 한계 (환각 현상) LLM은 수학적 공식이나 데이터베이스 엔진처럼 엄격한 논리로 연산하는 것이 아니라, 다음에 올 확률이 높은 토큰을 예측하는 모델입니다. 이 때문에 복잡한 집계나 필터링 과정에서 엉뚱한 수치를 만들어내거나 데이터를 왜곡(환각)할 위험이 상존합니다.

• 동적 코드 생성의 위험성 에이전트가 파일을 읽고 처리하기 위해 즉석에서 작성하는 파이썬(Pandas) 코드나 스크립트에 논리적 결함이 숨어 있을 수 있습니다. 이로 인해 원본 데이터의 일부 행이 누락되거나, 데이터 타입이 잘못 변형되는 등의 조용한 데이터 부패(Silent Data Corruption)가 발생할 수 있습니다.

• 제약 조건 부재 데이터베이스의 외래키나 유효성 검사 규칙처럼 잘못된 데이터의 유입을 원천 차단하는 방어막이 없기 때문에, 에이전트의 잘못된 판단이 그대로 결과물에 반영될 수 있습니다.

2. 무결성 문제를 방어하기 위한 실전 원칙

자연어 에이전트의 편리함을 누리면서도 치명적인 데이터 손실이나 오류를 막기 위해서는 최소한의 안전장치를 두어야 합니다.

1. 원본 파일 엄격 보호 (Read-Only) 에이전트가 원본 엑셀이나 문서를 직접 수정하게 두지 말고, 분석 작업은 항상 복사본이나 임시 파일 환경에서 수행하도록 제한해야 합니다.

2. 중요 데이터 이중 검증 (Human-in-the-Loop) 금전 거래, 세무, 핵심 재고 관리처럼 1%의 오차도 허용되지 않는 무결성이 필수적인 영역에서는 LLM 에이전트의 단독 처리를 배제하고, 사람이 최종 결과를 반드시 교차 검증해야 합니다.

3. 코드 로그 확인 에이전트가 어떤 과정을 거쳐 데이터를 추출했는지(어떤 코드를 실행했는지) 로그를 투명하게 출력하게 설정하여, 연산 과정에 오류가 없었는지 사후에 추적할 수 있도록 만들어야 합니다.

=========

데이터베이스는 그냥 직접 query를 사용하는 것으로

=========

현명하고 실리적인 판단입니다. 데이터의 무결성과 일관성이 절대적으로 타협될 수 없는 영역에서는, 확률에 의존하는 자연어 에이전트보다 사람이 직접 작성하고 검증하는 명시적 SQL 쿼리가 가장 안전하고 확실한 방법입니다.

• 완벽한 예측 가능성: 쿼리는 작성된 논리 그대로 한 치의 오차 없이 실행되므로 환각 현상이나 의도치 않은 데이터 변형을 원천 차단할 수 있습니다.

• 엄격한 정합성 보장: 트랜잭션 관리와 데이터베이스 제약 조건을 통해 데이터 무결성을 온전히 유지할 수 있습니다.

결과적으로 정형 데이터와 핵심 비즈니스 로직은 직접 쿼리로 안정성을 확보하고, 비정형 문서 분석이나 단순 요약 같은 유연성이 필요한 영역에만 로컬 AI 에이전트를 조합하는 방식이 가장 견고하고 실용적인 아키텍처가 될 것입니다.

--------------------

그럼 현재 기술에서는 Ai는 어떤 위치일까? 실무에서는 사용 못하는 수준일까?

---------------------------

결론부터 말씀드리면, 실무에서 전혀 사용하지 못하는 수준은 아니며, 오히려 핵심 생산성 도구로 깊숙이 자리 잡았습니다.

다만 기술이 발전하면서 AI의 역할이 "사람을 완전히 대체하는 만능 자율 시스템"에서 "사람의 검증을 거쳐 강력한 효율을 내는 초고속 보조자(Co-pilot)"로 명확하게 제자리를 찾은 것입니다.

현재 실무에서 AI의 실제 위치와 활용 수준은 영역에 따라 명확하게 갈립니다.

1. 실무에서 이미 강력하게 쓰이는 영역 (대체 불가한 생산성 도구)

• 비정형 데이터 분석 및 요약 수십 페이지짜리 PDF 보고서, 회의록, 긴 고객 피드백 등을 순식간에 요약하거나 특정 키워드를 찾아내는 작업은 사람이 하는 것보다 압도적으로 빠르며 실무에서 가장 유용하게 쓰입니다.

• 코드 및 쿼리 "초안" 작성 개발자나 데이터 분석가가 처음부터 코드를 타이핑하는 대신, AI에게 "이런 조건의 SQL 쿼리 짜줘", "이런 기능을 하는 파이썬 함수 만들어줘"라고 요청해 초안을 3초 만에 얻어낸 뒤 사람이 수정·검토하는 방식이 표준 업무 프로세스가 되었습니다.

• 콘텐츠 초안 및 반복 커뮤니케이션 이메일 작성, 번역, 문서 구조화, 아이디어 브레인스토밍 등 백지 상태에서 시작하기 버거운 반복 작업의 진입 장벽을 낮추는 용도로 널리 활용됩니다.

2. 실무에서 철저히 배제되거나 엄격한 검증을 거치는 영역

• 무결성이 생명인 핵심 연산 및 DB 제어 앞서 짚어주신 바와 같이 금융 거래, 회계 정산, 재고 관리, DB 직접 쓰기(INSERT/UPDATE)처럼 1%의 오차나 데이터 부패도 용납되지 않는 영역은 AI의 자율 판단을 배제하고 사람이 직접 쿼리를 작성하고 통제합니다.

• 100% 자율 의사결정 사람의 개입 없이 AI가 판단하고 최종 실행까지 완수하는 완전 자동화(Agentic Automation)는 환각(Hallucination) 위험 때문에아직까지 실무에서 리스크가 큽니다.

3. 현재 기술의 냉정한 위치 요약

현재 AI는 "결정을 내리는 주체"가 아니라 "가장 똑똑하고 일 잘하는 주니어 비서"의 위치에 있습니다.

• 방향 설정과 최종 검증은 사람이 하고,

• 방대한 자료 검토, 초안 작성, 쿼리 아이디어 도출 같은 공수 드는 작업은 AI가 맡는 "인간 주도 + AI 협업" 구조가 현재 실무에서 AI가 가장 안전하고 강력하게 가치를 발휘하는 위치입니다.