AMD LAB의 대형 LLM 모델에 접속한..

3248771 KO Lv 6

11-05 16:28

KEY를 실수로 삭제...다시 요청하면 KEY를 재발급 가능했다 대형 모델을 처음 사용해 보는..

-----------------------------------

Qwen3.8-27B는 27B 체급(Dense 모델) 중 reasoning, agentic planning, coding 성능이 매우 우수하여, 추론(Thinking) 과정의 깊이를 컨트롤하며 테스트하기에 이상적인 모델입니다. 또한 262,144 토큰(262K)의 대용량 컨텍스트 창을 제공하므로, 이 특성들을 다각도로 검증할 수 있는 테스트 방안을 정리했습니다.

1. 추론 및 논리 제어 테스트 (Reasoning Effort)

Qwen3.8 시리즈는 시스템 프롬프트나 파라미터를 통해 '생각하는 과정(Chain of Thought)'의 깊이를 제어할 수 있습니다.

복합 알고리즘 및 수학 풀이:
- 고난도 추론 문제(예: GPQA Diamond 스타일 또는 복잡한 수치 해석 문제)를 던지고, Reasoning effort 옵션을 다르게 주었을 때의 CoT 출력 길이와 정답률 차이를 비교합니다.
자기 수정(Self-Correction) 능력:
- 의도적으로 제약 조건이 5~6개 이상 얽힌 복잡한 조건문(예: "A, B, C, D 4명이 특정 조건을 만족하며 좌석에 앉는 경우의 수를 구하되, 과정 중 스스로 오류를 검증할 것")을 제시하고 internal reasoning 과정을 관찰합니다.

2. 코딩 및 에이전트 능력 (Coding & Agentic Capability)

이 모델은 단일 파일 코드 생성을 넘어 리포지토리 수준의 파악과 에이전트 작업 실행에 특화되어 있습니다.

리포지토리 분석 및 리팩토링:
- C/C++, Rust, Python 등의 소스 코드 파일 수십 개를 한 번에 입력한 뒤, 모듈 간 구조적 의존성 분석, 메모리 누수 지점 탐지, HAL 기반 드라이버 코드의 모듈화 리팩토링을 요청해 봅니다.
도구 활용 및 단계별 계획 수립 (Function Calling/Agent Tool-use):
- 여러 API나 CLI 명령어 세트를 정의해 두고, multi-step 작업을 완수하기 위한 JSON 형식의 호출 계획을 정확히 작성하는지 검증합니다.

3. 대용량 컨텍스트 성능 (262K Context Window)

롱 컨텍스트 환경에서 정확한 정보를 찾아내는 능력을 테스트합니다.

Needle in a Haystack (해이스타크 needle 테스트):
- 수십 페이지 분량의 텍스트 데이터(기술 문서, 로그 데이터, 소스 코드 등) 중간에 단 한 줄의 이질적인 데이터나 특정 설정 값을 숨겨놓고 정확히 추출해내는지 확인합니다.
대용량 기술 규격서 분석:
- 임베디드 데이터시트(MCU, 센서 통신 규격 등)나 수십 페이지의 시스템 아키텍처 문서를 전체 입력으로 넣은 뒤, 특정 레지스터 설정 시퀀스나 예외 처리 루틴에 대한 요약/검증을 요청합니다.

4. 구조화된 데이터 출력 (Structured Output)

JSON Schema 및 시스템 프롬프트 준수:
- 복잡한 중첩 JSON 스키마를 정의하고, 입력받은 비정형 텍스트를 한 치의 구문 오류(Syntax Error) 없이 정확한 스키마 구조로 파싱해 내는지 테스트합니다.
규격화된 데이터 변환:
- CSV/로그 데이터를 분석하여 상태 정의표, 레지스터 맵, 통신 프로토콜 프레임 명세서 형태의 Markdown 데이터로 완벽히 정제하는지 확인합니다.

=============

1개월 무료지만 그래픽카드 없이도 체험할 수 있다. 프롬프트를 입력해 본...

==================

이 예제로 테스트할 수 있는 포인트

대용량 문서 정밀 독해 (Long-Context Needle/Extraction): 방대한 데이터시트 텍스트 속에서 모델이 특정 레지스터 주소, 통신 타이밍 제약 조건, 에러 플래그 관련 규격을 정확히 찾아내어 반영하는지 검증할 수 있습니다.
하드웨어 및 시스템 프로그래밍 정확도: MCU의 HAL 드라이버 구조와 저수준 레지스터 제어 방식에 대한 이해도를 평가할 수 있습니다.
논리적 제어 및 안정성 검증: 실무 환경에서 중요하게 다뤄지는 예외 처리와 타임아웃 안정성을 코드가 제대로 확보하는지 확인합니다.

속도는 역시 느리다. AMD 서버이기 때문에 빠를 줄 알았지만.....추론 속도는 빠르지만 결과를 내는 시간은 길다. 전기도 많이 소모할 것이다.

번역문보기

AMD LABの大型 LLM モデルに接続した..

KEYを間違いで削除...また要請すれば KEYを再発給可能だった大型モデルを初めて使って見る..

-----------------------------------

Qwen3.8-27Bは 27B 体級(Dense モデル) 中 reasoning, agentic planning, coding 性能が非常に優秀で, 推論(Thinking) 過程の深みをコントロールしてテストするのに理想的なモデルです. も 262,144 トークン(262K)の大容量コンテクスト窓を提供するので, この特性たちを多角度に検証することができるテスト方案を整理しました.

1. 推論及び論理制御テスト (Reasoning Effort)

Qwen3.8 シリーズはシステムプロンプトやパラメーターを通じて '思う過程(Chain of Thought)'の深みを制御することができます.

複合アルゴリズム及び数学解釈:
- 高難度推論問題(例: GPQA Diamond スタイルまたは複雑な数値解釈問題)を投げて, Reasoning effort オプションを違うように与えた時の CoT 出力長さと正解率差を比べます.
自分の修正(Self-Correction) 能力:
- 意図的に制約条件が 5‾6個以上縛られた複雑なゾゴンムン(例: "A, B, C, D 4人が特定条件を満足して座席に座る場合の数を求めるが, 過程の中で自ら間違いを検証すること")を提示して internal reasoning 過程を観察します.

2. コーディング及びエージェント能力 (Coding & Agentic Capability)

がモデルは単一ファイルコード生成を越してリポジトリ水準の把握とエージェント作業実行に特化されています.

リポジトリ分析及びリペックトリング:
- C/C++, Rust, Python などのソースコードファイル数十個を一番(回)に入力した後, モジュールの間構造的依存性分析, メモリー漏水地点探知, HAL 基盤ドライバーコードのモジュール化リペックトリングを要請して見ます.
道具活用及び段階別計画樹立 (Function Calling/Agent Tool-use):
- 多くの APIや CLI 命令語セットを定義しておいて, multi-step 作業を果すための JSON 形式の呼び出し計画を正確に作成するのか検証します.

3. 大容量コンテクスト性能 (262K Context Window)

ロングコンテクスト環境で正確な情報を捜し出す能力をテストします.

Needle in a Haystack (緩みstar craft needle テスト):
- 数十ページ分量のテキストデータ(技術文書, ログデータ, ソースコードなど) 中間にただ１行の異質的なデータや特定設定値段を隠しておいて正確に抽出し出すのか確認します.
大容量技術規格で分析:
- イムベデ−ドデータシーツ(MCU, センサー通信規格など)や数十ページのシステムアキテクチャー文書を全体入力で入れた後, 特定レジスター設定シーケンスや例外処理ルチンに対する要約/検証を要請します.

4. 構造化されたデータ出力 (Structured Output)

JSON Schema 及びシステムプロンプト遵守:
- 複雑な重畳 JSON シェーマを定義して, 入力受けた非情型テキストを一寸の構文間違い(Syntax Error) なしに正確なシェーマ構造にパッシングし出すのかテストします.
規格化されたデータ変換:
- CSV/ログデータを分析して状態正義表, レジスターマップ, 通信プロトコルフレーム明細書形態の Markdown データに完壁に精製するのか確認します.