언어 / MODEL API
Llama-3.1-8B-Instruct
입력 $0.1 · 출력 $0.1 / 100만 토큰
OVERVIEW
모델 정보
The Meta Llama 3.1 collection of multilingual large language models (LLMs) is a collection of pretrained and instruction tuned generative models in 8B, 70B and 405B sizes (text in/text out). The Llama 3.1 instruction tuned text only models (8B, 70B, 405B) are optimized for multilingual dialogue use cases and outperform many of the available open source and closed chat models on common industry benchmarks.
모델 사양
- 모델 유형
- 언어
- 컨텍스트 길이
- 128,000 토큰
- 최대 출력 길이
- 8,192 토큰
- 입력 모달리티
- text
- 출력 모달리티
- text
MODEL PRICING
모델 API 요금
언어
100만 토큰당 USD| 모델 | 입력 | 출력 | 캐시 읽기 |
|---|---|---|---|
| Llama-3.1-8B-Instruct컨텍스트 길이: 128,000 토큰 | $0.1 | $0.1 | $0.05 |
플랫폼의 공개 요금을 5분 간격으로 갱신합니다. — 표시는 해당 요금이 제공되지 않음을 뜻하며 무료를 의미하지 않습니다. 최종 이용 요금은 콘솔에서 확인하세요.
BUILT FOR YOUR STACK
API 호출 예제
먼저 접속 설정을 펼쳐 준비 명령을 실행하세요. 그다음 Python 또는 cURL 예제를 저장해 실행할 수 있습니다.
접속 설정 및 준비 명령실제 API 주소, 모델 ID 및 환경 변수
- API 주소
https://api.ecohash.com/v1- API 모델 ID
llama-3.1-8b-instruct
YOUR_API_KEY를 콘솔에서 발급받은 전체 추론 API 키로 바꿔 주세요. 준비 명령은 macOS/Linux 또는 호환 셸에서 실행하세요. cURL의 JSON 예제는 Python 표준 라이브러리로 요청 본문을 생성합니다.
python -m pip install openai
export GIGACOMMA_API_BASE_URL='https://api.ecohash.com/v1'
export GIGACOMMA_MODEL_ID='llama-3.1-8b-instruct'
export GIGACOMMA_API_KEY="YOUR_API_KEY"GIGACOMMA_API_KEY는 환경 변수 이름입니다. 값은 콘솔에서 발급받은 추론 API 키이며 OpenAI의 API 키를 사용하지 않습니다. API 키 발급
import osfrom openai import OpenAIMODEL_ID = os.environ["GIGACOMMA_MODEL_ID"]client = OpenAI( base_url=os.environ["GIGACOMMA_API_BASE_URL"], api_key=os.environ["GIGACOMMA_API_KEY"],)response = client.chat.completions.create( model=MODEL_ID, messages=[{"role": "user", "content": "Hello!"}], max_tokens=256,)print(response.choices[0].message.content)