Amazon Bedrock 소개
Amazon Bedrock은 서버리스 방식으로 별도의 인프라 관리 없이 생성형 AI 모델을 사용할 수 있는 API를 제공하는 완전 관리형 서비스입니다. 사용자는 인프라 구축 대신 애플리케이션 개발에 집중할 수 있습니다.
•
Amazon Bedrock은 다양한 파운데이션 모델(FM)을 단일 API로 쉽게 사용하고, 생성형 AI 애플리케이션을 신속하게 구축 및 확장할 수 있도록 지원하는 완전 관리형 서비스입니다.
•
베드락 에이전트는 파운데이션 모델(FM)을 기반으로 사용자의 요청을 스스로 이해하고, 여러 단계의 작업을 자동으로 처리하여 기존 AI의 한계를 극복하는 혁신적인 서비스입니다
다양한 모델 선택권
Amazon 자체 모델뿐만 아니라 Meta, Anthropic, Stability AI 등 최고의 AI 기업들이 제공하는 파운데이션 모델(FM)을 단일 API로 간편하게 활용할 수 있어, 프로젝트에 가장 적합한 모델을 쉽게 비교하고 선택할 수 있습니다.
Amazon Bedrock은 통합 API를 통해 주요 AI 제공업체의 파운데이션 모델에 액세스할 수 있는 Amazon Web Services(AWS)의 완전관리형 서비스입니다. 이 서비스를 통해 기본 인프라를 관리하거나 자체 대규모 언어 모델(LLM)을 개발할 필요 없이 생성형 AI 애플리케이션을 구축하고 확장할 수 있습니다. Amazon Bedrock을 사용하면 다양한 파운데이션 모델 중에서 특정 사용 사례 요구 사항에 가장 적합한 모델을 선택할 수 있습니다.
Amazon Bedrock
이 서비스는 데이터가 비공개로 유지되는 안전한 환경을 제공한다는 점에서 돋보입니다. 이는 사용자의 데이터가 사용하는 모델을 훈련시키는 데 사용되지 않는다는 것을 의미합니다. Amazon Bedrock은 미세 조정 및 검색 증강 생성(RAG)과 같은 기술을 통해 자체 데이터로 파운데이션 모델을 사용자 지정하는 기능을 포함합니다. 이러한 사용자 지정은 조직의 특정 요구 사항과 지식 도메인에 더 잘 부합하는 AI 애플리케이션을 만드는 데 도움이 됩니다.
특정 작업에 중점을 두거나 광범위한 기계 학습(ML) 전문 지식이 필요한 다른 AWS 기계 학습 서비스와 달리, Amazon Bedrock은 구현을 위한 간단한 경로를 제공합니다. 이 서비스는 다른 AWS 서비스와 원활하게 통합되며 콘텐츠 필터링 및 모델 평가와 같은 책임감 있는 AI 사용을 위한 내장 도구를 포함합니다.
Amazon Bedrock 핵심 기능
Amazon Bedrock은 통합 API를 통해 파운데이션 모델에 접근할 수 있게 함으로써 생성형 AI 애플리케이션을 구축하기 위한 포괄적인 플랫폼을 제공합니다. 이 서비스는 복잡한 인프라를 관리하거나 여러 AI 제공업체와 별도의 계약을 협상할 필요성을 제거합니다. Amazon Bedrock의 핵심은 강력한 AI 모델을 접근 가능하게 만들면서도 애플리케이션의 보안, 사용자 정의 기능 및 운영 효율성을 유지하는 데 중점을 둡니다.
AWS 모델에 대한 액세스
Amazon Bedrock은 다양한 애플리케이션을 위한 다재다능한 AI 기능을 제공하는 AWS에서 개발한 파운데이션 모델 제품군을 제공합니다. 이러한 모델은 자연어 처리부터 코드 생성까지 다양한 작업을 처리하도록 설계되어 개발자가 정교한 AI 기반 솔루션을 쉽게 구축할 수 있도록 도와줍니다.
Amazon Bedrock에서 AWS가 제공하는 파운데이션 모델은 최첨단 성능을 제공하기 위해 지속적으로 개선되고 업데이트됩니다. 이 모델들은 기업이 특정 사용 사례에 맞게 모델을 미세 조정할 수 있는 사용자 지정 옵션을 제공하면서도 AWS 클라우드 인프라의 보안 및 확장성 이점을 유지합니다.
추가 모델에 대한 액세스
Amazon Bedrock은 Anthropic, AI21 Labs, Cohere, Meta, Stability AI를 포함한 주요 AI 기업의 다양한 파운데이션 모델(FM) 컬렉션에 대한 액세스를 제공합니다. 구현하기 전에 이러한 모델의 기능을 평가하기 위해 Amazon Bedrock 콘솔에서 실험할 수 있습니다. 모델을 선택하면 Amazon Bedrock API를 사용하여 애플리케이션에 통합할 수 있으며, 이 API는 모델 제공업체에 관계없이 상호 작용을 표준화합니다.
모델 추론에 필요한 모든 인프라 관리는 Amazon Bedrock에서 관리합니다. 이 서비스는 애플리케이션 요구에 맞게 자동으로 규모를 조정합니다. 이 접근 방식은 생성형 AI 구현에 대한 기술적 장벽을 크게 줄여주는데, 프로덕션 품질의 결과를 얻기 위해 모델 배포나 최적화에 대한 전문 지식이 필요하지 않기 때문입니다.
모델 커스터마이징
Amazon Bedrock은 심층적인 기계 학습 전문 지식 없이도 특정 사용 사례에 맞게 파운데이션 모델을 사용자 지정할 수 있는 다양한 접근 방식을 제공합니다. 미세 조정을 통해 자체 예제로 모델을 훈련시켜 조직의 특정 스타일, 용어 및 도메인 지식에 맞게 모델을 조정할 수 있습니다.
재훈련 없이 모델이 독점 정보에 액세스해야 하는 시나리오의 경우, Amazon Bedrock은 검색 증강 생성(RAG) 기능을 제공합니다. 이 기술은 데이터 소스에서 관련 정보를 검색하고 이를 생성 프로세스에 통합하여 모델 응답을 향상시킵니다. 이러한 사용자 지정 옵션을 통해 구축하는 AI 애플리케이션이 조직의 고유한 요구 사항과 지식 기반을 반영하도록 보장합니다.
Amazon Bedrock 기술 개념
Amazon Bedrock은 기계 학습, 클라우드 컴퓨팅 및 애플리케이션 개발이 교차하는 지점에서 운영됩니다. 이 서비스는 파운데이션 모델 작업과 관련된 기본적인 복잡성을 대부분 추상화하지만, 효과적인 구현을 위해서는 특정 기술적 개념을 이해하는 것이 여전히 중요합니다. 이러한 개념을 이해하면 Amazon Bedrock으로 생성형 AI 애플리케이션을 구축할 때 모델 선택, 사용자 지정 접근 방식 및 통합 전략에 대해 정보에 기반한 결정을 내리는 데 도움이 됩니다.
파운데이션 모델
파운데이션 모델(FM)은 방대한 양의 데이터로 훈련된 대규모 AI 모델로, 다양한 작업에 적용할 수 있습니다. 이러한 모델은 Amazon Bedrock의 생성형 AI 애플리케이션을 위한 구성 요소 역할을 하며, 텍스트 생성, 이미지 생성 등의 기능을 제공합니다.
파운데이션 모델은 다양성과 규모 면에서 전통적인 기계 학습 모델과 다릅니다. 단일 특정 작업을 위해 훈련되는 대신, 다양한 데이터 소스에서 일반적인 패턴을 학습하여 여러 도메인과 사용 사례에 적용할 수 있습니다.
파운데이션 모델은 여러 다른 양식으로 작동합니다. Amazon Bedrock에서는 다음과 같은 양식을 사용할 수 있습니다.
•
텍스트는 텍스트 생성, 이해 및 처리를 포함합니다. 텍스트 모델은 문서 내용을 생성하고, 질문에 답변하고, 정보를 요약하며, 다양한 언어 기반 작업을 수행할 수 있습니다.
•
이미지는 시각적 콘텐츠의 생성, 처리 또는 해석과 관련이 있습니다. 이미지 모델은 텍스트 설명에서 이미지를 생성하거나 시각적 정보를 분석할 수 있습니다.
•
임베딩은 입력(일반적으로 텍스트)을 의미론적 의미를 포착하는 수치 벡터 표현으로 변환합니다. 임베딩은 특히 지식 기반, 시맨틱 검색 및 콘텐츠 간의 관계 이해에 유용합니다.
토큰 및 토큰 제한
토큰은 파운데이션 모델이 처리하는 기본 단위로, 단어나 단어의 일부와 같은 텍스트 조각을 나타냅니다. Amazon Bedrock에 프롬프트를 보내면 처리 전에 텍스트가 토큰으로 분할됩니다.
Amazon Bedrock의 각 모델에는 입력과 출력의 결합된 길이를 제한하는 특정 토큰 제한이 있습니다. 이러한 제한을 이해하는 것은 효과적인 프롬프트를 설계하고 비용을 관리하는 데 중요합니다. 왜냐하면 가격 책정은 종종 토큰 사용량을 기준으로 하기 때문입니다.
프롬프트 엔지니어링
프롬프트 엔지니어링은 파운데이션 모델으로 하여금 원하는 출력을 생성하도록 효과적인 지시사항을 작성하는 것을 말합니다. 프롬프트를 구성하고 표현하는 방식은 모델 응답의 품질과 관련성에 상당한 영향을 미칩니다.
효과적인 프롬프트 엔지니어링은 예시 제공, 출력 형식 지정, 복잡한 작업을 관리 가능한 단계로 나누는 등의 기술을 이해해야 합니다. 이 기술은 기본적인 실험에서 프로덕션 애플리케이션 구축으로 이동함에 따라 점점 더 중요해집니다.
추론 파라미터
추론 파라미터는 파운데이션 모델이 응답을 생성하는 방식을 제어합니다. 이러한 설정에는 온도(무작위성 제어), top-p(높은 확률 옵션으로 토큰 선택 제한) 및 최대 토큰 수(응답 길이 제한)가 포함됩니다.
이러한 파라미터를 조정하면 모델 출력에서 창의성과 결정론적 특성의 균형을 맞출 수 있습니다. 낮은 온도 설정은 더 예측 가능한 응답을 생성하고(일반적 대답), 높은 값은 다양성과 잠재적 창의성(창의적 대답)을 높입니다.
AWS Bedrock에서 파라미터(Parameter)란 무엇인가요?
•
AWS Bedrock에서 파라미터(Parameter)란 AI 모델이 답변을 생성할 때 어떤 방식으로 답변할지 조절하는 설정값을 의미합니다.
•
쉽게 말하면, AI에게 질문을 했을 때 답변의 창의성, 길이, 다양성 등을 조절하는 옵션입니다.
•
예를 들어 AI에게 다음과 같이 질문했다고 가정하겠습니다.
•
"AWS 클라우드란 무엇인가요?"
•
같은 질문이라도 파라미터 설정에 따라 답변이 달라질 수 있습니다.
•
AWS Bedrock에서 자주 사용하는 파라미터
파라미터 | 의미 | 쉬운 설명 |
temperature | 창의성 조절 | 답변을 얼마나 다양하게 만들 것인가? |
topP | 단어 선택 범위 조절 | 확률이 높은 단어를 얼마나 폭넓게 선택할 것인가? |
maxTokens | 최대 출력 길이 | 답변을 최대 얼마나 길게 생성할 것인가? |
stopSequences | 답변 종료 조건 | 특정 문자열이 나오면 생성을 중지 |
modelId | 모델 지정 | 어떤 AI 모델을 사용할 것인가? |
검색 증강 생성(RAG) : 회사내 사규집, Pet Store Product Catalog, Pet Store Product Content
검색 증강 생성(RAG)은 외부 지식 소스의 정보를 통합하여 파운데이션 모델의 출력을 향상시킵니다. 이 기술은 모델 재훈련 없이 모델을 데이터에 연결합니다.
RAG 구현은 일반적으로 지식 기반 생성, 사용자 쿼리를 기반으로 관련 정보 검색, 그리고 이 정보를 파운데이션 모델에 제공되는 컨텍스트에 통합하는 과정을 포함합니다. 이 접근 방식은 도메인별 애플리케이션의 정확성을 향상시킵니다.
모델 평가
모델 평가는 파운데이션 모델의 성능을 정확성, 관련성 및 안전성과 같은 차원에서 체계적으로 평가하는 과정입니다. 이 과정은 적절한 모델을 선택하고 사용자 지정 노력을 통한 개선 사항을 측정하는 데 도움이 됩니다.
Amazon Bedrock은 모델을 비교하고 시간 경과에 따른 성능을 추적하는 데 도움이 되는 평가 도구를 제공합니다. 효과적인 평가를 위해서는 애플리케이션 요구 사항 및 비즈니스 목표에 맞는 명확한 지표를 정의해야 합니다.
플로우
Amazon Bedrock의 플로우는 복잡한 AI 워크플로를 오케스트레이션하기 위한 시각적인 노코드 도구입니다. 사용자는 다양한 AI 모델, 데이터 소스 및 논리 연산을 결합하는 다단계 프로세스를 설계할 수 있습니다. 예를 들어, 플로우는 문서에서 정보를 추출하고, 이를 요약한 다음, 해당 요약을 기반으로 응답을 생성할 수 있습니다.
Bedrock 플로우는 파운데이션 모델, 지식 기반 및 사용자 정의 함수와 같은 다양한 구성 요소를 연결하기 위한 드래그 앤 드롭 기능을 제공합니다. 이러한 접근 방식은 정교한 AI 애플리케이션 개발을 간소화하여 광범위한 코딩 경험이 없는 사용자도 AI에 접근할 수 있게 합니다. 플로우는 필요할 때 사용자 정의 코드를 통합할 수 있는 유연성을 제공합니다.
에이전트
Amazon Bedrock의 에이전트는 파운데이션 모델과 사용자 지정 작업 및 지식 기반을 결합하여 특정 작업을 수행하는 AI 기반 어시스턴트입니다. 이러한 에이전트는 사용자 요청을 해석하고, 지정된 데이터 소스에 액세스하며, 미리 정의된 함수를 실행하고, 설정된 매개변수 및 보안 프로토콜을 준수하면서 대화 컨텍스트를 유지할 수 있습니다.
이커머스 플랫폼을 위해 구축된 고객 서비스 에이전트를 고려해 보세요. 이 에이전트는 제품 카탈로그에 액세스하고, 반품을 처리하며, 배송을 추적하고, 정책 질문에 답변합니다. 고객이 결함이 있는 제품 반품에 대해 문의할 때, 에이전트는 구매 내역을 확인하고, 반품 정책을 설명하며, 통합된 백엔드 시스템을 통해 반품 프로세스를 시작합니다.
보안
Amazon Bedrock은 AWS Identity and Access Management(IAM) 정책, 저장 및 전송 중 암호화, 가상 프라이빗 클라우드(VPC) 엔드포인트를 통해 포괄적인 보안 제어를 구현합니다. 이 서비스는 키 관리를 위해 AWS Key Management Service(AWS KMS)와 통합되며 프라이빗 네트워크 연결을 지원합니다. 또한 감사 목적으로 AWS CloudTrail을 통해 상세한 API 활동 로그를 유지합니다.
예를 들어, 의료 기관은 Amazon Bedrock 보안 기능을 사용하여 환자 데이터를 안전하게 처리합니다. 그들의 애플리케이션은 프라이빗 서브넷에서 실행되고, VPC 엔드포인트를 통해 Amazon Bedrock에 연결하며, IAM 역할을 사용하여 모델 액세스를 제한합니다. 모든 데이터는 암호화된 상태로 유지되며, CloudTrail 로그는 규정 준수 요구 사항을 위해 모든 상호 작용을 추적합니다.
거버넌스 및 가드레일
Amazon Bedrock의 거버넌스는 조직에 AI 모델 사용, 데이터 처리 및 규정 준수 요구 사항을 관리하기 위한 제어 메커니즘을 제공합니다. 이러한 제어에는 모델 액세스 제한, 프롬프트 검증 규칙 및 응답 필터가 포함됩니다. 또한 Amazon CloudWatch 지표 및 CloudTrail 로그를 통한 상세한 사용량 모니터링은 기업 전체에서 책임감 있는 AI 배포를 지원합니다.
금융 서비스 회사는 고객 서비스 어시스턴트에 가드레일을 구현합니다. 가드레일은 모델이 승인되지 않은 금융 상품에 대해 논의하는 것을 방지하고, 응답에서 민감한 정보를 필터링하며, 모든 상호 작용에 대한 감사 로그를 유지합니다. 사용량 할당량은 부서별 API 호출을 제한하고, 프롬프트 템플릿은 고객 상호 작용을 표준화합니다.
생성형 AI란 무엇인가?
생성형 AI는 대량의 데이터를 사전 학습하여 대화, 스토리, 이미지, 음악 등 새로운 콘텐츠와 아이디어를 생성하는 인공지능 기술입니다.
이 기술의 핵심에는 방대한 데이터로 사전 학습된 '파운데이션 모델(FM)'이 있으며, 이 모델 덕분에 다양한 콘텐츠 생성이 가능합니다.
파운데이션 모델의 급속한 발전
파운데이션 모델은 하루가 다르게 발전하고 있습니다. 모델의 복잡도를 나타내는 파라미터 수는 불과 4년 만에 3억 3천만 개에서 5천억 개 이상으로 급증했습니다.
동시에 모델 사용 방법은 점점 간소화되어 AI 활용에 대한 진입 장벽이 낮아지고 있습니다.
생성형 AI를 통한 비즈니스 혁신
•
고객 경험 개선 : 챗봇 및 가상 어시스턴트
•
직원 생산성 향상 : 대화형 검색 , 콘텐츠/텍스트 요약, 코드생성 지원
•
비지니스 운영 최적화 : 지능형 문서 처리, 예측 유지보수, 합성 데이터 생성
핵심 기능: 간단한 API 호출 : ‘InvokeModel` API
단 하나의 API 호출(InvokeModel)만으로 생성형 AI 서비스를 구현할 수 있습니다. 모델 ID, 콘텐츠 유형, 그리고 프롬프트가 포함된 요청 본문을 전달하면 모델의 응답을 받게 됩니다.
•
전달 항목 : 모델 ID, 콘텐츠 유형, 요청 본문 (프롬프트, 파라미터)
•
반환 항목 : 모델 응답, 메타데이터
•
지원 모델 : Amazon Titan, 서드파티 모델, 파인튜닝된 모델 모두 지원
개발을 가속화하는 고급 기능
•
스트리밍 응답 : 모델의 응답을 실시간으로 스트리밍하여 챗봇과 같이 즉각적인 상호작용이 필요한 애플리케이션 경험을 향상시킵니다.
•
LangChain 통합 : 인기 있는 오픈소스 프레임워크인 LangChain과 통합되어, 복잡한 AI 애플리케이션 개발을 용이하게 합니다.
•
손쉬운 모니터링 : Amazon CloudWatch와 통합되어 모델 호출 수, 지연 시간, 에러 등 주요 지표를 간편하게 모니터링하고 문제를 신속하게 해결할 수 있습니다.
플레이그라운드는 코드 없이 AWS 콘솔에서 직접 파운데이션 모델을 쉽고 빠르게 테스트할 수 있는 환경을 제공합니다
•
다양한 모델 선택 및 테스트
•
추론 파라미터 실시간 조정
•
텍스트 및 이미지 모델 동시 지원
•
파인튜닝된 모델 테스트 가능
Amazon Bedrock은 InvokeModel이라는 단일 API를 통해 모든 파운데이션 모델(기본 및 파인튜닝 모델 포함)에 일관된 방식으로 접근할 수 있게 해줍니다.
API 호출 흐름
•
클라이언트가 `InvokeModel` API 호출
•
요청에 모델 ID, 프롬프트, 실행 파라미터 포함
•
Bedrock이 선택된 모델에 프롬프트 전달
•
모델이 응답을 생성하여 추론 결과 반환
스트리밍 응답
•
InvokeModelWithResponseStream` API를 사용하면, 모델이 생성하는 응답을 청크 단위로 실시간 스트리밍하여 챗봇과 같은 대화형 경험을 향상시킬 수 있습니다.





























