MI300X GPU 32개 활용한 4노드 구성에서 H100 기반 시스템 대비 24% 높은 성능 보여 망고부스트가 글로벌 AI 성능 평가 벤치마크인 MLPerf Inference v5.0에서 새로운 추론 성능 기록을 달성하며, AI 인프라 솔루션 경쟁력을 입증했다. 망고부스트는 AMD Instinct MI300X GPU 기반의 추론 최적화 소프트웨어 ‘Mango LLMBoost’로 Llama2-70B 모델의 오프라인 시나리오에서 역대 최고 TPS(초당 토큰 처리량)를 기록했다. 이번 결과는 MI300X GPU 32개를 활용한 4노드 구성에서 나왔으며, NVIDIA H100 기반 시스템 대비 24% 높은 성능을 보여주며 AI 인프라 시장에 새로운 대안을 제시했다. 특히 비용 대비 성능비에서 2.8배의 경쟁력을 보이며, 특정 하드웨어에 의존하지 않고 고성능·고효율 AI 추론을 구현할 수 있는 가능성을 입증했다. 망고부스트의 Mango LLMBoost는 서버 시나리오에서 9만3039 TPS, 오프라인 시나리오에서 10만3182 TPS를 달성했다. 이는 이전 최고 기록인 8만2749 TPS를 크게 웃도는 수치다. 하드웨어 가격 또한 MI300X가 H100 대비 최대
김장우 대표 "박찬익 CCO, 자사 시장 확대 및 지속적인 성장 기여할 것" 망고부스트가 글로벌 반도체 사업 전문가를 영입하며 글로벌 사업 역량 강화에 박차를 가한다. 망고부스트는 8일 박찬익 전 삼성전자 DS부문 미주총괄 부사장을 최고영업책임자(Chief Commercial Officer, CCO)로 영입했다고 밝혔다. 박찬익 CCO는 12월 1일부터 본격적으로 업무를 개시했다. 박찬익 CCO는 삼성전자에서 20년 이상 반도체 하드웨어와 소프트웨어 분야의 연구개발과 상업화를 선도한 반도체 산업 전문가다. 서울대학교 컴퓨터공학 석·박사 학위를 취득한 후, 2002년 삼성전자 CTO 소프트웨어센터에 입사했다. 이후 삼성전자 삼성전자 메모리사업부 상품기획팀 낸드기획그룹장, 삼성전자 메모리사업부 기획팀장 등을 거쳐, DS부문 미주총괄 낸드상품기획·BE팀장(부사장)을 역임했다. 박찬익 CCO는 “반도체 풀스택 기술 연구와 상용화에 매진해 온 경험을 바탕으로, AI 데이터 센터의 핵심 요구를 충족할 망고부스트 데이터처리가속기(Data Processing Unit, DPU) 기술 사업화에 기여하고자 합류했다”며, “AI 시대에 필수적인 DPU 기술을 통해 글로벌 데이터
타 LLM 추론 엔진 대비 최대 12.6배 상대적 성능 향상과 92%의 비용 절감 망고부스트는 AI 추론 성능과 효율성을 획기적으로 향상시키는 시스템 최적화 소프트웨어 'Mango LLMBoost'를 공식 출시했다고 밝혔다. 망고부스트는 Mango LLMBoost가 효과적인 시스템 스케줄 조정, 커널 최적화, 독자적인 데이터 Prefetching 기술 및 최신 GPU를 최대한 활용한 모델 양자화 기술을 통해 타 LLM 추론 엔진 대비 최대 12.6배의 상대적 성능 향상과 92%의 비용 절감을 달성한다고 밝혔다. 망고부스트 관계자는 “Mango LLMBoost는 경쟁 솔루션 대비 압도적인 성능 향상과 비용 절감 효과를 증명하며, 정식 출시 전부터 이미 강력한 도입 의향을 보인 빅테크 해외 지사에서 도입을 앞두고 있다”고 밝혔다. Mango LLMBoost의 강점으로 GPU 호환성, 다중 모델 배포 및 관리 기능, 간편한 배포와 Open API 호환성을 꼽았다. Mango LLMBoost는 NVIDIA 및 AMD의 주요 GPU와 모두 호환되고, Llama, Mixtral, Gemma, Qwen2, Llava, Phi3, Chameleon, MiniCPM, GLM
주요 관계자들과 여러 논의 진행하며 신규 시장 진출 가능성 '확인' 망고부스트가 현지 시각 11월 18일부터 21일까지 미국 조지아주 애틀랜타에서 열린 ‘슈퍼컴퓨팅 2024(Supercomputing 24, SC24)’ 컨퍼런스에 참가하며 글로벌 시장 공략에 박차를 가했다. 망고부스트는 지난 10월 미국 캘리포니아 산호세에서 개최된 ‘2024 OCP 글로벌 서밋’에 이어, 이번 SC24에서도 대규모 단독 부스를 운영하며 자사의 DPU 전 제품군을 선보였다. 회사는 하드웨어 IP부터 PCIe 카드, 서버, 시스템 소프트웨어에 이르기까지 데이터 센터의 스토리지, 네트워킹, AI 추론 및 학습 등 핵심 기능을 가속화하는 기술력을 대대적으로 알리며 주목을 받았다. 망고부스트는 SC24에서 FH(Full Height) 및 LP(Low Profile) 등 다양한 규격과 100G, 200G, 400G 대역폭을 지원하는 PCIe DPU 카드, AMD MI300X GPU 서버용 RDMA DPU 카드, NVMe/TCP 기반 스토리지 DPU 카드를 탑재한 고성능 서버 제품군을 공개했다. 특히 PCIe DPU 카드는 가상화, 네트워킹, 스토리지, 보안 등 데이터 센터 주요 기능
주요 데이터 센터 기능 가속화하는 DPU 제품군의 대대적 판매 시작해 망고부스트는 현지 시각 지난 15일부터 사흘간 미국 캘리포니아 산호세에서 열린 ‘2024 OCP 글로벌 서밋(OCP Global Summit)’에 참가했다고 밝혔다. 망고부스트는 OCP 글로벌 서밋에서 PCIe 카드, 서버, 시스템 소프트웨어 등 시스템 전 단위에서 스토리지, GPU 통신, AI 추론 및 학습 등 주요 데이터 센터 기능을 가속화하는 DPU(Data Processing Unit) 제품군의 대대적 판매를 개시했다. OCP 글로벌 서밋은 세계 최대 규모의 개방형 데이터 센터 기술 커뮤니티인 OCP(Open Compute Project)가 주최하는 연례 행사로, 업계 전문가들이 모여 다양한 기술력과 비전을 공유하는 장이다. 올해 망고부스트는 AMD, 삼성전자, 슈퍼마이크로 등 반도체 및 서버 분야의 글로벌 유수 파트너사와 함께, PCIe 카드, 서버 및 시스템 소프트웨어로 이뤄진 최신 DPU 제품군을 공개했다. 망고부스트는 스토리지 통신, GPU 간 통신, AI 및 LLM 추론, 학습 및 서비스 제공 등 AI 시대의 데이터 센터가 수행하는 주요 기능에 대한 DPU 제품군을 공개해
국가 인공지능(AI) 혁신 방향을 이끌 최고위 거버넌스인 AI전략최고위협의회가 16일 본격 가동에 들어갔다. 과학기술정보통신부는 이날 서울 종로구 한국프레스센터에서 'AI전략최고위협의회 법·제도 분과 1차 회의를, 코리아나호텔에서 AI반도체 분과 1차 회의를 각각 개최했다. AI전략최고위협의회는 상호 연계되고 통합된 시각에서 국가 전체 AI 혁신의 방향을 이끌 거버넌스가 필요하다는 공감대에 따라 분야별로 운영하던 AI 관련 추진체계를 정비해 지난 4일 출범했다. 최고 AI 민간 전문가들과 관계부처 고위 공무원들이 참여하는 협의회는 산하에 AI 반도체, R&D, 법·제도, 윤리 안전, 인재, AI 바이오 등 6개 분과를 운영한다. 이날 AI 반도체 분과 첫 회의는 'AI G3'(AI 3대 강국) 도약을 위한 범정부 추진 전략인 'AI-반도체 이니셔티브'에 대한 산·학·연 최고 전문가들의 의견을 수렴하기 위해 마련됐다. 분과장인 한국과학기술원(KAIST) 유회준 교수와 삼성전자·SK하이닉스 등 메모리반도체 대기업, KT·NHN클라우드 등 클라우드 기업, LG AI연구소·투디지트 등 AI 기업, 사피온·퓨리오사AI·딥엑스·망고부스트·모빌린트·오픈엣지테크놀로
상호명(명칭) : (주)첨단 | 등록번호 : 서울,자00420 | 등록일자 : 2013년05월15일 | 제호 :헬로티(helloT) | 발행인 : 이종춘 | 편집인 : 김진희 |
본점 : 서울시 마포구 양화로 127, 3층, 지점 : 경기도 파주시 심학산로 10, 3층 | 발행일자 : 2012년 4월1일 | 청소년보호책임자 : 김유활 | 대표이사 : 이준원 | 사업자등록번호 : 118-81-03520 | 전화 : 02-3142-4151 | 팩스 : 02-338-3453 | 통신판매번호 : 제 2013-서울마포-1032호
copyright(c) HelloT all right reserved
UPDATE: 2025년 04월 04일 17시 59분
