AMD3 NVIDIA vs. AMD 성능 비교, 그리고 신제품 소식 AMD MI300X vs 엔비디아 H100/H200 성능 비교 SemiAnalysis는 AMD MI300X와 Nvidia H100/H200 GPU를 대상으로 약 5개월간 독립적인 분석과 벤치마킹을 진행했습니다. 본 보고서는 GPU 훈련 성능, 사용자 경험, 총소유비용(TCO) 등을 비교하고, AMD의 소프트웨어 문제점을 지적하며 개선 방안을 제안합니다. 핵심 요약 1. 성능 격차GEMM 성능: H100/H200은 각각 720, 1,280 TFLOP/s를 기록했으나, MI300X는 620, 990 TFLOP/s로 뒤처짐.훈련 성능: MI300X는 작은 모델(GPT 1.5B)과 비표준적 주의(attention) 구조(예: Mistral 7B)에서 성능이 저하됨.FP8 훈련: AMD는 FP8 성능 향상을 위해.. 2024. 12. 24. 왜 TSMC인가? : 파운드리 독점 기업 작년 말 출시된 퀄컴 스냅드래곤 8 Gen3/ 7 Gen3은 최대 100억 개의 매개변수에 대한 온디바이스 생성AI 추론을 지원하는 최초의 프로세서입니다. 이러한 프로세서가 탑재된 스마트폰의 DRAM 용량은 최소 8GB이며, 많은 OEM(예: 삼성 갤럭시 S24+/울트라)에서는 12GB 옵션이 더 많이 사용되고 있습니다. 현재 평균 스마트폰 DRAM 용량이 7.0GB인 점을 감안할 때, 더 많은 공급업체가 AI 지원 프로세서를 채택함에 따라 향후 몇 년 동안 디램 용량이 증가할 것으로 예상됩니다. 네, 주요 빅테크 및 칩리스 회사들의 파운드리는 대부분 TSMC에서 제조됩니다. 유일한 대항마의 가능성 이 삼성전자에 있었지만 잘못된 판단과 대응으로 TSMC를 사실상 독접 기업으로 만들어줬습니다. TSMC는 .. 2024. 10. 23. AI 시대 유망 기업 정리 AI 시대의 향후 3년 이후를 내다볼 때, 기술 혁신을 주도하고 지속적인 성장을 예상할 수 있는 텐배거(10배 수익률) 기업은 여러 가지 특성을 가진 분야에서 등장할 가능성이 큽니다. 특히, AI 기술의 확산과 디지털 전환이 본격화되면서 다양한 산업에서 매출과 이익이 급성장할 것으로 기대됩니다. 1. 클라우드 및 데이터 인프라 기업AI는 방대한 데이터를 처리하고 학습하는 데 클라우드 인프라를 필요로 합니다. 이 때문에 클라우드 서비스를 제공하는 기업들이 AI와 함께 성장할 가능성이 높습니다. 특히, Amazon Web Services (AWS), Microsoft Azure, Google Cloud와 같은 클라우드 서비스 제공 기업들이 AI 워크로드에 필요한 인프라 수요를 기반으로 매출을 크게 늘릴 수 .. 2024. 10. 22. 이전 1 다음 728x90 반응형
