한컴위드는 숭실대학교를 주관기관으로 연세대학교, 성균관대학교와 함께 경찰청의 ‘허위조작 콘텐츠 진위 판별 시스템 개발’ 프로젝트에 국내 연구기관으로 참여하게 됐다고 5일 밝혔다. 이번 사업은 2027년까지 앞으로 3년간 허위조작 콘텐츠 탐지를 위한 데이터세트 구축 및 통합 탐지 시스템을 개발하는 것이 주요 골자다. 해당 시스템은 허위 정보를 식별해 사이버 범죄를 예방하고 사회적 혼란을 줄이는 것을 목표로 한다. 초기 단계인 올해는 탐지를 위한 데이터세트 구축과 탐지 모델의 고도화에 집중하며, 내년부터는 머신러닝 기반 자동화 관리 시스템(MLOps)을 적용한 통합 탐지 시스템의 성능 향상과 실증 테스트를 본격적으로 추진할 예정이다. 핵심 기술 연구는 숭실대를 중심으로 성균관대, 연세대, 독일 부퍼탈대, 한컴위드가 함께 수행한다. 숭실대는 딥페이크 음성 탐지 모델을 성균관대는 딥페이크 영상 및 가짜뉴스 탐지 모델, 연세대는 표준화된 데이터세트 구축을 각각 담당한다. 부퍼탈대는 다국어 데이터세트 수집과 글로벌 협력 연구를 맡으며 한컴위드는 다양한 탐지 기술을 통합한 MLOps 기반 시스템의 개발과 실증을 진행한다. 통합 탐지 시스템은 딥페이크 범죄 수사, 비대면
가트너가 비즈니스 시스템을 변화시킬 12가지 혁신 기술을 발표했다. 가트너는 이러한 기술이 단기적으로는 경쟁 우위를 제공하며 장기적으로는 비즈니스 표준으로 자리 잡을 것으로 전망했다. 또한 향후 5년간 기술 리더는 이를 우선적으로 고려할 것을 제시했다. 빌 레이 가트너 수석 VP 애널리스트는 “기술 리더는 선점 효과를 얻기 위해 12가지 혁신 기술을 활용할 수 있는 즉각적인 행동에 나서야 한다”며 “생성형 AI 기반 코드 아키텍처, 허위 정보 보안, 지구 지능(Earth intelligence)과 같은 혁신적인 기술은 기업이 데이터 및 제품 제공 측면에서 경쟁 우위를 확보하는 데 필요한 차별성을 제공할 것”이라고 전했다. 가트너는 초기 단계에 머물고 있는 12가지 혁신 기술에 대해 개별적으로도 상당한 영향력을 갖지만 상호 결합될 경우 새로운 비즈니스 모델을 창출하는 보다 광범위한 신규 솔루션을 만들어낼 수 있다고 밝혔다. 예를 들어 생성형 AI 기술의 발전은 지구 지능과 비즈니스 시뮬레이션 분야에서 새로운 솔루션을 탄생시키고 도메인 특화 언어모델의 성장을 촉진하며, 더욱 고도화된 도구 개발로 이어질 것이다. 가트너가 제시하는 주요 기술 혁신 중 일부는 다음과
가트너(Gartner)는 2027년까지 AI 에이전트가 사용자 계정 탈취(ATO) 시간을 50% 줄일 것으로 전망했다. 제레미 드호인 가트너 VP 애널리스트는 “계정 탈취는 여전히 해커들의 주요 공격 수단”이라며 “데이터 유출, 피싱, 사회 공학, 멀웨어 등 다양한 방법으로 비밀번호를 수집한 해커들은 사용자가 여러 사이트에서 같은 비밀번호를 사용한다는 것을 염두하고 자동화 봇을 이용해 여러 서비스에서 로그인을 시도한다”고 설명했다. AI 에이전트는 딥페이크 기술을 악용한 사회 공학 공격부터 사용자 자격증명 악용의 종단간 자동화까지 더 많은 계정 탈취 단계를 자동화할 수 있다. 이에 따라 공급업체는 AI 에이전트가 관여하는 상호작용을 탐지, 모니터링, 분류할 수 있는 웹, 애플리케이션, API, 음성 채널 제품을 도입할 것으로 예상된다. 아키프 칸 가트너 VP 애널리스트는 “진화하는 위협에 대응하기 위해 보안 리더는 비밀번호를 요구하지 않는 피싱 방지 다중 인증(MFA)을 도입해야 한다”며 “사용자가 인증 옵션을 선택할 수 있는 경우에는 비밀번호 사용 체계에서 다중 장치 패스키로의 전환을 유도하고 장려하는 교육과 인센티브를 제공해야 한다”고 조언했다. 계정 탈
최근 딥페이크·딥보이스 등 불법 영상물을 제작하고 온라인 불법 성인 사이트 및 SNS에 유포하는 AI 악용 사례가 사회적 문제로 떠올랐다. 지난해 몸캠피싱 경찰 접수 건은 3545건으로 2018년(1848건)과 비교해 2배가량 증가했다. 이는 동영상·이미지 등 성적 콘텐츠 교환을 유도한 후 피해자의 연락처·SNS 정보를 획득해 유포를 빌미로 금전을 갈취하는 방식이다. CLC 시스템은 라바웨이브 데이터베이스에 등록된 불법 성인 사이트와 디지털 성범죄자의 SNS 계정 등 특정 온라인 영역의 변동을 자동으로 실시간 감시한다. 불법 성인 사이트와 성범죄자 SNS 계정 등에 신규 영상 업로드 현황이 감지되면 라바웨이브 전담 대응 부서의 전방위적 분석 작업이 실시된다. 또한 분석 과정에서 불법 촬영물이 업로드 가능한 불법 성인 사이트 개설 및 폐쇄 현황을 실시간으로 업데이트하기 때문에 광범위한 자동 탐색 및 변동 감지가 가능하다. 유포 정황이 포착되면 증거 수집에 이은 삭제 지원 절차 착수 등 즉각적인 피해자 보호에 필요한 대응 방안을 제공한다. 더불어 CLC 시스템은 범죄자 활동 주기와 범죄 관련 데이터 수집에도 활용된다. 수집한 데이터를 분석 및 분류해 범죄자 활동
에스티씨랩이 매크로 탐지 솔루션 ‘엠버스터’로 올해 1학기 11개 대학교와 2학기 9개 대학교 수강신청 중 서버 접속 현황을 분석한 결과, 전체 트래픽 절반 가까운 44.29%가 매크로인 것으로 조사됐다. 특히 매크로 탐지 비율 상위 5개 대학의 경우 전체 트래픽의 94.95%가 매크로 접속인 것으로 밝혀졌다. 비수강신청 기간에도 매크로 공격은 계속해서 이어졌다. 서울 시내 A 대학의 경우 지난달 말부터 이달 초까지 학교 홈페이지 포털 사이트에 엠버스터를 적용해 매크로 현황을 점검한 결과, 전체 접속 46만 5천 건 중 24.86%인 11만 6천 건이 매크로 접속으로 드러났다. 이는 매크로가 수강신청 등 특정 기간뿐 아니라, 상시적인 위협으로 존재한다는 것을 의미한다. 매크로 봇은 무작위적인 크롤링이나 데이터 스크래핑에 사용돼 특히 사용자 계정 탈취 및 신원 도용 위험이 크다. 실제로 지난 8월 서울시교육청에서는 559명의 개인정보가 크롤링으로 유출됐으며, 올해 이미 여러 대학에서 수십만 명의 개인정보 유출 사건이 발생했다. 이러한 유출은 딥페이크·보이스 피싱 등 범죄에 악용될 수 있는 위험이 있어 점검과 대응이 중요하다. 박형준 에스티씨랩 대표는 “매크로
스냅태그가 10월 16일부터 17일까지 서울 코엑스에서 열리는 사이버 보안 콘퍼런스 ISEC 2024에서 비가시성 워터마크를 활용한 보안 솔루션을 선보였다. 솔루션 랩가드는 실행 시 정보가 담긴 비가시성 워터마크가 생성되어 화면·문서·파일에 자동으로 적용된다. 또한 유출 시 전용 검증 모듈로 즉시 검증돼 사용자 정보를 추적하는 비가시성 워터마크 기술 기반 정보보호 솔루션이다. 특히 촬영·캡처·확대 같은 유출 방식에도 워터마크가 남아 있어 정보를 빠르게 검증하고, 서버 통신 없이 모바일 기기, 웹, 출력물 등 다양한 환경에서 적용 가능하다. 생성형 AI 보안 솔루션은 AI로 생성된 콘텐츠에 비가시성 워터마크를 삽입해 외부 유출 시 AI 콘텐츠 여부를 식별하고 세부 정보를 확인한다. 기존 워터마크는 쉽게 편집 및 삭제가 가능하지만, 비가시성 워터마크는 부분 삭제·압축 손상에도 검증이 가능하다. 스냅태그 관계자는 “최근 급증하는 딥페이크 범죄에 대응하는 방안으로 해당 솔루션이 AI 콘텐츠 악용을 방지하는 데 중요 역할을 할 것으로 기대된다고” 밝혔다. 스냅태그 민경웅 대표는 “이번 전시에서 지난해에 이어 더욱 발전된 비가시성 워터마크 기술의 보안 솔루션을 소개하게
씨큐비스타 보안 보고서 ‘씨큐리포트’를 발표했다. 이번 보고서는 생성형 AI가 사이버보안 및 프라이버시에 미치는 부정적 영향을 다뤘다. 마이크로소프트 ‘GPT’, 구글 ‘Gemini’, 메타 ‘LLaMA’ 등 생성형 AI가 대중적으로 확산되면서 인공지능이나 머신러닝에 관심이 높아졌을 뿐만 아니라 이러한 생성형 AI는 산업 전반과 사이버보안 및 프라이버시 분야에도 큰 영향을 미치고 있다. 씨큐비스타는 이번 보고서에서 공격자가 생성형 AI로 피싱 이메일이나 메시지, 복잡한 악성코드를 대량으로 자동 생성할 수 있는 점을 꼽으며 대규모 타겟에 배포되는 점에 주의를 표했다. 보안 영역에서도 공격자가 생성형 AI로 보안 취약점을 분석하고 그에 맞는 공격 방식을 빠르게 설계해 다시 공격해 올 수 있다고 언급했다. 개인이 사용함에 있어서도 AI 모델이 개인 신상정보를 학습 데이터로 사용했다가 데이터 처리에 문제가 생길 경우 개인정보가 유출되거나 잘못된 방식으로 사용될 위험이 있다. 최근 이슈로 떠오른 딥페이크 기술 또한 개인의 신뢰를 떨어트리거나 명예 훼손, 사기 등에 악용될 가능성이 크다. 전덕조 씨큐비스타 대표는 “최근 생성형 AI를 이용한 침해 사고가 늘고 있어 각
최근 국내에서 딥페이크 성범죄가 수면 위로 떠오르는 가운데 전 세계적으로 딥페이크 스캠 및 피싱 공격이 지속적으로 발생하고 있다. 팔로알토 네트웍스는 CEO, 뉴스앵커, 고위 공무원 등 다양한 유명인의 모습을 한 딥페이크 스캠 영상이 기승을 부리고 있다며 각별한 주의를 요했다. 이러한 딥페이크 영상은 주로 허위 투자 계획 및 정부 지원금 등을 미끼로 타깃을 노린다. 팔로알토 네트웍스의 위협 연구조직 유닛42는 이러한 경우에 사용되는 도메인을 수백 개 발견했다. 자사 패시브 DNS 원격 진단에 따르면 각 도메인은 서비스 개시 이후 세계적으로 평균 11만4000회 접속됐다. 이는 일반적인 피싱 및 멀웨어 도메인과 달리 평균 활성 시간이 142일로 비교적 수명이 긴 편으로 드러났다. 비디오 분석 파이프라인과 인프라 기반 조사 결과 위조 웹사이트는 새로운 도메인에서 호스팅 되는 방식이다. 공격자는 합법적인 동영상으로 시작한 후 자체적으로 생성한 AI 오디오를 추가했다. 립싱크 형식으로 AI가 생성한 오디오에 맞춰 화자의 입술 움직임을 수정하는 작업이 사용됐다. 일론 머스크와 같은 유명 기업인을 비롯해 시사 평론가, 각국 전임 장관이나 싱가포르 현직 대통령 영상도 발
AI의 발전 속도가 점차 가속화하고 있다. 오픈AI의 GPT-4o와 같은 모델의 출시는 빠르게 진보하는 AI 기술의 대표적인 예다. 자연어 처리와 문맥 이해 능력이 전작인 GPT-3보다 대폭 향상된 바 있다. 이처럼 AI 기술이 계속해서 진화함에 따라, 다양한 산업 분야에서의 응용 가능성이 확장되고 있다. 다만 이로 인한 사회적, 윤리적 문제도 동시에 대두되는 추세다. AI라는 거대한 기술이 가진 영향력을 고려했을 때 적절한 규제와 가이드라인이 필요할 것으로 보인다. AI가 야기하는 문제점은 무엇? AI 시대가 도래하면서, 기술에 대한 기대감과 동시에 우려도 함께 증가하고 있다. AI가 낳는 몇 가지 문제 가운데, 대표적으로는 개인정보 및 데이터 보안이 있다. AI 기술의 발전은 데이터 수집과 분석 능력을 향상시켰다. 한 예로, 구글과 메타 등 빅테크들은 사용자 행동 데이터를 기반으로 개인화한 광고를 제공해 왔다. 이러한 데이터 수집이 사용자의 명시적 동의 없이 이뤄지기도 하며, 데이터 보호에 관한 법적 기준이 충분히 마련되지 않은 상태에서 개인 정보가 유출될 위험도 존재한다. AI로 인해 발생하는 문제에 대한 책임 소재도 불확실하다. 지난 2018년, 테슬
트렌드마이크로는 빠르게 증가하는 AI 기반 공격과 사기 범죄의 위협으로부터 보호하는 딥페이크 및 AI 기반 사이버 공격 차단 기술을 31일 발표했다. 해당 기술은 트렌드마이크로의 트렌드 비전 원 엔터프라이즈 통합 보안 플랫폼과 개인 사용자용 보안 제품에 반영될 예정이며, 첫번째로 개인 사용자용 솔루션인 ‘딥페이크 인스펙터(Deepfake Inspector)’를 무료로 공개한다. 트렌드마이크로의 자체 연구 결과에 따르면 폭발적으로 증가하는 엔터프라이즈 AI 솔루션의 성장세에 편승해 사이버 범죄자들이 활용할 수 있는 AI 기반 사이버 범죄 도구 역시 급격히 증가하고 있는 것으로 나타났다. AI 기반 사이버 범죄 도구의 이용 가격이 낮아지면서 실제로 접근성은 그 어느 때보다도 높아졌기 때문에 기술 수준을 막론하고 사이버 범죄자들이 개인 정보 갈취, 신원 도용, 사기 또는 잘못된 정보로 피해자를 기만하는 대규모 사이버 공격을 더욱 쉽게 감행할 수 있게 됐다. 케빈 심저 트렌드마이크로 최고운영책임자(COO)는 “트렌드마이크로는 딥페이크를 비롯한 AI기반 사이버 공격을 탐지하는 새로운 기술을 통해 기업 및 개인 사용자 고객 모두를 보호하고 적극적으로 대응하고 있다”면서
"허위 정보 가운데 AI가 생성한 콘텐츠가 증가한 것은 빠르게 변화하는 환경 보여줘" 인공지능(AI)이 만들어낸 이미지를 이용한 허위 정보가 지난해 초 이후 급증했다는 연구 결과가 나왔다. 구글과 듀크대 연구팀은 팩트체크 사이트 및 미디어 단체와 최근 공동으로 집필한 논문에서 AI가 생성한 가짜 이미지가 2023년 초 이후 크게 늘어났다고 밝혔다고 미 NBC 방송 등이 29일(현지시간) 보도했다. 연구팀은 팩트체크 매체 스노프스(Snopes)가 진위를 확인했던 1995년 이후 2023년 11월까지 13만6천건의 팩트체크 사례를 분석했다. 논문에 따르면, 지난해 3월 프란치스코 교황이 허리춤이 강조된 흰색 롱패딩을 입은 가짜 사진이 소셜미디어(SNS)에 퍼지기 전만 해도 AI로 생성하는 가짜 이미지는 거의 없었다. 그러나 이후에는 AI가 생성하는 가짜 이미지는 텍스트나 포토샵 등 전통적인 방법으로 만들어지는 허위 정보와 비슷한 수준이 될 정도로 급격히 늘었다. 연구팀은 "허위 정보 가운데 AI가 생성한 콘텐츠가 크게 증가한 것은 빠르게 변화하는 환경을 보여준다"고 분석했다. 알렉시오스 만찰리스 국제팩트체킹네트워크 전 국장은 "생성형 AI 도구로 거의 누구나 온
경찰청, 선거 범죄 비롯해 피싱 범죄, 성 착취물 범죄 등 딥페이크 기반 지능형 범죄에 대처 딥브레인AI가 15일 경찰청과 협력해 딥페이크 범죄 단속을 돕는 딥페이크 탐지 솔루션을 선보였다고 밝혔다. 최근 딥페이크 기술의 고도화로 이를 악용한 범죄 우려가 가중됨에 따라, 딥브레인AI는 경찰청과 함께 이를 효과적으로 대응하는 맞춤형 딥페이크 탐지 솔루션을 개발했다. 경찰청은 이를 활용해 총선을 겨냥한 선거범죄를 비롯한 피싱 범죄와 합성 성 착취물 범죄 등 딥페이크 기반 지능형 범죄에 능동적으로 대처할 방침이다. 딥브레인AI의 딥페이크 탐지 솔루션은 종합탐지, 음성탐지 두 가지로 구성돼 있으며, 각각 이미지와 영상, 음성 탐지를 지원한다. 딥페이크로 의심되는 영상을 시스템에 업로드하고 탐지모델, 탐지구간, 탐지인물 등을 설정하면 진위여부를 즉각 판별한다. 이미지와 영상은 픽셀 단위로 분석하며, 음성은 주파수와 시간, 노이즈 등 다양한 조작 요소를 종합적으로 고려해 판단한다. 통상 5~10분 정도의 탐지 시간이 소요되며, 딥페이크로 판명될 경우 가짜로 표시된다. 판별이 완료되면 변조율과 합성유형 등 범죄에 사용된 기술 정보도 함께 제공한다. 이번 딥페이크 탐지 솔
카카오, 딥페이크 허위 조작 정보 근절 방안의 하나로 제시해 카카오의 인공지능(AI) 이미지 생성 모델 '칼로'에 비가시성 워터마크 기술이 도입됐다. 카카오는 13일 딥페이크 허위 조작 정보 근절 방안의 하나로 이 같은 방안을 시행한다고 밝혔다. 이는 작년 12월 공직선거법 개정으로 4·10 국회의원 총선거 운동 기간인 현재 유권자를 상대로 한 AI 기반 딥페이크 제작·편집·유포·상영·게시가 금지된 데 따른 조처다. 카카오는 인물을 기반으로 한 AI 생성물에 대한 공유가 더 활발히 이뤄지는 만큼, 카카오톡 채널 '칼로 AI 프로필' 기능에 비가시성 워터마크를 먼저 도입했다고 소개했다. 또한, 이미지 생성 웹 기반 전문가 도구인 '칼로.ai'에도 이달 내 비가시성 워터마크가 도입될 예정이라고 덧붙였다. 비가시성 워터마크란 일반 사용자의 눈에는 보이지 않는 워터마크를 적용하는 기술로, 가시적 이미지 훼손 없이 칼로로 생성된 이미지라는 정보를 담는다. 카카오는 사용자가 이미지를 일부 편집하더라도 비가시성 워터마크가 제거되거나 훼손되지 않는다고 설명했다. 카카오는 "이미지 생성 애플리케이션인 '비 디스커버(B^ DISCOVER)'에는 가시성 워터마크를 이미 도입한
AI 발전은 인류에 혜택으로 돌아오지만 이면도 존재한다. 대표적인 예가 딥페이크다. 해커들은 AI와 딥러닝의 발전으로 인해 진짜 같은 가짜 사진, 영상 및 음성을 생성하는 능력을 증가시켰다. AI를 차치하더라도 단기간의 급격한 기술 발전은 딥페이크와 같은 부작용을 낳기도 한다. 이에 정부 및 주요 기업은 AI가 미칠 부정적인 영향에 대비해 다양한 제도와 가이드라인을 만드는 추세다. 반면 이 같은 규제가 도리어 AI 발전 속도를 저해할 수 있다는 목소리도 나오고 있다. 현실로 다가온 딥페이크 위협 지난 1월 미국을 대표하는 팝스타인 테일러 스위프트의 얼굴 사진이 합성된 이미지가 SNS를 통해 확산된 사건이 화제가 됐다. 현재 삭제된 이 이미지는 X, 인스타그램, 레딧 등에서 공유되면서 4700만 조회 수를 기록하기도 했다. 이 끔찍한 합성 이미지를 만드는데 적용된 기술이 딥페이크다. AI 탐지 기업인 리얼리티 디펜더는 이 합성 이미지가 AI 모델을 사용해 생성된 것이라고 확신했다. 딥페이크란 '딥러닝(Deep learning)'과 '가짜(Fake)'란 말의 합성어로, 최근에는 AI 기술을 기반으로 만들어낸 부정적인 창작물로서의 의미가 강하다. 같은 달 또 다른
플랫폼 사업자들, AI 생성물 표시·탐지·삭제 등 자율규제 강화 나서 방송통신위원회(방통위)는 23일 구글, 메타, 네이버, 카카오 등 국내외 플랫폼 사업자들과 딥페이크(Deepfake) 허위 정보 대응 관련 자율규제 강화를 위한 민관협력 회의를 개최했다. 최근 딥페이크 기술을 활용한 유명인 관련 허위 조작정보가 사회관계망서비스(SNS) 등을 통해 확산하면서 실제 사기 피해가 발생하는 등 사회적 문제로 대두되자 사업자가 즉시 취할 수 있는 피해 예방 대책을 논의하기 위한 회의였다. 이날 회의에는 네이버, 카카오, 구글, 메타, 엑스(X, 옛 트위터), 바이트댄스(틱톡) 등 국내외 주요 플랫폼 및 인공지능(AI) 기술 개발사 관계자들이 참석했다. 참석자들은 AI 생성물 표시, 탐지 모니터링, 삭제·차단 조치 등과 관련된 자율규제 현황과 강화 방안 등에 대해 의견을 나눴다. 이상인 방통위 부위원장은 회의를 주재하면서 "딥페이크 허위 정보로 인한 개인 피해와 사회적 혼란을 예방하기 위해서는 플랫폼의 자정 노력이 무엇보다 중요하다"고 강조했다. 특히 올해는 전 세계적으로 주요 선거들이 예정되어 있음을 언급하며 "플랫폼 사업자들은 더욱 적극적이고 선제적인 자율규제에
상호명(명칭) : (주)첨단 | 등록번호 : 서울,자00420 | 등록일자 : 2013년05월15일 | 제호 :헬로티(helloT) | 발행인 : 이종춘 | 편집인 : 김진희 |
본점 : 서울시 마포구 양화로 127, 3층, 지점 : 경기도 파주시 심학산로 10, 3층 | 발행일자 : 2012년 4월1일 | 청소년보호책임자 : 김유활 | 대표이사 : 이준원 | 사업자등록번호 : 118-81-03520 | 전화 : 02-3142-4151 | 팩스 : 02-338-3453 | 통신판매번호 : 제 2013-서울마포-1032호
copyright(c) HelloT all right reserved
UPDATE: 2025년 06월 05일 18시 21분
