반응형

전체 글 31

평균 세션 시간이 11% 늘면 리디자인은 성공일까?

Monzo가 새 홈 화면을 시험한 이틀째, 기존 사용자의 평균 세션 시간은 대조군보다 11% 길었습니다.제품팀이 자주 보는 지표라면 성공처럼 보이기 쉬운 숫자입니다. 사용자가 앱에 더 오래 머물렀으니 새 화면에 관심이 생겼다고 볼 수도 있습니다.Monzo는 결론을 미뤘습니다. 평균 세션 시간이 길어진 이유를 이 숫자 하나로는 알 수 없었기 때문입니다. 같은 11%에도 이유는 다를 수 있습니다새 화면이 궁금한 사용자는 무엇이 바뀌었는지 더 둘러봅니다. Monzo는 이런 반응을 변화에 끌리는 반응으로 설명했습니다.또 하나는 익숙한 기능을 찾느라 오래 머문 경우입니다. 어제까지 쓰던 송금과 카드 정보의 위치가 달라지면 원하는 기능을 찾는 시간이 길어집니다. Monzo는 이를 변화 거부감에서 나타날 수 있는 행..

사용성 테스트에서는 왜 더 오래 참을까?

로딩 아이콘이 빙빙 돕니다. 참가자는 조금 더 기다립니다. 안내문을 다시 읽고 막힌 버튼도 몇 번 더 누릅니다. 진행자는 관찰 노트에 '끝까지 시도했다'고 적습니다.정말 평소에도 그랬을까요? 우리는 그 모습을 그대로 기록합니다사용성 테스트에는 평소 제품을 쓸 때 없는 사람이 있습니다. 바로 옆에서 지켜보는 진행자입니다. 참가자는 진행자의 표정과 질문도 읽습니다.'끝까지 해내야 하나?' '진행자가 원하는 답이 따로 있나?' 이런 생각이 들면 평소보다 오래 시도할 수 있습니다. 그 시간을 제품에 대한 인내심으로 바로 읽으면 결과가 달라질 수 있습니다. 이야기는 1920년대 공장으로 갑니다누가 보고 있으면 행동이 달라진다는 설명에는 오래된 단골 이야기가 있습니다. 미국 호손 공장에서 조명을 밝히자 노동자의 생..

내가 만든 건 왜 더 좋아 보일까?

화면 하나를 3주 다듬었습니다. 리뷰 날, 팀은 고개를 끄덕입니다. 막상 출시하고 나면 사용자는 예상과 다르게 움직일 때가 있죠. 같은 화면을 봤는데 왜 평가는 달라질까요. 만든 사람은 완성된 화면만 보는 게 아니라 그동안 들인 시간까지 함께 보기 때문일지도 모릅니다. 직접 만들면 왜 더 좋아 보일까심리학에 이케아 효과라는 게 있습니다. 2012년 Norton, Mochon, Ariely가 보여준 현상인데요. 참가자들은 같은 수납 상자를 직접 조립하거나 완성품을 살펴봤습니다. 직접 조립한 사람은 평균 0.78달러, 완성품을 본 사람은 0.48달러를 써냈습니다. 63% 차이였습니다.이 실험은 직접 손을 보탠 결과물에 더 높은 값을 매기는 모습을 보여줍니다. 실험은 소유 여부만 따로 떼어 비교하지 않았습니다..

미국 UX 조직은 어떻게 일할까 — 양의정님과 함께한 UX in US 특강 후기

"Stay human."지난 6/25(목), PiXR에서 UX in US 오프라인 특강을 열었습니다. 연사로 모신 양의정(Eui Yang), Ph.D., UXMC 님은 YMCA of the USA에서 Senior Manager, User Experience로 일하고 계십니다. John Deere UX Manager, UIUC 겸임교수 등을 거치며 미국 제품 조직에서 오래 UX를 다뤄오신 분이죠. 5년 만에 오프라인에서의정님은 PiXR 초창기 멤버로 지난 5년 동안 정말 많은 도움을 주셨습니다. 그동안은 늘 온라인으로만 뵀는데, 이번에 한국 방문 일정에 맞춰 드디어 오프라인에서 만나 뵐 수 있었습니다. 정신 없이 바쁜 일정 중에도 흔쾌히 강연을 맡아주셔서 좋은 자리를 만들 수 있었고, 시작부터 끝까지 에너..

"제일 중요한 게 뭐예요?"가 인터뷰를 망치는 이유

인터뷰에서 "무엇이 가장 중요하세요?"라고 물으면 사람들은 거의 망설이지 않습니다. 가격이요, 후기요, 디자인이요. 회의실은 고개를 끄덕이고 우리는 그 답을 정리해 화면으로 옮깁니다. 막상 출시하고 나면 그렇게 움직이는 사람이 별로 없습니다. 정중히 물었는데 왜 쓸 만한 답이 없었을까요. 그 거리, 말과 행동 사이의 간격을 이야기해보려 합니다. 말과 행동은 다른 내가 합니다"건강이 최고죠"라고 말한 사람이 밤엔 라면을 끓입니다. 거짓말을 한 게 아닙니다. 입으로는 되고 싶은 나를 말해도 몸은 지금의 나대로 움직이거든요. 누군가에게 "무엇이 중요하냐"고 물으면 상대는 자기도 모르게 이상적인 자기 모습을 꺼내 보여줍니다. 그게 정직한 대답이라고 믿으면서요.'말한 선호'와 '실제 행동'은 애초에 다른 데이터입..

맞은 자리에, 과녁을 그립니다 — 데이터에 속지 않는 법

"이론에 대한 모든 진정한 검증은, 그것을 반증하려는 시도다."— Karl Popper, Conjectures and Refutations(1963)"데이터는 거짓말 안 한다"고들 합니다. 그래서 우리는 데이터를 믿죠. 그런데 막상 가설 없이 데이터를 뒤지기 시작하면, 우연한 패턴도 의미처럼 보입니다. 이 글에서는 그 패턴이 진짜 발견인지, 아니면 우리가 나중에 그린 과녁인지를 가르는 방법을 이야기해보려 합니다. 헛간에 총을 쏜 뒤, 과녁을 그립니다한 사람이 헛간 벽에 총을 마구 쏩니다. 그리고 가장 빽빽하게 모인 자리에 동그라미를 그리죠. "봐, 내가 명사수야." 탄착군에 과녁을 맞춘 거라, 명중처럼 보입니다. 하지만 순서가 거꾸로였습니다. 이걸 텍사스 명사수 오류(Texas Sharpshooter F..

'우리 사용자는 우리가 제일 잘 안다'는 착각

우리는 혼자 생각한다고 믿지만, 사실은 아는 것보다 더 많이 안다고 느낄 뿐입니다.— Sloman & Fernbach, The Knowledge Illusion(『지식의 착각』, 2017)의 문제의식 "우리 사용자는 우리가 제일 잘 안다." 회의에서 자주 나오는 말입니다. 틀린 말은 아닙니다. 우리가 우리 제품을 제일 많이 보니까요. 그런데 막상 그 사용자가 어떤 단계로 행동하는지 설명해보라고 하면, 생각보다 말이 막힙니다. 이 글에서는 그 확신이 어디서 오는지, 왜 자주 빗나가는지, 그리고 결론을 내리기 전에 그걸 한번 짚어보는 방법을 이야기해보려 합니다. 자주 보면, 안다고 느낍니다우리는 우리 제품을 제일 많이 봅니다. 화면도 외우고, 데이터도 매일 보죠. 그러다 보면 "우리 사용자는 우리가 제일 잘..

인터뷰 요약, 너무 깨끗하면 위험합니다 — AI 요약이 지우는 것

"Using Large Language Models for Qualitative Analysis can Introduce Serious Bias."정성 분석에 LLM을 쓰면, 심각한 편향이 들어올 수 있습니다.— Ashwin, Chhabra & Rao (2025)AI가 인터뷰 12개를 한 장으로 정리해주면 정말 편하죠. 특히 시간이 없을 때는 더 그렇습니다. "주요 불만 5개", "핵심 니즈 3개", 대표 인용문까지 한 번에 나오면 분석이 끝난 것처럼 보입니다. 그런데 그 깔끔함이 어디서 오는지 한 번 멈춰 봐야 합니다. 많이 나온 말은 앞으로 오고, 읽기 어려운 망설임과 예외는 뒤로 밀리거든요.이번 글에서는 요약과 분석이 어떻게 다른지, AI 요약이 무엇부터 지우는지, 그리고 원문을 잃지 않는 작업 순..

주관식 답변, 셋 중 한 명이 AI를 씁니다 — 패널 안의 AI 응답자

"Established bot detections are not reliable when it comes to LLM-driven bots linked to Large Language Models."기존 봇 탐지는 LLM 기반 봇 앞에서는 더 이상 신뢰할 수 없습니다.— Höhne et al. LLM-driven Bot Infiltration: Protecting Web Surveys Through Prompt Injections (2025) 지난 분기 만족도·사용성 조사 답변 더미를 다시 꺼내 보면, 익숙한 톤 한두 줄이 보일지도 모릅니다. "다양한 기능을 효과적으로 활용할 수 있어 매우 유익했습니다." "직관적인 인터페이스 덕분에 매우 만족스러웠습니다." 누가 쓴 문장입니까. Stanford GSB ..

'AI' 라벨 하나에 같은 기능이 달라 보입니다 — AI 워싱이라는 플라시보

"AI Washing inflates expected performance but does not affect interaction outcomes."— Drouhard et al., AI Washing Inflates Expected Performance but Not Interaction Outcomes: An AI Placebo Study Using Fitts' Law (arXiv 2605.00582, 2026.05)마우스 과제 하나를 28명이 똑같이 수행합니다. 일부 화면에만 'AI 지원'이라는 라벨이 붙어 있죠. 모델도, 기능도, 알고리즘도 동일합니다. 그런데 라벨이 붙은 조건에서 사용자의 기대 성능과 사용성 인식은 유의미하게 올랐어요. 실제 성능은 변하지 않았고요.라벨 하나만으로 같은 기능이 ..

반응형