首页 / 资讯中心 / 文章详情

用户画像挖掘实战:从数据清洗到标签体系搭建的完整指南

用户画像挖掘实战:从数据清洗到标签体系搭建的完整指南 ★ FEATURED ARTICLE
干了这么多年数据分析和用户增长相关的工作最常被问到的一个问题就是“用户画像到底怎么挖”很多人一听这个词觉得特别玄乎好像要上机器学习、深度学习搞一堆复杂的模型才算数。其实在我实际做项目的过程中用户画像这事儿没那么高不可攀但确实有它的一套门道。它本质上是把散落在各个系统里的用户数据通过清洗、加工、打标签的方式变成一个一个具体的人让你在产品决策、运营策略上不再靠拍脑袋。这篇文章我就把这几年在真实项目里挖掘用户画像的完整思路、具体操作步骤和踩过的坑一次性讲清楚。这套方法适合谁如果你是产品经理、运营同学、数据分析师或者正在从零搭自己的一套用户标签体系这篇文章的实操细节会帮你省不少试错的时间。我可以负责任地说用户画像挖掘真正难的不是算法而是你对业务的拆解能力、对数据的组织能力以及对场景的判断力。把这几个基石打牢了后续做精准营销、个性化推荐、产品改版都会顺畅很多。咱们就直接进入正题。1. 用户画像的本质与正确拆解姿势很多人对用户画像是有一个认知误区的以为画像就是给用户贴标签标签越多越细越好。真不是这样。我见过不少团队辛辛苦苦建立了几百个标签结果业务方真正用的就那么十来个其余的全躺在标签后台吃灰还消耗着大量的计算和存储资源。1.1 画像不是目的业务场景才是第一出发点在开始动手挖用户画像之前首先要搞清楚一个核心问题我要用画像来解决什么业务问题我通常会把画像的应用场景剥成三类这样整个团队的思路会立刻清晰起来第一类是流量转化和营销触达场景。比如要做一次针对新客的促活活动你需要知道哪些用户是高潜新客、哪些是沉睡用户、哪些是价格敏感型用户。这类场景对画像的时效性要求非常高标签要能快速反映用户最近一周甚至一天的动态行为。第二类是产品设计和个性化体验场景。比如信息流推荐、首页模块排序、消息推送的文案风格。这里需要的是用户的兴趣偏好标签要求画像有足够的深度和连续性。第三类是战略分析和市场洞察场景。比如这个季度新进来的用户和上个季度比有什么变化、不同区域的用户付费能力有没有差异。这类场景偏宏观对画像的统计属性要求高但时效性要求反而不那么苛刻。想清楚这一步你后续在数据采集、标签设计、存储选型上才不会走弯路。1.2 一套有效的用户标签体系到底长什么样基于上面的业务场景我一般会把用户画像的标签体系设计成四大类这四类的组合基本能覆盖绝大多数应用场景标签类别核心作用典型示例人口属性类回答“这个用户是谁”年龄、性别、城市等级、职业、消费水平区间行为特征类回答“这个用户做过什么”近30天登录次数、购买频次、浏览深度、功能使用率兴趣偏好类回答“这个用户喜欢什么”类目偏好、内容偏好、价格带偏好、时段活跃偏好业务状态类回答“这个用户处于生命周期哪个阶段”新客、成长期用户、成熟用户、流失预警、黑名单用户在这个体系里人口属性类是基石它决定了你认识一个人的基本框架行为特征类和兴趣偏好类是核心它们是实时变化的最能反映用户当下的意图和诉求业务状态类是结果它是前面几类标签综合作用后得出的经营判断。我见过很多新人喜欢一上来就搞复杂的兴趣偏好模型结果连基础的行为数据都没洗干净最后做出来的标签一跑数据全是脏的根本没法用。所以正确的顺序一定是先把基础打牢再逐步做复杂的加工。2. 数据从哪来第一方行为数据的采集与清洗画像做得准不准很大程度上不取决于算法而取决于原始数据的质量。数据源规划这一环是决定后续所有标签计算成败的关键。很多团队在画像项目上翻车翻就翻在数据源头没理清楚就开始急着建模型。2.1 第一方数据源的梳理与埋点方案设计一个成熟产品的用户数据来源我通常梳理成三条线第一条线是用户注册与实名信息线。这是用户主动提供给我们的准确性最高。包含手机号、注册城市、性别字段、生日等。这类数据往往是稀有资源但质量极高是整个画像体系的锚点。第二条线是产品行为日志线。这是用户在App或网站上的每一次点击、浏览、搜索、下单行为。这类数据量巨大需要通过埋点来采集是画像数据的主体。这一条线的核心要求是能对得上时间、能对得上人、能对得上事件。第三条线是业务结果数据线。比如订单记录、售后记录、客服沟通记录。这里面藏着用户真实的消费偏好和痛点反馈往往被很多人忽视。在这三条线里埋点方案的设计是最讲究的。我给你一个非常实在的检核清单事件命名必须规范。我习惯用“行为主体_动作类型_对象类别”的结构比如user_pay_order、user_browse_product、user_search_keyword。不要出现那种a111、b222这种谁也看不懂的代号不然后续做特征工程时会非常痛苦。关键事件必须记录关键属性。比如一次user_pay_order事件除了知道用户付了钱你必须通过属性记录下订单金额、商品SPU、商品类目、支付渠道、是否使用优惠券。这些属性将来都是打标签的重要原料。必须有唯一用户ID贯穿。无论用户在登录还是未登录状态都要尽可能通过设备ID、手机号等方式关联到唯一身份。这一点如果做不到后面所有分析都会失真。2.2 让脏数据无处遁形的清洗规则数据采回来如果直接拿去算标签那大概率要出事。我举个特别常见的坑测试流量和爬虫流量混在真实用户数据里会把某些标签的分布搞得极其扭曲。比如说有个金融类产品某天突然涌进一批异常流量这些用户大量点击借款申请按钮但从未完成实名认证也没有任何真实借款行为。如果不做清洗系统就会给这批用户打上“高借款意向”的标签然后运营团队按这个标签去触达结果自然是浪费预算。我常用的清洗规则有这么几条你可以直接照着用过滤掉已知的内部测试账号和域名来源不明的流量过滤掉单日事件次数超过正常阈值百倍的设备ID通常是爬虫或自动化脚本过滤掉生命周期内没有任何业务行为、仅有浏览行为的无效设备对关键事件做跨端去重比如同一用户App端和Web端各下单一次实际可能是一笔订单的两次记录。这里要特别说一句清洗不是一次性工作而是每次跑标签前都要执行的标准动作。我在实际项目里会把清洗逻辑封装成一个标准ETL模块所有下游任务统一引用而不是每个人自己写一套不同的清洗代码这样能最大程度避免结果不一致。3. 从原始数据到标签画像建模的核心路径数据洗干净之后就到了整个挖掘过程最核心的环节——把原始数据加工成可用的标签。这部分我会拆成属性标签、行为标签、偏好标签三个层次来讲每一层的处理思路是完全不同的。3.1 属性标签的确定与置信度评估属性标签主要指的是人口属性里那些相对静态的信息比如年龄段、城市等级、消费能力分层。这里有个很关键但又常被忽略的概念标签置信度。举个例子用户在注册时填写的城市是“上海”那么这个城市标签的置信度接近100%。但如果这个用户没有填写城市我们是通过他的IP归属地推断出他大概率在上海此时这个标签的置信度就要打折扣可能只有60%-70%。如果用户既没填资料IP也忽东忽西那我们只能通过收货地址、常用WiFi等弱信号去猜置信度就更低了。所以我在建标签时每个属性标签都会附一个置信度等级。比如高置信度用户主动填写或至少存在3次以上强一致的证据如订单收货地址、实名认证信息中置信度存在2次以上弱一致的证据如最近30天IP归属地一致低置信度仅有单次弱信号或多个信号互相矛盾。有了这个机制做人群圈选的时候就可以加个条件——“只选取年龄段置信度为高的用户”避免拿一堆推断出来的不准的画像去做精细化运营。这一点是很多人做画像时从来没有考虑过的问题但它恰恰是画像能不能落地的分水岭。3.2 行为标签的统计窗口与计算逻辑行为标签描述的是用户近期干了什么。它的特点是变化快、维度多需要盯着时间窗口来算。时间窗口怎么选这里没有标准答案完全取决于业务节奏。我一般会同时维护三套窗口近7天、近30天、近90天。为什么要这么干因为不同的业务决策需要不同颗粒度的行为快照。举一个真实场景做促活活动你要圈选“近期活跃度下降但历史价值较高的用户”那你就需要同时看90天窗口内的历史付费表现和最近7天窗口的活跃趋势把两者结合才能精准定位出“沉睡高价值用户”这个人群。在计算逻辑上行为标签要尽量避免拍脑袋式的唯一天数限定。我更推荐用连续型和分布型指标来代替简单的阈值的判断。比如“高活跃用户”这个标签与其规定“近7天登录7次算高活跃”不如先算出所有用户近7天登录次数的分布然后取头部20%的阈值作为高活跃分界线。这样标签会更贴合你的产品当前的实际情况而不是生搬硬套一个拍脑袋的数。3.3 兴趣偏好标签的构建手段与降权策略兴趣偏好标签是最有技术含量的部分也是最能体现“挖掘”这个词价值的部分。我喜欢用行为加权法来做。核心思想是不同类型的用户行为对兴趣的证明力是不同的。比如一个用户搜索“机械键盘”的行为比他浏览三个键盘商品页更能说明他对机械键盘感兴趣而真正支付下单的行为又比搜索的证明力强得多。依据这个思路我通常会给不同行为类型设置不同的行为权重。一个简单的示例曝光浏览权重1分弱信号搜索关键词权重5分中强信号加入购物车权重8分强信号支付成交权重10分最强信号每个用户对某个类目的兴趣分 该用户在统计窗口内该类目下所有行为的加权求和。然后根据所有兴趣分做归一化排在前位的类目即作为用户偏好类目标签。还有两个细节非常关键第一是时间衰减。用户3个月前的购买行为和3天前的浏览行为其代表的兴趣强度是完全不同的。我用一个非常简单的指数衰减公式衰减后权重 原始权重 × e^(-λ·时间间隔天数)λ一般取0.02左右这样30天前行为衰减到约55%90天前衰减到约16.5%。这样算出来的兴趣分才是真正反映当下偏好的。第二是降权策略。如果一个用户什么都喜欢各品类兴趣分都高说明他可能是个泛兴趣用户或者数据质量有问题这种用户在打偏好标签时要考虑降权甚至剔除。同样对于低活跃但偶尔高客单价的用户使用行为加权法时要格外小心别因为一次偶然消费就给他打上永久偏好标签。偏好标签建好后最好还要配合一个人工抽检环节随机抽100个被打上“美妆偏好”的用户人工去看他们的行为轨迹看看这个标签是否符合直观判断。一旦偏差比例过高就得回头调权重或清洗规则。4. 画像体系搭建从标签到用户分层的落地单点的标签只能描述用户的某个侧面要把画像真正用起来你得把它组装成一个体系。这部分我讲两步标签树的组织、以及基于标签的价值分层。4.1 标签树的设计原则与层级关系我设计标签树时坚持三个原则可枚举、互斥、可回溯。可枚举是指每个标签的取值必须是固定的、有限的几个值不能是自由文本。比如“城市等级”只有一线、新一线、二线、三线及以下这几个值。这能保证后面做人群圈选时是一个确定性筛选。互斥是指在同一个维度上的标签用户只能属于一个值。比如年龄维度一个用户要么在18-24岁要么在25-30岁不能同时是两段。这样避免数据口径的重复累计。可回溯是指每个标签都要能查清楚它是怎么算出来的。这要求我们在标签加工过程中做好血缘关系记录哪个标签来着哪张表、哪个字段、哪个规则。后续标签出问题能快速定位到底层原因。按照这三个原则我会把前面的四大类标签组织成一颗标签树一级维度是四大类二级是分类下的具体维度三级是维度下的具体取值。业务方就像逛超市一样在这个标签树上选择自己需要的“商品”来组合人群。4.2 用户价值分层让画像发挥经营指挥棒作用有了标签树之后我会紧接着做用户价值分层。这是画像应用的枢纽环节。最经典的是RFM分层它从最近一次消费时间Recency、消费频率Frequency、消费金额Monetary三个维度评估用户价值。在实际落地时我给RFM模型做了一点改造针对不同的业务形态设置不同的阈值。举个具体例子。在一个电商类项目里我们按以下规则打分R维度近7天有消费记3分近30天有消费记2分近90天有消费记1分90天以上无消费记0分F维度近90天消费5次以上记3分2-5次记2分1次记1分0次记0分M维度近90天累计消费金额排名前20%记3分20%-50%记2分后50%记1分。三个维度的分数组合最终把用户划分为几个经营层级层级特征描述运营策略重点核心价值用户高R、高F、高M高价值产品推荐、专属权益维护重点发展用户高M但R和F偏低唤醒触达、复购刺激普通活跃用户中R、中F、中低M交叉销售、提升客单价流失风险用户R持续走低流失预警、召回策略新客首次付费且时间短引导复购、培养使用习惯有了这个分层底盘后画像就不再是一堆静态的标签了它直接变成了可指挥业务的作战地图。每次做运营规划时第一件事就是看这个分层结构的变化。4.3 人群包的生成与管理机制画像标签体系的最终输出物之一就是人群包。它是一组符合特定标签条件的用户ID集合。在生成人群包时我总结了一个执行要点圈选逻辑必须闭环到触达渠道。也就是说你要提前想清楚这批人群圈出来之后是通过Push触达、短信触达还是站内广告触达。不同渠道对人群包的规模要求不同如果圈出来只有几十个人那Push渠道基本没法做如果圈出几千万人那你得考虑文案的普适性避免过于个性化引起反感。人群包还需要有生命周期管理。一个人群包不是建好就能一直用的因为用户的标签在持续变化。我一般在建立人群包时会设置三个属性有效时长、更新频率、过期策略。比如“近7天高活跃用户包”每24小时更新一次超过7天自动失效“沉睡付费用户召回包”每周更新一次30天不转化自动移出。5. 画像驱动业务三种高频实战玩法拆解画像体系搭好了不能放在数据后台当摆设。真正检验画像价值的是它能不能在业务里落地成看得见的结果。这一部分我挑三种我最常用、见效也最快的玩法来讲。5.1 个性化内容推荐的画像应用在信息流产品或者电商首页画像最常见的应用是个性化推荐。核心思路其实就一句话把对的商品/内容用对的理由展示给对的人。我负责过的某跨平台系统首页Feeds流就完全基于画像标签做排序。用户被系统识别出“数码3C偏好高”且“价格带中高”那么他首页的坑位就会优先分配给他偏好的品牌新品和高客单价爆款。同时在推荐理由栏里会显示“因为你常看XX品牌”这类文案让用户感觉到推荐可解释点击率比不做个性化的对照组高出不少。具体落地上我建议从小规模实验开始。比如先对5%的流量启用画像推荐和原策略做A/B对比。只有点击率、转化率、停留时长这些指标确实正向再逐步放量。不要一上来就全量替换那风险太大了。5.2 精细化营销触达的圈人逻辑营销活动是最能直接体现画像ROI的领域。过去做营销是“大水漫灌”给全量用户发一样的文案有了画像之后讲究的是“千人千面”的差异化触达。我最近做了一个新品推广活动就是把用户画像用得特别彻底的案例。活动开始前我们先做了人群拆解对高客单偏好且近30天加购过该品类但未支付的用户推送专属优惠券文案突出价格优势对新客且浏览过活动专题页的用户推送新品亮点和热门款文案突出社交认同对沉睡高价值用户推送限量抢鲜资格核心目的是唤醒而不是直接转化对低活跃低价值用户不主动推送只做站内展示位曝光。结果这一轮活动整体推送转化率比此前所有用户统一下发提了将近一倍而且退订率明显下降。用户并不是反感广告而是反感与自己无关的广告。5.3 产品功能优化的方向性参考画像不仅可以用于前端营销也能给产品团队提供反向输入。有一次我们在做一个社区内容类产品发现画像库里“创作者偏好”标签和“内容消费偏好”标签之间存在明显错位。一部分用户大量收藏和转发某类深度内容但消费记录里极少有流量倾斜。这个洞察直接推动产品团队调整了内容分发策略把这类被“收藏”而非“消费”的深度内容单独建了一个细分流。改版后这个细分流的次留和平均阅读时长都远高于大盘均值。这就是画像的深层价值它不只是回答“用户是谁”还能回答“用户行为的背后在暗示什么需求”。产品经理拿到这类洞察决策依据就扎实多了。6. 常见问题与排查技巧实录画像项目做到后面你会发现真正磨人的不是搭建而是日常运维里的各种疑难杂症。这些问题不解决画像的准确性就会每况愈下直到整个体系被业务方抛弃。我把这几年遇到频率最高的几种情况集中讲一讲你碰到类似景象时可以直接对症下药。6.1 数据稀疏环境下画像失真怎么办这是所有新业务、冷启动产品都会遇到的问题。用户量不大行为数据不够算出来的标签就像抽签一样今天打这个标签明天就变了毫无稳定性。我的解决办法是走“收缩战略”。数据少的时候不要做太细的品类偏好只做大类偏好。比如不要区分“手办”和“模型”直接归进“潮玩收藏”这个大类。同时适当拉长统计窗口把窗口从30天加到90天让数据量更足一些再计算。等到用户数据积累到一定程度再逐步细化标签颗粒度。另外冷启动期间要多依赖规则标签和人工经验把有限的高置信度信号用好而不是一味追求复杂的算法模型。6.2 标签冲突时以哪条信号为准标签冲突是高频问题。比如用户性别标签注册档案显示是女但近90天浏览行为里绝大部分是男性服饰和男性用品。这个时候哪个标签生效我的处理策略是给不同信号源分了优先级实名校验信息 用户主动填写档案 支付订单收货信息 常驻地生活行为信号 内容浏览兴趣信号。具体到这个案例如果用户完成过实名校验那么性别标签以实名为准如果没有实名校验那么用户主动档案和支付收货信息权重更高如果完全没有这些强信号才通过行为信号做推测且这种推测标签置信度只能是中低。6.3 画像时效性与持续更新机制画像最怕的就是过期。用户上个季度喜欢的东西这个季度可能已经完全不感兴趣了。我在项目里推了一套画像更新SLA机制属性类标签按月更新高频行为标签每日更新RFM分层标签每日更新偏好类标签至少每周全量重算一次。所有标签在生成时都带版本号和生效时间下游业务使用标签时必须认准版本避免用了七天前的旧标签而不自知。还有一个容易被忽视的环节标签下线机制。一个标签如果连续三个月没有任何业务方调用我会主动评估这个标签是否还有存在价值。不能业务上已经不用了数据那边还在傻乎乎地每天跑计算白白浪费集群资源。6.4 团队协作的机制保障画像不是数据团队单方面能做成的事。我吃过最大的亏就是关起门来自嗨辛辛苦苦建了一堆标签结果业务侧完全不知道怎么用。要改变这个局面光靠技术没用得建立一套协作机制。首当其冲就是要让业务方参与标签需求评审数据团队定期拿着画像分析报告找业务对齐。同时要配备一本标签字典把每个标签的业务含义、口径来源、适用场景写得明明白白。这样业务方同事自己在后台就能圈人看数对画像的信任度才会逐步建立起来。某个图像处理Demo团队曾经做过一次统计机制跑顺之后画像标签的调用频次提高了将近三倍。7. 挖掘用户画像的几个高频误区与个人心得最后这部分说几个我反复在团队里强调的观念。如果你能把这些想明白会比单纯学会某个工具或者某个算法有价值得多。第一个误区是追求标签数量而不追求标签准确率。说实话一百个拍脑袋的标签不如一个算得准的核心标签有用。画像体系建设是有节奏的先精后多把每个标签的口径和规则打磨清楚再考虑扩充。第二个误区是忽视画像的生命周期。用户是会成长的随着产品使用体验的深入用户的角色、偏好、价值都在变化。如果你的画像体系不支持动态更新它就像一个停留在过去的老朋友帮不上忙反而会误导你。第三个误区是把画像当成万能药。画像能帮你更精准地触达用户但不能替你解决产品本身的问题。如果产品核心体验不行再精准的画像也只是加速你把这个缺陷品推给更多人反而起到反作用。坦率地说我做画像项目的最大体会是用户画像挖掘的功夫七成在数据治理和业务理解上三成才在模型和算法上。只要把前七成的功课做扎实了哪怕你用最简单的统计方法也能做出非常好用的画像体系。也希望这篇基于个人实践经验的分享能帮你在自己的项目里少走几条弯路。
阅读完成 · 觉得有帮助?
咨询建站