不埋点也能做网站访问统计看板：解析 nginx 日志全流程

做这个站的访问统计时，我先装了WordPress 统计插件，用了两天就把它卸了——数字看着漂亮，做决策时全是错的：PV 忽高忽低、UV 涨了流量却没涨、回访率永远是 0。问题出在 JS 埋点：采集器带着正常的 Chrome UA 却不执行 JS，插件根本统计不到；而插件算 UV 的方式（把访客 ID 逗号拼起来再数出现次数）在并发写入时还会多算。

后来我把思路换掉：不埋点，直接解析 nginx 访问日志。nginx 早就把每一次请求都记下来了，UV、会话、来源、设备、归属地、停留时长全都能从里面算出来，而且日志就在自己服务器上，想算什么都行。今天这篇就把这套东西完整拆开讲——架构怎么搭、数据怎么入库、爬虫怎么辨真假、以及那些「看板数字和站长工具对不上」的坑我都踩了一遍。

一、为什么不用 JS 埋点，也不建议用第三方统计

先讲清楚为什么走日志这条路，这不是偏好问题，是三条硬约束。

1.1 埋点统计不到爬虫，而这个站的流量 95% 是机器

看板实测 20 天共44.0 万条请求，其中被判定为机器的有 417,080 条，占 94.8%；真实访客只有 22,985 条，占 5.2%。这个比例放到任何普通博客身上都属于极端值，原因是站点开了 fastcgi_cache 且用了全站 CDN式的静态缓存，扫描器探测成本极低，于是全天都有各种脚本在扫 /wp-admin、/.env、/phpmyadmin 这类路径。

关键在于：这些扫描器大多带着正常的浏览器 UA，但它们不执行 JS。所以埋点方案看到的「真实流量」比日志口径少一大截，而你在站长工具里看到的又是另一套数字——三套数据对不上，最后你不知道信谁。

1.2 埋点方案本身会漏计、会算错

我这边的旧插件出现过一次很典型的崩塌：10-01 的 PV 是 334，到 10-05 掉到 26，单调下跌；而同期日志口径只从 344 掉到 276。日志数据平缓，埋点数据崩了——这说明埋点会漏，不是流量真跌了。另一个问题是 UV 字段用「逗号拼接访客 ID 再 substr_count 计数」实现，并发写入时会重复计数。

1.3 第三方统计等于把数据交出去

国内外的统计服务多数要备案、要加载外部脚本、要处理 cookie 同意弹窗。对一个纯技术博客来说，收益远小于成本：广告投放不需要，流量分析自己看日志就够，还少一层被第三方出问题的风险。

二、整体架构：日志怎么从服务器跑到内网

最关键的一个设计决定是：统计机不直连网站服务器。内网机器主动发起 HTTPS 请求去拉日志，网站端只提供一个只读接口。这样做的好处是网站端不需要监听任何入站端口，也不需要给内网开防火墙。

997wan 服务器                内网统计机（192.168.11.3）
n997-stats-export.php ──HTTPS POST──▶ fetch.py（每 5 分钟拉增量）
  只读日志 · token 校验├─ 解析 UA / 来源 / 设备
                         ├─ ip2region 查归属地（离线库）
                         ├─ 标记机器流量
                         └─ 写 stats.db
                                │
                              web.py :8089 看板
                                │
                              push.py（同一轮，拉完即推）
                                │ HTTPS POST
n997-stats-snapshot.php ◀──────────┘
  token 校验后写入 wp_options
        │
        └─ 侧边栏卡片 AJAX 读取 → 展示

这张图里有三个值得单独说明的设计。

2.1 增量靠日志字节 offset，不重复不遗漏

最笨的办法是每次全量重导日志，越滚越慢。这里用的是标准的 offset 增量：meta 表记下上次读到第几个字节，下次从那儿接着读。配合日志轮转检测（inode 变了就从头重导），既能保证不重不漏，也不会随着日志增长而变慢。

site:  www.997wan.com 的 /www/wwwlogs/997wan.com.log
增量:  meta.log_offset = 94677086 字节
同步:  systemd timer 每 5 分钟触发一次
实测:  20 天 44 万条 / 单次拉 2 万条上限

2.2 归属地用离线库，不依赖任何在线接口

用ip2region 的离线库（51.8 万条），查询完全本地完成。好处是没有外部依赖、没有速率限制、不会被接口挂掉拖垮整个看板。代价是数据更新滞后，但查「这是国内还是国外、省市是哪儿」够用了。

2.3 看板和站点侧卡片同源同口径

我原来有两个数据源：看板的日志口径，和站点侧边栏卡片的 JS 信标口径，两边数字长期打架。改法是让卡片不再自己计数，只读统计机推来的快照。

这里有个细节值得单独说：近 7 天用滚动窗口，不用自然周。自然周在周一会等于「今日」，看着像坏了。改口径之后卡片和看板数字完全一致，看板整页还不会被 fastcgi_cache 缓存住。

三、网站端：一个只读导出接口怎么写

站点端只要一个 PHP 文件，严格只读 + token 校验。它不是通用日志分析器，只做一件事：按字节区间吐原始日志文本给统计机。

<?php
declare(strict_types=1);
const N997_TOKEN = '你的随机 token';
const N997_LOG   = '/www/wwwlogs/997wan.com.log';

header('Content-Type: application/json; charset=utf-8');
header('Cache-Control: no-store, no-cache, must-revalidate, max-age=0');
header('X-Robots-Tag: noindex');

$tok = (string)($_POST['token'] ?? $_GET['token'] ?? '');
if (!hash_equals(N997_TOKEN, $tok)) {
    http_response_code(403);
    echo json_encode(['ok' => 0, 'error' => 'forbidden']);
    exit;
}

clearstatcache(true, N997_LOG);
$size = (int)filesize(N997_LOG);
$ino  = (string)fileinode(N997_LOG);
$offset = (int)($_POST['offset'] ?? $_GET['offset'] ?? 0);
$max    = (int)($_POST['max'] ?? $_POST['max'] ?? 20000);
if ($max > 50000) { $max = 50000; }
if ($offset < 0 || $offset > $size) { $offset = 0; }

$f = @fopen(N997_LOG, 'rb');
if (!$f) { http_response_code(500); exit; }
if ($offset > 0) { fseek($f, $offset); }

3.1 四个必须注意的点

最后补一个容易漏的安全细节：这个 PHP 文件放在站点根目录是能被访问到的，所以 token 一定要够长够随机，并且文件里不要出现数据库密码之类的信息。它只读日志，日志里已经有你的访客 IP 了。

四、统计机：数据入库与口径定义

4.1 单表结构：25个字段够用一年

没有用时序数据库，也没有上ClickHouse。一张 SQLite 表，44 万行，覆盖 20 天，完全够用——个人站最高也就每天几万请求，一年才一千多万行。

CREATE TABLE visits(
  id INTEGER PRIMARY KEY AUTOINCREMENT,
  ts INTEGER, date TEXT, hour INTEGER,
  ip TEXT, country TEXT, region TEXT, city TEXT, isp TEXT,
  method TEXT, path TEXT, query TEXT,
  status INTEGER, bytes INTEGER,
  referer TEXT, ref_host TEXT, ref_type TEXT,
  ua TEXT, device TEXT, os TEXT, browser TEXT,
  bot INTEGER, kind TEXT, dwell INTEGER, dwell_calc INTEGER,
  sid TEXT, engine TEXT
);
CREATE INDEX idx_visits_tsON visits(ts);
CREATE INDEX idx_visits_ip     ON visits(ip);
CREATE INDEX idx_visits_sid    ON visits(sid);
CREATE INDEX idx_visits_path   ON visits(path);
CREATE INDEX idx_visits_date   ON visits(date);
CREATE INDEX idx_visits_engine ON visits(engine);

几个关键字段的语义：kind 区分 page（页面）/ static（静态资源）/ system（wp-admin、wp-json）/ scan（扫描探测）；ref_type 把来源分成直接访问、搜索引擎、站内、外部链接四类；dwell_calc 是防重复计算的标记位。

4.2 UV 是去重 IP，会话是 IP + 浏览器 + 30 分钟

UV        = count(distinct ip)
会话(sid) = md5(ip + ua)   会话间隔 30 分钟无活动算新会话

4.3 停留时长用窗口函数算

不新建临时表，直接用 SQLite 的 LEAD() 窗口函数取同会话的下一次访问时间戳，差值就是停留。超过 30 分钟会话间隔的记为 NULL（视为已离开），防止「晚上 8 点浏览、第二天早上再访问」被算成 16 小时停留。

UPDATE visits SET dwell = s.d, dwell_calc = 1
FROM (
  SELECT id, CASE WHEN nts - ts BETWEEN 0 AND 1800
                  THEN nts - ts ELSE NULL END AS d
  FROM (
    SELECT id, ts, LEAD(ts) OVER (PARTITION BY sid ORDER BY ts, id) AS nts
    FROM visits WHERE kind='page' AND bot=0 AND ts >= ?
  ) WHERE nts IS NOT NULL
) AS s
WHERE visits.id = s.id AND visits.dwell_calc = 0;

五、机器流量怎么判：四层递进

这是整套统计里最有价值的部分。94.8% 的机器流量如果不剔干净，所有 PV/UV 数字都没意义。我用的判断分四层，从便宜到贵依次执行。

5.1 第一层：UA 关键词

最直接的一层。bot、spider、crawler 是基本盘，再加一批具体的工具名（ahrefs、semrush、petalbot、bytespider）。正则要写得足够长，宁可多匹配也别漏。

BOT_RE = re.compile(
    r"(bot|spider|crawler|crawl|slurp|archiver|scanner|monitor|ahrefs|semrush|"
    r"mj12|dotbot|bytespider|yisou|petalbot|applebot|nimbostratus|censys|expanse|"
    r"l9explore|masscan|zgrab|scrapy|python-requests|curl/|wget|libwww|"
    r"headlesschrome|okhttp|go-http-client|axios|node-fetch|java/|feedfetcher|"
    r"pingdom|uptimerobot|gtmetrix|lighthouse|HTTrack|Nutch|sistrix|seoscanners)",
    re.I)

5.2 第二层：命令注入痕迹

很多扫描器 UA 里不带 bot 字样，但它会把攻击载荷塞进去。UA 里出现 shell 命令注入痕迹的一律判机器，这一层性价比极高：

SHELL_RE = re.compile(
    r"($(|`|${|x[0-9a-fA-F]{2}|;s*(?:wget|curl|bash|sh|cat|ls|id)|"
    r"/bin/(?:ba)?shb|base64s|%00|

UPDATE visits SET bot = 1, kind = 'scan'
WHERE bot = 0 AND kind = 'page' AND path IN (
  SELECT path FROM visits GROUP BY path
  HAVING SUM(CASE WHEN status = 200 THEN 1 ELSE 0 END) = 0
);

def judge(ip, key):
    """real    命中该引擎官方 IP 段
    fake    未命中，且该引擎有公开的 IP 段定义
    unknown 该引擎没有 IP 段定义，需走 DNS 校验"""
    if not ip or not key:
        return "unknown"
    nets = _nets(key)
    if not nets:
        return "unknown"
    for n in nets:
        if ip in n:
            return "real"
    return "fake"

# 可枚举的 IP 段。这里刻意不写 cidr —— 一律判 unknown，
# 由 PTR 双向校验定性，避免误判成伪造。
"openai": dict(name="OpenAI GPTBot", cat="ai", cidr=[], ptr=[".openai.com"]),
"anthropic": dict(name="Anthropic Claude", cat="ai", cidr=[], ptr=[".anthropic.com"]),

UPDATE visits SET engine = COALESCE(botfam(ua), '')
WHERE id IN (SELECT id FROM visits WHERE engine IS NULL LIMIT 40000);

GET /api/overview   KPI 汇总
GET /api/trend按天/周/月趋势
GET /api/hourly     24 小时分布
GET /api/top        热门页面
GET /api/dist       归属地分布
GET /api/ips        独立 IP 列表（可翻页）
GET /api/ipdetail   某个 IP 的完整访问轨迹（最多 300 条）
GET /api/visits     明细流水
GET /api/bots       爬虫按天统计
GET /api/botverify  PTR 双向校验
GET /api/meta       总量、同步时间、offset
GET /api/export     导出 CSV

def _bot_base(p):
    """爬虫模块专用 WHERE：只受时间范围约束，不受 kind/bot/关键词筛选影响。"""
    where = ["date >= ?", "date <= ?"]
    ...
    return "engine IS NOT NULL AND engine <> '' AND " + tw

apt install -y python3 sqlite3
mkdir -p /opt/n997stats/data
# ip2region 离线库放到 data/geo.db

{
  "endpoint": "https://你的域名/n997-stats-export.php",
  "push_url": "https://你的域名/n997-stats-snapshot.php",
  "token": "换成一串够长的随机字符",
  "db": "/opt/n997stats/stats.db",
  "geo_db": "/opt/n997stats/data/geo.db",
  "site_host": "www.你的域名",
  "listen": "0.0.0.0",
  "port": 8089,
  "batch": 20000,
  "session_gap": 1800,
  "max_dwell": 1800
}

[Unit]
Description=997wan stats fetch + push

[Service]
Type=oneshot
ExecStart=/bin/bash /opt/n997stats/sync.sh

[Timer]
OnBootSec=2min
OnUnitActiveSec=5min
Persistent=true

[Install]
WantedBy=timers.target

systemctl status n997stats-web          # 看看板
systemctl list-timers n997stats-fetch   # 看定时
systemctl start n997stats-fetch.service   # 手动跑一次
python3 /opt/n997stats/push.py --dry      # 只看快照不推送
python3 /opt/n997stats/geo.py --test 220.181.108.1  # 测归属地
curl -s localhost:8089/api/meta