В CUSTIS — ведущий веб-разработчик

Мои доклады и контакты: http://yourcmc.ru/wiki/User:VitaliyFilippov

Поддерживаю сборку MediaWiki4Intranet: http://wiki.4intra.net/

(«И давно вы страдаете программизмом?»)

• Кодинг лет с 11 :)
• Linux’оид ± веб-разработчик то ли с 16, то ли с 17, [сайтиков понаписал]
• Языки: в основном PHP, Perl, Python
• Win&Mac must die! Only GPL! Only Free Software! Only hardcore :)

Адрес этого доклада: http://lib.custis.ru/WebAppCaching

• Веб-приложения
• Кэширование
  • Где? Внешний кэш vs память процесса
  • Как надо? Инвалидация
  • Оценка эффективности
  • Как НЕ надо? Фейлы
• Client-side кэширование (HTTP)
• Приёмы server-side кэширования
• Дополнительные меры

База заранее вычисленных данных — не кэш! Ибо:

• Кэш обычно строится на лету, динамически.
• Записи в кэше обычно непостоянны.

  (с этим связан Fail №1 — использование кэша как БД)

• Обычно есть вытеснение

  LRU / FIFO / прочие^[1]

1. ↑ Алгоритмы кэширования — http://en.wikipedia.org/wiki/Cache_algorithms

• Внешний кэш + сериализация

  PHP — без вариантов, только внешний

• Память процесса

  Управляемая? Неуправляемая?

• Распределённый кэш

Больше проблем, чем плюсов ☹. Самая главная:

☹ Такой кэш не масштабируется!

Управляемая память:

☺ Накладные расходы = 0, объект живой

☹ Живые объекты — толстые

☹ Может прийти GC

Неуправляемая/разделяемая (например, так делают Одноклассники)

☹ Те же накладные расходы на сериализацию

Просто и популярно — memcached ± redis

☺ Может быть разделяемый, распределённый

☹ Накладные расходы на сериализацию и сеть

Локально используйте UNIX сокеты

PHP: ставьте igbinary

Java, C++, Python: protobuf от google

⇒ Кэш нужно обновлять (сбрасывать).

Простейшие варианты:

• Не сбрасывать вообще (только добавление)
• Сбрасывать по ключу (если нет зависимостей)
• Сбрасывать ВСЁ (если меняется всё 1 раз в день)

☺ Просто, но не оперативно ☹

• Удаление через заданное время жизни (TTL)
• TTL без поддержки TTL: при чтении сверять срок годности
• Микрокэширование: TTL = 1 секунда

• Тег = зависимость
• На элементы кэша ставятся теги
• Сброс всех ключей по тегу = обновление зависимости
• Иерархия: если тег сам зависит от других

Списочный метод:

• Хранить списки ключей для каждого тега
• Медленный сброс

Версионный метод :

• Сброс = инкремент версии тега
• При чтении сверяем версию

Но: нужен Redis!

Главное — ВЫИГРЫШ В ПРОИЗВОДИТЕЛЬНОСТИ

• Профилирование С кэшем и БЕЗ кэша
• Hit/Miss (попадания/промахи)

  Низкие hit: горячие/взрыв/дублирование/размер

• Размер кэша, количество вытеснений

• Кэш — не БД!
• Обычно внешний кэш лучше (масштабируется)
• Обычно полезны теги
• Всегда нужна оценка работы кэша

• Простой текстовый протокол
• Почти Stateless (почти REST)
• Keepalive — кэш соединений

МЕТОД /адрес/?параметры HTTP/1.1
Host: домен.сайта
Заголовок: Значение
Тело запроса (при загрузке файлов)

HTTP/1.1 000=код_статуса Статус Ответа
Content-Type: text/html; charset=UTF-8
Заголовок: Значение
Тело запроса (текст страницы)

google://php отключить кэш

• Как отключить кэширование на PHP — Создание и Продвижение Сайтов
• Запрет кэширования посредством PHP — Справочник веб-языков
• Записки программиста PHP — Как отключить кэширование страниц
• 100%-ное отключение кэширования — Форум програмистов
• How to Remove Cache in PHP | eHow
• …

• браузеры — быстрее открывают страницу (повторно, «Назад»)
• поисковики — быстрее индексируют
• прокси — лучше работают
• А нагрузка — снижается…

  Защита от умника с кнопкой F5

Прокси-сервер…

• Браузеры/прокси могут сохранять HTTP-ответы
• Есть статус ответа HTTP 304 Not Modified
• Есть заголовки для управления кэшированием

  Причём частично в довольно диких комбинациях

• Куча костылей для проксей

HTTP 1.0: (по времени)

• Last-Modified, If-Modified-Since
• Expires, Pragma: no-cache

HTTP 1.1: (по времени и значениям)

• ETag, If-None-Match
• Vary
• Cache-Control

• no-cache (запрет кэширования)
• must-revalidate (костыль)
• private, public (личное/публичное)
• срок кэширования: max-age, s-maxage (для прокси)

  (осторожно!)

• no-transform
  
• no-store (отвернись и не смотри)
• proxy-revalidate, community=…
• в запросе: max-age, only-if-cached, min-fresh, max-stale

(как пример кэша соединений)

Задача: твиттер/вконтактик, показывать новых котиков в реальном времени.

При ожидании ответа сервер подвешивает соединение клиента на N секунд.

Для содержимого достаточно отслеживать даты изменений:

• no-cache + Last-Modified: ...
• 304 Not Modified + Date: ...

Для статики:

• Большой max-age

Как можно бОльшие куски информации:

страницы (если можно; обычно — нельзя)

→ блоки (побить на них всю страницу; обычно — можно)

→ выборки (только тяжёлые)

→ объекты (только очень тяжёлые)

• Блочная структура естественна
• Удобно кэшировать!
• Юзают авторы поделия под названием Kohana Framework
• Однако они о кэшировании НЕ ЗНАЮТ! :D и поэтому его там правильного нет

Веб — не низкий уровень, до кэша CPU не спустишься :)

• Кэш ЯП — заюзать (PHP: APC/XCache, остальные: предзагрузка)
• Правильный сериализатор — поставить
• Кэш СУБД

JavaScript:

• Поменьше фреймворков
• Писать ручками в прототипах :)
• Обработчики inline

MySQL:

• Запросы: query-cache-limit, query-cache-size
• Таблицы: table-open-cache, table-definition-cache
• Дисковый: innodb-buffer-pool-size
• Бинлог: binlog-cache-size
• Потоки: thread-cache-size

PostgreSQL:

• Дисковый: shared_buffers
• Остальное (планы, таблицы): work_mem
• Размер кэша ОС: effective_cache_size

• Стараться кэшировать целые страницы
• HMVC
• memcached, redis
• Теги, Last-Modified
• PHP: обязательны APC/XCache, igbinary
• Тюнить кэш СУБД
• Поменьше фреймворков, побольше разума