walmgr: fix backup from slave

Current version improperly remove needed WAL files when creating backup from slave.

The minimum WAL file is file with REDO record, not with latest checkpoint itself.

Fix typo in NEWS

v2.1.13

Make C modules compile on Postgres 9.2

Make sql/pgq/Makefile properly pass subdir failures

Use symbolic isolation level constants for psycopg

Psycopg 2.4.2 and 2.4.3 had shuffled the constants
around thus causing data corruption during initial copy.

Psycopg 1.x used numeric constants as part of public api,
thus Skytools was written with numeric constants.
Psycopg current upstream forgot this fact and changed
them freely.  The upstream change is rollbacked in 2.4.4.

Convert Skytools to use symbolic constants if possible,
as those are better API and also making it work with
problematic Psycopg versions.

Also use "repeatable read" instead "serializable"
as "serializable" changed meaning in 9.1 and we
want the old meaning.

pgq: fix unnecessary failures in regtests

pgq.triggers: Fix potential rare crash.

The bad hash_search(HASH_ENTER) + SPI_execute() pattern
is used here also.  Fix it by always properly initializing
the info structure.

[backport from 3.0]

pgq.insert_event: Fix rare crash

If hash_search(HASH_ENTER) succeeds, but make_plan() fails,
due to statement_timeout/deadlock, then HTAB entry will
contain invalid values which leads to crash on next call.

Fix it by always fully initializing struct before calling make_plan().

Debugged-by: Martin Pihlak
[backport from 3.0]

londiste add-table: make trigger check sql 9.1-compatible

Move the pg_stop_backup() into a finally: block.
Some instances were reported where the base backup failed with some issue
but pg_stop_backup() hadn't been called and had to be called manually.
This should make that less likely

Add support for detecting stale locks and releasing them
instead of aborting

remove accidental pkgloader import from walmgr

Synch walmgr changes from 3.0 branch.

Bugfix psycopgwrapper connect_database() to open a cursor before using it

v2.1.12

doc/makefile: fixman does not seem to be needed with newer asciidoc/xmlto

drop old crap from todo.txt

londiste.version(): bump version to 2.1.12

more stuff for 2.1.12rc2

configure: turn asciidoc/xmlto always on when building from CVS/GIT

Forgetting to do so results in build errors, which is annoying.

Backport from 3.0

txid: on 8.3+ make sure the txid.sql is empty.

Mainly help other regression tests, to not install
wrong txid funcs and avoids errors due to missing file.

londiste.link: add missing quoting

These functions are unused and obsolete, thus missed
the last round of quoting fixes.

v2.1.12rc2

skytools.dbstruct: Support version-specific SQL

Use it to have different SQL for Postgres 9.0

psycopgwrapper: make sure .server_version is set

Backport from 3.0

deb90 target

Patch by Sébastien Lardière

adjustments for PostgreSQL 9.0 - consider wal_level during setup/stop.

v2.1.12rc1

Relnotes for 2.1.12 (thus far)

logutriga regtest: drop old function before creating custom one

- "walmgr.py sync" now omits unneeded WAL segments if the
  database has been cleanly shut down. This greatly reduces
  sync time during planned swithcovers as usually there
  is only a single WAL file to be synched to slave.

- Introduce a 'slave_pg_xlog' configuration variable. This
  allows master and slave pg_xlog files to be in different
  locations. During restore this directory is symlinked to
  slave pg_xlog. Patch from Steve Singer.

- Introduce a 'backup_datadir' configuration variable to
  control whether the slave data directory is kept or
  overwritten during restore. Patch from Steve Singer.

londiste copy: save & restore index clustering info.

Patch by André Malo, applied with minor cleanup

londiste: dont send new table/seq list into queue on add

it is not functinally useful, only causes surprise removal
if several 'provider add'+'subscriber add' pairs are
done sequentially quickly enough.

londiste: make trigger handling compat with 9.0

londiste repair: use subprocess instead os.popen4 where available

Patch by Shoaib Mir, applied with minor cleanups.

9.0 compile fix - ScanKeywordLookup has 3 args now

Original patch by Devrim GÜNDÜZ, but replaced autoconf
checking with version checking.

Fix sys.path hack not to interpret file 'londiste' as module.

pgqadm: Remove unnecessary JOIN in refresh_queues().

Patch by Artyom Nosov.

tag 2.1.11

londiste repair: force LC_ALL=C to get sane sorting

pgq/triggers: Fix crash in case invalidate happens from signal handler.

Currently code assumed the invalidate happens only from per-query checks,
but this seems not to be the case.

Fix it by moving reset code out from invalidate callback.

Also old code seemed to leak htab per full reset, because it assumed
to be located under cache context, but init code did not assign it there.

Thanks to Andrew Dunstan for the report.

Redundant pg_auth file synch removed. By Mark Kirkwood.

news cleanup

fix "copy from stdout"

convert server_version_num to int

prepare for 2.1.11rc1

debian/: work around --install-layout related braindamage

Additionally, allow 'make debXX PYTHON=YY' by passing the PYTHON value
through various configure steps.

londiste.subscriber_get_queue_valid_pending_fkeys: stricter check

Disallow automatic restore of fkey to unreplicated table.
Also to replicated table coming from other queue.

Otherwise there is possibility of restoring fk to unsynced table.

Based on report & patch by Hannu Krosing.

launch_copy: use signal_pidfile instead of path check

Otherwise replay will stall behind stale pidfile.

pgq.Event: make retry count available as field.

Add 'ev_retry', 'retry' to field map.

Nico Mandery

londiste: use TRUNCATE ONLY on 8.4+

Plain TRUNCATE was changed to also operate on child tables in 8.4.

Patch by Sergey Konoplev

Remove ONLY from ADD CONSTRAINT.

Parent table cannot have contraints that the childs do not have.

Fix deprecationwarning on python 2.6

Seems that for some mystic reason dir(__builtins__) behavour
depends whether it's called in module or not.  (in 2.6)

Remote it

skytools.DBScript: safer pidfile writing

- signal_pidfile: Clarify ValueError error message. Thrown usually
  on empty pidfiles, the error messega will now mention the pidfile name.

- run_single_process: restructure pidfile writing, so that
  the pidfile is removed if .write() failed, but not when open() failed.
  This should avoid the chance that empty pidfiles are hanging around.

Fix walmgr not to copy pg_xlog and pg_log contents.

Add --version switch to all scripts.

Based on patch by Hannu Krosing

quick testcase for inheritance

londiste: make copy unlink inherited table from it's parents

Otherwise we cannot drop constraints.

Unlink from childs is not needed, so they are left as-is.

Patch by Hannu Krosing

sql/pgq: trigger fixes

- pgq.logutriga() did not put custom pkey= value into events.

- pgq.logutriga() and pgq.sqltriga() did allow UPDATE and DELETE
  on tables without pkey, running into SQL errors downstream.
  They should throw error in such case.

pgq: "make test" should install also

little doc typo (--excect-sync)

pgq.maint_retry_events(): lock table to allow only single mover

Resync walmgr from skytools-dev.
This adds:
- symlink handling for pg_log and pg_xlog
- archive_command set to "/bin/true" for restored postgresql.conf

tag v2.1.10

tag 2.1.10rc1

relnotes for 2.1.10

londiste provider add: detect and warn about dangerous triggers

Postgres runs triggers in alphabetical order, warn about after triggers
that run before londiste one.

docs: mention log_size, log_count dbscript options

Create pg_xlog/archive_status directory for slave restore.

Patch by Mark Kirkwood.

setval() also needs quoted name

propely quote seq names when fetching state

londiste: add-seq --all should ignore pgq, londiste and temp schemas

Before it also added internal seqs which was not good idea.

Reported by Günther Jedenastik

Avoid use of 'as', its keyword in python 2.6/3.0

londiste: make provider add-seq detect existing seqs

Before it got ugly crash.

Also call notify only if some seq was actually added.

Patch by Pierre-Emmanuel André, applied with minor changes.

--with-asciidoc: survive missing asciidoc or xmlto

dont try to build xml if xmlto is not installed

update the deps list, mention --with-asciidoc

deb: add rsync as dependency to skytools package

support debs for 8.4

tag 2.1.9

Add missing includes for 8.4.

Patch from Devrim Gündüz.

mention identified quoting fix

Quote identifiers starting with number.

Patch by Andrew Dunstan.

tag 2.1.9rc1

String "no" means missing asciidoc, not ""

Now the logic works properly - asciidoc version
and xmlto are not checked if ASCIIDOC=no.

Added a walmgr.py note about config files backup.

Handle PostgreSQL configuration files as part of backup/restore.
New configuration variables for the config locations plus the
documentation changes.

Mark Kirkwoord, with some editorialization by me.

Update NEWS file wrt recent Martin's merge from CVS to prepare 2.1.9

tests updated to work with 8.3

Synched with HEAD.

Synched with HEAD.

Documenting pgq_lazy_fetch londiste config option

preliminary notes for 2.1.9

magic_insert: be more flexible about whats dict

skytools.DBStruct: missing DEFAULT kw for table column

Fix crash if cache invalidation happens in bad moment.

> There is a race condition between the (re-)initialization
> of the global tbl_cache_ctx structure and the code making
> use of it. It may vanish in between, when the pkey_plan
> is executed and the cache callback fires.

Patch by Florian Wesch and André Malo

Applied with minor modification - instead reloading only
on full cache reset, reload always as invalidation
may happen also per-table basis.

Fix 'uninitialized variable' warning and potentially wrong code.

Report and original patch by Götz Lange and André Malo.

fix quoting for constraint add

missing quoting for truncate