Doc: fix document typos.

Patch is provided by sherlockcpp@foxmail.com.

Merge branch 'V3_6_STABLE' of ssh://git.postgresql.org/pgpool2 into V3_6_STABLE

Fix possible data inconsistency in native replication mode.

There is a long standing bug with native replication mode. As reported
in pgpool-general, it is possible to lost sync of database if slave
DB's postgres process is killed. This is due to an oversight in
read_packets_and_process().

In replication mode if slave server's postgres is killed, then local
backend status is set to down.

*(my_backend_status[i]) = CON_DOWN;

So next DDL/DML in the same session is only issued to master node (and
other slave if there are multiple slave nodes). Of course this leads
to serious data inconsistency problem because in native replication
mode all DB nodes must receive DDL/DML at the same time.

Fix is triggering failover in thiscase.

Discussions:
https://www.pgpool.net/pipermail/pgpool-general/2020-March/006954.html
https://www.pgpool.net/pipermail/pgpool-hackers/2020-March/003540.html

Fix watchdog ping probes fail with long hostnames due to small buffer.

per 516.

Update copyright year.

Update pgpool.spec file.

Prepare 3.6.20.

Doc: Update doc version.

Doc: add release-notes.

Fix rewriting query errors in native replication mode.

per bug551.

Doc: clarify the session disconnection conditions while failover.

Fix merge error in the previous commit.

Fix oversight to adopt PostgreSQL 12.

From PostgreSQL 12 WAL dir is renamed to "pg_wal". pgpool_setup should
have dealt with this.

Fix error messsage typo

Doc: fix doc typo.

Feature: Check if socket file exists at startup and remove them if PID file doesn't exist.

If the previuos socket files exist, pgpool startup fails due to bind() failire.
This commit is to remove socket files at startup if PID file doesn't exist.

Also, I found some messages are effectively ignorede because log system is not yet initialized at start point.
I changed them to standard fprintf(stderr...).

Fix 001.load_balance failure caused by previous commit.

Attempt to fix 001.load_balance test failure.

It is likely that sleep time after reload was not enough. Change them
from 1 second to 10 seconds.

More fix for occasional regression test 003.failover failure.

Comparison between show pool_node result and expected file failed
because of replication delay (the expected file set 0 to replication
delay column.) Fix is, disabling replication delay.

Fix occasional regression test 003.failover failure.

The test compares the result of show pool_nodes against pre-computed
expected text file. After primary node goes down and old standby
promotes to primary, it is possible that streaming replication worker
process stores the replication state (async, streaming) in shared
memory before the failover but fails to update the state after the
failover. Fix is, replace "async", "streaming" with space characters
in the result file to match the expected file.

Fix occasional regression test failure of 008.dbredirect.

In the test several databases are created and subsequent tests expect
that those databases have been already replicated. But it is possible
that the replication has not been done at that point and makes the
test fails. Fix is, add check the existence of database and if it's
not replicated, sleep for a while and retry it (up to 5 times).

Fix occasional regression test failure of 008.dbredirect.

In the test pgbench -i is performed. It is possible that this bring
streaming replication delay, which in turn disturbs app/db
redirecting test. Fix is, disabling delay_threshold.

Fix replication delay worker segfault when application_name is an empty string.

The process calls do_query() to obtain the query result against
pg_stat_replication_view.  If user sets application_name to an empty
string, the result data row packet length will be 0. However
do_query() did not consider the length == 0 case, which resulted in
giving NULL pointer to strcmp() which is called from the worker
process. That means the bug is not specific to this case (a new
feature added in Pgpool-II 4.1) but it potentially affects many other
places where do_query() gets called, although it had not been reported
in the field. So this fix should be applied to all supported branches.

Per bug 565.

Fix missing syslog setting.

Prepare 3.6.19-2.

Fix the missing syslog in configure file.

per bug557.

Doc: fix doc incorrect description.

Prepare 3.6.19.

Doc: update doc version.

Fix incorrect query rewrite in replication mode.

Doc: Add release-note.

Add RHEL 8 support.

Fix incorrect query rewrite in replication mode.
For example:
- CREATE TABLE t1 AS SELECT now();
- SELECT now() INTO t1;
- WITH ins AS ( INSERT INTO t1 SELECT now()) SELECT;

Doc: add failover_command description

Add more exaplain about a case that failover_command execute when it
does not have a new master node. In this case, special characters in
failover_command are specified fixed values.

Fix memory leaks pointed out by coverity.

Doc: add note to trusted_servers.

"Please note that you should not assign PostgreSQL servers to this
parameter." This should have been noted since there is at least one
user who actually did it.

Update changelog.

Update pgpool.spec to support PostgreSQL 12.

Update pgpool_socket_dir.patch.

Fix assorted ancient v2 protocol bugs.

- In v2 code path, extract_message() pfrees memory which was returned
  from pool_read_string(). This is plain wrong and could cause sefault
  since the memory returned by it is being managed by pool_stream
  modules.

- In v2 code path pool_process_notice_message_from_one_backend() added
  "NOTICE:" to the log message. This is not necessary as the part is
  already included in the message.

- In v2 code path pool_extract_error_message() did not prepare unread
  data correctly. This caused subsequent
  pool_process_notice_message_from_one_backend() produces empty
  message, read_kind_from_backend() failure.

Fix extended query communication in do_query()

do_query() didn't send Describe message to PostgreSQL.
It didn't use strcasecmp() but strcasecmp() when check if query is SELECT.

Fix problem that syslog_facility don't change by reload

The cause is macro definition mistake. This fix unify macro definition, and delete old test code to use vsyslog().
Reported in bug 548.

Fix inappropriate ereport call in VALID_BACKEND.

VALID_BACKEND (more precisely pool_virtual_master_db_node_id) macro
emitted message if pgpool is performing failover/failback:

ereport(WARNING,
(errmsg("failover/failback is in progress"),
errdetail("executing failover or failback on backend"),
 errhint("In a moment you should be able to reconnect to the database")));

This could be called within signal handlers and
POOL_SETMASK(&BlockSig)/POOL_SETMASK(&UnBlockSig) was called to block
an interrupt because ereport is not reentrant. However it is possible
that callers have already called POOL_SETMASK, and this could result
unwanted signal unblock.

Fix is, removing ereport and POOL_SETAMASK all together. This results
in removing the message above but we have no choice.

I found the problem while investigating regression
055.backend_all_down failure but of course the bug could have bitten
users in other places.

Fix for Coverity warnings in watchdog and lifecheck

Fix signal unblock leak in failover.

When failover event occurs, register_node_operation_request() gets
called to en-queue failover/failback requests. If the request queue is
full, this function returns false with unlocking semaphore. But it
forgot to unblock signal mask. This leads to block all signals
including SITERM, which makes pgpool fail to shutdown.

Discussion: https://www.pgpool.net/pipermail/pgpool-hackers/2019-October/003449.html

Fix for bug-545: Quorum lost and not recovered

Master watchdog node was not adding the lost standby node to its list of valid
standby nodes after it is rediscovered by the lifecheck.The fix is to ask the
node to rejoin the master node when it gets rediscovered by the lifecheck. 
As part of this commit, I have also added the watchdog data version and Pgpool-II
version in the watchdog info packet to make the extensions in the watchdog
messages easier in the future.

Thanks to Guille(reporter of this bug), for providing lots of help in testing the fix

Fix memory leak in replication mode.

Per coverity.

Fix memory leak while attempting to connect to backend.

If no backend is up and running, memory for copy of startup packet
will be lost. This was brought by commit cdb49d3b7. Per coverity.

Fix compiler warnings.

Fix compiler warning.

Revert "Fix occasional query hang while processing DEALLOCATE."

This reverts commit 8c9de6d06a5c975b1b1d820d486a312717d344d2.

Fix occasional query hang while processing DEALLOCATE.

When DEALLOCATE tries to remove a named statement, it inherits
where_to_send map of the named statement in
where_to_send_deallocate(). However it forgot to copy the load balance
node id in the query context of the named statement. This made sending
query to backend not happen: if the target node id is different from
query_context->load_balance_node_id nor primary node id,
pool_virtual_master_db_node_id (it is called as MASTER_NODE_ID)
returns primary node id, and pool_send_and_wait(MASTER_NODE_ID)
ignores the request because VALID_BACKEND returns false in this case
(MASTER_NODE_ID = primary node id is not in the where_to_send map). As
a result, following check_error() waits for response from backend in
vain.

Fix is, let where_to_send_deallocate() copy load balance node id from
the query context of the previous named statement.

Per bug 546.

Fix segfault in certain case.

The scenario is something like:

1) a named statement is created.
2) DEALLOCATE removes it.
3) an erroneous query is executed.

In #2, "sent message" for the named statement is removed but
"uncompleted_message" is left. Then after #3, in ReadyForQuery()
uncompleted_message is added and removed. However, storage for the
uncompleted_message has been already freed in #2, and it causes a
segfault.

Fix is, in SimpleQuery() set NULL to uncompleted_message if it's not
PREPARE command so that ReadyForQuery() does not try to remove the
already removed message.

Per bug 546.

Here is a minimum test case.

'P' "_plan0x7f2d465db530" "SELECT 1" 0
'S'
'Y'
'Q' "DEALLOCATE _plan0x7f2d465db530"
'Y'
'Q' "CREATE INDEX users_auth_id_index ON non_existing_table ( auth_id )"
'Y'
'X'

Fix identical code used for different branches per Coverity.

Fix memory leak per Coverity.

Fix typo in fork_lifecheck_child().

Fix typo in fork_watchdog_child().

Fix memory leak.

Per Coverity.

Fix memory leak.

Per Coverity.

Fix uninitialized variable.

Probably harmless but bug is bug...
Per Coverity.

Doc: mention that VIP will not be brougt up if quorum does not exist.

Fix pgpool_setup to reflect the -p (baseport) to ORIGBASEPORT variable.

Otherwise, shutdown generated script by pgpool_setup does not use
proper port number for netstat command.

Doc: Fix missing documents from previous commit.

Doc: fix indentation in scripts.

Auto indentation by commit 2cb0bd3f8f236aeacfba37cd4d604893561bad52
broke indentation of scripts in <programlisting> tag.

Doc: fix typo in "What is Pgpool-II?" section.

Author: Alejandro Roman
Discussion: https://www.pgpool.net/pipermail/pgpool-hackers/2019-August/003392.html

Add "-I" option to "arping_cmd" command default setting.

Doc: run auto indent using emacs.

Here is the emacs script F.Y.I.

;; must be run by emacs
(load "/home/t-ishii/.emacs.d/init.el")
(find-file (nth 0 command-line-args-left));
(indent-region (point-min) (point-max));
(save-buffer)

Doc: udpate doc version.

Doc: fix incorrect link name.

Prepare 3.6.18.

Doc: update release-note.

Doc: add 3.6.18-3.4.25 release-note.

Fix memory leak.

Pointed out by Coverity.

Make waiting for TIME_WAIT in pgpool_setup optional.

Since commit 3b32bc4e583da700cc8df7c5777e90341655ad3b the shutdownall
script generated by pgpool_setup waits for Pgpool-II socket in
TIME_WAIT state disappeared. However in most cases this takes long
time and it makes uncomfortable for developer's testing works.

This commit makes the wait to be optional: unless environment variable
"CHECK_TIME_WAIT" is set to other than "false", it never waits for the
TIME_WAIT state.

Fix "unable to bind. cannot get parse message" error.

This was caused by too-eager memory free in parse_before_bind. It
called
pool_remove_sent_message/pool_create_sent_message/pool_add_sent_message
combo to replace the query context in the sent message. Unfortunately
pool_remove_sent_message free memory such as statement name, which was
being passed by caller. As a result, the new sent message created by
pool_create_sent_message pointed to freed statement name, which may
make a search by statement name fail because now the statement name in
the sent message points to freed memory area, which might be
overwritten by later memory allocation. Fix is, instead of calling
pool_remove_sent_message etc., just replace the query context in the
sent message.

Per bug 531.

Fix for 0000483: online-recovery is blocked after a child process exits ...

The problem is if some child process exits abnormally during the second stage
of online recovery, then the connection counter that keeps the track of exiting
processes does not get decremented and Pgpool-II keeps waiting for the exit of
the already exited process. Eventually, the recovery fails after
client_idle_limit_in_recovery expires.

The fix for this issue is to set the connection counter to zero when
client_idle_limit_in_recovery is enabled and it has less value than
recovery_timeout, Since all clients must have been kicked out by the time
when client_idle_limit_in_recovery expires.

A similar fix is already committed as part of bug 431 by Tatsuo Ishii, So this
commit basically imports the same logic in the watchdog function that processes
the remote online recovery requests.

Apart from the above-mentioned change,  Hoshiai San identified that the watchdog
IPC command timeout for the online recovery start function executed through watchdog
is set exactly to the same as recovery_timeout which needs to be increased to
make the solution work correctly.

Import some of memory manager debug facilities from PostgreSQL.

Now we can use CLOBBER_FREED_MEMORY, which is useful to detect
accesses to already pfreed memory.

Fix watchdog_setup command option

The mode option is incorrectly. when pgpool_setup command  is called by
watchdog_setup command, mode option forget to set.

Fix pgpool_setup to produce correct follow master command.

The produced script incorrectly checked whether PostgreSQL is running
or not, which resulted in that it mistakenly thought PostgreSQL is
always running.

Fix regression test errors.

Use pg_get_expr() instead of pg_attrdef.adsrc to support for PostgreSQL 12.

Since PostgreSQL 12 removed pg_attrdef.adsrc, use pg_get_expr() instead of pg_attrdef.adsrc if the backend version is 7.3 or later.

Thanks to Takuma Hoshiai for creating the patch.

Fix the failover() so that it does not access out of array.

Per Coverity.

Enhance shutdown script of pgpool_setup.

I observe occasional regression test failure caused by bind error to
the TCP/IP port.  This fix tries to confirm usage of the TCP/IP port
while executing shutdown script using netstat command.

Backport Pgversion().

Fix possible out of array index access.

It was pointed out by Coverity that node_id could be -1.

Fix query cache module so that it checks oid array's bound.

Fix off-by-one error in query cache module.

When debug print is enabled, it might had tried to access out of bound
of oid array.

Revert "Allow health check process to reload pgpool.conf."

This reverts commit cc06f5c142b3ff0f6bfbd87ca7a06094a0ce9b5c.

Since 3.6 does not have separate health check process, the commit was
pointless and caused compiling errors.

Allow health check process to reload pgpool.conf.

When separate health check process was introduced, we forgot to send
signal to the health check process when pgpool.conf reload is
requested.

Bug525: Fix sefault when query cache is enabled.

When query cache is enabled,
session_context->query_context->skip_cache_commit flag was set or
reset while processing execute message. Problem was, it was done
before session_context->query_context was set. So fix is just
set/reset
query_context->skip_cache_commit. session_context->query_context is
set later on anyway.

Per bug 525.

Make shutdownall to wait for completion of shutdown of Pgpool-II.

It was observed that regression test occasionally failed because
previous does not completely finished before next test started. To fix
the problem, make shutdownall script generated by pgpool_setup to wait
for completion of shutdown of Pgpool-II.

Down grade LOG to DEBUG5 in sent message module.

The log was added in commit 56a6b6a72, but in some cases it is
disturbing users.

Discussion: [pgpool-general: 6620] Fwd: A lot of "checking zapping sent message" in log

Fix mistake introduced in the previous commit.

Fix segfault when "samenet" is specified in pool_hba.conf.

When "samenet" is specified, SockAddr_cidr_mask(struct
sockaddr_storage *mask, char *numbits, int family) gets called with
numbits == NULL. However the function was not prepared for
it. Originally the function was imported from PostgreSQL. When the bug
was fixed in PostgreSQL, unfortunately the fix was not applied to
Pgpool-II. This commit applies the same fix as PostgreSQL.

Discussion: [pgpool-general: 6601] Pgpool-II + hba + samenet = segfault in libc-2.24.so

doc: Fix documentation typos.

doc: Fix documentation typo.

Fix to deal with backslashes according to the config of standard_conforming_strings
in native replication mode.

per bug467.

Doc: add description to pg_md5 man page how to show pool_passwd ready string.

Sometimes it is necessary to just show md5 hash string suitable for
pool_passwd, without adding an entry to pool_passwd.

Doc: add general description about failover.

Make failover in progress check more aggressively.

In pool_virtual_master_db_node_id() the case when session context is
not available was not covered by the failover in progress checking
because I thought it'd be too aggressive. However a report from field
showed that that could happen while authenticating a client (and it
causes a segfault). So I decided to move the check to beginning of the
function to cover the case.