<div dir="ltr"><div>Stuart,<br><br></div>In my library servier httpd error_log I see:<br><br>[Thu Sep 17 10:49:37.441421 2015] [:error] [pid 2605] access to /home/httpd/html/raw/binghamton/gonzales/Testing Area/foobar.problem failed for 128.226.130.9, reason: binghamtona2 not subscribed<br><br>The subscription file shows the access server is subscribed.  <br><br>  binghamtona2:<a href="http://128.226.130.9:1442502030"><font color="red"><b>MailScanner warning: numerical links are often malicious:</b></font> 128.226.130.9:1442502030</a><br><br><br>Using the info in the referenced post <a href="http://mail.lon-capa.org/pipermail/lon-capa-admin/2013-November/002773.html">http://mail.lon-capa.org/pipermail/lon-capa-admin/2013-November/002773.html</a>, I'm thinking a name/ip problem.<br><br>So, regarding entries in /etc/hosts, there are only the default ones for 127.0.0.1 and ::1 on all the machines.<br><br>Looking at dns_hosts.tab  I see this on all the servers (access and library):<br><br>binghamtonl1:binghamton:library:loncapal1.chem.binghamton.edu:http:<a href="http://binghamton.edu">binghamton.edu</a><br>binghamtona2:binghamton:access:loncapa2.chem.binghamton.edu:http:<a href="http://binghamton.edu">binghamton.edu</a><br>binghamtona3:binghamton:access:loncapa3.chem.binghamton.edu:http:<a href="http://binghamton.edu">binghamton.edu</a><br>binghamtona4:binghamton:access:loncapa.chem.binghamton.edu:http:<a href="http://binghamton.edu">binghamton.edu</a><br>binghamtona5:binghamton:access:loncapa5.chem.binghamton.edu:http:<a href="http://binghamton.edu">binghamton.edu</a><br>binghamtona6:binghamton:access:loncapa6.chem.binghamton.edu:http:<a href="http://binghamton.edu">binghamton.edu</a><br>binghamtona7:binghamton:access:loncapa7.chem.binghamton.edu:http:<a href="http://binghamton.edu">binghamton.edu</a><br><br>Looking at hosts I see this on the library server:<br><br>^<a href="http://s10.lite.msu.edu">s10.lite.msu.edu</a><br>^<a href="http://dalton.chem.sfu.ca">dalton.chem.sfu.ca</a><br>^<a href="http://library1.lon-capa.uiuc.edu">library1.lon-capa.uiuc.edu</a><br>binghamtonl1:binghamton:library:loncapal1.chem.binghamton.edu:http:<a href="http://binghamton.edu">binghamton.edu</a><br><br>and this on one of the access servers:<br>^<a href="http://s10.lite.msu.edu">s10.lite.msu.edu</a><br>^<a href="http://dalton.chem.sfu.ca">dalton.chem.sfu.ca</a><br>^<a href="http://library1.lon-capa.uiuc.edu">library1.lon-capa.uiuc.edu</a><br>binghamtona2:binghamton:access:loncapa2.chem.binghamton.edu:http:<a href="http://chem.binghamton.edu">chem.binghamton.edu</a><br><br>I see <a href="http://binghamton.edu">binghamton.edu</a> in the dns_hosts.tab and and hosts.tab on the library server but I see <a href="http://chem.binghamton.edu">chem.binghamton.edu</a> in the access servers hosts.tab.  My dns domain is <a href="http://chem.binghamton.edu">chem.binghamton.edu</a> and I do remember using that during the installation on each machine this summer.  Could this be it?   <br><br>Thanks,<br>Bob Gonzales<br><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Sep 17, 2015 at 5:23 PM, Stuart Raeburn <span dir="ltr"><<a href="mailto:raeburn@msu.edu" target="_blank">raeburn@msu.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Bob,<br>
<br>
Looking at lonc.log on the MSU LON-CAPA library server s10 I see that the run of /home/httpd/perl/loncron used to update connections and retrieve updated cluster membership information failed to connect to binghamtona2 at 5:11 am today.<br>
<br>
On the MSU library server ...<br>
<br>
Thu Sep 17 05:11:14 2015 (2148) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep 17 05:11:14 2015: Parent keeping the flock] <font color='red'>CRITICAL: Forking server for <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a></font><br>
Thu Sep 17 05:11:18 2015 (13722) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep 17 05:11:14 2015: Connected to <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] <font color='red'>CRITICAL: Failed to make a connection with lond.</font><br>
Thu Sep 17 05:11:18 2015 (13722) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep 17 05:11:14 2015: Connected to <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] <font color='blue'>WARNING: Failing transaction sethost</font><br>
<br>
As a result the lonc status reported on s10 for <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> was:<br>
<br>
www      13722  2148  0 05:11 ?        00:00:00 lonc: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> Connection count: 0 Retries remaining: 5 () Thu Sep 17 13:29:08 2015<br>
<br>
However, when I attempted to connect to binghamtona2 a few hours ago the connection was successfully created:<br>
<br>
www      13722  2148  0 05:11 ?        00:00:00 lonc: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> Connection count: 1 Retries remaining: 5 (insecure) Thu Sep 17 13:34:39 2015<br>
<br>
and I was able to transfer my user session there.<br>
<br>
>From the lonc.log information on your library server ...<span class=""><br>
<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
   Thu Sep 17 11:05:19 2015 (3279) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep<br>
17 10:53:24 2015: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> Connection count: 0 Retries<br>
remaining: 5 ()] <font color='green'>SUCCESS: Connection 1 to<br>
<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> now ready for action</font><br>
   Thu Sep 17 11:10:20 2015 (3279) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep<br>
17 11:10:20 2015: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> Connection count: 1 Retries<br>
remaining: 5 (insecure)] <font color='blue'>WARNING: Shutting down a<br>
socket</font><br>
</blockquote>
<br></span>
This indicates successful creation of a connection, and then shutdown 5 minutes later, as a result of pruning of idle connections (this is all as expected).  The IdleTimeout hard-coded in /home/httpd/perl/loncnew is 5 minutes.<span class=""><br>
<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
   Thu Sep 17 10:53:24 2015 (3279) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep<br>
17 10:42:10 2015: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> Connection count: 0 Retries<br>
remaining: 5 ()] <font color='yellow'>INFO: Resetting Connection<br>
Retries.</font><br>
</blockquote>
<br></span>
This occurs when &Apache::lonnet::reconlonc() sends "reset_retries".  &reconlonc($clientname) is called in lond when lond is connected by a known client (excluding connections from itself).<span class=""><br>
<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
      Cleanup phase: Notifications<br>
<br>
     Notifying host binghamtona7:not_found<br>
     Notifying host binghamtona2:not_found<br>
</blockquote>
<br></span>
The logged "not_found" messages originate from lond::update_resource_handler() on the library server, and will be sent if the old copy of the file which has just been republished is no longer present on the access server.<br>
<br>
That can happen if the Linux OS on the access server was updated without preserving the contents of /home/httpd/html/res/.  This is not an issue, including the case where the access server had a subscription to the file before the access server was updated/rebuilt.  When the file is requested in a user session hosted on the access server it should be replicated to the access server from the library server, as usual.<br>
<br>
However this:<span class=""><br>
<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
   Thu Sep 17 11:00:30 2015 (3908): <font color="blue">WARNING: LWP get:<br>
403 Forbidden: /home/httpd/html/res/binghamton/gonzales/Testing<br>
Area/foobar.problem</font><br>
<br>
</blockquote>
<br></span>
indicates that the replication failed.  You might check in the corresponding Apache error_log file for the request for:<br>
<br>
GET /raw/binghamton/gonzales/TestingArea/foobar.problem<br>
<br>
from 128.226.130.9.<br>
<br>
See:<br>
<br>
<a href="http://mail.lon-capa.org/pipermail/lon-capa-admin/2013-November/002773.html" rel="noreferrer" target="_blank">http://mail.lon-capa.org/pipermail/lon-capa-admin/2013-November/002773.html</a><br>
<br>
for a discussion of things to check.  In that particular instance the "Forbidden" error was caused by an incorrect IP address in /etc/hosts<br>
<br>
Stuart Raeburn<br>
LON-CAPA Academic Consortium<div><div class="h5"><br>
<br>
Quoting Bob Gonzales <<a href="mailto:rgonzal@binghamton.edu" target="_blank">rgonzal@binghamton.edu</a>>:<br>
<br>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Hi,<br>
<br>
I'm running 2.11.1 and centos 7.1 on all my servers.<br>
<br>
When I publish a resource and then try to access it on any of my access<br>
servers I get the message 'unable to find' and then the name of the problem<br>
just published.<br>
<br>
The subscription file for the problem shows the access server has<br>
subscribed.<br>
<br>
When I republished a file the log file for the problem I got the following<br>
information from the log file for the problem:<br>
<br>
      Cleanup phase: Notifications<br>
<br>
     Notifying host binghamtona7:not_found<br>
     Notifying host binghamtona2:not_found<br>
     Notifying course binghamton_71215825fc2344762binghamtonl1:ok<br>
<br>
I see a lot of these messages for binghamtona2 (loncapa2) in the library<br>
server lonnet.log<br>
<br>
Thu Sep 17 10:53:24 2015 (8257): Trying to reconnect lonc for binghamtona2 (<br>
<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>)<br>
<br>
And these in the library servers lonc.log<br>
<br>
    Thu Sep 17 10:42:10 2015 (3279) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep<br>
17 10:42:10 2015: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> Connection count: 0 Retries<br>
remaining: 5 ()] <font color='yellow'>INFO: Resetting Connection<br>
Retries.</font><br>
   Thu Sep 17 10:53:24 2015 (3279) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep<br>
17 10:42:10 2015: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> Connection count: 0 Retries<br>
remaining: 5 ()] <font color='yellow'>INFO: Resetting Connection<br>
Retries.</font><br>
   Thu Sep 17 10:53:24 2015 (3279) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep<br>
17 10:53:24 2015: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> Connection count: 0 Retries<br>
remaining: 5 ()] <font color='yellow'>INFO: Resetting Connection<br>
Retries.</font><br>
   Thu Sep 17 10:53:24 2015 (3279) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep<br>
17 10:53:24 2015: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>  Connection count: 0 Retries<br>
remaining: 5 ()] <font color='yellow'>INFO: Resetting Connection<br>
Retries.</font><br>
   Thu Sep 17 11:05:19 2015 (3279) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep<br>
17 10:53:24 2015: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> Connection count: 0 Retries<br>
remaining: 5 ()] <font color='green'>SUCCESS: Created connection 1 to host<br>
<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a></font><br>
   Thu Sep 17 11:05:19 2015 (3279) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep<br>
17 10:53:24 2015: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> Connection count: 0 Retries<br>
remaining: 5 ()] <font color='yellow'>INFO: Connected to lond version:<br>
489</font><br>
   Thu Sep 17 11:05:19 2015 (3279) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep<br>
17 10:53:24 2015: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> Connection count: 0 Retries<br>
remaining: 5 ()] <font color='green'>SUCCESS: Connection 1 to<br>
<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> now ready for action</font><br>
   Thu Sep 17 11:10:20 2015 (3279) [<a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a>] [Thu Sep<br>
17 11:10:20 2015: <a href="http://loncapa2.chem.binghamton.edu" rel="noreferrer" target="_blank">loncapa2.chem.binghamton.edu</a> Connection count: 1 Retries<br>
remaining: 5 (insecure)] <font color='blue'>WARNING: Shutting down a<br>
socket</font><br>
<br>
I also see this in the access servers lonnet.log:<br>
<br>
   Thu Sep 17 11:00:30 2015 (3908): <font color="blue">WARNING: LWP get:<br>
403 Forbidden: /home/httpd/html/res/binghamton/gonzales/Testing<br>
Area/foobar.problem</font><br>
<br>
I don't really know what all of this means.  Any help would be appreciated.<br>
<br>
Thanks,<br>
Bob Gonzales<br>
Binghamton University<br>
Chemistry Dept<br>
</blockquote>
<br></div></div>
_______________________________________________<br>
LON-CAPA-admin mailing list<br>
<a href="mailto:LON-CAPA-admin@mail.lon-capa.org" target="_blank">LON-CAPA-admin@mail.lon-capa.org</a><br>
<a href="http://mail.lon-capa.org/mailman/listinfo/lon-capa-admin" rel="noreferrer" target="_blank">http://mail.lon-capa.org/mailman/listinfo/lon-capa-admin</a><br>
</blockquote></div><br></div></div>