Hi Lawrence,
These are the output of “env”:

XDG_SESSION_ID=10842
HOSTNAME=caml-lin.cive.e.uh.edu
TERM=xterm-256color
SHELL=/bin/bash
FIREDRAKE_TSFC_KERNEL_CACHE_DIR=/home/cougarnet.uh.edu/msarrafj/Software/cache-firedrake/tsfc
HISTSIZE=1000
SSH_CLIENT=129.7.154.32 59265 22
OLDPWD=/home/cougarnet.uh.edu/msarrafj
SSH_TTY=/dev/pts/1
QT_GRAPHICSSYSTEM_CHECKED=1
USER=msarrafj
LD_LIBRARY_PATH=/usr/local/cuda/lib64
LS_COLORS=rs=0:di=38;5;27:ln=38;5;51:mh=44;38;5;15:pi=40;38;5;11:so=38;5;13:do=38;5;5:bd=48;5;232;38;5;11:cd=48;5;232;38;5;3:or=48;5;232;38;5;9:mi=05;48;5;232;38;5;15:su=48;5;196;38;5;15:sg=48;5;11;38;5;16:ca=48;5;196;38;5;226:tw=48;5;10;38;5;16:ow=48;5;10;38;5;21:st=48;5;21;38;5;15:ex=38;5;34:*.tar=38;5;9:*.tgz=38;5;9:*.arc=38;5;9:*.arj=38;5;9:*.taz=38;5;9:*.lha=38;5;9:*.lz4=38;5;9:*.lzh=38;5;9:*.lzma=38;5;9:*.tlz=38;5;9:*.txz=38;5;9:*.tzo=38;5;9:*.t7z=38;5;9:*.zip=38;5;9:*.z=38;5;9:*.Z=38;5;9:*.dz=38;5;9:*.gz=38;5;9:*.lrz=38;5;9:*.lz=38;5;9:*.lzo=38;5;9:*.xz=38;5;9:*.bz2=38;5;9:*.bz=38;5;9:*.tbz=38;5;9:*.tbz2=38;5;9:*.tz=38;5;9:*.deb=38;5;9:*.rpm=38;5;9:*.jar=38;5;9:*.war=38;5;9:*.ear=38;5;9:*.sar=38;5;9:*.rar=38;5;9:*.alz=38;5;9:*.ace=38;5;9:*.zoo=38;5;9:*.cpio=38;5;9:*.7z=38;5;9:*.rz=38;5;9:*.cab=38;5;9:*.jpg=38;5;13:*.jpeg=38;5;13:*.gif=38;5;13:*.bmp=38;5;13:*.pbm=38;5;13:*.pgm=38;5;13:*.ppm=38;5;13:*.tga=38;5;13:*.xbm=38;5;13:*.xpm=38;5;13:*.tif=38;5;13:*.tiff=38;5;13:*.png=38;5;13:*.svg=38;5;13:*.svgz=38;5;13:*.mng=38;5;13:*.pcx=38;5;13:*.mov=38;5;13:*.mpg=38;5;13:*.mpeg=38;5;13:*.m2v=38;5;13:*.mkv=38;5;13:*.webm=38;5;13:*.ogm=38;5;13:*.mp4=38;5;13:*.m4v=38;5;13:*.mp4v=38;5;13:*.vob=38;5;13:*.qt=38;5;13:*.nuv=38;5;13:*.wmv=38;5;13:*.asf=38;5;13:*.rm=38;5;13:*.rmvb=38;5;13:*.flc=38;5;13:*.avi=38;5;13:*.fli=38;5;13:*.flv=38;5;13:*.gl=38;5;13:*.dl=38;5;13:*.xcf=38;5;13:*.xwd=38;5;13:*.yuv=38;5;13:*.cgm=38;5;13:*.emf=38;5;13:*.axv=38;5;13:*.anx=38;5;13:*.ogv=38;5;13:*.ogx=38;5;13:*.aac=38;5;45:*.au=38;5;45:*.flac=38;5;45:*.mid=38;5;45:*.midi=38;5;45:*.mka=38;5;45:*.mp3=38;5;45:*.mpc=38;5;45:*.ogg=38;5;45:*.ra=38;5;45:*.wav=38;5;45:*.axa=38;5;45:*.oga=38;5;45:*.spx=38;5;45:*.xspf=38;5;45:
VIRTUAL_ENV=/home/cougarnet.uh.edu/msarrafj/apps/firedrake
MAIL=/var/spool/mail/msarrafj
PATH=/home/cougarnet.uh.edu/msarrafj/apps/firedrake/bin:/usr/lib64/openmpi/bin:/usr/local/cuda/bin:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/cougarnet.uh.edu/msarrafj/.local/bin:/home/cougarnet.uh.edu/msarrafj/bin
PYOP2_CACHE_DIR=/home/cougarnet.uh.edu/msarrafj/Software/cache-firedrake/pyop2
PWD=/home/cougarnet.uh.edu/msarrafj/apps
LANG=en_US.UTF-8
MODULEPATH=/usr/share/Modules/modulefiles:/etc/modulefiles
LOADEDMODULES=
PS1=(firedrake) [\u@\h \W]\$ 
HISTCONTROL=ignoredups
KRB5CCNAME=FILE:/tmp/krb5cc_418246747_Pi8UI3
SHLVL=1
HOME=/home/cougarnet.uh.edu/msarrafj
PETSC_CONFIGURE_OPTIONS=--download-ml
LOGNAME=msarrafj
XDG_DATA_DIRS=/home/cougarnet.uh.edu/msarrafj/.local/share/flatpak/exports/share/:/var/lib/flatpak/exports/share/:/usr/local/share/:/usr/share/
SSH_CONNECTION=129.7.154.32 59265 172.21.38.71 22
MODULESHOME=/usr/share/Modules
LESSOPEN=||/usr/bin/lesspipe.sh %s
XDG_RUNTIME_DIR=/run/user/418246747
BASH_FUNC_module()=() {  eval `/usr/bin/modulecmd bash $*`
}
_=/usr/bin/env

Thanks,
Mohammad


On Apr 24, 2018, at 2:55 AM, Lawrence Mitchell <lawrence.mitchell@imperial.ac.uk> wrote:



On 23 Apr 2018, at 20:57, Mohammad Sarraf Joshaghani <m.sarraf.j@gmail.com> wrote:

Dear Lawrence,
I get:

$ ldd /home/cougarnet.uh.edu/msarrafj/Software/firedrake/src/PyOP2/pyop2/sparsity.cpython-36m-x86_64-linux-gnu.so
linux-vdso.so.1 =>  (0x00007ffc197fc000)
libpetsc.so.3.8 => /lib64/libpetsc.so.3.8 (0x00007f0bfb6b8000)

This looks to be the problem, I think.  Assuming that you got firedrake-install to install PETSc, it should be installed in:

/home/cougarnet.uh.edu/msarrafj/Software/firedrake/lib/.../petsc

Whereas here it looks like the linker is picking up a system-installed PETSc.

That dynamic library was linked as:

gcc -pthread -shared -Wl,-z,relro -g build/temp.linux-x86_64-3.6/pyop2/sparsity.o -L/usr/lib64 -lpetsc -lpython3.6m -o /home/cougarnet.uh.edu/msarrafj/Software/firedrake/src/PyOP2/pyop2/sparsity.cpython-36m-x86_64-linux-gnu.so -L/home/cougarnet.uh.edu/msarrafj/Software/firedrake/lib64/python3.6/site-packages/petsc/lib -Wl,-rpath,/home/cougarnet.uh.edu/msarrafj/Software/firedrake/lib64/python3.6/site-packages/petsc/lib

So we bake the rpath to PETSc in.  But somehow when running, you don't pick that one up.

Can you show the output of "env" in the same shell you ran "ldd" please?

Cheers,

Lawrence

libpython3.6m.so.1.0 => /lib64/libpython3.6m.so.1.0 (0x00007f0bfb18f000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f0bfaf73000)
libc.so.6 => /lib64/libc.so.6 (0x00007f0bfabb0000)
libgfortran.so.3 => /lib64/libgfortran.so.3 (0x00007f0bfa88d000)
libsuperlu.so.5.1 => /lib64/libsuperlu.so.5.1 (0x00007f0bfa618000)
libumfpack.so.5 => /lib64/libumfpack.so.5 (0x00007f0bfa363000)
libklu.so.1 => /lib64/libklu.so.1 (0x00007f0bfa12e000)
libcholmod.so.2 => /lib64/libcholmod.so.2 (0x00007f0bf9e42000)
libamd.so.2 => /lib64/libamd.so.2 (0x00007f0bf9c38000)
libopenblas.so.0 => /lib64/libopenblas.so.0 (0x00007f0bf7767000)
libX11.so.6 => /lib64/libX11.so.6 (0x00007f0bf7429000)
libm.so.6 => /lib64/libm.so.6 (0x00007f0bf7127000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007f0bf6f22000)
libstdc++.so.6 => /lib64/libstdc++.so.6 (0x00007f0bf6c1a000)
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007f0bf6a04000)
libutil.so.1 => /lib64/libutil.so.1 (0x00007f0bf6800000)
/lib64/ld-linux-x86-64.so.2 (0x000055a8504ca000)
libquadmath.so.0 => /lib64/libquadmath.so.0 (0x00007f0bf65c4000)
libsatlas.so.3 => /usr/lib64/atlas/libsatlas.so.3 (0x00007f0bf59af000)
libsuitesparseconfig.so.4 => /lib64/libsuitesparseconfig.so.4 (0x00007f0bf57ac000)
libcolamd.so.2 => /lib64/libcolamd.so.2 (0x00007f0bf55a4000)
libbtf.so.1 => /lib64/libbtf.so.1 (0x00007f0bf53a0000)
libcamd.so.2 => /lib64/libcamd.so.2 (0x00007f0bf5194000)
libccolamd.so.2 => /lib64/libccolamd.so.2 (0x00007f0bf4f88000)
libxcb.so.1 => /lib64/libxcb.so.1 (0x00007f0bf4d60000)
libXau.so.6 => /lib64/libXau.so.6 (0x00007f0bf4b5b000)


_______________________________________________
firedrake mailing list
firedrake@imperial.ac.uk
https://mailman.ic.ac.uk/mailman/listinfo/firedrake