Hi Lawrence,

These are the output of “env”:

XDG_SESSION_ID=10842

HOSTNAME=caml-lin.cive.e.uh.edu

TERM=xterm-256color

SHELL=/bin/bash

FIREDRAKE_TSFC_KERNEL_CACHE_DIR=/home/cougarnet.uh.edu/msarrafj/Software/cache-firedrake/tsfc

HISTSIZE=1000

SSH_CLIENT=129.7.154.32 59265 22

OLDPWD=/home/cougarnet.uh.edu/msarrafj

SSH_TTY=/dev/pts/1

QT_GRAPHICSSYSTEM_CHECKED=1

USER=msarrafj

LD_LIBRARY_PATH=/usr/local/cuda/lib64

LS_COLORS=rs=0:di=38;5;27:ln=38;5;51:mh=44;38;5;15:pi=40;38;5;11:so=38;5;13:do=38;5;5:bd=48;5;232;38;5;11:cd=48;5;232;38;5;3:or=48;5;232;38;5;9:mi=05;48;5;232;38;5;15:su=48;5;196;38;5;15:sg=48;5;11;38;5;16:ca=48;5;196;38;5;226:tw=48;5;10;38;5;16:ow=48;5;10;38;5;21:st=48;5;21;38;5;15:ex=38;5;34:*.tar=38;5;9:*.tgz=38;5;9:*.arc=38;5;9:*.arj=38;5;9:*.taz=38;5;9:*.lha=38;5;9:*.lz4=38;5;9:*.lzh=38;5;9:*.lzma=38;5;9:*.tlz=38;5;9:*.txz=38;5;9:*.tzo=38;5;9:*.t7z=38;5;9:*.zip=38;5;9:*.z=38;5;9:*.Z=38;5;9:*.dz=38;5;9:*.gz=38;5;9:*.lrz=38;5;9:*.lz=38;5;9:*.lzo=38;5;9:*.xz=38;5;9:*.bz2=38;5;9:*.bz=38;5;9:*.tbz=38;5;9:*.tbz2=38;5;9:*.tz=38;5;9:*.deb=38;5;9:*.rpm=38;5;9:*.jar=38;5;9:*.war=38;5;9:*.ear=38;5;9:*.sar=38;5;9:*.rar=38;5;9:*.alz=38;5;9:*.ace=38;5;9:*.zoo=38;5;9:*.cpio=38;5;9:*.7z=38;5;9:*.rz=38;5;9:*.cab=38;5;9:*.jpg=38;5;13:*.jpeg=38;5;13:*.gif=38;5;13:*.bmp=38;5;13:*.pbm=38;5;13:*.pgm=38;5;13:*.ppm=38;5;13:*.tga=38;5;13:*.xbm=38;5;13:*.xpm=38;5;13:*.tif=38;5;13:*.tiff=38;5;13:*.png=38;5;13:*.svg=38;5;13:*.svgz=38;5;13:*.mng=38;5;13:*.pcx=38;5;13:*.mov=38;5;13:*.mpg=38;5;13:*.mpeg=38;5;13:*.m2v=38;5;13:*.mkv=38;5;13:*.webm=38;5;13:*.ogm=38;5;13:*.mp4=38;5;13:*.m4v=38;5;13:*.mp4v=38;5;13:*.vob=38;5;13:*.qt=38;5;13:*.nuv=38;5;13:*.wmv=38;5;13:*.asf=38;5;13:*.rm=38;5;13:*.rmvb=38;5;13:*.flc=38;5;13:*.avi=38;5;13:*.fli=38;5;13:*.flv=38;5;13:*.gl=38;5;13:*.dl=38;5;13:*.xcf=38;5;13:*.xwd=38;5;13:*.yuv=38;5;13:*.cgm=38;5;13:*.emf=38;5;13:*.axv=38;5;13:*.anx=38;5;13:*.ogv=38;5;13:*.ogx=38;5;13:*.aac=38;5;45:*.au=38;5;45:*.flac=38;5;45:*.mid=38;5;45:*.midi=38;5;45:*.mka=38;5;45:*.mp3=38;5;45:*.mpc=38;5;45:*.ogg=38;5;45:*.ra=38;5;45:*.wav=38;5;45:*.axa=38;5;45:*.oga=38;5;45:*.spx=38;5;45:*.xspf=38;5;45:

VIRTUAL_ENV=/home/cougarnet.uh.edu/msarrafj/apps/firedrake

MAIL=/var/spool/mail/msarrafj

PATH=/home/cougarnet.uh.edu/msarrafj/apps/firedrake/bin:/usr/lib64/openmpi/bin:/usr/local/cuda/bin:/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/cougarnet.uh.edu/msarrafj/.local/bin:/home/cougarnet.uh.edu/msarrafj/bin

PYOP2_CACHE_DIR=/home/cougarnet.uh.edu/msarrafj/Software/cache-firedrake/pyop2

PWD=/home/cougarnet.uh.edu/msarrafj/apps

LANG=en_US.UTF-8

MODULEPATH=/usr/share/Modules/modulefiles:/etc/modulefiles

LOADEDMODULES=

PS1=(firedrake) [\u@\h \W]\$ 

HISTCONTROL=ignoredups

KRB5CCNAME=FILE:/tmp/krb5cc_418246747_Pi8UI3

SHLVL=1

HOME=/home/cougarnet.uh.edu/msarrafj

PETSC_CONFIGURE_OPTIONS=--download-ml

LOGNAME=msarrafj

XDG_DATA_DIRS=/home/cougarnet.uh.edu/msarrafj/.local/share/flatpak/exports/share/:/var/lib/flatpak/exports/share/:/usr/local/share/:/usr/share/

SSH_CONNECTION=129.7.154.32 59265 172.21.38.71 22

MODULESHOME=/usr/share/Modules

LESSOPEN=||/usr/bin/lesspipe.sh %s

XDG_RUNTIME_DIR=/run/user/418246747

BASH_FUNC_module()=() {  eval `/usr/bin/modulecmd bash $*`

}

_=/usr/bin/env

Thanks,

Mohammad

On Apr 24, 2018, at 2:55 AM, Lawrence Mitchell <lawrence.mitchell@imperial.ac.uk> wrote:

On 23 Apr 2018, at 20:57, Mohammad Sarraf Joshaghani <m.sarraf.j@gmail.com> wrote:

Dear Lawrence,
I get:

$ ldd /home/cougarnet.uh.edu/msarrafj/Software/firedrake/src/PyOP2/pyop2/sparsity.cpython-36m-x86_64-linux-gnu.so
linux-vdso.so.1 =>  (0x00007ffc197fc000)
libpetsc.so.3.8 => /lib64/libpetsc.so.3.8 (0x00007f0bfb6b8000)

This looks to be the problem, I think.  Assuming that you got firedrake-install to install PETSc, it should be installed in:

/home/cougarnet.uh.edu/msarrafj/Software/firedrake/lib/.../petsc

Whereas here it looks like the linker is picking up a system-installed PETSc.

That dynamic library was linked as:

gcc -pthread -shared -Wl,-z,relro -g build/temp.linux-x86_64-3.6/pyop2/sparsity.o -L/usr/lib64 -lpetsc -lpython3.6m -o /home/cougarnet.uh.edu/msarrafj/Software/firedrake/src/PyOP2/pyop2/sparsity.cpython-36m-x86_64-linux-gnu.so -L/home/cougarnet.uh.edu/msarrafj/Software/firedrake/lib64/python3.6/site-packages/petsc/lib -Wl,-rpath,/home/cougarnet.uh.edu/msarrafj/Software/firedrake/lib64/python3.6/site-packages/petsc/lib

So we bake the rpath to PETSc in.  But somehow when running, you don't pick that one up.

Can you show the output of "env" in the same shell you ran "ldd" please?

Cheers,

Lawrence

libpython3.6m.so.1.0 => /lib64/libpython3.6m.so.1.0 (0x00007f0bfb18f000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f0bfaf73000)
libc.so.6 => /lib64/libc.so.6 (0x00007f0bfabb0000)
libgfortran.so.3 => /lib64/libgfortran.so.3 (0x00007f0bfa88d000)
libsuperlu.so.5.1 => /lib64/libsuperlu.so.5.1 (0x00007f0bfa618000)
libumfpack.so.5 => /lib64/libumfpack.so.5 (0x00007f0bfa363000)
libklu.so.1 => /lib64/libklu.so.1 (0x00007f0bfa12e000)
libcholmod.so.2 => /lib64/libcholmod.so.2 (0x00007f0bf9e42000)
libamd.so.2 => /lib64/libamd.so.2 (0x00007f0bf9c38000)
libopenblas.so.0 => /lib64/libopenblas.so.0 (0x00007f0bf7767000)
libX11.so.6 => /lib64/libX11.so.6 (0x00007f0bf7429000)
libm.so.6 => /lib64/libm.so.6 (0x00007f0bf7127000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007f0bf6f22000)
libstdc++.so.6 => /lib64/libstdc++.so.6 (0x00007f0bf6c1a000)
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007f0bf6a04000)
libutil.so.1 => /lib64/libutil.so.1 (0x00007f0bf6800000)
/lib64/ld-linux-x86-64.so.2 (0x000055a8504ca000)
libquadmath.so.0 => /lib64/libquadmath.so.0 (0x00007f0bf65c4000)
libsatlas.so.3 => /usr/lib64/atlas/libsatlas.so.3 (0x00007f0bf59af000)
libsuitesparseconfig.so.4 => /lib64/libsuitesparseconfig.so.4 (0x00007f0bf57ac000)
libcolamd.so.2 => /lib64/libcolamd.so.2 (0x00007f0bf55a4000)
libbtf.so.1 => /lib64/libbtf.so.1 (0x00007f0bf53a0000)
libcamd.so.2 => /lib64/libcamd.so.2 (0x00007f0bf5194000)
libccolamd.so.2 => /lib64/libccolamd.so.2 (0x00007f0bf4f88000)
libxcb.so.1 => /lib64/libxcb.so.1 (0x00007f0bf4d60000)
libXau.so.6 => /lib64/libXau.so.6 (0x00007f0bf4b5b000)

_______________________________________________
firedrake mailing list
firedrake@imperial.ac.uk
https://mailman.ic.ac.uk/mailman/listinfo/firedrake

_______________________________________________
firedrake mailing list
firedrake@imperial.ac.uk
https://mailman.ic.ac.uk/mailman/listinfo/firedrake