Regex para solo cambiar la expresión entre algo en R

Puede usar gsub con doble referencia:

gsub("(sth)\r\n(sth)", "\\1\\2", string)
#[1] "\r\n sth ~ sthsth ~ sth ~ \r\n"

\\1 captura el primer grupo de captura, que es (sth)

\\2 captura el segundo grupo de captura, que es (el segundo) (sth)

Podemos usar regex positivo de lookahead y lookbehind:

string <- '\r\n sth ~ sth\r\nsth ~ sth ~ \r\n'

gsub("(?<=\\S)\r\n(?=\\S)","",string, perl = TRUE)
#[1] "\r\n sth ~ sthsth ~ sth ~ \r\n"

Podemos usar la misma expresión regular en str_remove de stringr

stringr::str_remove(string, '(?<=\\S)\r\n(?=\\S)')

Esto eliminará solo '/r/n' de la cadena donde no le sigue un espacio en blanco manteniendo el carácter que no es un espacio en blanco tal como está.