как переопределить ссылку редактора ngx-quill и открыть ее на той же вкладке? По умолчанию он открывается в новой вкладке

Атрибут target устанавливается в кляксе. Вы можете расширить блок ссылок, чтобы удалить этот атрибут:

var Link = Quill.import('formats/link');
class MyLink extends Link {
  static create(value) {
    const node = super.create(value);
    node.removeAttribute('target');
    return node;
  }
}
Quill.register(MyLink, true);

var quill = new Quill('#editor-container', {
  modules: {
    toolbar: [
      [{ header: [1, 2, false] }],
      ['bold', 'italic', 'underline'],
      ['link']
    ]
  },
  placeholder: 'Compose an epic...',
  theme: 'snow'  // or 'bubble'
});